1. 深度卷積網路
LeNet網路的結構如下圖所示，可以看出，LeNet網路並沒有使用padding，每進行一次卷積，圖像的高度和寬度都會縮小，而通道數會一直增加。在全連接層中有400個節點，每個極點都有120個神經元，有時還會從這400個節點抽取一部分節點構建一個全連接層，即有兩個全連接層。在該網路中，最後一步就是利用84個特徵得到最後的輸出，該網路剛開始使用的是 sigmoid 函數 tanh 函數，而現在常常傾向於使用 softmax 函數。需要注意的是，LeNet-5網路進行圖像分類時，輸入的圖像是單通道的灰度圖像。
AlexNet是以論文第一作者的名字命名的，該網路的結構，如下圖所示，該網路的輸出層使用了 softmax 函數。AlexNet網路比LeNet網路規模更大，大約有6000萬個參數，用於訓練圖像和數據集時，能夠處理非常相似的基本構造模塊，這些模塊中包含著大量的隱藏單元，並且與LeNet網路不同的是，該網路使用了ReLu的激活函數。
VGG-16網路沒有太多的超參數，這是一種專注於構建卷積層的簡單網路。如下圖所示，該網路首先利用64個過濾器進行了兩次卷積，接著在池化層將輸入圖像壓縮，接著又是128個過濾器進行兩次卷積，接著載池化。繼續用256個過濾器進行3次卷積，再池化，接著再利用512個過濾器卷積3次，再池化，將稍後得到的特徵圖進行全連接操作，再進 softmax 激活。
由於存在梯度消失和梯度爆炸的原因，深層次的神經網路是很難訓練的，如果採用一種跳躍連接的方式，即從某一層網路層獲取激活，然後迅速反饋給另外一層，甚至是神經網路的更深層。這種利用跳躍連接構建的深度神經網路ResNets，深度能夠超過100層
一個簡單的兩層神經網路示例，如下圖所示：
常規的輸出和輸出之間的關系可以用如下的公式表示：
如上公式所述，這是一條神經網路的主路徑。如果將 的輸入直接到深層的激活函數之前，此時，神經網路有了一條副路徑，其對應輸出將有公式（5）變成如下所示的公式（6）
此時的輸入除了原先的輸入 外，多了一個 項，即由於 產生了一個殘差塊。
構建一個ResNet網路就是將很多這樣的殘差塊堆積在一起，形成一個深度神經網路，如下所示：
使用傳統的標准優化演算法訓練一個網路，隨著網路深度的增加，訓練誤差會先減小再增加，隨著網路層數的增加，優化演算法會越難以訓練，訓練誤差也會越來越多。但是，使用ResNet網路，能夠有效地避免這種情況。
如上所述，加入殘差網路之後，其輸出計算公式如公式（6）所示，展開這個公式，則有：
如果使用L2正則化或者權重衰減，則會壓縮權重參數 的值，如果參數 和參數 等於0，其輸出將由公式（7）變成 ，假定使用ReLU激活函數，則有：
由於殘差網路存在的這種跳躍連接，很容易得出以上等式，這意味著，即使給神經網路增加兩層，但是其效率並不遜色與更簡單的神經網路。並且由於存在以上恆等式，使得網路學習隱藏層的單元的信息更加容易。而普通網路，隨著網路層數的增加，學習參數會變得很困難。
此外，關於殘差網路，如公式（6）所示，假設 與 具有相同的維度，由於ResNets使用了許多same卷積， 的維度等於輸出層的維度。如果輸入和輸出具有不同的維度，可以再增加一個矩陣 ，使得 和 具有相同的維度。而 的維度可以通過0值填充調節。
在卷積網路的架構設計中，一種有趣的想法是會使用到1×1的過濾矩陣，實際上，對於單通道的圖像而言，1×1的過濾矩陣，意義不大，但是，對於多通道的圖像而言，1×1的過濾矩陣能夠有效減少圖像卷積之後的通道數量。
根據卷積和池化的基本知識，隨著神經網路層數的增加，圖像的通道數量會逐漸增加，採用1×1的過濾矩陣卷積之後，可以有效減少圖像的通道數量，一個簡單的示例，如下所示：
假設有一個6×6×32的圖片，使用1×1×32的過濾矩陣進行卷積運算，整個運算過程將會遍歷36個單元格，並計算過濾矩陣所覆蓋區域的元素積之和，將其應用到ReLu非線性函數，會得到一個輸出值。此計算過程中，可能會用到多個1×1×32的過濾器，那麼，通過以上計算會得到一個 6×6×過濾器數量 的矩陣。
構建卷積神經網路時，有時會很難決定過濾器的大小，而Inception網路的引入，卻能很好的解決這個問題。
Inception網路的作用就是代替人工確定選擇卷積層的過濾器類型。如下圖所示，對於一個多通道圖像，可以使用不同的過濾矩陣或者池化層，得到不同的輸出，將這些輸出堆積起來。
有了如上圖所示的Inception塊，最終輸出為32+32+64+128=256，而Inception模塊的輸入為28×28×192，其整個計算成本，以5×5的過濾矩陣為例，其乘法的計算次數為：28×28×32×5×5×192，整個計算次數超過了1.2億次。而如果使用如下所示的優化計算方法，則可以有效減少計算量。
如果利用1×1的過濾器，將輸入矩陣的通道減少至16，則可以有效減少計算量，如下所示：
如上圖所示的價格中，整個網路的運算次數為：28×28×192×16+28×28×32×5×5×16=1240萬，整個計算成本降低至原來的十分之一。而，通過1×1×192過濾器卷積得到的這個網路層被稱之為瓶頸層。
如上，所示，可以給每一個非1×1的卷積層之前，加入一個1×1的瓶頸層，就可以構建一個基本的inception模塊了，如下圖所示：
而一個inception網路就是多個Inception模塊連接起來，如下圖所示：
事實上，以上網路中，還存在一些分支，如編號1所示，這些分支就是全連接層，而全連接層之後就是一個softmax層用於預測。又如分支2所示，包含一些隱藏層（編號3），通過全連接層和softmax進行預測。這些分支結構能夠確保，即使是隱藏層和中間層也參與了特徵計算，並且也能夠預測圖片的分類。這種做法能夠有效避免網路過擬合。
對於計算機視覺領域而言，神經網路的訓練可能需要大量的數據，但是當數據量有限時，可以通過數據增強來實現數據量的擴充，以提高系統的魯棒性，具體的數據增強方法如下所示：
除了以上三種數據增強的方法外，更多的數據增強方法和實現可以參考 圖像數據增強
數據增強可以利用計算機多線程實現，一個線程用來實現載入數據，實現數據增強，其他線程可以訓練這些數據以加快整體的運算速度。
2. 大多數的網路目錄的層次深度是多少
從查詢效率和科學類別的角度分析，網路目錄的層次深度一般是5到7層。
3. 目前最常用的神經網路是多少層的
一般認為，增加隱層數可以降低網路誤差（也有文獻認為不一定能有效降低），提高精度，但也使網路復雜化，從而增加了網路的訓練時間和出現「過擬合」的傾向。一般來講應設計神經網路應優先考慮3層網路（即有1個隱層）。一般地，靠增加隱層節點數來獲得較低的誤差，其訓練效果要比增加隱層數更容易實現。對於沒有隱層的神經網路模型，實際上就是一個線性或非線性（取決於輸出層採用線性或非線性轉換函數型式）回歸模型。因此，一般認為，應將不含隱層的網路模型歸入回歸分析中，技術已很成熟，沒有必要在神經網路理論中再討論之。
4. 網路分為幾個層
分七層:
1、物 理 層(Physical Layer)
要傳遞信息要利用些物理媒體雙紐線、同軸電纜等具體物理媒體並OSI7層之內有人把物理媒體當作第0層物理層任務上層提供物理連接及們機械、電氣、功能和過程特性 規定使用電纜和接頭 類型傳送信號電壓等層數據還沒有被組織僅作原始位流或電氣電壓處理單位比特。
2、 數 據 鏈 路 層(Data Link Layer)
數據鏈路層負責兩相鄰結點間線路上無差錯傳送幀單位數據每幀包括定數量數據和些必要控制信息和物理層相似數據鏈路層要負責建立、維持和釋放數據鏈路連接傳送數據時接收點檢測所傳數據有差錯要通知發方重發幀 。
3、 網 絡 層(Network Layer)
計算機網路進行通信兩計算機之間能會經過多數據鏈路也能還要經過多通信子網網路層任務選擇合適網間路由和交換結點 確保數據及時傳送網路層數據鏈路層提供幀組成數據包包封裝有網路層包頭其含有邏輯地址信息-，源站點和目站點地址網路地址 。
4、 傳 輸 層(Transport Layer)
該層任務時根據通信子網特性佳利用網路資源並靠和經濟方式兩端系統(也源站和目站)會層之間提供建立、維護和取消傳輸連接功能負責靠地傳輸數據層信息傳送單位報文 。
5、 會 層(Session Layer)
層也稱會晤層或對層會層及上高層次數據傳送單位，再另外命名統稱報文會層，參與具體傳輸提供，包括訪問驗證和會管理內建立和維護應用之間通信機制伺服器，驗證用戶登錄便由會層完成 。
6、 表 示 層(Presentation Layer)
層主要解決擁護信息語法表示問題欲交換數據，從適合於某用戶抽象語法轉換適合於OSI系統內部使用傳送語法，即提供格式化表示和轉換數據服務數據壓縮和解壓縮，加密和解密等工作都由表示層負責 。
7、 應 用 層(Application Layer)
應用層確定進程之間通信性質滿足用戶需要及提供網路與用戶應用軟體之間介面服務。
5. 目前最常用的神經網路是多少層的
理論情況下，三層的神經網路能完成任意的n維到m維的映射。 輸入層神經單元數確定方法：根據需要求解的問題和數據表示方式確定。
6. OSI參考模型分為哪幾層
OSI參考模型分為7層，分別是物理層，數據鏈路層，網路層，傳輸層，會話層，表示層和應用層。
各層的主要功能及其相應的數據單位如下：
· 物 理 層(Physical Layer)
我們知道，要傳遞信息就要利用一些物理媒體，如雙紐線、同軸電纜等，但具體的物理媒體並不在OSI的7層之內，有人把物理媒體當作第0層，物理層的任務就是為它的上一層提供一個物理連接，以及它們的機械、電氣、功能和過程特性。 如規定使用電纜和接頭 的類型，傳送信號的電壓等。在這一層，數據還沒有被組織，僅作為原始的位流或電氣電壓處理，單位是比特。
· 數 據 鏈 路 層(Data Link Layer)
數據鏈路層負責在兩個相鄰結點間的線路上，無差錯的傳送以幀為單位的數據。每一幀包括一定數量的數據和一些必要的控制信息。和物理層相似，數據鏈路層要負責建立、維持和釋放數據鏈路的連接。在傳送數據時，如果接收點檢測到所傳數據中有差錯，就要通知發方重發這一幀。
· 網 絡 層(Network Layer)
在計算機網路中進行通信的兩個計算機之間可能會經過很多個數據鏈路，也可能還要經過很多通信子網。網路層的任務就是選擇合適的網間路由和交換結點， 確保數據及時傳送。網路層將數據鏈路層提供的幀組成數據包，包中封裝有網路層包頭，其中含有邏輯地址信息- -源站點和目的站點地址的網路地址。
· 傳 輸 層(Transport Layer)
該層的任務時根據通信子網的特性最佳的利用網路資源，並以可靠和經濟的方式，為兩個端系統（也就是源站和目的站）的會話層之間，提供建立、維護和取消傳輸連接的功能，負責可靠地傳輸數據。在這一層，信息的傳送單位是報文。
· 會 話 層(Session Layer)
這一層也可以稱為會晤層或對話層，在會話層及以上的高層次中，數據傳送的單位不再另外命名，統稱為報文。會話層不參與具體的傳輸，它提供包括訪問驗證和會話管理在內的建立和維護應用之間通信的機制。如伺服器驗證用戶登錄便是由會話層完成的。
· 表 示 層(Presentation Layer)
這一層主要解決擁護信息的語法表示問題。它將欲交換的數據從適合於某一用戶的抽象語法，轉換為適合於OSI系統內部使用的傳送語法。即提供格式化的表示和轉換數據服務。數據的壓縮和解壓縮， 加密和解密等工作都由表示層負責。
· 應 用 層(Application Layer)
應用層確定進程之間通信的性質以滿足用戶需要以及提供網路與用戶應用軟體之間的介面服務。
7. 深度神經網路 每層單元個數
深度神經網路每層單元個數是任意。
每層神經元個數決定你輸入特徵的多少，如果是28*28的圖片，一下降低為10，那丟失的數據太多了.建議，神經元對半開，就是每層減半。或者三分之一，四分之一開，畢竟後面可能防止過擬合，還會扔神經元。
8. 網路一共有幾層
國際標準是OSI標准，共有七層
應用層
表示層
會話層
運輸層
網路層
數據鏈路層
物理層 （順序從下往上數，第一層是物理層，第七層是應用層）
還有就是現在通用的標准TCP/IP標准共有五層
應用層
運輸層
網路層
數據鏈路層
物理層 （同理第一層是物理層）
9. 深度神經網路與傳統神經網路有什麼區別
從名字就可以看出來，一個字，深
目前深度網路已經達到幾千層甚至上萬的深度，隨之而來的的就是數以億計的模型參數
你所謂的傳統神經網路大概是指MLP，RBF這些深度在幾層的上古網路
10. 誰能科普一下「深度學習」網路和以前那種「多層神經網路」的區別
多層神經網路又叫全連接神經網路。當輸入圖像為1000*1000的解析度時，神經網路一層的系數就達到10^12。系數過多引起收斂問題導致訓練無法達到最優，並且容易過擬合。讓它不具有實現意義。深度學習採用權值共享和局部連接等技術，大大降低了系數的個數和各種避免過擬合的方法，使得網路層數可以達到數百，使得深層網路成為可能。感興趣可以搜搜我的課程，用Python做深度學習1——數學基礎