什麼是卷積神經網路中權值共享

『壹』 卷積神經網路權值共享怎麼體現的

• 用局部連接而不是全連接，同時權值共享。

局部連接的概念參考局部感受域，即某個視神經元僅考慮某一個小區域的視覺輸入，因此相比普通神經網路的全連接層（下一層的某一個神經元需要與前一層的所有節點連接），卷積網路的某一個卷積層的所有節點只負責前層輸入的某一個區域（比如某個3*3的方塊）。這樣一來需要訓練的權值數相比全連接而言會大大減少，進而減小對樣本空間大小的需求。
權值共享的概念就是，某一隱藏層的所有神經元共用一組權值。
這兩個概念對應卷積層的話，恰好就是某個固定的卷積核。卷積核在圖像上滑動時每處在一個位置分別對應一個「局部連接」的神經元，同時因為「權值共享」的緣故，這些神經元的參數一致，正好對應同一個卷積核。
順便補充下，不同卷積核對應不同的特徵，比如不同方向的邊（edge）就會分別對應不同的卷積核。

• 激活函數f(x)用ReLU的話避免了x過大梯度趨於0（比如用sigmoid）而影響訓練的權值的情況（即GradientVanishing）。同時結果會更稀疏一些。


• 池化之後（例如保留鄰域內最大或~~平均以舍棄一些信息）一定程度也壓制了過擬合的情況。

綜述

總體來說就是重復卷積-relu來提取特徵，進行池化之後再作更深層的特徵提取，實質上深層卷積網路的主要作用在於特徵提取。最後一層直接用softmax來分類（獲得一個介於0~1的值表達輸入屬於這一類別的概率）。

『貳』 卷積神經網路演算法是什麼

一維構築、二維構築、全卷積構築。

卷積神經網路（Convolutional Neural Networks, CNN）是一類包含卷積計算且具有深度結構的前饋神經網路（Feedforward Neural Networks），是深度學習（deep learning）的代表演算法之一。

卷積神經網路具有表徵學習（representation learning）能力，能夠按其階層結構對輸入信息進行平移不變分類（shift-invariant classification），因此也被稱為「平移不變人工神經網路（Shift-Invariant Artificial Neural Networks, SIANN）」。

卷積神經網路的連接性：

卷積神經網路中卷積層間的連接被稱為稀疏連接（sparse connection），即相比於前饋神經網路中的全連接，卷積層中的神經元僅與其相鄰層的部分，而非全部神經元相連。具體地，卷積神經網路第l層特徵圖中的任意一個像素（神經元）都僅是l-1層中卷積核所定義的感受野內的像素的線性組合。

卷積神經網路的稀疏連接具有正則化的效果，提高了網路結構的穩定性和泛化能力，避免過度擬合，同時，稀疏連接減少了權重參數的總量，有利於神經網路的快速學習，和在計算時減少內存開銷。

卷積神經網路中特徵圖同一通道內的所有像素共享一組卷積核權重系數，該性質被稱為權重共享（weight sharing）。權重共享將卷積神經網路和其它包含局部連接結構的神經網路相區分，後者雖然使用了稀疏連接，但不同連接的權重是不同的。權重共享和稀疏連接一樣，減少了卷積神經網路的參數總量，並具有正則化的效果。

在全連接網路視角下，卷積神經網路的稀疏連接和權重共享可以被視為兩個無限強的先驗（pirior），即一個隱含層神經元在其感受野之外的所有權重系數恆為0（但感受野可以在空間移動）；且在一個通道內，所有神經元的權重系數相同。

『叄』 卷積層在神經網路中如何運算

卷積神經網路（Convolutional Neural Networks, CNN）的核心是進行卷積運算操作。在實際應用中往往採用多層網路結構，因此又被稱為深度卷積神經網路。本文將從單個卷積的計算出發，帶大家掌握卷積層在神經網路中的運算方法。

2.1 單個卷積的計算

要想了解卷積層在神經網路中的計算過程，我們首先需要了解單個「卷積」是如何運作的。

想必大家在學習CNN的過程中都見過下圖（ 出處在此 ，這上面有各種各樣的卷積gif圖）：

input_shape=(5,5)，kernelsize=(3,3)，padding=『same』，stride=1，output_shape=(5,5)

在此圖中：

在此次計算中：

Ps： 在實際應用中，每一個輸出的特徵圖還會配備一個偏置s，在上圖中無表示。

2.2 卷積層在神經網路中的運算

了解完單個卷積是如何計算的之後，我們就可以從神經網路的角度來看『卷積層』的運算過程了。下圖展示的是輸入三通圖像（8*8*3）經一層卷積結構，輸出兩通特徵圖（8*8*2）的計算過程：

卷積參數：input_shape=(8,8,3)，kernelsize=(3,3)，padding=『same』，stride=1，output_shape=(8,8,2)

在此圖中：

在此次卷積層的運算中：

首先我們來關注一下輸入和輸出，他倆的尺度都是（8*8），而輸入是3通道，輸出是2通道（深度學習中不管幹啥一定要先看輸入輸出，對一層是這樣，對整個模型也是這樣）。

其次就准備進入我們最熟悉的卷積核計算了，可是在此之前我們得知道，這個運算過程中到底發生了幾次卷積核計算呢？有的朋友可能要說，卷積的一大特性就是『權值共享』，有幾通輸出就有幾個卷積核，每個卷積核把輸入特徵圖從頭掃到尾。然而這個其實是不對的！

實際上，在卷積核計算數量問題上，應該是「 有幾通道的輸出就有幾套卷積核，每套內的卷積核數量與輸入通道數相等 」，就像我在上圖中所畫的：

至此，這一個卷積層的運算就全部完成了。

2.3 「可訓練參數」驗證

畢竟空口無憑，下面我來通過「 可訓練參數 」的數量，來為大家驗證一下卷積層是不是按我說的這么運算的。大家應該知道，一個卷積層內的「可訓練參數」，其實就是指的卷積核里的那些值，以及要加的偏置量，那麼如果按照前面描述的計算方法來看，一個卷積層內的「可訓練參數有多少呢」？我們可知：

由此可得到：

那麼按理說可訓練參數量應為：

讓我們用keras的summary()來驗證一下：

很棒！

記住，普通卷積層的可訓練參數量為：

Ps： 還有一個衡量模型大小、復雜度的量叫做「理論計算量FLOPs」（floating point operations）。它通常只考慮Conv、FC等參數層的乘、加操作的數量，並且「純加」操作也會被忽略（例如bias）。卷積層運算中的FLOPs計算公式為：

Ps： 這里還要為大家明確一個「感受野」的概念，簡單來講就是卷積神經網路中的某一層特徵圖上的一個點，對應到原圖上可以關聯到多少個點，我們用一張圖來解釋一下：

上圖展示的是一個3層一維卷積，kernel_size=3，我們可以看到：頂層左一的像素與底層左起7個像素值有關，這時候就代表它的感受野有7。我們可以顯而易見的得出以下兩個結論：

這個感受野在後續的卷積的拆分講解中還要用到。

『肆』 卷積神經網路的 卷積層、激活層、池化層、全連接層

數據輸入的是一張圖片（輸入層），CONV表示卷積層，RELU表示激勵層，POOL表示池化層，Fc表示全連接層

全連接神經網路需要非常多的計算資源才能支撐它來做反向傳播和前向傳播，所以說全連接神經網路可以存儲非常多的參數，如果你給它的樣本如果沒有達到它的量級的時候，它可以輕輕鬆鬆把你給他的樣本全部都記下來，這會出現過擬合的情況。

所以我們應該把神經元和神經元之間的連接的權重個數降下來，但是降下來我們又不能保證它有較強的學習能力，所以這是一個糾結的地方，所以有一個方法就是 局部連接+權值共享 ，局部連接+權值共享不僅權重參數降下來了，而且學習能力並沒有實質的降低，除此之外還有其它的好處，下來看一下，下面的這幾張圖片：

一個圖像的不同表示方式

這幾張圖片描述的都是一個東西，但是有的大有的小，有的靠左邊，有的靠右邊，有的位置不同，但是我們構建的網路識別這些東西的時候應該是同一結果。為了能夠達到這個目的，我們可以讓圖片的不同位置具有相同的權重（權值共享），也就是上面所有的圖片，我們只需要在訓練集中放一張，我們的神經網路就可以識別出上面所有的，這也是 權值共享 的好處。

而卷積神經網路就是局部連接+權值共享的神經網路。

現在我們對卷積神經網路有一個初步認識了，下面具體來講解一下卷積神經網路，卷積神經網路依舊是層級結構，但層的功能和形式做了改變，卷積神經網路常用來處理圖片數據，比如識別一輛汽車：

在圖片輸出到神經網路之前，常常先進行圖像處理，有 三種 常見的圖像的處理方式：

均值化和歸一化

去相關和白化

圖片有一個性質叫做局部關聯性質，一個圖片的像素點影響最大的是它周邊的像素點，而距離這個像素點比較遠的像素點二者之間關系不大。這個性質意味著每一個神經元我們不用處理全局的圖片了（和上一層全連接），我們的每一個神經元只需要和上一層局部連接，相當於每一個神經元掃描一小區域，然後許多神經元（這些神經元權值共享）合起來就相當於掃描了全局，這樣就構成一個特徵圖，n個特徵圖就提取了這個圖片的n維特徵，每個特徵圖是由很多神經元來完成的。

在卷積神經網路中，我們先選擇一個局部區域（filter），用這個局部區域（filter）去掃描整張圖片。 局部區域所圈起來的所有節點會被連接到下一層的 一個節點上 。我們拿灰度圖（只有一維）來舉例：

局部區域

圖片是矩陣式的，將這些以矩陣排列的節點展成了向量。就能更好的看出來卷積層和輸入層之間的連接，並不是全連接的，我們將上圖中的紅色方框稱為filter，它是2*2的，這是它的尺寸，這不是固定的，我們可以指定它的尺寸。

我們可以看出來當前filter是2*2的小窗口，這個小窗口會將圖片矩陣從左上角滑到右下角，每滑一次就會一下子圈起來四個，連接到下一層的一個神經元，然後產生四個權重，這四個權重(w1、w2、w3、w4)構成的矩陣就叫做卷積核。

卷積核是演算法自己學習得到的，它會和上一層計算，比如，第二層的0節點的數值就是局部區域的線性組合（w1 0+w2 1+w3 4+w4 5），即被圈中節點的數值乘以對應的權重後相加。

卷積核計算

卷積操作

我們前面說過圖片不用向量表示是為了保留圖片平面結構的信息。 同樣的，卷積後的輸出若用上圖的向量排列方式則丟失了平面結構信息。 所以我們依然用矩陣的方式排列它們，就得到了下圖所展示的連接，每一個藍色結點連接四個黃色的結點。

卷積層的連接方式

圖片是一個矩陣然後卷積神經網路的下一層也是一個矩陣，我們用一個卷積核從圖片矩陣左上角到右下角滑動，每滑動一次，當然被圈起來的神經元們就會連接下一層的一個神經元，形成參數矩陣這個就是卷積核，每次滑動雖然圈起來的神經元不同，連接下一層的神經元也不同，但是產生的參數矩陣確是一樣的，這就是 權值共享 。

卷積核會和掃描的圖片的那個局部矩陣作用產生一個值，比如第一次的時候，（w1 0+w2 1+w3 4+w4 5），所以，filter從左上到右下的這個過程中會得到一個矩陣（這就是下一層也是一個矩陣的原因），具體過程如下所示：

卷積計算過程

上圖中左邊是圖矩陣，我們使用的filter的大小是3 3的，第一次滑動的時候，卷積核和圖片矩陣作用（1 1+1 0+1 1+0 0+1 1+1 0+0 1+0 0+1 1）=4，會產生一個值，這個值就是右邊矩陣的第一個值，filter滑動9次之後，會產生9個值，也就是說下一層有9個神經元，這9個神經元產生的值就構成了一個矩陣，這矩陣叫做特徵圖，表示image的某一維度的特徵，當然具體哪一維度可能並不知道，可能是這個圖像的顏色，也有可能是這個圖像的輪廓等等。

單通道圖片總結 ：以上就是單通道的圖片的卷積處理，圖片是一個矩陣，我們用指定大小的卷積核從左上角到右下角來滑動，每次滑動所圈起來的結點會和下一層的一個結點相連，連接之後就會形成局部連接，每一條連接都會產生權重，這些權重就是卷積核，所以每次滑動都會產生一個卷積核，因為權值共享，所以這些卷積核都是一樣的。卷積核會不斷和當時卷積核所圈起來的局部矩陣作用，每次產生的值就是下一層結點的值了，這樣多次產生的值組合起來就是一個特徵圖，表示某一維度的特徵。也就是從左上滑動到右下這一過程中會形成一個特徵圖矩陣（共享一個卷積核），再從左上滑動到右下又會形成另一個特徵圖矩陣（共享另一個卷積核），這些特徵圖都是表示特徵的某一維度。

三個通道的圖片如何進行卷積操作？

至此我們應該已經知道了單通道的灰度圖是如何處理的，實際上我們的圖片都是RGB的圖像，有三個通道，那麼此時圖像是如何卷積的呢？

彩色圖像

filter窗口滑的時候，我們只是從width和height的角度來滑動的，並沒有考慮depth，所以每滑動一次實際上是產生一個卷積核，共享這一個卷積核，而現在depth=3了，所以每滑動一次實際上產生了具有三個通道的卷積核（它們分別作用於輸入圖片的藍色、綠色、紅色通道），卷積核的一個通道核藍色的矩陣作用產生一個值，另一個和綠色的矩陣作用產生一個值，最後一個和紅色的矩陣作用產生一個值，然後這些值加起來就是下一層結點的值，結果也是一個矩陣，也就是一張特徵圖。

三通道的計算過程

要想有多張特徵圖的話，我們可以再用新的卷積核來進行左上到右下的滑動，這樣就會形成 新的特徵圖 。

三通道圖片的卷積過程

也就是說增加一個卷積核，就會產生一個特徵圖，總的來說就是輸入圖片有多少通道，我們的卷積核就需要對應多少通道，而本層中卷積核有多少個，就會產生多少個特徵圖。這樣卷積後輸出可以作為新的輸入送入另一個卷積層中處理，有幾個特徵圖那麼depth就是幾，那麼下一層的每一個特徵圖就得用相應的通道的卷積核來對應處理，這個邏輯要清楚，我們需要先了解一下 基本的概念：

卷積計算的公式

4x4的圖片在邊緣Zero padding一圈後，再用3x3的filter卷積後，得到的Feature Map尺寸依然是4x4不變。

填充

當然也可以使用5x5的filte和2的zero padding可以保持圖片的原始尺寸，3x3的filter考慮到了像素與其距離為1以內的所有其他像素的關系，而5x5則是考慮像素與其距離為2以內的所有其他像素的關系。

規律： Feature Map的尺寸等於

(input_size + 2 * padding_size − filter_size)/stride+1

我們可以把卷積層的作用 總結一點： 卷積層其實就是在提取特徵，卷積層中最重要的是卷積核（訓練出來的），不同的卷積核可以探測特定的形狀、顏色、對比度等，然後特徵圖保持了抓取後的空間結構，所以不同卷積核對應的特徵圖表示某一維度的特徵，具體什麼特徵可能我們並不知道。特徵圖作為輸入再被卷積的話，可以則可以由此探測到"更大"的形狀概念，也就是說隨著卷積神經網路層數的增加，特徵提取的越來越具體化。

激勵層的作用可以理解為把卷積層的結果做 非線性映射 。

激勵層

上圖中的f表示激勵函數，常用的激勵函數幾下幾種：

常用的激勵函數

我們先來看一下激勵函數Sigmoid導數最小為0，最大為1/4，

激勵函數Sigmoid

Tanh激活函數：和sigmoid相似，它會關於x軸上下對應，不至於朝某一方面偏向

Tanh激活函數

ReLU激活函數（修正線性單元)：收斂快，求梯度快，但較脆弱，左邊的梯度為0

ReLU激活函數

Leaky ReLU激活函數：不會飽和或者掛掉，計算也很快，但是計算量比較大

Leaky ReLU激活函數

一些激勵函數的使用技巧 ：一般不要用sigmoid，首先試RELU，因為快，但要小心點，如果RELU失效，請用Leaky ReLU，某些情況下tanh倒是有不錯的結果。

這就是卷積神經網路的激勵層，它就是將卷積層的線性計算的結果進行了非線性映射。可以從下面的圖中理解。它展示的是將非線性操作應用到一個特徵圖中。這里的輸出特徵圖也可以看作是"修正"過的特徵圖。如下所示：

非線性操作

池化層：降低了各個特徵圖的維度，但可以保持大分重要的信息。池化層夾在連續的卷積層中間，壓縮數據和參數的量，減小過擬合，池化層並沒有參數，它只不過是把上層給它的結果做了一個下采樣（數據壓縮）。下采樣有 兩種 常用的方式：

Max pooling ：選取最大的，我們定義一個空間鄰域（比如，2x2 的窗口），並從窗口內的修正特徵圖中取出最大的元素，最大池化被證明效果更好一些。

Average pooling ：平均的，我們定義一個空間鄰域（比如，2x2 的窗口），並從窗口內的修正特徵圖算出平均值

Max pooling

我們要注意一點的是：pooling在不同的depth上是分開執行的，也就是depth=5的話，pooling進行5次，產生5個池化後的矩陣，池化不需要參數控制。池化操作是分開應用到各個特徵圖的，我們可以從五個輸入圖中得到五個輸出圖。

池化操作

無論是max pool還是average pool都有分信息被舍棄，那麼部分信息被舍棄後會損壞識別結果嗎？

因為卷積後的Feature Map中有對於識別物體不必要的冗餘信息，我們下采樣就是為了去掉這些冗餘信息，所以並不會損壞識別結果。

我們來看一下卷積之後的冗餘信息是怎麼產生的？

我們知道卷積核就是為了找到特定維度的信息，比如說某個形狀，但是圖像中並不會任何地方都出現這個形狀，但卷積核在卷積過程中沒有出現特定形狀的圖片位置卷積也會產生一個值，但是這個值的意義就不是很大了，所以我們使用池化層的作用，將這個值去掉的話，自然也不會損害識別結果了。

比如下圖中，假如卷積核探測"橫折"這個形狀。 卷積後得到3x3的Feature Map中，真正有用的就是數字為3的那個節點，其餘數值對於這個任務而言都是無關的。 所以用3x3的Max pooling後，並沒有對"橫折"的探測產生影響。 試想在這里例子中如果不使用Max pooling，而讓網路自己去學習。 網路也會去學習與Max pooling近似效果的權重。因為是近似效果，增加了更多的參數的代價，卻還不如直接進行最大池化處理。

最大池化處理

在全連接層中所有神經元都有權重連接，通常全連接層在卷積神經網路尾部。當前面卷積層抓取到足以用來識別圖片的特徵後，接下來的就是如何進行分類。 通常卷積網路的最後會將末端得到的長方體平攤成一個長長的向量，並送入全連接層配合輸出層進行分類。比如，在下面圖中我們進行的圖像分類為四分類問題，所以卷積神經網路的輸出層就會有四個神經元。

四分類問題

我們從卷積神經網路的輸入層、卷積層、激活層、池化層以及全連接層來講解卷積神經網路，我們可以認為全連接層之間的在做特徵提取，而全連接層在做分類，這就是卷積神經網路的核心。

『伍』 卷積神經網路

卷積神經網路 （Convolutional Neural Networks，CNN）是一種前饋神經網路。卷積神經網路是受生物學上感受野（Receptive Field）的機制而提出的。感受野主要是指聽覺系統、本體感覺系統和視覺系統中神經元的一些性質。比如在視覺神經系統中，一個神經元的感受野是指視網膜上的特定區域，只有這個區域內的刺激才能夠激活該神經元。

卷積神經網路又是怎樣解決這個問題的呢？主要有三個思路：

在使用CNN提取特徵時，到底使用哪一層的輸出作為最後的特徵呢？

答：倒數第二個全連接層的輸出才是最後我們要提取的特徵，也就是最後一個全連接層的輸入才是我們需要的特徵。

全連接層會忽視形狀。卷積層可以保持形狀不變。當輸入數據是圖像時，卷積層會以3維數據的形式接收輸入數據，並同樣以3維數據的形式輸出至下一層。因此，在CNN中，可以（有可能）正確理解圖像等具有形狀的數據。

CNN中，有時將 卷積層的輸入輸出數據稱為特徵圖（feature map） 。其中， 卷積層的輸入數據稱為輸入特徵圖（input feature map） ， 輸出數據稱為輸出特徵圖（output feature map）。

卷積層進行的處理就是 卷積運算 。卷積運算相當於圖像處理中的「濾波器運算」。

濾波器相當於權重或者參數，濾波器數值都是學習出來的。 卷積層實現的是垂直邊緣檢測 。

邊緣檢測實際就是將圖像由亮到暗進行區分，即邊緣的過渡(edge transitions)。

卷積層對應到全連接層，左上角經過濾波器，得到的3，相當於一個神經元輸出為3.然後相當於，我們把輸入矩陣拉直為36個數據，但是我們只對其中的9個數據賦予了權重。

步幅為1 ，移動一個，得到一個1，相當於另一個神經單元的輸出是1.

並且使用的是同一個濾波器，對應到全連接層，就是權值共享。

在這個例子中，輸入數據是有高長方向的形狀的數據，濾波器也一樣，有高長方向上的維度。假設用（height, width）表示數據和濾波器的形狀，則在本例中，輸入大小是(4, 4)，濾波器大小是(3, 3)，輸出大小是(2, 2)。另外，有的文獻中也會用「核」這個詞來表示這里所說的「濾波器」。

對於輸入數據，卷積運算以一定間隔滑動濾波器的窗口並應用。這里所說的窗口是指圖7-4中灰色的3 × 3的部分。如圖7-4所示，將各個位置上濾
波器的元素和輸入的對應元素相乘，然後再求和（有時將這個計算稱為乘積累加運算）。然後，將這個結果保存到輸出的對應位置。將這個過程在所有位置都進行一遍，就可以得到卷積運算的輸出。

CNN中，濾波器的參數就對應之前的權重。並且，CNN中也存在偏置。

在進行卷積層的處理之前，有時要向輸入數據的周圍填入固定的數據（比如0等），這稱為填充（padding），是卷積運算中經常會用到的處理。比如，在圖7-6的例子中，對大小為(4, 4)的輸入數據應用了幅度為1的填充。「幅度為1的填充」是指用幅度為1像素的0填充周圍。

應用濾波器的位置間隔稱為 步幅（stride） 。

假設輸入大小為(H, W)，濾波器大小為(FH, FW)，輸出大小為(OH, OW)，填充為P，步幅為S。

但是所設定的值必須使式（7.1）中的 和 分別可以除盡。當輸出大小無法除盡時（結果是小數時），需要採取報錯等對策。順便說一下，根據深度學習的框架的不同，當值無法除盡時，有時會向最接近的整數四捨五入，不進行報錯而繼續運行。

之前的卷積運算的例子都是以有高、長方向的2維形狀為對象的。但是，圖像是3維數據，除了高、長方向之外，還需要處理通道方向。

在3維數據的卷積運算中，輸入數據和濾波器的通道數要設為相同的值。

因此，作為4維數據，濾波器的權重數據要按(output_channel, input_channel, height, width)的順序書寫。比如，通道數為3、大小為5 × 5的濾
波器有20個時，可以寫成(20, 3, 5, 5)。

對於每個通道，均使用自己的權值矩陣進行處理，輸出時將多個通道所輸出的值進行加和即可。

卷積運算的批處理，需要將在各層間傳遞的數據保存為4維數據。具體地講，就是按(batch_num, channel, height, width)的順序保存數據。

這里需要注意的是，網路間傳遞的是4維數據，對這N個數據進行了卷積運算。也就是說，批處理將N次的處理匯總成了1次進行。

池化是縮小高、長方向上的空間的運算。比如，如圖7-14所示，進行將2 × 2的區域集約成1個元素的處理，縮小空間大小。

圖7-14的例子是按步幅2進行2 × 2的Max池化時的處理順序。「Max池化」是獲取最大值的運算，「2 × 2」表示目標區域的大小。如圖所示，從
2 × 2的區域中取出最大的元素。此外，這個例子中將步幅設為了2，所以2 × 2的窗口的移動間隔為2個元素。另外，一般來說，池化的窗口大小會和步幅設定成相同的值。比如，3 × 3的窗口的步幅會設為3，4 × 4的窗口的步幅會設為4等。

除了Max池化之外，還有Average池化等。相對於Max池化是從目標區域中取出最大值，Average池化則是計算目標區域的平均值。 在圖像識別領域，主要使用Max池化。 因此，本書中說到「池化層」時，指的是Max池化。

池化層的特徵
池化層有以下特徵。
沒有要學習的參數
池化層和卷積層不同，沒有要學習的參數。池化只是從目標區域中取最大值（或者平均值），所以不存在要學習的參數。
通道數不發生變化
經過池化運算，輸入數據和輸出數據的通道數不會發生變化。如圖7-15所示，計算是按通道獨立進行的。

​ 對微小的位置變化具有魯棒性（健壯）
​ 輸入數據發生微小偏差時，池化仍會返回相同的結果。因此，池化對輸入數據的微小偏差具有魯棒性。比如，3 × 3的池化的情況下，如圖
​ 7-16所示，池化會吸收輸入數據的偏差（根據數據的不同，結果有可能不一致）。

經過卷積層和池化層之後，進行Flatten，然後丟到全連接前向傳播神經網路。

（找到一張圖片使得某個filter響應最大。相當於filter固定，未知的是輸入的圖片。）未知的是輸入的圖片？？？

k是第k個filter，x是我們要找的參數。?這里我不是很明白。我得理解應該是去尋找最具有代表性的特徵。

使用im2col來實現卷積層

卷積層的參數是需要學習的，但是池化層沒有參數需要學習。全連接層的參數需要訓練得到。

池化層不需要訓練參數。全連接層的參數最多。卷積核的個數逐漸增多。激活層的size，逐漸減少。

最大池化只是計算神經網路某一層的靜態屬性，沒有什麼需要學習的，它只是一個靜態屬性 。

像這樣展開之後，只需對展開的矩陣求各行的最大值，並轉換為合適的形狀即可（圖7-22）。

參數
• input_dim ― 輸入數據的維度：（ 通道，高，長 ）
• conv_param ― 卷積層的超參數（字典）。字典的關鍵字如下：
filter_num ― 濾波器的數量
filter_size ― 濾波器的大小
stride ― 步幅
pad ― 填充
• hidden_size ― 隱藏層（全連接）的神經元數量
• output_size ― 輸出層（全連接）的神經元數量
• weitght_int_std ― 初始化時權重的標准差

LeNet

LeNet在1998年被提出，是進行手寫數字識別的網路。如圖7-27所示，它有連續的卷積層和池化層（正確地講，是只「抽選元素」的子采樣層），最後經全連接層輸出結果。

和「現在的CNN」相比，LeNet有幾個不同點。第一個不同點在於激活函數。LeNet中使用sigmoid函數，而現在的CNN中主要使用ReLU函數。
此外，原始的LeNet中使用子采樣（subsampling）縮小中間數據的大小，而現在的CNN中Max池化是主流。

AlexNet

在LeNet問世20多年後，AlexNet被發布出來。AlexNet是引發深度學習熱潮的導火線，不過它的網路結構和LeNet基本上沒有什麼不同，如圖7-28所示。

AlexNet疊有多個卷積層和池化層，最後經由全連接層輸出結果。雖然結構上AlexNet和LeNet沒有大的不同，但有以下幾點差異。
• 激活函數使用ReLU。
• 使用進行局部正規化的LRN（Local Response Normalization）層。
• 使用Dropout

TF2.0實現卷積神經網路

valid意味著不填充，same是填充
or the SAME padding, the output height and width are computed as:

out_height = ceil(float(in_height) / float(strides[1]))

out_width = ceil(float(in_width) / float(strides[2]))

And

For the VALID padding, the output height and width are computed as:

out_height = ceil(float(in_height - filter_height + 1) / float(strides[1]))

out_width = ceil(float(in_width - filter_width + 1) / float(strides[2]))
因此，我們可以設定 padding 策略。在 tf.keras.layers.Conv2D 中，當我們將 padding 參數設為 same 時，會將周圍缺少的部分使用 0 補齊，使得輸出的矩陣大小和輸入一致。

『陸』 神經網路：卷積神經網路（CNN）

神經網路 最早是由心理學家和神經學家提出的，旨在尋求開發和測試神經的計算模擬。

粗略地說， 神經網路 是一組連接的 輸入/輸出單元 ，其中每個連接都與一個 權 相關聯。在學習階段，通過調整權值，使得神經網路的預測准確性逐步提高。由於單元之間的連接，神經網路學習又稱 連接者學習。

神經網路是以模擬人腦神經元的數學模型為基礎而建立的，它由一系列神經元組成，單元之間彼此連接。從信息處理角度看，神經元可以看作是一個多輸入單輸出的信息處理單元，根據神經元的特性和功能，可以把神經元抽象成一個簡單的數學模型。

神經網路有三個要素： 拓撲結構、連接方式、學習規則

神經網路的拓撲結構 ：神經網路的單元通常按照層次排列，根據網路的層次數，可以將神經網路分為單層神經網路、兩層神經網路、三層神經網路等。結構簡單的神經網路，在學習時收斂的速度快，但准確度低。

神經網路的層數和每層的單元數由問題的復雜程度而定。問題越復雜，神經網路的層數就越多。例如，兩層神經網路常用來解決線性問題，而多層網路就可以解決多元非線性問題

神經網路的連接 ：包括層次之間的連接和每一層內部的連接，連接的強度用權來表示。

根據層次之間的連接方式，分為：

1）前饋式網路：連接是單向的，上層單元的輸出是下層單元的輸入，如反向傳播網路，Kohonen網路

2）反饋式網路：除了單項的連接外，還把最後一層單元的輸出作為第一層單元的輸入，如Hopfield網路

根據連接的范圍，分為：

1）全連接神經網路：每個單元和相鄰層上的所有單元相連

2）局部連接網路：每個單元只和相鄰層上的部分單元相連

神經網路的學習

根據學習方法分：

感知器：有監督的學習方法，訓練樣本的類別是已知的，並在學習的過程中指導模型的訓練

認知器：無監督的學習方法，訓練樣本類別未知，各單元通過競爭學習。

根據學習時間分：

離線網路：學習過程和使用過程是獨立的

在線網路：學習過程和使用過程是同時進行的

根據學習規則分：

相關學習網路：根據連接間的激活水平改變權系數

糾錯學習網路：根據輸出單元的外部反饋改變權系數

自組織學習網路：對輸入進行自適應地學習

摘自《數學之美》對人工神經網路的通俗理解：

神經網路種類很多，常用的有如下四種：

1）Hopfield網路，典型的反饋網路，結構單層，有相同的單元組成

2）反向傳播網路，前饋網路，結構多層，採用最小均方差的糾錯學習規則，常用於語言識別和分類等問題

3）Kohonen網路：典型的自組織網路，由輸入層和輸出層構成，全連接

4）ART網路：自組織網路

深度神經網路：

Convolutional Neural Networks(CNN)卷積神經網路

Recurrent neural Network(RNN)循環神經網路

Deep Belief Networks(DBN)深度信念網路

深度學習是指多層神經網路上運用各種機器學習演算法解決圖像，文本等各種問題的演算法集合。深度學習從大類上可以歸入神經網路，不過在具體實現上有許多變化。

深度學習的核心是特徵學習，旨在通過分層網路獲取分層次的特徵信息，從而解決以往需要人工設計特徵的重要難題。

Machine Learning vs. Deep Learning 

神經網路（主要是感知器）經常用於 分類

神經網路的分類知識體現在網路連接上，被隱式地存儲在連接的權值中。

神經網路的學習就是通過迭代演算法，對權值逐步修改的優化過程，學習的目標就是通過改變權值使訓練集的樣本都能被正確分類。

神經網路特別適用於下列情況的分類問題：

1) 數據量比較小，缺少足夠的樣本建立模型

2) 數據的結構難以用傳統的統計方法來描述

3) 分類模型難以表示為傳統的統計模型

缺點：

1) 需要很長的訓練時間，因而對於有足夠長訓練時間的應用更合適。

2) 需要大量的參數，這些通常主要靠經驗確定，如網路拓撲或「結構」。

3)  可解釋性差 。該特點使得神經網路在數據挖掘的初期並不看好。

優點：

1) 分類的准確度高

2)並行分布處理能力強

3)分布存儲及學習能力高

4)對噪音數據有很強的魯棒性和容錯能力

最流行的基於神經網路的分類演算法是80年代提出的 後向傳播演算法 。後向傳播演算法在多路前饋神經網路上學習。 

定義網路拓撲

在開始訓練之前，用戶必須說明輸入層的單元數、隱藏層數（如果多於一層）、每一隱藏層的單元數和輸出層的單元數，以確定網路拓撲。

對訓練樣本中每個屬性的值進行規格化將有助於加快學習過程。通常，對輸入值規格化，使得它們落入0.0和1.0之間。

離散值屬性可以重新編碼，使得每個域值一個輸入單元。例如，如果屬性A的定義域為(a0,a1,a2)，則可以分配三個輸入單元表示A。即，我們可以用I0 ,I1 ,I2作為輸入單元。每個單元初始化為0。如果A = a0，則I0置為1；如果A = a1，I1置1；如此下去。

一個輸出單元可以用來表示兩個類（值1代表一個類，而值0代表另一個）。如果多於兩個類，則每個類使用一個輸出單元。

隱藏層單元數設多少個「最好」 ，沒有明確的規則。

網路設計是一個實驗過程，並可能影響准確性。權的初值也可能影響准確性。如果某個經過訓練的網路的准確率太低，則通常需要採用不同的網路拓撲或使用不同的初始權值，重復進行訓練。

後向傳播演算法學習過程：

迭代地處理一組訓練樣本，將每個樣本的網路預測與實際的類標號比較。

每次迭代後，修改權值，使得網路預測和實際類之間的均方差最小。

這種修改「後向」進行。即，由輸出層，經由每個隱藏層，到第一個隱藏層（因此稱作後向傳播）。盡管不能保證，一般地，權將最終收斂，學習過程停止。

演算法終止條件：訓練集中被正確分類的樣本達到一定的比例，或者權系數趨近穩定。

後向傳播演算法分為如下幾步：

1) 初始化權

網路的權通常被初始化為很小的隨機數（例如，范圍從-1.0到1.0，或從-0.5到0.5）。

每個單元都設有一個偏置（bias），偏置也被初始化為小隨機數。

2) 向前傳播輸入

對於每一個樣本X，重復下面兩步：

向前傳播輸入，向後傳播誤差

計算各層每個單元的輸入和輸出。輸入層：輸出=輸入=樣本X的屬性；即，對於單元j，Oj = Ij = Xj。隱藏層和輸出層：輸入=前一層的輸出的線性組合,即，對於單元j， Ij =wij Oi + θj，輸出=

3) 向後傳播誤差

計算各層每個單元的誤差。

輸出層單元j，誤差：

Oj是單元j的實際輸出，而Tj是j的真正輸出。

隱藏層單元j，誤差：

wjk是由j到下一層中單元k的連接的權，Errk是單元k的誤差

更新 權 和 偏差 ，以反映傳播的誤差。

權由下式更新：

 其中，△wij是權wij的改變。l是學習率，通常取0和1之間的值。

 偏置由下式更新：

  其中，△θj是偏置θj的改變。

Example

人類視覺原理：

深度學習的許多研究成果，離不開對大腦認知原理的研究，尤其是視覺原理的研究。1981 年的諾貝爾醫學獎，頒發給了 David Hubel（出生於加拿大的美國神經生物學家） 和Torsten Wiesel，以及Roger Sperry。前兩位的主要貢獻，是「發現了視覺系統的信息處理」， 可視皮層是分級的 。

人類的視覺原理如下：從原始信號攝入開始（瞳孔攝入像素Pixels），接著做初步處理（大腦皮層某些細胞發現邊緣和方向），然後抽象（大腦判定，眼前的物體的形狀，是圓形的），然後進一步抽象（大腦進一步判定該物體是只氣球）。

對於不同的物體，人類視覺也是通過這樣逐層分級，來進行認知的：

在最底層特徵基本上是類似的，就是各種邊緣，越往上，越能提取出此類物體的一些特徵（輪子、眼睛、軀乾等），到最上層，不同的高級特徵最終組合成相應的圖像，從而能夠讓人類准確的區分不同的物體。

可以很自然的想到：可以不可以模仿人類大腦的這個特點，構造多層的神經網路，較低層的識別初級的圖像特徵，若干底層特徵組成更上一層特徵，最終通過多個層級的組合，最終在頂層做出分類呢？答案是肯定的，這也是許多深度學習演算法（包括CNN）的靈感來源。

卷積神經網路是一種多層神經網路，擅長處理圖像特別是大圖像的相關機器學習問題。卷積網路通過一系列方法，成功將數據量龐大的圖像識別問題不斷降維，最終使其能夠被訓練。

CNN最早由Yann LeCun提出並應用在手寫字體識別上。LeCun提出的網路稱為LeNet，其網路結構如下：

這是一個最典型的卷積網路，由 卷積層、池化層、全連接層 組成。其中卷積層與池化層配合，組成多個卷積組，逐層提取特徵，最終通過若干個全連接層完成分類。

CNN通過卷積來模擬特徵區分，並且通過卷積的權值共享及池化，來降低網路參數的數量級，最後通過傳統神經網路完成分類等任務。

降低參數量級：如果使用傳統神經網路方式，對一張圖片進行分類，那麼，把圖片的每個像素都連接到隱藏層節點上，對於一張1000x1000像素的圖片，如果有1M隱藏層單元，一共有10^12個參數，這顯然是不能接受的。

但是在CNN里，可以大大減少參數個數，基於以下兩個假設：

1）最底層特徵都是局部性的，也就是說，用10x10這樣大小的過濾器就能表示邊緣等底層特徵

2）圖像上不同小片段，以及不同圖像上的小片段的特徵是類似的，也就是說，能用同樣的一組分類器來描述各種各樣不同的圖像

基於以上兩個假設，就能把第一層網路結構簡化

用100個10x10的小過濾器，就能夠描述整幅圖片上的底層特徵。

卷積運算的定義如下圖所示：

如上圖所示，一個5x5的圖像，用一個3x3的 卷積核 ：

   101

   010

   101

來對圖像進行卷積操作（可以理解為有一個滑動窗口，把卷積核與對應的圖像像素做乘積然後求和），得到了3x3的卷積結果。

這個過程可以理解為使用一個過濾器（卷積核）來過濾圖像的各個小區域，從而得到這些小區域的特徵值。在實際訓練過程中， 卷積核的值是在學習過程中學到的。

在具體應用中，往往有多個卷積核，可以認為， 每個卷積核代表了一種圖像模式 ，如果某個圖像塊與此卷積核卷積出的值大，則認為此圖像塊十分接近於此卷積核。如果設計了6個卷積核，可以理解為這個圖像上有6種底層紋理模式，也就是用6種基礎模式就能描繪出一副圖像。以下就是24種不同的卷積核的示例：

池化 的過程如下圖所示：

可以看到，原始圖片是20x20的，對其進行采樣，采樣窗口為10x10，最終將其采樣成為一個2x2大小的特徵圖。

之所以這么做，是因為即使做完了卷積，圖像仍然很大（因為卷積核比較小），所以為了降低數據維度，就進行采樣。

即使減少了許多數據，特徵的統計屬性仍能夠描述圖像，而且由於降低了數據維度，有效地避免了過擬合。

在實際應用中，分為最大值采樣（Max-Pooling）與平均值采樣（Mean-Pooling）。

LeNet網路結構：

注意，上圖中S2與C3的連接方式並不是全連接，而是部分連接。最後，通過全連接層C5、F6得到10個輸出，對應10個數字的概率。

卷積神經網路的訓練過程與傳統神經網路類似，也是參照了反向傳播演算法

第一階段，向前傳播階段：

a）從樣本集中取一個樣本(X,Yp)，將X輸入網路；

b）計算相應的實際輸出Op

第二階段，向後傳播階段

a）計算實際輸出Op與相應的理想輸出Yp的差；

b）按極小化誤差的方法反向傳播調整權矩陣。

『柒』 CNN卷積神經網路結構有哪些特點

局部連接，權值共享，池化操作，多層次結構。
1、局部連接使網路可以提取數據的局部特徵；

2、權值共享大大降低了網路的訓練難度，一個Filter只提取一個特徵，在整個圖片(或者語音/文本) 中進行卷積；

3、池化操作與多層次結構一起，實現了數據的降維，將低層次的局部特徵組合成為較高層次的特徵，從而對整個圖片進行表示。

『捌』 人工智慧CNN卷積神經網路如何共享權值

首先權值共享就是濾波器共享，濾波器的參數是固定的，即是用相同的濾波器去掃一遍圖像，提取一次特徵特徵，得到feature map。在卷積網路中，學好了一個濾波器，就相當於掌握了一種特徵，這個濾波器在圖像中滑動，進行特徵提取，然後所有進行這樣操作的區域都會被採集到這種特徵，就好比上面的水平線。

『玖』 如何理解人工智慧神經網路中的權值共享問題

權值(權重)共享這個詞是由LeNet5模型提出來的。以CNN為例，在對一張圖偏進行卷積的過程中，使用的是同一個卷積核的參數。比如一個3×3×1的卷積核，這個卷積核內9個的參數被整張圖共享，而不會因為圖像內位置的不同而改變卷積核內的權系數。說的再直白一些，就是用一個卷積核不改變其內權系數的情況下卷積處理整張圖片(當然CNN中每一層不會只有一個卷積核的，這樣說只是為了方便解釋而已)。

『拾』 CNN網路簡介

卷積神經網路簡介（Convolutional Neural Networks，簡稱CNN）

卷積神經網路是近年發展起來，並引起廣泛重視的一種高效識別方法。20世紀60年代，Hubel和Wiesel在研究貓腦皮層中用於局部敏感和方向選擇的神經元時發現其獨特的網路結構可以有效地降低反饋神經網路的復雜性，繼而提出了卷積神經網路（Convolutional

Neural

Networks-簡稱CNN）。現在，CNN已經成為眾多科學領域的研究熱點之一，特別是在模式分類領域，由於該網路避免了對圖像的復雜前期預處理，可以直接輸入原始圖像，因而得到了更為廣泛的應用。

K.Fukushima在1980年提出的新識別機是卷積神經網路的第一個實現網路。隨後，更多的科研工作者對該網路進行了改進。其中，具有代表性的研究成果是Alexander和Taylor提出的「改進認知機」，該方法綜合了各種改進方法的優點並避免了耗時的誤差反向傳播。

一般地，CNN的基本結構包括兩層，其一為特徵提取層，每個神經元的輸入與前一層的局部接受域相連，並提取該局部的特徵。一旦該局部特徵被提取後，它與其它特徵間的位置關系也隨之確定下來；其二是特徵映射層，網路的每個計算層由多個特徵映射組成，每個特徵映射是一個平面，平面上所有神經元的權值相等。特徵映射結構採用影響函數核小的sigmoid函數作為卷積網路的激活函數，使得特徵映射具有位移不變性。此外，由於一個映射面上的神經元共享權值，因而減少了網路自由參數的個數。卷積神經網路中的每一個卷積層都緊跟著一個用來求局部平均與二次提取的計算層，這種特有的兩次特徵提取結構減小了特徵解析度。

CNN主要用來識別位移、縮放及其他形式扭曲不變性的二維圖形。由於CNN的特徵檢測層通過訓練數據進行學習，所以在使用CNN時，避免了顯示的特徵抽取，而隱式地從訓練數據中進行學習；再者由於同一特徵映射面上的神經元權值相同，所以網路可以並行學習，這也是卷積網路相對於神經元彼此相連網路的一大優勢。卷積神經網路以其局部權值共享的特殊結構在語音識別和圖像處理方面有著獨特的優越性，其布局更接近於實際的生物神經網路，權值共享降低了網路的復雜性，特別是多維輸入向量的圖像可以直接輸入網路這一特點避免了特徵提取和分類過程中數據重建的復雜度。

1. 神經網路

首先介紹神經網路，這一步的詳細可以參考資源1。簡要介紹下。神經網路的每個單元如下：

其對應的公式如下：

其中，該單元也可以被稱作是Logistic回歸模型。當將多個單元組合起來並具有分層結構時，就形成了神經網路模型。下圖展示了一個具有一個隱含層的神經網路。

其對應的公式如下：

比較類似的，可以拓展到有2,3,4,5，…個隱含層。

神經網路的訓練方法也同Logistic類似，不過由於其多層性，還需要利用鏈式求導法則對隱含層的節點進行求導，即梯度下降+鏈式求導法則，專業名稱為反向傳播。關於訓練演算法，本文暫不涉及。

2 卷積神經網路

在圖像處理中，往往把圖像表示為像素的向量，比如一個1000×1000的圖像，可以表示為一個1000000的向量。在上一節中提到的神經網路中，如果隱含層數目與輸入層一樣，即也是1000000時，那麼輸入層到隱含層的參數數據為1000000×1000000=10^12，這樣就太多了，基本沒法訓練。所以圖像處理要想練成神經網路大法，必先減少參數加快速度。就跟辟邪劍譜似的，普通人練得很挫，一旦自宮後內力變強劍法變快，就變的很牛了。

2.1 局部感知

卷積神經網路有兩種神器可以降低參數數目，第一種神器叫做局部感知野。一般認為人對外界的認知是從局部到全局的，而圖像的空間聯系也是局部的像素聯系較為緊密，而距離較遠的像素相關性則較弱。因而，每個神經元其實沒有必要對全局圖像進行感知，只需要對局部進行感知，然後在更高層將局部的信息綜合起來就得到了全局的信息。網路部分連通的思想，也是受啟發於生物學裡面的視覺系統結構。視覺皮層的神經元就是局部接受信息的（即這些神經元只響應某些特定區域的刺激）。如下圖所示：左圖為全連接，右圖為局部連接。

在上右圖中，假如每個神經元只和10×10個像素值相連，那麼權值數據為1000000×100個參數，減少為原來的千分之一。而那10×10個像素值對應的10×10個參數，其實就相當於卷積操作。

2.2 參數共享

但其實這樣的話參數仍然過多，那麼就啟動第二級神器，即權值共享。在上面的局部連接中，每個神經元都對應100個參數，一共1000000個神經元，如果這1000000個神經元的100個參數都是相等的，那麼參數數目就變為100了。

怎麼理解權值共享呢？我們可以這100個參數（也就是卷積操作）看成是提取特徵的方式，該方式與位置無關。這其中隱含的原理則是：圖像的一部分的統計特性與其他部分是一樣的。這也意味著我們在這一部分學習的特徵也能用在另一部分上，所以對於這個圖像上的所有位置，我們都能使用同樣的學習特徵。

更直觀一些，當從一個大尺寸圖像中隨機選取一小塊，比如說 8×8 作為樣本，並且從這個小塊樣本中學習到了一些特徵，這時我們可以把從這個

8×8 樣本中學習到的特徵作為探測器，應用到這個圖像的任意地方中去。特別是，我們可以用從 8×8

樣本中所學習到的特徵跟原本的大尺寸圖像作卷積，從而對這個大尺寸圖像上的任一位置獲得一個不同特徵的激活值。

如下圖所示，展示了一個33的卷積核在55的圖像上做卷積的過程。每個卷積都是一種特徵提取方式，就像一個篩子，將圖像中符合條件（激活值越大越符合條件）的部分篩選出來。

2.3 多卷積核

上面所述只有100個參數時，表明只有1個100*100的卷積核，顯然，特徵提取是不充分的，我們可以添加多個卷積核，比如32個卷積核，可以學習32種特徵。在有多個卷積核時，如下圖所示：

上圖右，不同顏色表明不同的卷積核。每個卷積核都會將圖像生成為另一幅圖像。比如兩個卷積核就可以將生成兩幅圖像，這兩幅圖像可以看做是一張圖像的不同的通道。如下圖所示，下圖有個小錯誤，即將w1改為w0，w2改為w1即可。下文中仍以w1和w2稱呼它們。

下圖展示了在四個通道上的卷積操作，有兩個卷積核，生成兩個通道。其中需要注意的是，四個通道上每個通道對應一個卷積核，先將w2忽略，只看w1，那麼在w1的某位置（i,j）處的值，是由四個通道上（i,j）處的卷積結果相加然後再取激活函數值得到的。

所以，在上圖由4個通道卷積得到2個通道的過程中，參數的數目為4×2×2×2個，其中4表示4個通道，第一個2表示生成2個通道，最後的2×2表示卷積核大小。

2.4 Down-pooling

在通過卷積獲得了特徵 (features)

之後，下一步我們希望利用這些特徵去做分類。理論上講，人們可以用所有提取得到的特徵去訓練分類器，例如 softmax

分類器，但這樣做面臨計算量的挑戰。例如：對於一個 96X96

像素的圖像，假設我們已經學習得到了400個定義在8X8輸入上的特徵，每一個特徵和圖像卷積都會得到一個 (96 − 8 + 1) × (96 − 8+ 1) = 7921 維的卷積特徵，由於有 400 個特徵，所以每個樣例 (example) 都會得到一個 892 × 400 =3,168,400 維的卷積特徵向量。學習一個擁有超過 3 百萬特徵輸入的分類器十分不便，並且容易出現過擬合 (over-fitting)。

為了解決這個問題，首先回憶一下，我們之所以決定使用卷積後的特徵是因為圖像具有一種「靜態性」的屬性，這也就意味著在一個圖像區域有用的特徵極有可能在另一個區域同樣適用。因此，為了描述大的圖像，一個很自然的想法就是對不同位置的特徵進行聚合統計，例如，人們可以計算圖像一個區域上的某個特定特徵的平均值(或最大值)。這些概要統計特徵不僅具有低得多的維度 (相比使用所有提取得到的特徵)，同時還會改善結果(不容易過擬合)。這種聚合的操作就叫做池(pooling)，有時也稱為平均池化或者最大池化 (取決於計算池化的方法)。

至此，卷積神經網路的基本結構和原理已經闡述完畢。

2.5 多層卷積

在實際應用中，往往使用多層卷積，然後再使用全連接層進行訓練，多層卷積的目的是一層卷積學到的特徵往往是局部的，層數越高，學到的特徵就越全局化。

3 ImageNet-2010網路結構

ImageNetLSVRC是一個圖片分類的比賽，其訓練集包括127W+張圖片，驗證集有5W張圖片，測試集有15W張圖片。本文截取2010年AlexKrizhevsky的CNN結構進行說明，該結構在2010年取得冠軍，top-5錯誤率為15.3%。值得一提的是，在今年的ImageNetLSVRC比賽中，取得冠軍的GoogNet已經達到了top-5錯誤率6.67%。可見，深度學習的提升空間還很巨大。

下圖即為Alex的CNN結構圖。需要注意的是，該模型採用了2-GPU並行結構，即第1、2、4、5卷積層都是將模型參數分為2部分進行訓練的。在這里，更進一步，並行結構分為數據並行與模型並行。數據並行是指在不同的GPU上，模型結構相同，但將訓練數據進行切分，分別訓練得到不同的模型，然後再將模型進行融合。而模型並行則是，將若干層的模型參數進行切分，不同的GPU上使用相同的數據進行訓練，得到的結果直接連接作為下一層的輸入。

上圖模型的基本參數為：

輸入：224×224大小的圖片，3通道

第一層卷積：5×5大小的卷積核96個，每個GPU上48個。

第一層max-pooling：2×2的核。

第二層卷積：3×3卷積核256個，每個GPU上128個。

第二層max-pooling：2×2的核。

第三層卷積：與上一層是全連接，3*3的卷積核384個。分到兩個GPU上個192個。

第四層卷積：3×3的卷積核384個，兩個GPU各192個。該層與上一層連接沒有經過pooling層。

第五層卷積：3×3的卷積核256個，兩個GPU上個128個。

第五層max-pooling：2×2的核。

第一層全連接：4096維，將第五層max-pooling的輸出連接成為一個一維向量，作為該層的輸入。

第二層全連接：4096維

Softmax層：輸出為1000，輸出的每一維都是圖片屬於該類別的概率。

4 DeepID網路結構

DeepID網路結構是香港中文大學的Sun

Yi開發出來用來學習人臉特徵的卷積神經網路。每張輸入的人臉被表示為160維的向量，學習到的向量經過其他模型進行分類，在人臉驗證試驗上得到了97.45%的正確率，更進一步的，原作者改進了CNN，又得到了99.15%的正確率。

如下圖所示，該結構與ImageNet的具體參數類似，所以只解釋一下不同的部分吧。

上圖中的結構，在最後只有一層全連接層，然後就是softmax層了。論文中就是以該全連接層作為圖像的表示。在全連接層，以第四層卷積和第三層max-pooling的輸出作為全連接層的輸入，這樣可以學習到局部的和全局的特徵。