卷積神經網路權重共享怎麼實現

A. 卷積神經網路

一般由卷積層，匯聚層，和全連接層交叉堆疊而成，使用反向傳播演算法進行訓練（反向傳播，再重新看一下）
卷積神經網路有三個結構上的特性：局部連接，權重共享以及子采樣

濾波器filter 卷積核convolution kernel
局部連接，其實就是根據時間，權重遞減 最後為0 參數就傳播不到遠處了

局部連接 乘以 濾波器 得特徵映射

互相關，是一個衡量兩個序列相關性的函數，
互相關和卷積的區別在於 卷積核僅僅是否進行翻轉，因此互相關也可以稱為 不翻轉卷積
使用卷積 是為了進行特徵抽取，卷積核 是否進行翻轉和其特徵抽取的能力無關。
當卷積核是可以學習的參數，卷積和互相關是等價的，因此，其實兩者差不多。

Tips：P是代表特徵映射

B. 卷積層在神經網路中如何運算

卷積神經網路（Convolutional Neural Networks, CNN）的核心是進行卷積運算操作。在實際應用中往往採用多層網路結構，因此又被稱為深度卷積神經網路。本文將從單個卷積的計算出發，帶大家掌握卷積層在神經網路中的運算方法。

2.1 單個卷積的計算

要想了解卷積層在神經網路中的計算過程，我們首先需要了解單個「卷積」是如何運作的。

想必大家在學習CNN的過程中都見過下圖（ 出處在此 ，這上面有各種各樣的卷積gif圖）：

input_shape=(5,5)，kernelsize=(3,3)，padding=『same』，stride=1，output_shape=(5,5)

在此圖中：

在此次計算中：

Ps： 在實際應用中，每一個輸出的特徵圖還會配備一個偏置s，在上圖中無表示。

2.2 卷積層在神經網路中的運算

了解完單個卷積是如何計算的之後，我們就可以從神經網路的角度來看『卷積層』的運算過程了。下圖展示的是輸入三通圖像（8*8*3）經一層卷積結構，輸出兩通特徵圖（8*8*2）的計算過程：

卷積參數：input_shape=(8,8,3)，kernelsize=(3,3)，padding=『same』，stride=1，output_shape=(8,8,2)

在此圖中：

在此次卷積層的運算中：

首先我們來關注一下輸入和輸出，他倆的尺度都是（8*8），而輸入是3通道，輸出是2通道（深度學習中不管幹啥一定要先看輸入輸出，對一層是這樣，對整個模型也是這樣）。

其次就准備進入我們最熟悉的卷積核計算了，可是在此之前我們得知道，這個運算過程中到底發生了幾次卷積核計算呢？有的朋友可能要說，卷積的一大特性就是『權值共享』，有幾通輸出就有幾個卷積核，每個卷積核把輸入特徵圖從頭掃到尾。然而這個其實是不對的！

實際上，在卷積核計算數量問題上，應該是「 有幾通道的輸出就有幾套卷積核，每套內的卷積核數量與輸入通道數相等 」，就像我在上圖中所畫的：

至此，這一個卷積層的運算就全部完成了。

2.3 「可訓練參數」驗證

畢竟空口無憑，下面我來通過「 可訓練參數 」的數量，來為大家驗證一下卷積層是不是按我說的這么運算的。大家應該知道，一個卷積層內的「可訓練參數」，其實就是指的卷積核里的那些值，以及要加的偏置量，那麼如果按照前面描述的計算方法來看，一個卷積層內的「可訓練參數有多少呢」？我們可知：

由此可得到：

那麼按理說可訓練參數量應為：

讓我們用keras的summary()來驗證一下：

很棒！

記住，普通卷積層的可訓練參數量為：

Ps： 還有一個衡量模型大小、復雜度的量叫做「理論計算量FLOPs」（floating point operations）。它通常只考慮Conv、FC等參數層的乘、加操作的數量，並且「純加」操作也會被忽略（例如bias）。卷積層運算中的FLOPs計算公式為：

Ps： 這里還要為大家明確一個「感受野」的概念，簡單來講就是卷積神經網路中的某一層特徵圖上的一個點，對應到原圖上可以關聯到多少個點，我們用一張圖來解釋一下：

上圖展示的是一個3層一維卷積，kernel_size=3，我們可以看到：頂層左一的像素與底層左起7個像素值有關，這時候就代表它的感受野有7。我們可以顯而易見的得出以下兩個結論：

這個感受野在後續的卷積的拆分講解中還要用到。

C. 如何理解卷積神經網路中的權值共享

所謂的權值共享就是說，給一張輸入圖片，用一個filter去掃這張圖，filter裡面的數就叫權重，這張圖每個位置是被同樣的filter掃的，所以權重是一樣的，也就是共享。 這么說可能還不太明白，如果你能理解什麼叫全連接神經網路的話，那麼從一個盡量減少參數個數的角度去理解就可以了。 對於一張輸入圖片，大小為W*H，如果使用全連接網路，生成一張X*Y的feature map，需要W*H*X*Y個參數，如果原圖長寬是10^2級別的，而且XY大小和WH差不多的話，那麼這樣一層網路需要的參數個數是10^8~10^12級別。 這么多參數肯定是不行的，那麼我們就想辦法減少參數的個數對於輸出層feature map上的每一個像素，他與原圖片的每一個像素都有連接，每一個鏈接都需要一個參數。但注意到圖像一般都是局部相關的，那麼如果輸出層的每一個像素只和輸入層圖片的一個局部相連，那麼需要參數的個數就會大大減少。假設輸出層每個像素只與輸入圖片上F*F的一個小方塊有連接，也就是說輸出層的這個像素值，只是通過原圖的這個F*F的小方形中的像素值計算而來，那麼對於輸出層的每個像素，需要的參數個數就從原來的W*H減小到了F*F。如果對於原圖片的每一個F*F的方框都需要計算這樣一個輸出值，那麼需要的參數只是W*H*F*F，如果原圖長寬是10^2級別，而F在10以內的話，那麼需要的參數的個數只有10^5~10^6級別，相比於原來的10^8~10^12小了很多很多。

D. 卷積神經網路

關於花書中卷積網路的筆記記錄於 https://www.jianshu.com/p/5a3c90ea0807 。

卷積神經網路（Convolutional Neural Network，CNN或ConvNet）是一種具有 局部連接、權重共享 等特性的深層前饋神經網路。卷積神經網路是受生物學上感受野的機制而提出。 感受野（Receptive Field） 主要是指聽覺、視覺等神經系統中一些神經元的特性，即 神經元只接受其所支配的刺激區域內的信號 。

卷積神經網路最早是主要用來處理圖像信息。如果用全連接前饋網路來處理圖像時，會存在以下兩個問題：

目前的卷積神經網路一般是由卷積層、匯聚層和全連接層交叉堆疊而成的前饋神經網路，使用反向傳播演算法進行訓練。 卷積神經網路有三個結構上的特性：局部連接，權重共享以及匯聚 。這些特性使卷積神經網路具有一定程度上的平移、縮放和旋轉不變性。

卷積（Convolution）是分析數學中一種重要的運算。在信號處理或圖像處理中，經常使用一維或二維卷積。

一維卷積經常用在信號處理中，用於計算信號的延遲累積。假設一個信號發生器每個時刻t 產生一個信號 ，其信息的衰減率為 ，即在 個時間步長後，信息為原來的 倍。假設 ，那麼在時刻t收到的信號 為當前時刻產生的信息和以前時刻延遲信息的疊加：

我們把 稱為 濾波器（Filter）或卷積核（Convolution Kernel） 。假設濾波器長度為 ，它和一個信號序列 的卷積為：

信號序列 和濾波器 的卷積定義為：

一般情況下濾波器的長度 遠小於信號序列長度 ，下圖給出一個一維卷積示例，濾波器為 ：

二維卷積經常用在圖像處理中。因為圖像為一個兩維結構，所以需要將一維卷積進行擴展。給定一個圖像 和濾波器 ，其卷積為：

下圖給出一個二維卷積示例：

注意這里的卷積運算並不是在圖像中框定卷積核大小的方框並將各像素值與卷積核各個元素相乘並加和，而是先把卷積核旋轉180度，再做上述運算。

在圖像處理中，卷積經常作為特徵提取的有效方法。一幅圖像在經過卷積操作後得到結果稱為 特徵映射（Feature Map） 。

最上面的濾波器是常用的高斯濾波器，可以用來對圖像進行 平滑去噪 ；中間和最下面的過濾器可以用來 提取邊緣特徵 。

在機器學習和圖像處理領域，卷積的主要功能是在一個圖像（或某種特徵）上滑動一個卷積核（即濾波器），通過卷積操作得到一組新的特徵。在計算卷積的過程中，需要進行卷積核翻轉（即上文提到的旋轉180度）。 在具體實現上，一般會以互相關操作來代替卷積，從而會減少一些不必要的操作或開銷。

互相關（Cross-Correlation）是一個衡量兩個序列相關性的函數，通常是用滑動窗口的點積計算來實現 。給定一個圖像 和卷積核 ，它們的互相關為：

互相關和卷積的區別僅在於卷積核是否進行翻轉。因此互相關也可以稱為不翻轉卷積 。當卷積核是可學習的參數時，卷積和互相關是等價的。因此，為了實現上（或描述上）的方便起見，我們用互相關來代替卷積。事實上，很多深度學習工具中卷積操作其實都是互相關操作。

在卷積的標準定義基礎上，還可以引入濾波器的 滑動步長 和 零填充 來增加卷積多樣性，更靈活地進行特徵抽取。

濾波器的步長（Stride）是指濾波器在滑動時的時間間隔。

零填充（Zero Padding）是在輸入向量兩端進行補零。

假設卷積層的輸入神經元個數為 ，卷積大小為 ，步長為 ，神經元兩端各填補 個零，那麼該卷積層的神經元數量為 。

一般常用的卷積有以下三類：

因為卷積網路的訓練也是基於反向傳播演算法，因此我們重點關注卷積的導數性質：

假設 。

， ， 。函數 為一個標量函數。

則由 有：

可以看出， 關於 的偏導數為 和 的卷積 ：

同理得到：

當 或 時， ，即相當於對 進行 的零填充。從而 關於 的偏導數為 和 的寬卷積 。

用互相關的「卷積」表示，即為（注意 寬卷積運算具有交換性性質 ）：

在全連接前饋神經網路中，如果第 層有 個神經元，第 層有 個神經元，連接邊有 個，也就是權重矩陣有 個參數。當 和 都很大時，權重矩陣的參數非常多，訓練的效率會非常低。

如果採用卷積來代替全連接，第 層的凈輸入 為第 層活性值 和濾波器 的卷積，即：

根據卷積的定義，卷積層有兩個很重要的性質：

由於局部連接和權重共享，卷積層的參數只有一個m維的權重 和1維的偏置 ，共 個參數。參數個數和神經元的數量無關。此外，第 層的神經元個數不是任意選擇的，而是滿足 。

卷積層的作用是提取一個局部區域的特徵，不同的卷積核相當於不同的特徵提取器。

特徵映射（Feature Map）為一幅圖像（或其它特徵映射）在經過卷積提取到的特徵，每個特徵映射可以作為一類抽取的圖像特徵。 為了提高卷積網路的表示能力，可以在每一層使用多個不同的特徵映射，以更好地表示圖像的特徵。

在輸入層，特徵映射就是圖像本身。如果是灰度圖像，就是有一個特徵映射，深度 ；如果是彩色圖像，分別有RGB三個顏色通道的特徵映射，深度 。

不失一般性，假設一個卷積層的結構如下：

為了計算輸出特徵映射 ，用卷積核 分別對輸入特徵映射 進行卷積，然後將卷積結果相加，並加上一個標量偏置 得到卷積層的凈輸入 再經過非線性激活函數後得到輸出特徵映射 。

在輸入為 ，輸出為 的卷積層中，每個輸出特徵映射都需要 個濾波器以及一個偏置。假設每個濾波器的大小為 ，那麼共需要 個參數。

匯聚層（Pooling Layer）也叫子采樣層（Subsampling Layer），其作用是進行特徵選擇，降低特徵數量，並從而減少參數數量。

常用的匯聚函數有兩種：

其中 為區域 內每個神經元的激活值。

可以看出，匯聚層不但可以有效地減少神經元的數量，還可以使得網路對一些小的局部形態改變保持不變性，並擁有更大的感受野。

典型的匯聚層是將每個特徵映射劃分為 大小的不重疊區域，然後使用最大匯聚的方式進行下采樣。匯聚層也可以看做是一個特殊的卷積層，卷積核大小為 ，步長為 ，卷積核為 函數或 函數。過大的采樣區域會急劇減少神經元的數量，會造成過多的信息損失。

一個典型的卷積網路是由卷積層、匯聚層、全連接層交叉堆疊而成。

目前常用卷積網路結構如圖所示，一個卷積塊為連續 個卷積層和 個匯聚層（ 通常設置為 ， 為 或 ）。一個卷積網路中可以堆疊 個連續的卷積塊，然後在後面接著 個全連接層（ 的取值區間比較大，比如 或者更大； 一般為 ）。

目前，整個網路結構 趨向於使用更小的卷積核（比如 和 ）以及更深的結構（比如層數大於50） 。此外，由於卷積的操作性越來越靈活（比如不同的步長），匯聚層的作用變得也越來越小，因此目前比較流行的卷積網路中， 匯聚層的比例也逐漸降低，趨向於全卷積網路 。

在全連接前饋神經網路中，梯度主要通過每一層的誤差項 進行反向傳播，並進一步計算每層參數的梯度。在卷積神經網路中，主要有兩種不同功能的神經層：卷積層和匯聚層。而參數為卷積核以及偏置，因此 只需要計算卷積層中參數的梯度。

不失一般性，第 層為卷積層，第 層的輸入特徵映射為 ，通過卷積計算得到第 層的特徵映射凈輸入 ，第 層的第 個特徵映射凈輸入

由 得：

同理可得，損失函數關於第 層的第 個偏置 的偏導數為：

在卷積網路中，每層參數的梯度依賴其所在層的誤差項 。

卷積層和匯聚層中，誤差項的計算有所不同，因此我們分別計算其誤差項。

第 層的第 個特徵映射的誤差項 的具體推導過程如下：

其中 為第 層使用的激活函數導數， 為上采樣函數（upsampling），與匯聚層中使用的下采樣操作剛好相反。如果下采樣是最大匯聚（max pooling），誤差項 中每個值會直接傳遞到上一層對應區域中的最大值所對應的神經元，該區域中其它神經元的誤差項的都設為0。如果下采樣是平均匯聚（meanpooling），誤差項 中每個值會被平均分配到上一層對應區域中的所有神經元上。

第 層的第 個特徵映射的誤差項 的具體推導過程如下：

其中 為寬卷積。

LeNet-5雖然提出的時間比較早，但是是一個非常成功的神經網路模型。基於LeNet-5 的手寫數字識別系統在90年代被美國很多銀行使用，用來識別支票上面的手寫數字。LeNet-5 的網路結構如圖：

不計輸入層，LeNet-5共有7層，每一層的結構為：

AlexNet是第一個現代深度卷積網路模型，其首次使用了很多現代深度卷積網路的一些技術方法，比如採用了ReLU作為非線性激活函數，使用Dropout防止過擬合，使用數據增強來提高模型准確率等。AlexNet 贏得了2012 年ImageNet 圖像分類競賽的冠軍。

AlexNet的結構如圖，包括5個卷積層、3個全連接層和1個softmax層。因為網路規模超出了當時的單個GPU的內存限制，AlexNet 將網路拆為兩半，分別放在兩個GPU上，GPU間只在某些層（比如第3層）進行通訊。

AlexNet的具體結構如下：

在卷積網路中，如何設置卷積層的卷積核大小是一個十分關鍵的問題。 在Inception網路中，一個卷積層包含多個不同大小的卷積操作，稱為Inception模塊。Inception網路是由有多個inception模塊和少量的匯聚層堆疊而成 。

v1版本的Inception模塊，採用了4組平行的特徵抽取方式，分別為1×1、3× 3、5×5的卷積和3×3的最大匯聚。同時，為了提高計算效率，減少參數數量，Inception模塊在進行3×3、5×5的卷積之前、3×3的最大匯聚之後，進行一次1×1的卷積來減少特徵映射的深度。如果輸入特徵映射之間存在冗餘信息， 1×1的卷積相當於先進行一次特徵抽取 。

E. ENAS：首個權值共享的神經網路搜索方法，千倍加速 | ICML 2018

論文: Efficient Neural Architecture Search via Parameter Sharing

  神經網路結構搜索(NAS)目前在圖像分類的模型結構設計上有很大的成果，但十分耗時，主要花在搜索到的網路(child model)的訓練。論文的主要工作是提出 Efficient Neural Architecture Search (ENAS)，強制所有的child model進行權重共享，避免從零開始訓練，從而達到提高效率的目的。雖然不同的模型使用不同的權重，但從遷移學習和多任務學習的研究結果來看，將當前任務的模型A學習到的參數應用於別的任務的模型B是可行的。從實驗看來，不僅共享參數是可行的，而且能帶來很強的表現，實驗僅用單張1080Ti，相對與NAS有1000x倍加速

  NAS的搜索結果可以看作是大圖中的子圖，可以用單向無環圖(DAG)來表示搜索空間，每個搜索的結構可以認為是圖2的DAG一個子網。ENAS定義的DAG為所有子網的疊加，其中每個節點的每種計算類型都有自己的參數，當特定的計算方法激活時，參數才使用。因此，ENAS的設計允許子網進行參數共享，下面會介紹具體細節

  為了設計循環單元(recurrent cell)，採用 節點的DAG，節點代表計算類型，邊代表信息流向，ENAS的controller也是RNN，主要定義：1) 激活的邊 2) 每個節點的計算類型。在NAS(Zoph 2017)，循環單元的搜索空間在預先定義結構的拓撲結構(二叉樹)上，僅學習每個節點的計算類型，而NAS則同時學習拓撲結構和計算類型，更靈活

  為了創建循環單元，the controller RNN首先採樣 個block的結果，取 ， 為當前單元輸入信息(例如word embedding)， 為前一個time step的隱藏層輸出，具體步驟如下：

  注意到每對節點( )都有獨立的參數 ，根據選擇的索引決定使用哪個參數，因此，ENAS的所有循環單元能同一個共享參數集合。論文的搜索空間包含指數數量的配置，假設有N個節點和4種激活函數，則共有 種配置

  ENAS的controller為100個隱藏單元的LSTM，通過softmax分類器以自回歸(autoregressive fashion)的方式進行選擇的決定，上一個step的輸出作為下一個step的輸入embedding，controller的第一個step則接受空embedding輸入。學習的參數主要有controller LSTM的參數 和子網的共享權重 ，ENAS的訓練分兩個交叉的階段，第一階段在完整的訓練集上進行共享權重 學習，第二階段訓練controller LSTM的參數

  固定controller的策略 ，然後進行 進行隨機梯度下降(SGD)來最小化交叉熵損失函數的期望 ， 為模型 在mini-batch上的交叉熵損失，模型 從 采樣而來

  梯度的計算如公式1， 上從 采樣來的，集合所有模型的梯度進行更新。公式1是梯度的無偏估計，但有一個很高的方差（跟NAS一樣，采樣的模型性能差異），而論文發現，當 時，訓練的效果還行

  固定 然後更新策略參數 ，目標是最大化期望獎勵 ，使用Adam優化器，梯度計算使用Williams的REINFORCE方法，加上指數滑動平均來降低方差， 的計算在獨立的驗證集上進行，整體基本跟Zoph的NAS一樣

  訓練好的ENAS進行新模型構造，首先從訓練的策略 采樣幾個新的結構，對於每個采樣的模型，計算其在驗證集的minibatch上的准確率，取准確率最高的模型進行從零開始的重新訓練，可以對所有采樣的網路進行從零訓練，但是論文的方法准確率差不多，經濟效益更大

  對於創建卷積網路，the controller每個decision block進行兩個決定，這些決定構成卷積網路的一層：

  做 次選擇產生 層的網路，共 種網路，在實驗中，L取12

  NASNet提出設計小的模塊，然後堆疊成完整的網路，主要設計convolutional cell和rection cell

  使用ENAS生成convolutional cell，構建B節點的DAG來代表單元內的計算，其中node 1和node 2代表單元輸入，為完整網路中前兩個單元的輸出，剩餘的 個節點，預測兩個選擇：1) 選擇兩個之前的節點作為當前節點輸入 2) 選擇用於兩個輸入的計算類型，共5種運算元：identity, separable convolution with kernel size 3 × 3 and 5 × 5, and average pooling and max pooling with kernel size 3×3，然後將運算元結果相加。對於 ，搜索過程如下:

  對於rection cell，可以同樣地使用上面的搜索空間生成: 1) 如圖5采樣一個計算圖 2) 將所有計算的stride改為2。這樣rection cell就能將輸入縮小為1/2，controller共預測 blocks
  最後計算下搜索空間的復雜度，對於node i ，troller選擇前 個節點中的兩個，然後選擇五種運算元的兩種，共 種坑的單元。因為兩種單元是獨立的，所以搜索空間的大小最終為 ，對於 ，大約 種網路

  節點的計算做了一點修改，增加highway connections，例如 修改為 ，其中 ， 為elementwise乘法。搜索到的結果如圖6所示，有意思的是：1) 激活方法全部為tanh或ReLU 2) 結構可能為局部最優，隨機替換節點的激活函數都會造成大幅的性能下降 3) 搜索的輸出是6個node的平均，與mixture of contexts(MoC)類似

  單1080Ti訓練了10小時，Penn Treebank上的結果如表1所示，PPL越低則性能越好，可以看到ENAS不準復雜度低，參數量也很少

  表2的第一塊為最好的分類網路DenseNet的結構，第二塊為ENAS設計整個卷積網路的結果(感覺這里不應有micro search space)，第三塊為設計單元的結果

  全網路搜索的最優結構如圖7所示，達到4.23%錯誤率，比NAS的效果要好，大概單卡搜索7小時，相對NAS有50000x倍加速

  單元搜索的結構如圖8所示，單卡搜索11.5小時， ，錯誤率為3.54%，加上CutOut增強後比NASNet要好。論文發現ENAS搜索的結構都是局部最優的，修改都會帶來性能的降低，而ENAS不採樣多個網路進行訓練，這個給NAS帶來很大性能的提升

 

  NAS是自動設計網路結構的重要方法，但需要耗費巨大的資源，導致不能廣泛地應用，而論文提出的 Efficient Neural Architecture Search (ENAS)，在搜索時對子網的參數進行共享，相對於NAS有超過1000x倍加速，單卡搜索不到半天，而且性能並沒有降低，十分值得參考

 
 
 

F. 卷積神經網路演算法是什麼

一維構築、二維構築、全卷積構築。

卷積神經網路（Convolutional Neural Networks, CNN）是一類包含卷積計算且具有深度結構的前饋神經網路（Feedforward Neural Networks），是深度學習（deep learning）的代表演算法之一。

卷積神經網路具有表徵學習（representation learning）能力，能夠按其階層結構對輸入信息進行平移不變分類（shift-invariant classification），因此也被稱為「平移不變人工神經網路（Shift-Invariant Artificial Neural Networks, SIANN）」。

卷積神經網路的連接性：

卷積神經網路中卷積層間的連接被稱為稀疏連接（sparse connection），即相比於前饋神經網路中的全連接，卷積層中的神經元僅與其相鄰層的部分，而非全部神經元相連。具體地，卷積神經網路第l層特徵圖中的任意一個像素（神經元）都僅是l-1層中卷積核所定義的感受野內的像素的線性組合。

卷積神經網路的稀疏連接具有正則化的效果，提高了網路結構的穩定性和泛化能力，避免過度擬合，同時，稀疏連接減少了權重參數的總量，有利於神經網路的快速學習，和在計算時減少內存開銷。

卷積神經網路中特徵圖同一通道內的所有像素共享一組卷積核權重系數，該性質被稱為權重共享（weight sharing）。權重共享將卷積神經網路和其它包含局部連接結構的神經網路相區分，後者雖然使用了稀疏連接，但不同連接的權重是不同的。權重共享和稀疏連接一樣，減少了卷積神經網路的參數總量，並具有正則化的效果。

在全連接網路視角下，卷積神經網路的稀疏連接和權重共享可以被視為兩個無限強的先驗（pirior），即一個隱含層神經元在其感受野之外的所有權重系數恆為0（但感受野可以在空間移動）；且在一個通道內，所有神經元的權重系數相同。

G. 卷積神經網路

卷積神經網路 （Convolutional Neural Networks，CNN）是一種前饋神經網路。卷積神經網路是受生物學上感受野（Receptive Field）的機制而提出的。感受野主要是指聽覺系統、本體感覺系統和視覺系統中神經元的一些性質。比如在視覺神經系統中，一個神經元的感受野是指視網膜上的特定區域，只有這個區域內的刺激才能夠激活該神經元。

卷積神經網路又是怎樣解決這個問題的呢？主要有三個思路：

在使用CNN提取特徵時，到底使用哪一層的輸出作為最後的特徵呢？

答：倒數第二個全連接層的輸出才是最後我們要提取的特徵，也就是最後一個全連接層的輸入才是我們需要的特徵。

全連接層會忽視形狀。卷積層可以保持形狀不變。當輸入數據是圖像時，卷積層會以3維數據的形式接收輸入數據，並同樣以3維數據的形式輸出至下一層。因此，在CNN中，可以（有可能）正確理解圖像等具有形狀的數據。

CNN中，有時將 卷積層的輸入輸出數據稱為特徵圖（feature map） 。其中， 卷積層的輸入數據稱為輸入特徵圖（input feature map） ， 輸出數據稱為輸出特徵圖（output feature map）。

卷積層進行的處理就是 卷積運算 。卷積運算相當於圖像處理中的「濾波器運算」。

濾波器相當於權重或者參數，濾波器數值都是學習出來的。 卷積層實現的是垂直邊緣檢測 。

邊緣檢測實際就是將圖像由亮到暗進行區分，即邊緣的過渡(edge transitions)。

卷積層對應到全連接層，左上角經過濾波器，得到的3，相當於一個神經元輸出為3.然後相當於，我們把輸入矩陣拉直為36個數據，但是我們只對其中的9個數據賦予了權重。

步幅為1 ，移動一個，得到一個1，相當於另一個神經單元的輸出是1.

並且使用的是同一個濾波器，對應到全連接層，就是權值共享。

在這個例子中，輸入數據是有高長方向的形狀的數據，濾波器也一樣，有高長方向上的維度。假設用（height, width）表示數據和濾波器的形狀，則在本例中，輸入大小是(4, 4)，濾波器大小是(3, 3)，輸出大小是(2, 2)。另外，有的文獻中也會用「核」這個詞來表示這里所說的「濾波器」。

對於輸入數據，卷積運算以一定間隔滑動濾波器的窗口並應用。這里所說的窗口是指圖7-4中灰色的3 × 3的部分。如圖7-4所示，將各個位置上濾
波器的元素和輸入的對應元素相乘，然後再求和（有時將這個計算稱為乘積累加運算）。然後，將這個結果保存到輸出的對應位置。將這個過程在所有位置都進行一遍，就可以得到卷積運算的輸出。

CNN中，濾波器的參數就對應之前的權重。並且，CNN中也存在偏置。

在進行卷積層的處理之前，有時要向輸入數據的周圍填入固定的數據（比如0等），這稱為填充（padding），是卷積運算中經常會用到的處理。比如，在圖7-6的例子中，對大小為(4, 4)的輸入數據應用了幅度為1的填充。「幅度為1的填充」是指用幅度為1像素的0填充周圍。

應用濾波器的位置間隔稱為 步幅（stride） 。

假設輸入大小為(H, W)，濾波器大小為(FH, FW)，輸出大小為(OH, OW)，填充為P，步幅為S。

但是所設定的值必須使式（7.1）中的 和 分別可以除盡。當輸出大小無法除盡時（結果是小數時），需要採取報錯等對策。順便說一下，根據深度學習的框架的不同，當值無法除盡時，有時會向最接近的整數四捨五入，不進行報錯而繼續運行。

之前的卷積運算的例子都是以有高、長方向的2維形狀為對象的。但是，圖像是3維數據，除了高、長方向之外，還需要處理通道方向。

在3維數據的卷積運算中，輸入數據和濾波器的通道數要設為相同的值。

因此，作為4維數據，濾波器的權重數據要按(output_channel, input_channel, height, width)的順序書寫。比如，通道數為3、大小為5 × 5的濾
波器有20個時，可以寫成(20, 3, 5, 5)。

對於每個通道，均使用自己的權值矩陣進行處理，輸出時將多個通道所輸出的值進行加和即可。

卷積運算的批處理，需要將在各層間傳遞的數據保存為4維數據。具體地講，就是按(batch_num, channel, height, width)的順序保存數據。

這里需要注意的是，網路間傳遞的是4維數據，對這N個數據進行了卷積運算。也就是說，批處理將N次的處理匯總成了1次進行。

池化是縮小高、長方向上的空間的運算。比如，如圖7-14所示，進行將2 × 2的區域集約成1個元素的處理，縮小空間大小。

圖7-14的例子是按步幅2進行2 × 2的Max池化時的處理順序。「Max池化」是獲取最大值的運算，「2 × 2」表示目標區域的大小。如圖所示，從
2 × 2的區域中取出最大的元素。此外，這個例子中將步幅設為了2，所以2 × 2的窗口的移動間隔為2個元素。另外，一般來說，池化的窗口大小會和步幅設定成相同的值。比如，3 × 3的窗口的步幅會設為3，4 × 4的窗口的步幅會設為4等。

除了Max池化之外，還有Average池化等。相對於Max池化是從目標區域中取出最大值，Average池化則是計算目標區域的平均值。 在圖像識別領域，主要使用Max池化。 因此，本書中說到「池化層」時，指的是Max池化。

池化層的特徵
池化層有以下特徵。
沒有要學習的參數
池化層和卷積層不同，沒有要學習的參數。池化只是從目標區域中取最大值（或者平均值），所以不存在要學習的參數。
通道數不發生變化
經過池化運算，輸入數據和輸出數據的通道數不會發生變化。如圖7-15所示，計算是按通道獨立進行的。

​ 對微小的位置變化具有魯棒性（健壯）
​ 輸入數據發生微小偏差時，池化仍會返回相同的結果。因此，池化對輸入數據的微小偏差具有魯棒性。比如，3 × 3的池化的情況下，如圖
​ 7-16所示，池化會吸收輸入數據的偏差（根據數據的不同，結果有可能不一致）。

經過卷積層和池化層之後，進行Flatten，然後丟到全連接前向傳播神經網路。

（找到一張圖片使得某個filter響應最大。相當於filter固定，未知的是輸入的圖片。）未知的是輸入的圖片？？？

k是第k個filter，x是我們要找的參數。?這里我不是很明白。我得理解應該是去尋找最具有代表性的特徵。

使用im2col來實現卷積層

卷積層的參數是需要學習的，但是池化層沒有參數需要學習。全連接層的參數需要訓練得到。

池化層不需要訓練參數。全連接層的參數最多。卷積核的個數逐漸增多。激活層的size，逐漸減少。

最大池化只是計算神經網路某一層的靜態屬性，沒有什麼需要學習的，它只是一個靜態屬性 。

像這樣展開之後，只需對展開的矩陣求各行的最大值，並轉換為合適的形狀即可（圖7-22）。

參數
• input_dim ― 輸入數據的維度：（ 通道，高，長 ）
• conv_param ― 卷積層的超參數（字典）。字典的關鍵字如下：
filter_num ― 濾波器的數量
filter_size ― 濾波器的大小
stride ― 步幅
pad ― 填充
• hidden_size ― 隱藏層（全連接）的神經元數量
• output_size ― 輸出層（全連接）的神經元數量
• weitght_int_std ― 初始化時權重的標准差

LeNet

LeNet在1998年被提出，是進行手寫數字識別的網路。如圖7-27所示，它有連續的卷積層和池化層（正確地講，是只「抽選元素」的子采樣層），最後經全連接層輸出結果。

和「現在的CNN」相比，LeNet有幾個不同點。第一個不同點在於激活函數。LeNet中使用sigmoid函數，而現在的CNN中主要使用ReLU函數。
此外，原始的LeNet中使用子采樣（subsampling）縮小中間數據的大小，而現在的CNN中Max池化是主流。

AlexNet

在LeNet問世20多年後，AlexNet被發布出來。AlexNet是引發深度學習熱潮的導火線，不過它的網路結構和LeNet基本上沒有什麼不同，如圖7-28所示。

AlexNet疊有多個卷積層和池化層，最後經由全連接層輸出結果。雖然結構上AlexNet和LeNet沒有大的不同，但有以下幾點差異。
• 激活函數使用ReLU。
• 使用進行局部正規化的LRN（Local Response Normalization）層。
• 使用Dropout

TF2.0實現卷積神經網路

valid意味著不填充，same是填充
or the SAME padding, the output height and width are computed as:

out_height = ceil(float(in_height) / float(strides[1]))

out_width = ceil(float(in_width) / float(strides[2]))

And

For the VALID padding, the output height and width are computed as:

out_height = ceil(float(in_height - filter_height + 1) / float(strides[1]))

out_width = ceil(float(in_width - filter_width + 1) / float(strides[2]))
因此，我們可以設定 padding 策略。在 tf.keras.layers.Conv2D 中，當我們將 padding 參數設為 same 時，會將周圍缺少的部分使用 0 補齊，使得輸出的矩陣大小和輸入一致。

H. 如何理解人工智慧神經網路中的權值共享問題

權值(權重)共享這個詞是由LeNet5模型提出來的。以CNN為例，在對一張圖偏進行卷積的過程中，使用的是同一個卷積核的參數。比如一個3×3×1的卷積核，這個卷積核內9個的參數被整張圖共享，而不會因為圖像內位置的不同而改變卷積核內的權系數。說的再直白一些，就是用一個卷積核不改變其內權系數的情況下卷積處理整張圖片(當然CNN中每一層不會只有一個卷積核的，這樣說只是為了方便解釋而已)。

I. 如何理解卷積神經網路中的權值共享

權值共享的通俗理解就是整張圖片或者整組feature map共用一個卷積核，卷積核在圖陪塌片上蘆液圓慢慢滑動，所以圖片上每個區域都是利用了卷積埋晌核內的參數，這就是權值共享。

J. 卷積神經網路每一層反向傳導的權重和正向為什麼相同

卷積操作的平移不變枯陸性、權值共享。
1、卷積操作的平移不變性：卷積操作具有平移不變性，即對於輸入數據中的每個位置，都採用相同的卷積核進行卷積運算，因此每個位置的權重更新是相同的。在反向傳播時，誤差通過卷積操作反向傳播到上一層時，也採用相同的卷積核進行計算仔敗物，因此權重更新也是相同的，與前向傳播相同。
2、權值共享：卷積操作中的卷積核中的權值在不同的位置使用相同的值，這樣可以大大減少需要訓練的參數量，同時也有助於提高模型念液的泛化能力。由於權值共享的存在，卷積神經網路中每一層的權重在前向傳播和反向傳播中都是相同的。