⑴ 用卷積神經網路提取圖像特徵
前面講到的都是基於知識的圖像特徵提取方法，除此之外還有另一條技術路線——基於深度學習的圖像特徵提取。
人在認知圖像時是分層抽象的，首先理解的是顏色和亮度，然後是邊緣、角點、直線等局部細節特徵，接下來是紋理、幾何形狀等更復雜的信息和結構，最後形成整個物體的概念。
視覺神經科學（Visual Neuroscience）對於視覺機理的研究驗證了這一結論，動物大腦的視覺皮層具有分層結構。眼睛將看到的景象成像在視網膜上，視網膜把光學信號轉換成電信號，傳遞到大腦的視覺皮層（Visual cortex），視覺皮層是大腦中負責處理視覺信號的部分。1959年，David和Wiesel進行了一次實驗，他們在貓的大腦初級視覺皮層內插入電極，在貓的眼前展示各種形狀、空間位置、角度的光帶，然後測量貓大腦神經元放出的電信號。實驗發現，不同的宏盯神經元對各種空間位置和方向偏好不同。這一成果後來讓他們獲得了諾貝爾獎。
目前已經證明，視覺皮層具有層次結構。從視網膜傳來的信號首先到達初級視覺皮層（primary visual cortex），即V1皮層。V1皮層簡單神經元對一些細節、特定方向的圖像信號敏感。V1皮層處理之後，將信號傳導到V2皮層。V2皮層將邊緣和輪廓信息表示成簡單形狀，然後由V4皮層中的神經元進行處理，它顏色信息敏感。復雜物體最終在IT皮層（inferior temporal cortex）被表示出來。
卷積神經網路可以看成是上面這種機制的簡單模仿。它由多個卷積層構成，每個卷積層包含多個卷積核，用這些卷積核從左向右、從上往下依次掃描整個圖像，得到稱為特徵圖（feature map）的輸出數據。網路前面的卷積層捕捉圖像局部、細節信息，有小的感受野，即輸出圖像的每個像素只利用輸入圖像很小的一個范圍。後面的卷積層感受野逐層加大，用於捕獲圖猜絕岩像更復雜，更抽象的信息。經過多個卷積層的運算，最後得到圖像在各個不同尺度的抽象表示。
顧名思義，卷積層由一組卷積單元（又稱"卷積核"）組成，可以把這些卷積單元理解為過濾器，每個過濾器都會提取一種特定的特徵，方法參見 圖像卷積 。
卷積層的過濾器負責從圖像中查找規律，過濾器越多則參數越多，這意味著卷積層的維度可能很穗御龐大。我們需要一種方法來降低維數，這就是卷積網路中的池化層（又名"下采樣層"）所扮的角色。
池化主要有3種形式：一般池化，重疊池化和金字塔池化。
池化窗口的尺寸為n*n，一般情況下池化窗口都是正方形的。步長（stride）等於n。此時池化窗口之間是沒有重疊的。對於超出數字矩陣范圍的，只計算范圍內的或者范圍外的用0填充再計算。又可以分為最大值池化，均值池化。
池化窗口范圍內的最大值作為采樣的輸出值。
假如輸入是一個4×4矩陣，執行最大池化是一個2×2矩陣，每次滑動2步。執行過程非常簡單，把4×4的輸入拆分成不同的區域，把這些區域用不同顏色來標記。對於2×2的輸出，輸出的每個元素都是其對應顏色區域中的最大元素值。
普通均值池化就是將池化窗口范圍內的平均值作為采樣的輸出值。這種池化不如最大池化常用。
池化窗口之間有重疊。也就是步長大於等於1小於n，計算和一般池化是一樣的。
空間金字塔池化（Spatial Pyramid Pooling，簡稱SPP）可以將尺寸大小不一樣的圖片轉換為同樣的尺寸。
SPP首先把圖片看成1塊，對這1塊進行最大值池化，得到1個值，分成4塊，對這4塊分別進行最大值池化，得到4個值；分成16塊，對這16塊分別進行最大值池化，得到16個值，以此類推。這樣就可以保證對於不同尺寸的圖片而言，最終得到的值的個數是一樣的。因為是最大值池化，超出范圍的用不用0填充不會影響結果。
直接對原始圖像做卷積，會存在兩個問題。一是每次卷積後圖像（特徵圖）都會縮小，這樣卷不了幾次就沒了； 二是相比於圖片中間的點，圖片邊緣的點在卷積中被計算的次數很少，導致邊緣的信息易於丟失。
為了解決這個問題，我們可以採用填充的方法。我們每次卷積前，先給圖片周圍都補一圈空白，讓卷積之後圖片跟原來一樣大，同時，原來的邊緣也被計算了更多次。
比如，我們把(8,8)的圖片給補成(10,10)，那麼經過(3,3)的filter之後，就是(8,8)，沒有變。
能夠保證輸入的數據和輸出的數據具有相同的空間尺寸，假設零填充個數為p，卷積核為f * f，卷積核滑動步長為s，則p應設置為
假設原始輸入圖像為m * m，輸出圖像為n * n，零填充個數為p，卷積核為f * f，卷積核滑動步長為s，則輸出尺寸為
假設輸入圖像為(m,m,d)，其中d為圖像深度（通道數），卷積核為f * f，卷積核個數為n，則weight個數為
bias個數：
池化層很少使用零填充。假設原始輸入圖像為m * m，輸出圖像為n * n，卷積核為f * f，卷積核滑動步長為s，則輸出尺寸為
⑵ 理解神經網路卷積層、全連接層
https://zhuanlan.hu.com/p/32472241
卷積神經網路，這玩意兒乍一聽像是生物和數學再帶點計算機技術混合起來的奇怪東西。奇怪歸奇怪，不得不說，卷積神經網路是計算機視覺領域最有影響力的創造之一。
2012年是卷積神經網路崛起之年。這一年，Alex Krizhevsky帶著卷積神經網路參加了ImageNet競賽（其重要程度相當於奧運會）並一鳴驚人，將識別錯誤率從26%降到了15%,。從那開始，很多公司開始使用深度學習作為他們服務的核心。比如，Facebook在他們的自動標記演算法中使用了它，Google在照片搜索中使用了，Amazon在商品推薦中使用，Printerst應用於為他們的家庭飼養服務提供個性化定製，而Instagram應用於他們的搜索引擎。
然而，神經網路最開始也是最多的應用領域是圖像處理。那我們就挑這塊來聊聊，怎樣使用卷積神經網路（下面簡稱CNN）來進行圖像分類。
圖像分類是指，向機器輸入一張圖片，然後機器告訴我們這張圖片的類別（一隻貓，一條狗等等），或者如果它不確定的話，它會告訴我們屬於某個類別的可能性（很可能是條狗但是我不太確定）。對我們人類來說，這件事情簡單的不能再簡單了，從出生起，我們就可以很快地識別周圍的物體是什麼。當我們看到一個場景，我們總能快速地識別出所有物體，甚至是下意識的，沒有經過有意的思考。但這種能力，機器並不具有。所以我們更加要好好珍惜自己的大腦呀！ (:зゝ∠)
電腦和人看到的圖片並不相同。當我們輸入一張圖片時，電腦得到的只是一個數組，記錄著像素的信息。數組的大小由圖像的清晰度和大小決定。假設我們有一張jpg格式的480 480大小的圖片，那麼表示它的數組便是480 480*3大小的。數組中所有數字都描述了在那個位置處的像素信息，大小在[0,255]之間。
這些數字對我們來說毫無意義，但這是電腦們可以得到的唯一的信息（也足夠了）。抽象而簡單的說，我們需要一個接受數組為輸入，輸出一個數組表示屬於各個類別概率的模型。
既然問題我們已經搞明白了，現在我們得想想辦法解決它。我們想讓電腦做的事情是找出不同圖片之間的差別，並可以識別狗狗（舉個例子）的特徵。
我們人類可以通過一些與眾不同的特徵來識別圖片，比如狗狗的爪子和狗有四條腿。同樣地，電腦也可以通過識別更低層次的特徵（曲線，直線）來進行圖像識別。電腦用卷積層識別這些特徵，並通過更多層卷積層結合在一起，就可以像人類一樣識別出爪子和腿之類的高層次特徵，從而完成任務。這正是CNN所做的事情的大概脈絡。下面，我們進行更具體的討論。
在正式開始之前，我們先來聊聊CNN的背景故事。當你第一次聽說卷積神經網路的時候，你可能就會聯想到一些與神經學或者生物學有關的東西，不得不說，卷積神經網路還真的與他們有某種關系。
CNN的靈感的確來自大腦中的視覺皮層。視覺皮層某些區域中的神經元只對特定視野區域敏感。1962年，在一個Hubel與Wiesel進行的試驗（ 視頻 ）中，這一想法被證實並且拓展了。他們發現，一些獨立的神經元只有在特定方向的邊界在視野中出現時才會興奮。比如，一些神經元在水平邊出現時興奮，而另一些只有垂直邊出現時才會。並且所有這種類型的神經元都在一個柱狀組織中，並且被認為有能力產生視覺。
在一個系統中，一些特定的組件發揮特定的作用（視覺皮層中的神經元尋找各自特定的特徵）。這一想法應用於很多機器中，並且也是CNN背後的基本原理。 （譯者註：作者沒有說清楚。類比到CNN中，應是不同的卷積核尋找圖像中不同的特徵）
回到主題。
更詳細的說，CNN的工作流程是這樣的：你把一張圖片傳遞給模型，經過一些卷積層，非線性化（激活函數），池化，以及全連層，最後得到結果。就像我們之前所說的那樣，輸出可以是單獨的一個類型，也可以是一組屬於不同類型的概率。現在，最不容易的部分來了：理解各個層的作用。
首先，你要搞清楚的是，什麼樣的數據輸入了卷積層。就像我們之前提到的那樣，輸入是一個32 × 32 × 3（打個比方）的記錄像素值的數組。現在，讓我來解釋卷積層是什麼。解釋卷積層最好的方法，是想像一個手電筒照在圖片的左上角。讓我們假設手電筒的光可以招到一個5 × 5的區域。現在，讓我們想像這個手電筒照過了圖片的所有區域。在機器學習術語中，這樣一個手電筒被稱為卷積核（或者說過濾器，神經元） (kernel, filter, neuron) 。而它照到的區域被稱為感知域 (receptive field) 。卷積核同樣也是一個數組（其中的數被稱為權重或者參數）。很重要的一點就是卷積核的深度和輸入圖像的深度是一樣的（這保證可它能正常工作），所以這里卷積核的大小是5 × 5 × 3。
現在，讓我們拿卷積核的初始位置作為例子，它應該在圖像的左上角。當卷積核掃描它的感知域（也就是這張圖左上角5 × 5 × 3的區域）的時候，它會將自己保存的權重與圖像中的像素值相乘（或者說，矩陣元素各自相乘，注意與矩陣乘法區分），所得的積會相加在一起（在這個位置，卷積核會得到5 × 5 × 3 = 75個積）。現在你得到了一個數字。然而，這個數字只表示了卷積核在圖像左上角的情況。現在，我們重復這一過程，讓卷積核掃描完整張圖片，（下一步應該往右移動一格，再下一步就再往右一格，以此類推），每一個不同的位置都產生了一個數字。當掃描完整張圖片以後，你會得到一組新的28 × 28 × 1的數。 （譯者註：(32 - 5 + 1) × (32 - 5 + 1) × 1） 。這組數，我們稱為激活圖或者特徵圖 (activation map or feature map) 。
如果增加卷積核的數目，比如，我們現在有兩個卷積核，那麼我們就會得到一個28 × 28 × 2的數組。通過使用更多的卷積核，我們可以更好的保留數據的空間尺寸。
在數學層面上說，這就是卷積層所做的事情。
讓我們來談談，從更高角度來說，卷積在做什麼。每一個卷積核都可以被看做特徵識別器。我所說的特徵，是指直線、簡單的顏色、曲線之類的東西。這些都是所有圖片共有的特點。拿一個7 × 7 × 3的卷積核作為例子，它的作用是識別一種曲線。（在這一章節，簡單起見，我們忽略卷積核的深度，只考慮第一層的情況）。作為一個曲線識別器，這個卷積核的結構中，曲線區域內的數字更大。（記住，卷積核是一個數組）
現在我們來直觀的看看這個。舉個例子，假設我們要把這張圖片分類。讓我們把我們手頭的這個卷積核放在圖片的左上角。
記住，我們要做的事情是把卷積核中的權重和輸入圖片中的像素值相乘。
(譯者註：圖中最下方應是由於很多都是0所以把0略過不寫了。)
基本上，如果輸入圖像中有與卷積核代表的形狀很相似的圖形，那麼所有乘積的和會很大。現在我們來看看，如果我們移動了卷積核呢？
可以看到，得到的值小多了！這是因為感知域中沒有與卷積核表示的相一致的形狀。還記得嗎，卷積層的輸出是一張激活圖。所以，在單卷積核卷積的簡單情況下，假設卷積核是一個曲線識別器，那麼所得的激活圖會顯示出哪些地方最有可能有曲線。在這個例子中，我們所得激活圖的左上角的值為6600。這樣大的數字表明很有可能這片區域中有一些曲線，從而導致了卷積核的激活 （譯者註：也就是產生了很大的數值。） 而激活圖中右上角的數值是0，因為那裡沒有曲線來讓卷積核激活（簡單來說就是輸入圖像的那片區域沒有曲線）。
但請記住，這只是一個卷積核的情況，只有一個找出向右彎曲的曲線的卷積核。我們可以添加其他卷積核，比如識別向左彎曲的曲線的。卷積核越多，激活圖的深度就越深，我們得到的關於輸入圖像的信息就越多。
在傳統的CNN結構中，還會有其他層穿插在卷積層之間。我強烈建議有興趣的人去閱覽並理解他們。但總的來說，他們提供了非線性化，保留了數據的維度，有助於提升網路的穩定度並且抑制過擬合。一個經典的CNN結構是這樣的：
網路的最後一層很重要，我們稍後會講到它。
現在，然我們回頭看看我們已經學到了什麼。
我們講到了第一層卷積層的卷積核的目的是識別特徵，他們識別像曲線和邊這樣的低層次特徵。但可以想像，如果想預測一個圖片的類別，必須讓網路有能力識別高層次的特徵，例如手、爪子或者耳朵。讓我們想想網路第一層的輸出是什麼。假設我們有5個5 × 5 × 3的卷積核，輸入圖像是32 × 32 × 3的，那麼我們會得到一個28 × 28 × 5的數組。來到第二層卷積層，第一層的輸出便成了第二層的輸入。這有些難以可視化。第一層的輸入是原始圖片，可第二層的輸入只是第一層產生的激活圖，激活圖的每一層都表示了低層次特徵的出現位置。如果用一些卷積核處理它，得到的會是表示高層次特徵出現的激活圖。這些特徵的類型可能是半圓（曲線和邊的組合）或者矩形（四條邊的組合）。隨著卷積層的增多，到最後，你可能會得到可以識別手寫字跡、粉色物體等等的卷積核。
如果，你想知道更多關於可視化卷積核的信息，可以看這篇 研究報告 ，以及這個 視頻 。
還有一件事情很有趣，當網路越來越深，卷積核會有越來越大的相對於輸入圖像的感知域。這意味著他們有能力考慮來自輸入圖像的更大范圍的信息（或者說，他們對一片更大的像素區域負責）。
到目前為止，我們已經識別出了那些高層次的特徵吧。網路最後的畫龍點睛之筆是全連層。
簡單地說，這一層接受輸入（來自卷積層，池化層或者激活函數都可以），並輸出一個N維向量，其中，N是所有有可能的類別的總數。例如，如果你想寫一個識別數字的程序，那麼N就是10，因為總共有10個數字。N維向量中的每一個數字都代表了屬於某個類別的概率。打個比方，如果你得到了[0 0.1 0.1 0.75 0 0 0 0 0 0.05]，這代表著這張圖片是1的概率是10%，是2的概率是10%，是3的概率是75%，是9的概率5%（小貼士：你還有其他表示輸出的方法，但現在我只拿softmax (譯者註：一種常用於分類問題的激活函數) 來展示）。全連層的工作方式是根據上一層的輸出（也就是之前提到的可以用來表示特徵的激活圖）來決定這張圖片有可能屬於哪個類別。例如，如果程序需要預測哪些圖片是狗，那麼全連層在接收到一個包含類似於一個爪子和四條腿的激活圖時輸出一個很大的值。同樣的，如果要預測鳥，那麼全連層會對含有翅膀和喙的激活圖更感興趣。
基本上，全連層尋找那些最符合特定類別的特徵，並且具有相應的權重，來使你可以得到正確的概率。
現在讓我們來說說我之前有意沒有提到的神經網路的可能是最重要的一個方面。剛剛在你閱讀的時候，可能會有一大堆問題想問。第一層卷積層的卷積核們是怎麼知道自己該識別邊還是曲線的？全連層怎麼知道該找哪一種激活圖？每一層中的參數是怎麼確定的？機器確定參數（或者說權重）的方法叫做反向傳播演算法。
在講反向傳播之前，我們得回頭看看一個神經網路需要什麼才能工作。我們出生的時候並不知道一條狗或者一隻鳥長什麼樣。同樣的，在CNN開始之前，權重都是隨機生成的。卷積核並不知道要找邊還是曲線。更深的卷積層也不知道要找爪子還是喙。
等我們慢慢長大了，我們的老師和父母給我們看不同的圖片，並且告訴我們那是什麼（或者說，他們的類別）。這種輸入一幅圖像以及這幅圖像所屬的類別的想法，是CNN訓練的基本思路。在細細講反向傳播之前，我們先假設我們有一個包含上千張不同種類的動物以及他們所屬類別的訓練集。
反向傳播可以被分成四個不同的部分。前向傳播、損失函數、反向傳播和權重更新。
在前向傳播的階段，我們輸入一張訓練圖片，並讓它通過整個神經網路。對於第一個輸入圖像，由於所有權重都是隨機生成的，網路的輸出很有可能是類似於[.1 .1 .1 .1 .1 .1 .1 .1 .1 .1]的東西，一般來說並不對任一類別有偏好。具有當前權重的網路並沒有能力找出低層次的特徵並且總結出可能的類別。
下一步，是損失函數部分。注意，我們現在使用的是訓練數據。這些數據又有圖片又有類別。打個比方，第一張輸入的圖片是數字「3」。那麼它的標簽應該是[0 0 0 1 0 0 0 0 0 0]。一個損失函數可以有很多定義的方法，但比較常見的是MSE（均方誤差）。被定義為(實際−預測)22(實際−預測)22。
記變數L為損失函數的值。正如你想像的那樣，在第一組訓練圖片輸入的時候，損失函數的值可能非常非常高。來直觀地看看這個問題。我們想到達CNN的預測與數據標簽完全一樣的點（這意味著我們的網路預測的很對）。為了到達那裡，我們想要最小化誤差。如果把這個看成一個微積分問題，那我們只要找到哪些權重與網路的誤差關系最大。
這就相當於數學中的δLδWδLδW (譯者註：對L關於W求導) ，其中，W是某個層的權重。現在，我們要對網路進行 反向傳播 。這決定了哪些權重與誤差的關系最大，並且決定了怎樣調整他們來讓誤差減小。計算完這些導數以後，我們就來到了最後一步： 更新權重 。在這里，我們以與梯度相反的方向調整層中的權重。
學習率是一個有程序員決定的參數。一個很高的學習率意味著權重調整的幅度會很大，這可能會讓模型更快的擁有一組優秀的權重。然而，一個太高的學習率可能會讓調整的步伐過大，而不能精確地到達最佳點。
前向傳播、損失函數、反向傳播和更新權重，這四個過程是一次迭代。程序會對每一組訓練圖片重復這一過程（一組圖片通常稱為一個batch）。當對每一張圖片都訓練完之後，很有可能你的網路就已經訓練好了，權重已經被調整的很好。
最後，為了驗證CNN是否工作的很好，我們還有另一組特殊的數據。我們把這組數據中的圖片輸入到網路中，得到輸出並和標簽比較，這樣就能看出網路的表現如何了。
⑶ 一文看懂卷積神經網路-CNN（基本原理+獨特價值+實際應用）
在 CNN 出現之前，圖像對於人工智慧來說是一個難題，有2個原因：
圖像需要處理的數據量太大，導致成本很高，效率很低
圖像在數字化的過程中很難保留原有的特徵，導致圖像處理的准確率不高
下面就詳細說明一下這2個問題：
圖像是由像素構成的，每個像素又是由顏色構成的。
現在隨隨便便一張圖片都是 1000×1000 像素以上的， 每個像素都有RGB 3個參數來表示顏色信息。
假如我們處理一張 1000×1000 像素的圖片，我們就需要處理3百萬個參數！
1000×1000×3=3,000,000
這么大量的數據處理起來是非常消耗資源的，而且這只是一張不算太大的圖片！
卷積神經網路 – CNN 解決的第一個問題就是「將復雜問題簡化」，把大量參數降維成少量參數，再做處理。
更重要的是：我們在大部分場景下，降維並不會影響結果。比如1000像素的圖片縮小成200像素，並不影響肉眼認出來圖片中是一隻貓還是一隻狗，機器也是如此。
圖片數字化的傳統方式我們簡化一下，就類似下圖的過程：
假如有圓形是1，沒有圓形是0，那麼圓形的位置不同就會產生完全不同的數據表達。但是從視覺的角度來看， 圖像的內容（本質）並沒有發生變化，只是位置發生了變化 。
所以當我們移動圖像中的物體，用傳統的方式的得出來的參數會差異很大！這是不符合圖像處理的要求的。
而 CNN 解決了這個問題，他用類似視覺的方式保留了圖像的特徵，當圖像做翻轉，旋轉或者變換位置時，它也能有效的識別出來是類似的圖像。
那麼卷積神經網路是如何實現的呢？在我們了解 CNN 原理之前，先來看看人類的視覺原理是什麼？
深度學習的許多研究成果，離不開對大腦認知原理的研究，尤其是視覺原理的研究。
1981 年的諾貝爾醫學獎，頒發給了 David Hubel（出生於加拿大的美國神經生物學家） 和TorstenWiesel，以及 Roger Sperry。前兩位的主要貢獻，是「 發現了視覺系統的信息處理 」，可視皮層是分級的。
人類的視覺原理如下：從原始信號攝入開始（瞳孔攝入像素 Pixels），接著做初步處理（大腦皮層某些細胞發現邊緣和方向），然後抽象（大腦判定，眼前的物體的形狀，是圓形的），然後進一步抽象（大腦進一步判定該物體是只氣球）。下面是人腦進行人臉識別的一個示例：
對於不同的物體，人類視覺也是通過這樣逐層分級，來進行認知的：
我們可以看到，在最底層特徵基本上是類似的，就是各種邊緣，越往上，越能提取出此類物體的一些特徵（輪子、眼睛、軀乾等），到最上層，不同的高級特徵最終組合成相應的圖像，從而能夠讓人類准確的區分不同的物體。
那麼我們可以很自然的想到：可以不可以模仿人類大腦的這個特點，構造多層的神經網路，較低層的識別初級的圖像特徵，若干底層特徵組成更上一層特徵，最終通過多個層級的組合，最終在頂層做出分類呢？
答案是肯定的，這也是許多深度學習演算法（包括CNN）的靈感來源。
典型的 CNN 由3個部分構成：
卷積層
池化層
全連接層
如果簡單來描述的話：
卷積層負責提取圖像中的局部特徵；池化層用來大幅降低參數量級(降維)；全連接層類似傳統神經網路的部分，用來輸出想要的結果。
下面的原理解釋為了通俗易懂，忽略了很多技術細節，如果大家對詳細的原理感興趣，可以看這個視頻《 卷積神經網路基礎 》。
卷積層的運算過程如下圖，用一個卷積核掃完整張圖片：
這個過程我們可以理解為我們使用一個過濾器（卷積核）來過濾圖像的各個小區域，從而得到這些小區域的特徵值。
在具體應用中，往往有多個卷積核，可以認為，每個卷積核代表了一種圖像模式，如果某個圖像塊與此卷積核卷積出的值大，則認為此圖像塊十分接近於此卷積核。如果我們設計了6個卷積核，可以理解：我們認為這個圖像上有6種底層紋理模式，也就是我們用6中基礎模式就能描繪出一副圖像。以下就是25種不同的卷積核的示例：
總結：卷積層的通過卷積核的過濾提取出圖片中局部的特徵，跟上面提到的人類視覺的特徵提取類似。
池化層簡單說就是下采樣，他可以大大降低數據的維度。其過程如下：
上圖中，我們可以看到，原始圖片是20×20的，我們對其進行下采樣，采樣窗口為10×10，最終將其下采樣成為一個2×2大小的特徵圖。
之所以這么做的原因，是因為即使做完了卷積，圖像仍然很大（因為卷積核比較小），所以為了降低數據維度，就進行下采樣。
總結：池化層相比卷積層可以更有效的降低數據維度，這么做不但可以大大減少運算量，還可以有效的避免過擬合。
這個部分就是最後一步了，經過卷積層和池化層處理過的數據輸入到全連接層，得到最終想要的結果。
經過卷積層和池化層降維過的數據，全連接層才能」跑得動」，不然數據量太大，計算成本高，效率低下。
典型的 CNN 並非只是上面提到的3層結構，而是多層結構，例如 LeNet-5 的結構就如下圖所示：
卷積層 – 池化層- 卷積層 – 池化層 – 卷積層 – 全連接層
在了解了 CNN 的基本原理後，我們重點說一下 CNN 的實際應用有哪些。
卷積神經網路 – CNN 很擅長處理圖像。而視頻是圖像的疊加，所以同樣擅長處理視頻內容。下面給大家列一些比較成熟的應用�：
圖像分類、檢索
圖像分類是比較基礎的應用，他可以節省大量的人工成本，將圖像進行有效的分類。對於一些特定領域的圖片，分類的准確率可以達到 95%+，已經算是一個可用性很高的應用了。
典型場景：圖像搜索…
目標定位檢測
可以在圖像中定位目標，並確定目標的位置及大小。
典型場景：自動駕駛、安防、醫療…
目標分割
簡單理解就是一個像素級的分類。
他可以對前景和背景進行像素級的區分、再高級一點還可以識別出目標並且對目標進行分類。
典型場景：美圖秀秀、視頻後期加工、圖像生成…
人臉識別
人臉識別已經是一個非常普及的應用了，在很多領域都有廣泛的應用。
典型場景：安防、金融、生活…
骨骼識別
骨骼識別是可以識別身體的關鍵骨骼，以及追蹤骨骼的動作。
典型場景：安防、電影、圖像視頻生成、游戲…
今天我們介紹了 CNN 的價值、基本原理和應用場景，簡單總結如下：
CNN 的價值：
能夠將大數據量的圖片有效的降維成小數據量(並不影響結果)
能夠保留圖片的特徵，類似人類的視覺原理
CNN 的基本原理：
卷積層 – 主要作用是保留圖片的特徵
池化層 – 主要作用是把數據降維，可以有效的避免過擬合
全連接層 – 根據不同任務輸出我們想要的結果
CNN 的實際應用：
圖片分類、檢索
目標定位檢測
目標分割
人臉識別
骨骼識別
本文首發在 easyAI - 人工智慧知識庫
《 一文看懂卷積神經網路-CNN（基本原理+獨特價值+實際應用） 》
⑷ （7）卷積神經網路的基本結構
卷積神經網路主要結構有：卷積層、池化層、和全連接層。通過堆疊這些層結構形成一個卷積神經網路。將原始圖像轉化為類別得分，其中卷積層和全連接層擁有參數，激活層和池化層沒有參數。參數更新通過反向傳播實現。
（1）卷積層
卷積核是一系列的濾波器，用來提取某一種特徵
我們用它來處理一個圖片，當圖像特徵與過濾器表示的特徵相似時，卷積操作可以得到一個比較大的值。
當圖像特徵與過濾器不相似時，卷積操作可以得到一個比較小的值，實際上，卷積的結果特徵映射圖顯示的是對應卷積核所代表的特徵在原始特徵圖上的分布情況。
每個濾波器在空間上（寬度和高度）都比較小，但是深度和輸入數據保持一致（特徵圖的通道數），當卷積核在原圖像滑動時，會生成一個二維激活圖，激活圖上每個空間位置代表原圖像對該卷積核的反應。每個卷積層，會有一整個集合的卷積核，有多少個卷積核，輸出就有多少個通道。每個卷積核生成一個特徵圖，這些特徵圖堆疊起來組成整個輸出結果。
卷積核體現了參數共享和局部連接的模式。每個卷積核的大小代表了一個感受野的大小。
卷積後的特徵圖大小為(W-F+2*P)/s+1 ；P 為填充 s 為步長
（2）池化層
池化層本質上是下采樣，利用圖像局部相關性的原理（認為最大值或者均值代表了這個局部的特徵），對圖像進行子抽樣，可以減少數據處理量同時保留有用信息。這里池化有平均池化，L2範式池化，最大池化，經過實踐，最大池化的效果要好於平均池化（平均池化一般放在卷積神經網路的最後一層），最大池化有利於保存紋理信息，平均池化有利於保存背景信息。實際上（因為信息損失的原因）我們可以看到，通過在卷積時使用更大的步長也可以縮小特徵映射的尺寸，並不一定要用池化，有很多人不建議使用池化層。32*32在5*5卷積核步長為1下可得到28*28。
池化操作可以逐漸降低數據體的空間尺寸，這樣的話就能減少網路中參數的數量，使得計算資源耗費變少，也能有效控制過擬合。
（3）全連接層
通過全連接層將特徵圖轉化為類別輸出。全連接層不止一層，在這個過程中為了防止過擬合會引入DropOut。最新研究表明，在進入全連接層之前，使用全局平均池化可以有效降低過擬合。
（4）批歸一化BN——Batch Normal
隨著神經網路訓練的進行，每個隱層的參數變化使得後一層的輸入發生變化，從而每一批的訓練數據的分布也隨之改變，致使網路在每次迭代中都需要擬合不同的數據分布，增大訓練復雜度和過擬合的風險，只能採用較小的學習率去解決。
通常卷積層後就是BN層加Relu。BN已經是卷積神經網路中的一個標准技術。標准化的過程是可微的，因此可以將BN應用到每一層中做前向和反向傳播，同在接在卷積或者全連接層後，非線性層前。它對於不好的初始化有很強的魯棒性，同時可以加快網路收斂速度。
（5）DropOut
Dropout對於某一層神經元，通過定義的概率來隨機刪除一些神經元，同時保持輸入層與輸出層神經元的個數不變，然後按照神經網路的學習方法進行參數更新，下一次迭代中，重新隨機刪除一些神經元，直至訓練結束。
（6）softmax層
Softmax層也不屬於CNN中單獨的層，一般要用CNN做分類的話，我們習慣的方式是將神經元的輸出變成概率的形式，Softmax就是做這個的： 。顯然Softmax層所有的輸出相加為1，按照這個概率的大小確定到底屬於哪一類。