提出深度卷積神經網路新演算法的是哪個

1. 手機上運行的深度神經網路模型-MobileNet

文章引用自《 從MobileNet看輕量級神經網路的發展 》，詳情請點擊原文觀看

前  言 

隨著深度學習的火熱，計算機視覺領域內的卷積神經網路模型也層出不窮。從1998年的LeNet，到2012年引爆深度學習熱潮的AlexNet，再到後來2014年的VGG，2015年的ResNet，深度學習網路模型在圖像處理中應用的效果越來越好。神經網路體積越來越大，結構越來越復雜，預測和訓練需要的硬體資源也逐步增多，往往只能在高算力的伺服器中運行深度學習神經網路模型。移動設備因硬體資源和算力的限制，很難運行復雜的深度學習網路模型。

深度學習領域內也在努力促使神經網路向小型化發展。在保證模型准確率的同時體積更小，速度更快。到了2016年直至現在，業內提出了SqueezeNet、ShuffleNet、NasNet、MnasNet以及MobileNet等輕量級網路模型。這些模型使移動終端、嵌入式設備運行神經網路模型成為可能。而MobileNet在輕量級神經網路中較具代表性。

谷歌在2019年5月份推出了最新的MobileNetV3。新版MobileNet使用了更多新特性，使得MobileNet非常具有研究和分析意義，本文將對MobileNet進行詳細解析。

MobileNet的優勢

MobileNet網路擁有更小的體積，更少的計算量，更高的精度。在輕量級神經網路中擁有極大的優勢。

1

更小的體積

MobileNet相比經典的大型網路，參數量明顯更少，參數量越少模型體積越小。

2

更少的計算量

MobileNet優化網路結構使模型計算量成倍下降。

3

更高的准確率

MobileNet憑借網路結構優化，在更少的參數及更少的計算量情況下，網路精度反而超過了部分大型神經網路。在最新的MobileNetV3-Large中，實現ImageNet數據集Top1准確率達到75.2%。

4

更快的速度

使用Google Pixel-1手機測試，MobileNet各版本都能保持運行時間在120ms以下，最新版MobileNetV3-Large運行時間達到66ms，參數量和計算量更低的MobileNetV3-Small更是能達到22ms；GoogleNet運行速度約為250ms，而VGG-16由於一次性需要載入至內存的空間已超過500MB，手機系統會報內存溢出錯誤導致無法運行。

5

多種應用場景

MobileNet可以在移動終端實現眾多的應用，包括目標檢測，目標分類，人臉屬性識別和人臉識別等。

MobileNet各版本介紹

1

MobileNetV1網路結構

整個網路不算平均池化層與softmax層，共28層；

在整個網路結構中步長為2的卷積較有特點，卷積的同時充當下采樣的功能；

第一層之後的26層都為深度可分離卷積的重復卷積操作；

每一個卷積層（含常規卷積、深度卷積、逐點卷積）之後都緊跟著批規范化和ReLU激活函數；

最後一層全連接層不使用激活函數。

2

MobileNetV2網路結構

MobileNetV2中主要引入線性瓶頸結構和反向殘差結構。

MobileNetV2網路模型中有共有17個Bottleneck層（每個Bottleneck包含兩個逐點卷積層和一個深度卷積層），一個標准卷積層（conv），兩個逐點卷積層（pw conv），共計有54層可訓練參數層。MobileNetV2中使用線性瓶頸（Linear Bottleneck）和反向殘差（Inverted Resials）結構優化了網路，使得網路層次更深了，但是模型體積更小，速度更快了。

3

MobileNetV3網路結構

MobileNetV3分為Large和Small兩個版本，Large版本適用於計算和存儲性能較高的平台，Small版本適用於硬體性能較低的平台。

Large版本共有15個bottleneck層，一個標准卷積層，三個逐點卷積層。

Small版本共有12個bottleneck層，一個標准卷積層，兩個逐點卷積層。

MobileNetV3中引入了5×5大小的深度卷積代替部分3×3的深度卷積。引入Squeeze-and-excitation（SE）模塊和h-swish（HS）激活函數以提高模型精度。結尾兩層逐點卷積不使用批規范化（Batch Norm），MobileNetV3結構圖中使用NBN標識。

（圖片來源https://arxiv.org/pdf/1905.02244.pdf）

網路結構上相對於MobileNetV2的結尾部分做了優化，去除三個高階層，如上圖所示。去除後減少了計算量和參數量，但是模型的精度並沒有損失。

值得一提的是，不論是Large還是Small版本，都是使用神經架構搜索（NAS）技術生成的網路結構。

4

MobileNet各版本特性

MobileNet實現計算量減小、參數量減少的同時保證了較高的准確率,這和其擁有的特性息息相關：

MobileNetV1提出的特性

MobileNetV2提出的特性

MobileNetV3提出的特性

MobileNet各個版本擁有的特性匯總

下文將對上表中的各個特性詳細闡述。

MobileNet的特性詳解

1

深度可分離卷積

從MobileNetV1開始，到V2、V3的線性瓶頸結構都大量使用了深度可分離卷積。

深度可分離卷積（Depthwise Separable Convolution）是一種卷積結構。它是由一層深度卷積（Depthwise convolution）與一層逐點卷積（Pointwise Convolution）組合而成的，每一層卷積之後都緊跟著批規范化和ReLU激活函數。跟標准卷積的區別就是精度基本不變的情況下，參數與計算量都明顯減少。

深度卷積

深度卷積（Depthwise convolution, DW）不同於常規卷積操作，深度卷積中一個卷積核只有一維，負責一個通道，一個通道只被一個卷積核卷積；常規卷積每個卷積核的維度與輸入維度相同，每個通道單獨做卷積運算後相加。

以一張5x5x3（長和寬為5，RGB3通道）的彩色圖片舉例。每層深度卷積卷積核的數量與上一層的通道數相同（通道和卷積核一一對應）。設padding=1，stride=1，一個三通道的圖像經過運算後生成了3個特徵圖，如下圖所示：

深度卷積完成後的輸出特徵圖通道數與輸入層的通道數相同，無法擴展通道數。而且這種運算對輸入層的每個通道獨立進行卷積運算，沒有有效的利用不同通道在相同空間位置上的特徵信息。因此需要逐點卷積來將生成的特徵圖進行組合生成新的特徵圖。

逐點卷積

逐點卷積（Pointwise Convolution, PW）的運算與標准卷積運算非常相似。

逐點卷積卷積核大小為1×1xM（M為輸入數據的維度），每次卷積一個像素的區域。逐點卷積運算會將上一層的特徵圖在深度方向上進行加權組合，生成新的特徵圖，新的特徵圖的大小與輸入數據大小一致；然後組合各通道的特徵圖，以較少的計算量進行降維或升維操作（改變輸出數據的維度）。

以一張5x5x3（長和寬為5，RGB3通道）的彩色圖片舉例，使用4個1x1x3的逐點卷積核進行卷積，逐點卷積運算後生成了4個特徵圖。這個例子是使用逐點卷積進行升維的操作，特徵圖從5x5x3 升維到5x5x4。如下圖所示：

深度可分離卷積結構解析

將深度卷積和逐點卷積組成深度可分離卷積後的示意圖，如下圖所示：

首先進行深度卷積操作，得出的特徵圖各通道之間是不關聯的。接著進行逐點卷積把深度卷積輸出的特徵圖各通道關聯起來。

深度可分離卷積使用了更小的空間代價（參數減少）和更少的時間代價（計算量更少）實現了標准卷積層一樣的效果（提取特徵）。

一般的設Df為輸入特徵圖邊長，Dk為卷積核邊長，特徵圖和卷積核均為長寬一致，輸入通道數為M，輸出通道數為N，則:

標准卷積計算量為：Df×Df×Dk×Dk×M×N

深度卷積的計算量為：Df×Df×Dk×Dk×M

逐點卷積的計算量為：Df×Df×M×N

上圖所示實現輸入特徵圖大小為5×5×3，輸出特成圖大小為5×5×4，設padding=1，stride=1，深度卷積卷積核大小為3×3，標准卷積也使用3×3尺寸卷積核。實現相同的卷積效果，參數量（不包含偏置）與計算量對比如下表所示：

深度可分離卷積的演變

事實上深度可分離卷積不是在MobileNetV1中第一次提出的，而是在2016年由谷歌的Xception網路結構中提出的。MobileNetV1在Xception的基礎上，對深度可分離卷積進行了改進，做到了計算量與參數量的下降：

假定M為輸入層的通道數，N為輸出層的通道數。

Xcenption的深度可分離卷積是由輸入參數開始，使用1x1xMxN卷積將輸入層的通道數轉換為目標通道數，再通過3x3x1卷積核對每個通道進行卷積，每次卷積過後使用ReLU進行激活。

MobileNetV1的深度可分離卷積則是先使用3x3x1xM對輸入層的每個通道分別卷積，之後通過1x1xMxN將輸入層通道數轉換為輸出層通道數，每次卷積過後做一次批規范化操作，再使用ReLU進行激活。

這里我們使用MobileNetV1網路結構的第一個深度可分離卷積層來舉例，輸入層維度為112x112x32，輸出層維度為112x112x64，Xception與MobileNet的深度可分離卷積的計算量與參數個數對比如下表：

由此可知將PW卷積與DW卷積的順序調整後，優化了網路的空間復雜度和時間復雜度。

2

寬度因子

MobileNet本身的網路結構已經比較小並且執行延遲較低，但為了適配更定製化的場景，MobileNet提供了稱為寬度因子（Width Multiplier）的超參數給我們調整。寬度因子在MobileNetV1、V2、V3都可以運用。

通過寬度因子，可以調整神經網路中間產生的特徵的大小，調整的是特徵數據通道數大小，從而調整了運算量的大小。

寬度因子簡單來說就是新網路中每一個模塊要使用的卷積核數量相較於標準的MobileNet比例。對於深度卷積結合1x1方式的卷積核，計算量為：

算式中α即為寬度因子，α常用的配置為1,0.75,0.5,0.25；當α等於1時就是標準的MobileNet。通過參數α可以非常有效的將計算量和參數數量約減到α的平方倍。

下圖為MobileNetV1使用不同α系數進行網路參數的調整時，在ImageNet上的准確率、計算量、參數數量之間的關系（每一個項中最前面的數字表示α的取值）。

（數據來源https://arxiv.org/pdf/1704.04861.pdf）

可以看到當輸入解析度固定為224x224時，隨著寬度因子的減少，模型的計算量和參數越來越小。從上表可以看到， 0.25 MobileNet的正確率比標准版1.0MobileNet低20%，但計算量和參數量幾乎只有標准版1.0MobileNet計算量、參數量的10%！對於計算資源和存儲資源都十分緊張的移動端平台，可以通過α寬度因子調節網路的餐數量是非常實用的，在真正使用時我們可以按需調整α寬度因子達到准確率與性能的平衡。

3

解析度因子

MobileNet還提供了另一個超參數解析度因子（Resolution Multiplier）供我們自定義網路結構，解析度因子同樣在MobileNetV1、V2、V3都可以運用。

解析度因子一般用β來指代，β的取值范圍在(0,1]之間，是作用於每一個模塊輸入尺寸的約減因子，簡單來說就是將輸入數據以及由此在每一個模塊產生的特徵圖都變小了，結合寬度因子α，深度卷積結合1x1方式的卷積核計算量為：

下圖為MobileNetV1使用不同的β系數作用於標准MobileNet時，在ImageNet上對精度和計算量的影響（α固定1.0）

（數據來源https://arxiv.org/pdf/1704.04861.pdf）

上圖中的 224、192、160、128 對應的解析度因子分別為 1、 6/7、5/7、4/7。

β=1時，輸入圖片的解析度為224x224，卷積後的圖像大小變化為： 224x224 、112x112、56x56、28x28、14x14、7x7。

β= 6/7時，輸入圖片的解析度為192x192，卷積後各層特徵圖像大小變化為：192x192、96x96、48x48、24x24、12x12、6x6。

卷積特徵圖像的大小變化不會引起參數量的變化，只改變模型M-Adds計算量。上圖中 224解析度模型測試ImageNet數據集准確率為70.6%，192解析度的模型准確率為69.1%，但是M-Adds計算量減少了151M，對移動平台計算資源緊張的情況下，同樣可以通過β解析度因子調節網路輸入特徵圖的解析度，做模型精度與計算量的取捨。

4

規范化

深度學習中的規范化操作（Normalization），有助於加快基於梯度下降法或隨機梯度下降法模型的收斂速度，提升模型的精度，規范化的參數能夠提升模型泛化能力，提高模型的可壓縮性。

按照規范化操作涉及對象的不同可以分為兩大類，一類是對輸入值進行規范化操作，比如批規范化（Batch Normalization）、層規范化（Layer Normalization）、實例規范化（Instance Normalization）、組規范化（Group Normalization）方法都屬於這一類。另外一類是對神經網路中參數進行規范化操作，比如使用L0,L1范數。

批規范化

批規范化（Batch Normalization）幾乎存在於MobileNetV1、V2、V3的每個卷積層的後面，目的是加快訓練收斂速度，提升准確率。

批規范化是一種對數值的特殊函數變換方法，也就是說假設原始的某個數值是 x，套上一個起到規范化作用的函數，對規范化之前的數值 x 進行轉換，形成一個規范化後的數值，即：

所謂規范化，是希望轉換後的數值滿足一定的特性，至於對數值具體如何變換，跟規范化目標有關，不同的規范化目標導致具體方法中函數所採用的形式不同。通過自適應的重新參數化的方法，克服神經網路層數加深導致模型難以訓練的問題。

參數規范化

參數規范化（Weight Normalization， WN）是規范化的一種, 通過人為的設定稀疏演算法，去除模型中多餘的參數（置為0）使得模型參數稀疏化，可以通過L1範式實現。

參數規范化是防止模型過分擬合訓練數據。當訓練一批樣本的時候，隨著訓練的推移模型會越來越趨向於擬合樣本數據。因為參數太多，會導致模型復雜度上升，容易過擬合。

需要保證模型"簡單"的基礎上最小化訓練誤差，這樣得到的參數才具有好的泛化性能（也就是測試誤差也小），而模型"簡單"就是通過規則函數來實現的。

如上圖所示，左側分類明顯的是欠擬合，模型並沒有能夠擬合數據。中間圖示為合適的擬合，右邊圖示是過擬合，模型在訓練樣本中擬合度是很好的，但是卻違背了特徵分類規律，在新的測試樣本中表現糟糕，影響模型的泛化能力。顯然右側模型在訓練是受到額外參數干擾。參數規則化能夠使參數稀疏，減少額外參數的干擾，提高泛化能力。

模型擁有稀疏的參數（模型中有大量參數為0），也有利於通過壓縮演算法壓縮模型的大小。

5

線性瓶頸

線性瓶頸英文為Linear Bottleneck，是從Bottleneck結構演變而來的，被用於MobileNetV2與V3。

Bottleneck結構首次被提出是在ResNet網路中。該結構第一層使用逐點卷積，第二層使用3×3大小卷積核進行深度卷積，第三層再使用逐點卷積。MobileNet中的瓶頸結構最後一層逐點卷積使用的激活函數是Linear，所以稱其為線性瓶頸結構（Linear Bottleneck）。線性瓶頸結構有兩種，第一種是步長為1時使用殘差結構，第二種是步長為2時不使用殘差結構。

其中輸入通道數為M，擴大倍數系數為T。T的值為大於0 的正數，當 0<T<1時，第一層逐點卷積起到的作用是降維。當 1<T時，第一層逐點卷積起到的作用是升維。

第二層為深度卷積，輸入通道數 = 輸出通道數 = M×T。

第三層為逐點卷積，作用是關聯深度卷積後的特徵圖並輸出指定通道數N。

線性瓶頸結構相對標准卷積能夠減少參數數量，減少卷積計算量。從空間和時間上優化了網路。

6

反向殘差

MobileNetV2中以ResNet的殘差（Resials）結構為基礎進行優化，提出了反向殘差（Inverted Resials）的概念，之後也同樣運用與MobileNetV3中。

ResNet中提出的殘差結構解決訓練中隨著網路深度增加而出現的梯度消失問題，使反向傳播過程中深度網路的淺層網路也能得到梯度，使淺層網路的參數也可訓練，從而增加特徵表達能力。

ResNet的殘差結構實際是在線性瓶頸結構的基礎上增加殘差傳播。如下圖所示：

ResNet中的殘差結構使用第一層逐點卷積降維，後使用深度卷積，再使用逐點卷積升維。

MobileNetV2版本中的殘差結構使用第一層逐點卷積升維並使用Relu6激活函數代替Relu，之後使用深度卷積，同樣使用Relu6激活函數，再使用逐點卷積降維，降維後使用Linear激活函數。這樣的卷積操作方式更有利於移動端使用（有利於減少參數與M-Adds計算量），因維度升降方式與ResNet中的殘差結構剛好相反，MobileNetV2將其稱之為反向殘差（Inverted Resials）。

7

5x5 的深度卷積

MobileNetV3中，深度卷積大量使用5x5大小的卷積核。這是因為使用神經結構搜索（NAS）技術計算出的MobileNetV3網路結構的過程中，發現了在深度卷積中使用5x5大小的卷積核比使用3x3大小的卷積核效果更好，准確率更高。關於NAS技術將會在下文的單獨章節中做介紹。

8

Squeeze-and-excitation 模塊

Squeeze-and-Excitation模塊（簡稱SE模塊）的首次提出是在2017年的Squeeze-and-Excitation Networks(SENet)網路結構中，在MNasNet中進行了改進，之後在MobileNetV3中大量使用。研究人員期望通過精確的建模卷積特徵各個通道之間的作用關系來改善網路模型的表達能力。為了達到這個期望，提出了一種能夠讓網路模型對特徵進行校準的機制，使得有效的權重大，無效或效果小的權重小的效果，這就是SE模塊。

（圖片來源https://arxiv.org/pdf/1905.02244.pdf）

如上圖，MobileNetV3的SE模塊被運用在線性瓶頸結構最後一層上，代替V2中最後的逐點卷積，改為先進行SE操作再逐點卷積。這樣保持了網路結構每層的輸入和輸出，僅在中間做處理，類似於軟體開發中的鉤子。

SE模塊結構詳解

下圖表示一個SE 模塊。主要包含Squeeze和Excitation兩部分。W，H表示特徵圖寬，高。C表示通道數，輸入特徵圖大小為W×H×C。

壓縮（Squeeze）

第一步是壓縮（Squeeze）操作，如下圖所示

這個操作就是一個全局平均池化（global average pooling）。經過壓縮操作後特徵圖被壓縮為1×1×C向量。

激勵（Excitation）

接下來就是激勵（Excitation）操作，如下圖所示

由兩個全連接層組成，其中SERatio是一個縮放參數，這個參數的目的是為了減少通道個數從而降低計算量。

第一個全連接層有C*SERatio個神經元，輸入為1×1×C，輸出1×1×C×SERadio。

第二個全連接層有C個神經元，輸入為1×1×C×SERadio，輸出為1×1×C。

scale操作

最後是scale操作，在得到1×1×C向量之後，就可以對原來的特徵圖進行scale操作了。很簡單，就是通道權重相乘，原有特徵向量為W×H×C，將SE模塊計算出來的各通道權重值分別和原特徵圖對應通道的二維矩陣相乘，得出的結果輸出。

這里我們可以得出SE模塊的屬性：

參數量 = 2×C×C×SERatio

計算量 = 2×C×C×SERatio

總體來講SE模塊會增加網路的總參數量，總計算量，因為使用的是全連接層計算量相比卷積層並不大，但是參數量會有明顯上升，所以MobileNetV3-Large中的總參數量比MobileNetV2多了2M。

MobileNetV3中的SE模塊

SE模塊的使用是很靈活的，可以在已有網路上添加而不打亂網路原有的主體結構。

ResNet中添加SE模塊形成SE-ResNet網路，SE模塊是在bottleneck結構之後加入的，如下圖左邊所示。

MobileNetV3版本中SE模塊加在了bottleneck結構的內部，在深度卷積後增加SE塊，scale操作後再做逐點卷積，如上圖右邊所示。MobileNetV3版本的SERadio系數為0.25。使用SE模塊後的MobileNetV3的參數量相比MobileNetV2多了約2M，達到5.4M，但是MobileNetV3的精度得到了很大的提升，在圖像分類和目標檢測中准確率都有明顯提升。

9

h-swish激活函數

MobileNetV3中發現swish激活函數能夠有效提高網路的精度，但是swish的計算量太大了，並不適合輕量級神經網路。MobileNetV3找到了類似swish激活函數但是計算量卻少很多的替代激活函數h-swish（hard version of swish）如下所示：

sigmoid、h-sigmoid、swish、h-swish激活函數的比較：

（圖片來源https://arxiv.org/pdf/1905.02244.pdf）

這種非線性在保持精度的情況下帶來了很多優勢，首先ReLU6在眾多軟硬體框架中都可以實現，其次量化時避免了數值精度的損失，運行快。這一非線性改變將模型的延時增加了15%。但它帶來的網路效應對於精度和延時具有正向促進，剩下的開銷可以通過融合非線性與先前層來消除。

2. 請問卷積神經網路的概念誰最早在學術界提出的

福島邦彥。

2021年4月29日，福島邦彥（Kunihiko Fukushima）獲得 2021 年鮑爾科學成就獎。他為深度學習做出了傑出貢獻，其最有影響力的工作當屬「Neocognitron」卷積神經網路架構。

其實，熟悉這位Jürgen Schmidhuber人都知道，他此前一直對自己在深度學習領域的早期原創性成果未能得到業界廣泛承認而耿耿於懷。

嚴格意義上講，LeCun是第一個使用誤差反向傳播訓練卷積神經網路（CNN）架構的人，但他並不是第一個發明這個結構的人。而福島博士引入的Neocognitron，是第一個使用卷積和下采樣的神經網路，也是卷積神經網路的雛形。

福島邦彥(Kunihiko Fukushima)設計的具有學習能力的人工多層神經網路，可以模仿大腦的視覺網路，這種「洞察力」成為現代人工智慧技術的基礎。福島博士的工作帶來了一系列實際應用，從自動駕駛汽車到面部識別，從癌症檢測到洪水預測，還會有越來越多的應用。