神經網路模型軟體

『壹』 浜哄伐鏅鴻兘瀛︿範鐢ㄤ粈涔堢紪紼嬭蔣浠跺ソ錛

浜哄伐鏅鴻兘瀛︿範闇瑕佷嬌鐢ㄩ傚悎鐨勭紪紼嬭蔣浠舵潵緙栧啓鍜岃皟璇曠畻娉曞拰妯″瀷銆傚湪閫夋嫨緙栫▼杞浠舵椂錛岄渶瑕佹牴鎹涓浜哄嚲濂姐佹妧鑳芥按騫沖拰欏圭洰闇奼傛潵緇煎悎鑰冭檻銆備互涓嬫槸涓浜涘父鐢ㄧ殑浜哄伐鏅鴻兘緙栫▼杞浠訛細

Python錛歅ython鏄浜哄伐鏅鴻兘棰嗗煙鏈甯哥敤鐨勭紪紼嬭璦涔嬩竴錛屽洜涓哄畠鏄撲簬瀛︿範鍜屼嬌鐢錛屽悓鏃跺叿鏈変赴瀵岀殑搴撳拰宸ュ叿銆傜敤浜庝漢宸ユ櫤鑳藉︿範鐨凱ython搴撳寘鎷琋umPy銆丼ciPy銆丳andas銆丮atplotlib鍜孲cikit-learn絳夈傝繖浜涘簱鎻愪緵浜嗗悇縐嶅姛鑳斤紝濡傛暟鍊艱＄畻銆佹暟鎹鍒嗘瀽鍜屽彲瑙嗗寲銆佹満鍣ㄥ︿範絳夈
TensorFlow錛歍ensorFlow鏄涓涓鐢ㄤ簬娣卞害瀛︿範鐨勫紑婧愭嗘灦錛屽畠鍏佽哥敤鎴鋒瀯寤哄拰璁緇冪炵粡緗戠粶妯″瀷銆俆ensorFlow鍏鋒湁楂樺害鐨勭伒媧繪у拰鍙鎵╁睍鎬э紝鍙浠ュ勭悊鍚勭嶆繁搴﹀︿範浠誨姟錛屽傚浘鍍忚瘑鍒銆佽嚜鐒惰璦澶勭悊鍜岃闊寵瘑鍒絳夈傚畠榪樻彁渚涗簡璁稿氬伐鍏峰拰搴擄紝濡俆ensorBoard錛堢敤浜庡彲瑙嗗寲錛夊拰Keras錛堢敤浜庢瀯寤烘ā鍨嬶級銆
PyTorch錛歅yTorch鏄涓涓騫挎硾浣跨敤鐨勬繁搴﹀︿範妗嗘灦錛屼笌TensorFlow綾諱技錛屽畠涔熷厑璁哥敤鎴鋒瀯寤哄拰璁緇冪炵粡緗戠粶妯″瀷銆侾yTorch鍏鋒湁楂樺害鐨勭伒媧繪у拰鏄撶敤鎬э紝閫傜敤浜庡揩閫熷師鍨嬭捐″拰瀹為獙銆傚畠榪樻彁渚涗簡璁稿氬伐鍏峰拰搴擄紝濡倀orchvision錛堢敤浜庤＄畻鏈鴻嗚夛級鍜宼orchaudio錛堢敤浜庨煶棰戝勭悊錛夈
Jupyter Notebook錛欽upyter Notebook鏄涓涓浜や簰寮忕殑Web搴旂敤紼嬪簭錛屽厑璁哥敤鎴峰壋寤哄拰鍏變韓鍖呭惈浠ｇ爜銆佹枃鏈鍜屽彲瑙嗗寲鍐呭圭殑鏂囨。銆傚湪浜哄伐鏅鴻兘棰嗗煙錛孞upyter Notebook甯哥敤浜庢暟鎹縐戝﹀拰鏈哄櫒瀛︿範欏圭洰銆傚畠榪樻敮鎸佸悇縐峆ython搴撳拰宸ュ叿錛屽侼umPy銆丳andas鍜孧atplotlib絳夈
Anaconda錛欰naconda鏄涓涓鐢ㄤ簬鏁版嵁縐戝﹀拰鏈哄櫒瀛︿範鐨勫紑婧愬鉤鍙幫紝鎻愪緵浜哖ython璇璦鐨勫畬鏁村彂琛岀増銆傚畠鍖呭惈浜嗚稿氱戝﹁＄畻銆佹暟鎹鍒嗘瀽鍜屾満鍣ㄥ︿範鐨勫簱錛屽侼umPy銆丳andas銆丮atplotlib鍜孲cikit-learn絳夈侫naconda榪樻彁渚涗簡Conda鍖呯＄悊鍣錛岀敤浜庡畨瑁呭拰綆＄悊Python鍖呭拰鐜澧冦
浠ヤ笂杞浠跺悇鏈変紭緙虹偣錛孭ython閫傚悎緙栧啓閫氱敤紼嬪簭鍜屾暟鎹澶勭悊錛孴ensorFlow閫傚悎鏋勫緩澶嶆潅妯″瀷錛孭yTorch閫傚悎蹇閫熷師鍨嬭捐″拰瀹為獙錛孞upyter Notebook閫傚悎鏁版嵁縐戝﹀拰鏈哄櫒瀛︿範欏圭洰錛孉naconda鎻愪緵瀹屾暣鐨凱ython鍙戣岀増鍜屽寘綆＄悊銆傚叿浣撻夋嫨鍝涓杞浠跺彇鍐充簬涓浜哄嚲濂姐佹妧鑳芥按騫沖拰欏圭洰闇奼傘傚緩璁鍒濆﹁呬粠Python寮濮嬪︿範錛屾帉鎻″熀鏈璇娉曞拰甯哥敤搴撳悗錛屾牴鎹闇瑕侀夋嫨鍏朵粬杞浠惰繘琛屾繁鍏ュ︿範鍜屽疄璺點

『貳』 如何建立神經網路模型

人工神經網路有很多種，我只會最常用的BP神經網路。不同的網路有不同的結構和不同的學習演算法。
簡單點說，人工神經網路就是一個函數。只是這個函數有別於一般的函數。它比普通的函數多了一個學習的過程。
在學習的過程中，它根據正確結果不停地校正自己的網路結構，最後達到一個滿意的精度。這時，它才開始真正的工作階段。
學習人工神經網路最好先安裝MathWords公司出的MatLab軟體。利用該軟體，你可以在一周之內就學會建立你自己的人工神經網路解題模型。
如果你想自己編程實現人工神經網路，那就需要找一本有關的書籍，專門看神經網路學習演算法的那部分內容。因為「學習演算法」是人工神經網路的核心。最常用的BP人工神經網路，使用的就是BP學習演算法。

『叄』 Keras快速構建神經網路模型

用Keras搭建神經網路的步驟：

深度學習框架Keras——像搭積木般構建神經網路，主要分為7個部分，每個部分只需要幾個keras API函數就能實現，用戶即可像搭積木般一層層構建神經網路模型。

1. 創建模型 Create model

2. 添加層級 Add Layer

3. 模型編譯 Compile

4. 數據填充 Fit

5. 模型評估 Evaluate

6. 模型預測 Predict

7. 模型保存 Save model

下面章節會對每一部分具體來介紹。。。

Keras 中主要有三類模型：Sequential model, Functional model, Subclass model

在開始創建模型之前，首先需要引入tensorflow和keras模塊，然後再創建一個Sequential model

Sequential API定義如下:

layers參數可以為空， 然後通過add method向模型中添加layer，相對應的通過pop method移除模型中layer。

創建Function API模型，可以調用Keras.Model來指定多輸入多數出。

Keras.Model定義:

Layers是神經網路基本構建塊。一個Layer包含了tensor-in/tensor-out的計算方法和一些狀態，並保存在TensorFlow變數中（即layers的權重weights）。
Layers主要分為6個類別，基礎層，核心層，卷基層，池化層，循環層，融合層。

對派生類的實現可以用以下方法：
** init (): 定義layer的屬性，創建layer的靜態變數。
** build(self, input_shape): 創建依賴於輸入的變數，可以調用add_weight()。
** call(self, *args, **kwargs): 在確保已調用build()之後，在 call 中調用。
** get_config(self): 返回包含用於初始化此層的配置的字典類型。

創建SimpleDense派生類，在build()函數里添加trainable weights。實現y=input*w +b

結果輸出：

創建ComputeSum派生類，在 init 函數里添加 non-trainable weights。實現輸入矩陣沿軸0元素相加後，x=x+self.total

結果輸出：

核心層是最常用的層，涉及到數據的轉換和處理的時候都會用到這些層。

Dense層就是所謂的全連接神經網路層，簡稱全連接層。全連接層中的每個神經元與其前一層的所有神經元進行全連接。

Dense 實現以下操作： output = activation(dot(input, kernel) + bias) 其中 activation 是按逐個元素計算的激活函數，kernel 是由網路層創建的權值矩陣，以及 bias 是其創建的偏置向量 (只在 use_bias 為 True 時才有用)。

將激活函數應用於輸出。輸入信號進入神經元後進行的運算處理。

sigmoid、tanh、ReLU、softplus的對比曲線如下圖所示：

激活函數可以通過設置單獨的激活層Activation實現，也可以在構造層對象時通過傳遞 activation 參數實現：

Dropout在訓練中每次更新時，將輸入單元的按比率隨機設置為0，這有助於防止過擬合。未設置為0的輸入將按1 /（1-rate）放大，以使所有輸入的總和不變。

請注意，僅當訓練設置為True時才應用Dropout層，以便在推理過程中不會丟棄任何值。 使用model.fit時，訓練將自動適當地設置為True。

將輸入展平。不影響批量大小。注意：如果輸入的形狀是(batch,)沒有特徵軸，則展平會增加通道尺寸，而輸出的形狀是(batch, 1)。

將輸入重新調整為特定的尺寸

將任意表達式封裝為Layer對象。在Lambda層，以便在構造模型時可以使用任意TensorFlow函數。 Lambda層最適合簡單操作或快速實驗。 Lambda層是通過序列化Python位元組碼來保存的。

使用覆蓋值覆蓋序列，以跳過時間步。

對於輸入張量的每一個時間步（張量的第一個維度），如果所有時間步中輸入張量的值與mask_value相等，則將在所有下游層中屏蔽（跳過）該時間步。如果任何下游層不支持覆蓋但仍然收到此類輸入覆蓋信息，會引發異常。

舉例說明：

Embedding 是一個將離散變數轉為連續向量表示的一個方式。該層只能用作模型中的第一層。

Embedding 有以下3個主要目的： 在 embedding 空間中查找最近鄰，這可以很好的用於根據用戶的興趣來進行推薦。 作為監督性學習任務的輸入。 用於可視化不同離散變數之間的關系.

舉例說明：

輸出結果：

由維基網路的介紹我們可以得知，卷積是一種定義在兩個函數(𝑓跟𝑔)上的數學操作，旨在產生一個新的函數。那麼𝑓和𝑔的卷積就可以寫成𝑓∗𝑔，數學定義如下：

對應到不同方面，卷積可以有不同的解釋：𝑔 既可以看作我們在深度學習里常說的核(Kernel)，也可以對應到信號處理中的濾波器(Filter)。而 𝑓 可以是我們所說的機器學習中的特徵(Feature)，也可以是信號處理中的信號(Signal)。f和g的卷積 (𝑓∗𝑔)就可以看作是對𝑓的加權求和。

一維時域卷積操作：

二維圖像卷積操作：

卷積運算的目的是提取輸入的不同特徵，第一層卷積層可能只能提取一些低級的特徵如邊緣、線條和角等層級，更多層的網路能從低級特徵中迭代提取更復雜的特徵。

一維卷積層（即時域卷積），用以在一維輸入信號上進行鄰域濾波。

舉例說明：

結果輸出：

2D 卷積層 (例如對圖像的空間卷積)。

舉例說明：

結果輸出：

3D卷積層（例如體積上的空間卷積）

舉例說明：

結果輸出：

深度可分離1D卷積。該層執行分別作用在通道上的深度卷積，然後是混合通道的逐點卷積。 如果use_bias為True並提供了一個偏差初始值設定項，則它將偏差向量添加到輸出中。 然後，它可選地應用激活函數以產生最終輸出。

深度可分離的2D卷積。可分離的卷積包括首先執行深度空間卷積（它分別作用於每個輸入通道），然後是點向卷積，它將混合所得的輸出通道。 depth_multiplier參數控制在深度步驟中每個輸入通道生成多少個輸出通道。

直觀上，可分離的卷積可以理解為將卷積內核分解為兩個較小內核的一種方式，或者是Inception塊的一種極端版本。

轉置卷積層 (有時被成為反卷積)。對轉置卷積的需求一般來自希望使用 與正常卷積相反方向的變換，將具有卷積輸出尺寸的東西 轉換為具有卷積輸入尺寸的東西， 同時保持與所述卷積相容的連通性模式。

池化層是模仿人的視覺系統對數據進行降維，用更高層次的特徵表示圖像。實施池化的目的：降低信息冗餘；提升模型的尺度不變性、旋轉不變性。 防止過擬合。

通常有最大池化層，平均池化層。

池化層有三種形態：1D 用於一維數據，2D 一般用於二維圖像數據，3D 帶時間序列數據的圖像數據

循環神經網路（Recurrent Neural Network, 簡稱 RNN），循環神經網路的提出便是基於記憶模型的想法，期望網路能夠記住前面出現的特徵，並依據特徵推斷後面的結果，而且整體的網路結構不斷循環，因此得名為循環神經網路。

長短期記憶網路（Long-Short Term Memory, LSTM ）論文首次發表於1997年。由於獨特的設計結構，LSTM適合於處理和預測時間序列中間隔和延遲非常長的重要事件。

舉例說明：

結果輸出：

GRU 門控循環單元- Cho et al. 2014.

在LSTM中引入了三個門函數：輸入門、遺忘門和輸出門來控制輸入值、記憶值和輸出值。而在GRU模型中只有兩個門：分別是更新門和重置門。與LSTM相比，GRU內部少了一個」門控「，參數比LSTM少，但是卻也能夠達到與LSTM相當的功能。考慮到硬體的計算能力和時間成本，因而很多時候我們也就會選擇更加」實用「的GRU。

舉例說明：

結果輸出：

循環神經網路層基類。

關於指定 RNN 初始狀態的說明
您可以通過使用關鍵字參數 initial_state 調用它們來符號化地指定 RNN 層的初始狀態。 initial_state 的值應該是表示 RNN 層初始狀態的張量或張量列表。
可以通過調用帶有關鍵字參數 states 的 reset_states 方法來數字化地指定 RNN 層的初始狀態。 states 的值應該是一個代表 RNN 層初始狀態的 Numpy 數組或者 Numpy 數組列表。

關於給 RNN 傳遞外部常量的說明
可以使用 RNN. call （以及 RNN.call）的 constants 關鍵字參數將「外部」常量傳遞給單元。 這要求 cell.call 方法接受相同的關鍵字參數 constants。 這些常數可用於調節附加靜態輸入（不隨時間變化）上的單元轉換，也可用於注意力機制。

舉例說明：

在訓練模型之前，我們需要配置學習過程，這是通過compile方法完成的。

他接收三個參數：優化器 opt

『肆』 如何用MATLAB神經網路工具箱創建BP神經網路模型

1． 常用的前饋型BP網路的轉移函數有logsig，tansig，有時也會用到線性函數purelin。當網路的最後一層採用曲線函數時，輸出被限制在一個很小的范圍內，如果採用線性函數則輸出可為任意值。以上三個函數是BP網路中最常用到的函數，但是如果需要的話你也可以創建其他可微的轉移函數。
2． 在BP網路中，轉移函數可求導是非常重要的，tansig、logsig和purelin都有對應的導函數dtansig、dlogsig和dpurelin。為了得到更多轉移函數的導函數，可以帶字元"deriv"的轉移函數：tansig('deriv')

『伍』 手機上運行的深度神經網路模型-MobileNet

文章引用自《 從MobileNet看輕量級神經網路的發展 》，詳情請點擊原文觀看

前  言 

隨著深度學習的火熱，計算機視覺領域內的卷積神經網路模型也層出不窮。從1998年的LeNet，到2012年引爆深度學習熱潮的AlexNet，再到後來2014年的VGG，2015年的ResNet，深度學習網路模型在圖像處理中應用的效果越來越好。神經網路體積越來越大，結構越來越復雜，預測和訓練需要的硬體資源也逐步增多，往往只能在高算力的伺服器中運行深度學習神經網路模型。移動設備因硬體資源和算力的限制，很難運行復雜的深度學習網路模型。

深度學習領域內也在努力促使神經網路向小型化發展。在保證模型准確率的同時體積更小，速度更快。到了2016年直至現在，業內提出了SqueezeNet、ShuffleNet、NasNet、MnasNet以及MobileNet等輕量級網路模型。這些模型使移動終端、嵌入式設備運行神經網路模型成為可能。而MobileNet在輕量級神經網路中較具代表性。

谷歌在2019年5月份推出了最新的MobileNetV3。新版MobileNet使用了更多新特性，使得MobileNet非常具有研究和分析意義，本文將對MobileNet進行詳細解析。

MobileNet的優勢

MobileNet網路擁有更小的體積，更少的計算量，更高的精度。在輕量級神經網路中擁有極大的優勢。

1

更小的體積

MobileNet相比經典的大型網路，參數量明顯更少，參數量越少模型體積越小。

2

更少的計算量

MobileNet優化網路結構使模型計算量成倍下降。

3

更高的准確率

MobileNet憑借網路結構優化，在更少的參數及更少的計算量情況下，網路精度反而超過了部分大型神經網路。在最新的MobileNetV3-Large中，實現ImageNet數據集Top1准確率達到75.2%。

4

更快的速度

使用Google Pixel-1手機測試，MobileNet各版本都能保持運行時間在120ms以下，最新版MobileNetV3-Large運行時間達到66ms，參數量和計算量更低的MobileNetV3-Small更是能達到22ms；GoogleNet運行速度約為250ms，而VGG-16由於一次性需要載入至內存的空間已超過500MB，手機系統會報內存溢出錯誤導致無法運行。

5

多種應用場景

MobileNet可以在移動終端實現眾多的應用，包括目標檢測，目標分類，人臉屬性識別和人臉識別等。

MobileNet各版本介紹

1

MobileNetV1網路結構

整個網路不算平均池化層與softmax層，共28層；

在整個網路結構中步長為2的卷積較有特點，卷積的同時充當下采樣的功能；

第一層之後的26層都為深度可分離卷積的重復卷積操作；

每一個卷積層（含常規卷積、深度卷積、逐點卷積）之後都緊跟著批規范化和ReLU激活函數；

最後一層全連接層不使用激活函數。

2

MobileNetV2網路結構

MobileNetV2中主要引入線性瓶頸結構和反向殘差結構。

MobileNetV2網路模型中有共有17個Bottleneck層（每個Bottleneck包含兩個逐點卷積層和一個深度卷積層），一個標准卷積層（conv），兩個逐點卷積層（pw conv），共計有54層可訓練參數層。MobileNetV2中使用線性瓶頸（Linear Bottleneck）和反向殘差（Inverted Resials）結構優化了網路，使得網路層次更深了，但是模型體積更小，速度更快了。

3

MobileNetV3網路結構

MobileNetV3分為Large和Small兩個版本，Large版本適用於計算和存儲性能較高的平台，Small版本適用於硬體性能較低的平台。

Large版本共有15個bottleneck層，一個標准卷積層，三個逐點卷積層。

Small版本共有12個bottleneck層，一個標准卷積層，兩個逐點卷積層。

MobileNetV3中引入了5×5大小的深度卷積代替部分3×3的深度卷積。引入Squeeze-and-excitation（SE）模塊和h-swish（HS）激活函數以提高模型精度。結尾兩層逐點卷積不使用批規范化（Batch Norm），MobileNetV3結構圖中使用NBN標識。

（圖片來源https://arxiv.org/pdf/1905.02244.pdf）

網路結構上相對於MobileNetV2的結尾部分做了優化，去除三個高階層，如上圖所示。去除後減少了計算量和參數量，但是模型的精度並沒有損失。

值得一提的是，不論是Large還是Small版本，都是使用神經架構搜索（NAS）技術生成的網路結構。

4

MobileNet各版本特性

MobileNet實現計算量減小、參數量減少的同時保證了較高的准確率,這和其擁有的特性息息相關：

MobileNetV1提出的特性

MobileNetV2提出的特性

MobileNetV3提出的特性

MobileNet各個版本擁有的特性匯總

下文將對上表中的各個特性詳細闡述。

MobileNet的特性詳解

1

深度可分離卷積

從MobileNetV1開始，到V2、V3的線性瓶頸結構都大量使用了深度可分離卷積。

深度可分離卷積（Depthwise Separable Convolution）是一種卷積結構。它是由一層深度卷積（Depthwise convolution）與一層逐點卷積（Pointwise Convolution）組合而成的，每一層卷積之後都緊跟著批規范化和ReLU激活函數。跟標准卷積的區別就是精度基本不變的情況下，參數與計算量都明顯減少。

深度卷積

深度卷積（Depthwise convolution, DW）不同於常規卷積操作，深度卷積中一個卷積核只有一維，負責一個通道，一個通道只被一個卷積核卷積；常規卷積每個卷積核的維度與輸入維度相同，每個通道單獨做卷積運算後相加。

以一張5x5x3（長和寬為5，RGB3通道）的彩色圖片舉例。每層深度卷積卷積核的數量與上一層的通道數相同（通道和卷積核一一對應）。設padding=1，stride=1，一個三通道的圖像經過運算後生成了3個特徵圖，如下圖所示：

深度卷積完成後的輸出特徵圖通道數與輸入層的通道數相同，無法擴展通道數。而且這種運算對輸入層的每個通道獨立進行卷積運算，沒有有效的利用不同通道在相同空間位置上的特徵信息。因此需要逐點卷積來將生成的特徵圖進行組合生成新的特徵圖。

逐點卷積

逐點卷積（Pointwise Convolution, PW）的運算與標准卷積運算非常相似。

逐點卷積卷積核大小為1×1xM（M為輸入數據的維度），每次卷積一個像素的區域。逐點卷積運算會將上一層的特徵圖在深度方向上進行加權組合，生成新的特徵圖，新的特徵圖的大小與輸入數據大小一致；然後組合各通道的特徵圖，以較少的計算量進行降維或升維操作（改變輸出數據的維度）。

以一張5x5x3（長和寬為5，RGB3通道）的彩色圖片舉例，使用4個1x1x3的逐點卷積核進行卷積，逐點卷積運算後生成了4個特徵圖。這個例子是使用逐點卷積進行升維的操作，特徵圖從5x5x3 升維到5x5x4。如下圖所示：

深度可分離卷積結構解析

將深度卷積和逐點卷積組成深度可分離卷積後的示意圖，如下圖所示：

首先進行深度卷積操作，得出的特徵圖各通道之間是不關聯的。接著進行逐點卷積把深度卷積輸出的特徵圖各通道關聯起來。

深度可分離卷積使用了更小的空間代價（參數減少）和更少的時間代價（計算量更少）實現了標准卷積層一樣的效果（提取特徵）。

一般的設Df為輸入特徵圖邊長，Dk為卷積核邊長，特徵圖和卷積核均為長寬一致，輸入通道數為M，輸出通道數為N，則:

標准卷積計算量為：Df×Df×Dk×Dk×M×N

深度卷積的計算量為：Df×Df×Dk×Dk×M

逐點卷積的計算量為：Df×Df×M×N

上圖所示實現輸入特徵圖大小為5×5×3，輸出特成圖大小為5×5×4，設padding=1，stride=1，深度卷積卷積核大小為3×3，標准卷積也使用3×3尺寸卷積核。實現相同的卷積效果，參數量（不包含偏置）與計算量對比如下表所示：

深度可分離卷積的演變

事實上深度可分離卷積不是在MobileNetV1中第一次提出的，而是在2016年由谷歌的Xception網路結構中提出的。MobileNetV1在Xception的基礎上，對深度可分離卷積進行了改進，做到了計算量與參數量的下降：

假定M為輸入層的通道數，N為輸出層的通道數。

Xcenption的深度可分離卷積是由輸入參數開始，使用1x1xMxN卷積將輸入層的通道數轉換為目標通道數，再通過3x3x1卷積核對每個通道進行卷積，每次卷積過後使用ReLU進行激活。

MobileNetV1的深度可分離卷積則是先使用3x3x1xM對輸入層的每個通道分別卷積，之後通過1x1xMxN將輸入層通道數轉換為輸出層通道數，每次卷積過後做一次批規范化操作，再使用ReLU進行激活。

這里我們使用MobileNetV1網路結構的第一個深度可分離卷積層來舉例，輸入層維度為112x112x32，輸出層維度為112x112x64，Xception與MobileNet的深度可分離卷積的計算量與參數個數對比如下表：

由此可知將PW卷積與DW卷積的順序調整後，優化了網路的空間復雜度和時間復雜度。

2

寬度因子

MobileNet本身的網路結構已經比較小並且執行延遲較低，但為了適配更定製化的場景，MobileNet提供了稱為寬度因子（Width Multiplier）的超參數給我們調整。寬度因子在MobileNetV1、V2、V3都可以運用。

通過寬度因子，可以調整神經網路中間產生的特徵的大小，調整的是特徵數據通道數大小，從而調整了運算量的大小。

寬度因子簡單來說就是新網路中每一個模塊要使用的卷積核數量相較於標準的MobileNet比例。對於深度卷積結合1x1方式的卷積核，計算量為：

算式中α即為寬度因子，α常用的配置為1,0.75,0.5,0.25；當α等於1時就是標準的MobileNet。通過參數α可以非常有效的將計算量和參數數量約減到α的平方倍。

下圖為MobileNetV1使用不同α系數進行網路參數的調整時，在ImageNet上的准確率、計算量、參數數量之間的關系（每一個項中最前面的數字表示α的取值）。

（數據來源https://arxiv.org/pdf/1704.04861.pdf）

可以看到當輸入解析度固定為224x224時，隨著寬度因子的減少，模型的計算量和參數越來越小。從上表可以看到， 0.25 MobileNet的正確率比標准版1.0MobileNet低20%，但計算量和參數量幾乎只有標准版1.0MobileNet計算量、參數量的10%！對於計算資源和存儲資源都十分緊張的移動端平台，可以通過α寬度因子調節網路的餐數量是非常實用的，在真正使用時我們可以按需調整α寬度因子達到准確率與性能的平衡。

3

解析度因子

MobileNet還提供了另一個超參數解析度因子（Resolution Multiplier）供我們自定義網路結構，解析度因子同樣在MobileNetV1、V2、V3都可以運用。

解析度因子一般用β來指代，β的取值范圍在(0,1]之間，是作用於每一個模塊輸入尺寸的約減因子，簡單來說就是將輸入數據以及由此在每一個模塊產生的特徵圖都變小了，結合寬度因子α，深度卷積結合1x1方式的卷積核計算量為：

下圖為MobileNetV1使用不同的β系數作用於標准MobileNet時，在ImageNet上對精度和計算量的影響（α固定1.0）

（數據來源https://arxiv.org/pdf/1704.04861.pdf）

上圖中的 224、192、160、128 對應的解析度因子分別為 1、 6/7、5/7、4/7。

β=1時，輸入圖片的解析度為224x224，卷積後的圖像大小變化為： 224x224 、112x112、56x56、28x28、14x14、7x7。

β= 6/7時，輸入圖片的解析度為192x192，卷積後各層特徵圖像大小變化為：192x192、96x96、48x48、24x24、12x12、6x6。

卷積特徵圖像的大小變化不會引起參數量的變化，只改變模型M-Adds計算量。上圖中 224解析度模型測試ImageNet數據集准確率為70.6%，192解析度的模型准確率為69.1%，但是M-Adds計算量減少了151M，對移動平台計算資源緊張的情況下，同樣可以通過β解析度因子調節網路輸入特徵圖的解析度，做模型精度與計算量的取捨。

4

規范化

深度學習中的規范化操作（Normalization），有助於加快基於梯度下降法或隨機梯度下降法模型的收斂速度，提升模型的精度，規范化的參數能夠提升模型泛化能力，提高模型的可壓縮性。

按照規范化操作涉及對象的不同可以分為兩大類，一類是對輸入值進行規范化操作，比如批規范化（Batch Normalization）、層規范化（Layer Normalization）、實例規范化（Instance Normalization）、組規范化（Group Normalization）方法都屬於這一類。另外一類是對神經網路中參數進行規范化操作，比如使用L0,L1范數。

批規范化

批規范化（Batch Normalization）幾乎存在於MobileNetV1、V2、V3的每個卷積層的後面，目的是加快訓練收斂速度，提升准確率。

批規范化是一種對數值的特殊函數變換方法，也就是說假設原始的某個數值是 x，套上一個起到規范化作用的函數，對規范化之前的數值 x 進行轉換，形成一個規范化後的數值，即：

所謂規范化，是希望轉換後的數值滿足一定的特性，至於對數值具體如何變換，跟規范化目標有關，不同的規范化目標導致具體方法中函數所採用的形式不同。通過自適應的重新參數化的方法，克服神經網路層數加深導致模型難以訓練的問題。

參數規范化

參數規范化（Weight Normalization， WN）是規范化的一種, 通過人為的設定稀疏演算法，去除模型中多餘的參數（置為0）使得模型參數稀疏化，可以通過L1範式實現。

參數規范化是防止模型過分擬合訓練數據。當訓練一批樣本的時候，隨著訓練的推移模型會越來越趨向於擬合樣本數據。因為參數太多，會導致模型復雜度上升，容易過擬合。

需要保證模型"簡單"的基礎上最小化訓練誤差，這樣得到的參數才具有好的泛化性能（也就是測試誤差也小），而模型"簡單"就是通過規則函數來實現的。

如上圖所示，左側分類明顯的是欠擬合，模型並沒有能夠擬合數據。中間圖示為合適的擬合，右邊圖示是過擬合，模型在訓練樣本中擬合度是很好的，但是卻違背了特徵分類規律，在新的測試樣本中表現糟糕，影響模型的泛化能力。顯然右側模型在訓練是受到額外參數干擾。參數規則化能夠使參數稀疏，減少額外參數的干擾，提高泛化能力。

模型擁有稀疏的參數（模型中有大量參數為0），也有利於通過壓縮演算法壓縮模型的大小。

5

線性瓶頸

線性瓶頸英文為Linear Bottleneck，是從Bottleneck結構演變而來的，被用於MobileNetV2與V3。

Bottleneck結構首次被提出是在ResNet網路中。該結構第一層使用逐點卷積，第二層使用3×3大小卷積核進行深度卷積，第三層再使用逐點卷積。MobileNet中的瓶頸結構最後一層逐點卷積使用的激活函數是Linear，所以稱其為線性瓶頸結構（Linear Bottleneck）。線性瓶頸結構有兩種，第一種是步長為1時使用殘差結構，第二種是步長為2時不使用殘差結構。

其中輸入通道數為M，擴大倍數系數為T。T的值為大於0 的正數，當 0<T<1時，第一層逐點卷積起到的作用是降維。當 1<T時，第一層逐點卷積起到的作用是升維。

第二層為深度卷積，輸入通道數 = 輸出通道數 = M×T。

第三層為逐點卷積，作用是關聯深度卷積後的特徵圖並輸出指定通道數N。

線性瓶頸結構相對標准卷積能夠減少參數數量，減少卷積計算量。從空間和時間上優化了網路。

6

反向殘差

MobileNetV2中以ResNet的殘差（Resials）結構為基礎進行優化，提出了反向殘差（Inverted Resials）的概念，之後也同樣運用與MobileNetV3中。

ResNet中提出的殘差結構解決訓練中隨著網路深度增加而出現的梯度消失問題，使反向傳播過程中深度網路的淺層網路也能得到梯度，使淺層網路的參數也可訓練，從而增加特徵表達能力。

ResNet的殘差結構實際是在線性瓶頸結構的基礎上增加殘差傳播。如下圖所示：

ResNet中的殘差結構使用第一層逐點卷積降維，後使用深度卷積，再使用逐點卷積升維。

MobileNetV2版本中的殘差結構使用第一層逐點卷積升維並使用Relu6激活函數代替Relu，之後使用深度卷積，同樣使用Relu6激活函數，再使用逐點卷積降維，降維後使用Linear激活函數。這樣的卷積操作方式更有利於移動端使用（有利於減少參數與M-Adds計算量），因維度升降方式與ResNet中的殘差結構剛好相反，MobileNetV2將其稱之為反向殘差（Inverted Resials）。

7

5x5 的深度卷積

MobileNetV3中，深度卷積大量使用5x5大小的卷積核。這是因為使用神經結構搜索（NAS）技術計算出的MobileNetV3網路結構的過程中，發現了在深度卷積中使用5x5大小的卷積核比使用3x3大小的卷積核效果更好，准確率更高。關於NAS技術將會在下文的單獨章節中做介紹。

8

Squeeze-and-excitation 模塊

Squeeze-and-Excitation模塊（簡稱SE模塊）的首次提出是在2017年的Squeeze-and-Excitation Networks(SENet)網路結構中，在MNasNet中進行了改進，之後在MobileNetV3中大量使用。研究人員期望通過精確的建模卷積特徵各個通道之間的作用關系來改善網路模型的表達能力。為了達到這個期望，提出了一種能夠讓網路模型對特徵進行校準的機制，使得有效的權重大，無效或效果小的權重小的效果，這就是SE模塊。

（圖片來源https://arxiv.org/pdf/1905.02244.pdf）

如上圖，MobileNetV3的SE模塊被運用在線性瓶頸結構最後一層上，代替V2中最後的逐點卷積，改為先進行SE操作再逐點卷積。這樣保持了網路結構每層的輸入和輸出，僅在中間做處理，類似於軟體開發中的鉤子。

SE模塊結構詳解

下圖表示一個SE 模塊。主要包含Squeeze和Excitation兩部分。W，H表示特徵圖寬，高。C表示通道數，輸入特徵圖大小為W×H×C。

壓縮（Squeeze）

第一步是壓縮（Squeeze）操作，如下圖所示

這個操作就是一個全局平均池化（global average pooling）。經過壓縮操作後特徵圖被壓縮為1×1×C向量。

激勵（Excitation）

接下來就是激勵（Excitation）操作，如下圖所示

由兩個全連接層組成，其中SERatio是一個縮放參數，這個參數的目的是為了減少通道個數從而降低計算量。

第一個全連接層有C*SERatio個神經元，輸入為1×1×C，輸出1×1×C×SERadio。

第二個全連接層有C個神經元，輸入為1×1×C×SERadio，輸出為1×1×C。

scale操作

最後是scale操作，在得到1×1×C向量之後，就可以對原來的特徵圖進行scale操作了。很簡單，就是通道權重相乘，原有特徵向量為W×H×C，將SE模塊計算出來的各通道權重值分別和原特徵圖對應通道的二維矩陣相乘，得出的結果輸出。

這里我們可以得出SE模塊的屬性：

參數量 = 2×C×C×SERatio

計算量 = 2×C×C×SERatio

總體來講SE模塊會增加網路的總參數量，總計算量，因為使用的是全連接層計算量相比卷積層並不大，但是參數量會有明顯上升，所以MobileNetV3-Large中的總參數量比MobileNetV2多了2M。

MobileNetV3中的SE模塊

SE模塊的使用是很靈活的，可以在已有網路上添加而不打亂網路原有的主體結構。

ResNet中添加SE模塊形成SE-ResNet網路，SE模塊是在bottleneck結構之後加入的，如下圖左邊所示。

MobileNetV3版本中SE模塊加在了bottleneck結構的內部，在深度卷積後增加SE塊，scale操作後再做逐點卷積，如上圖右邊所示。MobileNetV3版本的SERadio系數為0.25。使用SE模塊後的MobileNetV3的參數量相比MobileNetV2多了約2M，達到5.4M，但是MobileNetV3的精度得到了很大的提升，在圖像分類和目標檢測中准確率都有明顯提升。

9

h-swish激活函數

MobileNetV3中發現swish激活函數能夠有效提高網路的精度，但是swish的計算量太大了，並不適合輕量級神經網路。MobileNetV3找到了類似swish激活函數但是計算量卻少很多的替代激活函數h-swish（hard version of swish）如下所示：

sigmoid、h-sigmoid、swish、h-swish激活函數的比較：

（圖片來源https://arxiv.org/pdf/1905.02244.pdf）

這種非線性在保持精度的情況下帶來了很多優勢，首先ReLU6在眾多軟硬體框架中都可以實現，其次量化時避免了數值精度的損失，運行快。這一非線性改變將模型的延時增加了15%。但它帶來的網路效應對於精度和延時具有正向促進，剩下的開銷可以通過融合非線性與先前層來消除。

『陸』 復雜神經網路模型用什麼軟體

bp神經網路能用MATLAB，
理論上編程語言都可以，比如VB，C語言，過程也都是建模、量化、運算及結果輸出（圖、表），但是matlab發展到現在，集成了很多的工具箱，所以用的最為廣泛，用其他的就得是要從源碼開發入手了。
bp神經網路是一種演算法，只要是演算法就可以用任何軟體工具，只要編譯器或者解釋器支持，c，c++，python，來進行實現，只是實現時的復雜程度有區別而已

『柒』 神經軟體怎麼用

第一步：數據導入第二步：使用神經網路工具箱構建模型
神經網路軟體用於模擬、研究、開發和應用人工神經網路，從生物神經網路改編的軟體概念，在某些情況下還可以用於更廣泛的自適應系統，例如人工智慧和機器學習
常用的人工神經網路模擬器包括斯圖加特神經網路模擬器（SNNS）、緊急和神經實驗室。

『捌』 matlab神經網路工具箱怎麼效果好

導入數據：選擇合適的數據，一定要選數值矩陣形式
在這里插入圖片描述在這里插入圖片描述

進行訓練
在這里插入圖片描述

接下來就點next，選擇輸入輸出，Sample are是選擇以行還是列放置矩陣的，注意調整

在這里插入圖片描述

接下來一直next，在這兒點train

在這里插入圖片描述

查看結果

在這里插入圖片描述

導出代碼：再點next，直到這個界面，先勾選下面的，再點Simple Script生成代碼
在這里插入圖片描述

使用訓練好的神經網路進行預測
使用下方命令，z是需要預測的輸入變數，net就是訓練好的模型

在這里插入圖片描述

再將結果輸出成excel就行啦

在這里插入圖片描述

打開CSDN，閱讀體驗更佳

使用MATLAB載入訓練好的caffe模型進行識別分類_IT遠征軍的博客-CSDN...
在進行下面的實驗前,需要先對數據進行訓練得到caffemodel,然後再進行分類識別 c_demo.m function [scores, maxlabel] = c_demo(im, use_gpu) % Add caffe/matlab to you Matlab search PATH to use matcaffe if exist('/home/...
繼續訪問
MATLAB調用訓練好的KERAS模型_LzQuarter的博客
下載了鏈接中的「kerasimporter.mlpkginstall」文件後,在matlab內用左側的文件管理系統打開會進入一個頁面,在該頁面的右上角有安裝的按鈕,如果之前安裝一直失敗,可以通過這個安裝按鈕的下拉選項選擇僅下載 下載還是有可能要用到VPN,但是相比...
繼續訪問
最新發布 matlab神經網路預測數據,matlab神經網路工具箱
Matlab語言是MathWorks公司推出的一套高性能計算機編程語言，集數學計算、圖形顯示、語言設計於一體，其強大的擴展功能為用戶提供了廣闊的應用空問。它附帶有30多個工具箱，神經網路工具箱就是其中之一。谷歌人工智慧寫作項目：神經網路偽原創。
繼續訪問
matlab神經網路工具箱系統預測
matlab神經網路工具箱系統預測 有原始數據 根據原始數據預測未來十年內的數據
matlab預測控制工具箱
matlab預測控制工具箱，在學習預測控制的過程中翻譯的matlab自帶的示例，希望對大家有所幫助 matlab預測控制工具箱，在學習預測控制的過程中翻譯的matlab自帶的示例，希望對大家有所幫助
用matlab做bp神經網路預測,神經網路預測matlab代碼
我覺得一個很大的原因是你預測給的輸入范圍（2014-）超出了訓練數據的輸入范圍（2006-2013），神經網路好像是具有內插值特性，不能超出，你可以把輸入變數-時間換成其他的變數，比如經過理論分析得出的某些影響因素，然後訓練數據要包括大范圍的情況，這樣可以保證預測其他年份的運量的時候，輸入變數不超出范圍，最後預測的時候給出這幾個影響因素的值，效果會好一點。輸出層是個purelin，線性組合後的輸出層輸出當然也全是幾乎相同的了。輸出層是個purelin，線性組合後的輸出層輸出當然也全是幾乎相同的了。
繼續訪問

BP神經網路預測實例（matlab代碼，神經網路工具箱）
目錄辛烷值的預測matlab代碼實現工具箱實現 參考學習b站： 數學建模學習交流 bp神經網路預測matlab代碼實現過程 辛烷值的預測 【改編】辛烷值是汽油最重要的品質指標，傳統的實驗室檢測方法存在樣品用量大，測試周期長和費用高等問題，不適用於生產控制，特別是在線測試。近年發展起來的近紅外光譜分析方法（NIR），作為一種快速分析方法，已廣泛應用於農業、制葯、生物化工、石油產品等領域。其優越性是無損檢測、低成本、無污染，能在線分析，更適合於生產和控制的需要。實驗採集得到50組汽油樣品（辛烷值已通過其他方法測
繼續訪問

用matlab做bp神經網路預測,matlab人工神經網路預測
ylabel('函數輸出','fontsize',12);%畫出預測結果誤差圖figureplot(error,'-*')title('BP網路預測誤差','fontsize',12)ylabel('誤差','fontsize',12)xlabel('樣本','fontsize',12)。三、訓練函數與學習函數的區別函數的輸出是權值和閾值的增量，訓練函數的輸出是訓練好的網路和訓練記錄，在訓練過程中訓練函數不斷調用學習函數修正權值和閾值，通過檢測設定的訓練步數或性能函數計算出的誤差小於設定誤差，來結束訓練。.
繼續訪問
matlab訓練神經網路模型並導入simulink詳細步驟
之前的神經網路相關文章： Matlab-RBF神經網路擬合數據 Matlab RBF神經網路及其實例 4.深度學習(1) --神經網路編程入門 本文介紹一下怎麼把訓練好的神經網路導入到simulink並使用，假定有兩個變數，一個輸出變數，隨機生成一點數據 x1 = rand(1000,1);x2 = rand(1000,1);x = [x1 x2];y = rand(1000,1); 在App裡面找到神經網路工具箱 點擊Next 選擇對應的數據，注意選擇好對應的輸入和輸出，還
繼續訪問

用matlab做bp神經網路預測,matlab神經網路怎麼預測
它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。Network可以看出，你的網路結構是兩個隱含層，2-3-1-1結構的網路，演算法是traindm，顯示出來的誤差變化為均方誤差值mse。達到設定的網路精度0.001的時候，誤差下降梯度為0.0046，遠大於默認的1e-5，說明此時的網路誤差仍在快速下降，所以可以把訓練精度目標再提高一些，比如設為0.0001或者1e-5。如果你所選用的激活函數是線性函數，那麼就可以先把輸出的表達式寫出來，即權向量和輸入的矩陣乘積。
繼續訪問

matlab訓練模型、導出模型及VC調用模型過程詳解
MATLAB是美國MathWorks公司出品的商業數學軟體，為演算法開發、數據可視化、數據分析以及數值計算等提供了高級計算語言和互動式環境。隨著人工智慧的崛起，MATLAB也添加了自己的機器學習工具包，只需要很少的代碼或命令就能完成模型訓練和測試的過程，訓練好的模型也能方便的導出，供VC等調用。本文主要介紹模型訓練、導出和調用的整個過程。 軟體版本： VC2015，matlab2018a ...
繼續訪問

matlab神經網路預測模型,matlab人工神經網路預測
谷歌人工智慧寫作項目：小發貓matlab帶有神經網路工具箱，可直接調用，建議找本書看看，或者MATLAB論壇找例子常見的神經網路結構。核心調用語句如下：%數據輸入%選連樣本輸入輸出數據歸一化[inputn,inputps]=mapminmax(input_train);[outputn,outputps]=mapminmax(output_train);%%BP網路訓練%%初始化網路結構net=newff(inputn,outputn,[88]);net.trainParam.epochs=100;=0.0
繼續訪問

在Matlab中調用pytorch上訓練好的網路模型
在Matlab中調用pytorch上訓練好的網路模型
繼續訪問

MATLAB_第二篇神經網路學習_BP神經網路
BP神經網路代碼實現1. BP神經網路的簡介和結構參數1.1 BP神經網路的結構組成1.2 BP神經網路訓練界面的參數解讀 非常感謝博主wishes61的分享. 1. BP神經網路的簡介和結構參數 一種按照誤差逆向傳播演算法訓練的多層前饋神經網路用於預測BP神經網路的計算過程：由正向計算過程和反向計算過程組成。 正向傳播過程，輸入模式從輸入層經隱單元層逐層處理，並轉向輸出層，每一層神經元的狀態隻影響下一層神經元的狀態。 如果在輸出層不能得到期望的輸出，則轉入反向傳播，將誤差信號沿原來的連接通路返回，通過修改各
繼續訪問

MATLAB神經網路擬合回歸工具箱Neural Net Fitting的使用方法
本文介紹MATLAB軟體中神經網路擬合（Neural Net Fitting）工具箱的具體使用方法~
繼續訪問

灰色預測工具箱matlab,Matlab灰色預測工具箱——走過數模
2009-07-02 23:05灰色預測幾乎是每年數模培訓必不可少的內容，相對來說也是比較簡單，這里寫了四個函數，方便在Matlab裡面調用，分別是GM(1，1)，殘差GM(1，1)，新陳代謝GM(1，1)，Verhust自己寫得難免有所疏忽，需要的朋友自己找本書本來試驗一下。。Gm(1，1)function [px0,ab,rel]=gm11(x0,number)%[px0,ab,rel]=gm...
繼續訪問
matlab利用訓練好的BP神經網路來預測新數據（先保存網路，再使用網路）
1，保存網路。save ('net') % net為已訓練好的網路，這里把他從workspace保存到工作目錄，顯示為net.mat文檔。 2，使用網路。load ('net') % net為上面保存的網路，這里把他下載到workspace。y_predict = sim(...
繼續訪問
數學建模學習（79）：Matlab神經網路工具箱使用，實現多輸入多輸出預測
Matlab神經網路工具箱實現，實現多輸入多輸出預測
繼續訪問

熱門推薦 如何利用matlab做BP神經網路分析（包括利用matlab神經網路工具箱）
利用MATLAB 進行BP神經網路的預測（含有神經網路工具箱） 最近一段時間在研究如何利用預測其銷量個數，在網上搜索了一下，發現了很多模型來預測，比如利用回歸模型、時間序列模型，GM（1,1）模型，可是自己在結合實際的工作內容，發現這幾種模型預測的精度不是很高，於是再在網上進行搜索，發現神經網路模型可以來預測，並且有很多是結合時間序列或者SVM（支持向量機）等組合模型來進...
繼續訪問
bp神經網路預測案例python_詳細BP神經網路預測演算法及實現過程實例
1.具體應用實例。根據表2，預測序號15的跳高成績。表2國內男子跳高運動員各項素質指標序號跳高成績()30行進跑(s)立定三級跳遠()助跑摸高()助跑4—6步跳高()負重深蹲杠鈴()杠鈴半蹲系數100(s)抓舉()12.243.29.63.452.151402.811.05022.333.210.33.752.21203.410.97032.243.09.03.52.21403.511.4504...
繼續訪問
如何調用MATLAB訓練神經網路生成的網路進行預測
如何調用MATLAB訓練神經網路生成的網路問題引出知識准備代碼註解 問題引出 如何存儲和調用已經訓練好的神經網路。 本人前幾天在智能控制學習的過程中也遇到了這樣的問題，在論壇中看了大家的回復，雖然都提到了關鍵的兩個函數「save」和「load」，但或多或少都簡潔了些，讓人摸不著頭腦（呵呵，當然也可能是本人太菜）。通過不斷調試，大致弄明白這兩個函數對神經網路的存儲。下面附上實例給大家做個說明，希望對跟我有一樣問題的朋友有所幫助。 知識准備 如果只是需要在工作目錄下保到當前訓練好的網路，可以在命令窗口 輸入：s
繼續訪問
matlab訓練好的模型怎麼用
神經網路