神經網路演算法手機軟體

2. matlab神經網路工具箱怎麼效果好

導入數據：選擇合適的數據，一定要選數值矩陣形式
在這里插入圖片描述在這里插入圖片描述

進行訓練
在這里插入圖片描述

接下來就點next，選擇輸入輸出，Sample are是選擇以行還是列放置矩陣的，注意調整

在這里插入圖片描述

接下來一直next，在這兒點train

在這里插入圖片描述

查看結果

在這里插入圖片描述

導出代碼：再點next，直到這個界面，先勾選下面的，再點Simple Script生成代碼
在這里插入圖片描述

使用訓練好的神經網路進行預測
使用下方命令，z是需要預測的輸入變數，net就是訓練好的模型

在這里插入圖片描述

再將結果輸出成excel就行啦

在這里插入圖片描述

打開CSDN，閱讀體驗更佳

使用MATLAB載入訓練好的caffe模型進行識別分類_IT遠征軍的博客-CSDN...
在進行下面的實驗前,需要先對數據進行訓練得到caffemodel,然後再進行分類識別 c_demo.m function [scores, maxlabel] = c_demo(im, use_gpu) % Add caffe/matlab to you Matlab search PATH to use matcaffe if exist('/home/...
繼續訪問
MATLAB調用訓練好的KERAS模型_LzQuarter的博客
下載了鏈接中的「kerasimporter.mlpkginstall」文件後,在matlab內用左側的文件管理系統打開會進入一個頁面,在該頁面的右上角有安裝的按鈕,如果之前安裝一直失敗,可以通過這個安裝按鈕的下拉選項選擇僅下載 下載還是有可能要用到VPN,但是相比...
繼續訪問
最新發布 matlab神經網路預測數據,matlab神經網路工具箱
Matlab語言是MathWorks公司推出的一套高性能計算機編程語言，集數學計算、圖形顯示、語言設計於一體，其強大的擴展功能為用戶提供了廣闊的應用空問。它附帶有30多個工具箱，神經網路工具箱就是其中之一。谷歌人工智慧寫作項目：神經網路偽原創。
繼續訪問
matlab神經網路工具箱系統預測
matlab神經網路工具箱系統預測 有原始數據 根據原始數據預測未來十年內的數據
matlab預測控制工具箱
matlab預測控制工具箱，在學習預測控制的過程中翻譯的matlab自帶的示例，希望對大家有所幫助 matlab預測控制工具箱，在學習預測控制的過程中翻譯的matlab自帶的示例，希望對大家有所幫助
用matlab做bp神經網路預測,神經網路預測matlab代碼
我覺得一個很大的原因是你預測給的輸入范圍（2014-）超出了訓練數據的輸入范圍（2006-2013），神經網路好像是具有內插值特性，不能超出，你可以把輸入變數-時間換成其他的變數，比如經過理論分析得出的某些影響因素，然後訓練數據要包括大范圍的情況，這樣可以保證預測其他年份的運量的時候，輸入變數不超出范圍，最後預測的時候給出這幾個影響因素的值，效果會好一點。輸出層是個purelin，線性組合後的輸出層輸出當然也全是幾乎相同的了。輸出層是個purelin，線性組合後的輸出層輸出當然也全是幾乎相同的了。
繼續訪問

BP神經網路預測實例（matlab代碼，神經網路工具箱）
目錄辛烷值的預測matlab代碼實現工具箱實現 參考學習b站： 數學建模學習交流 bp神經網路預測matlab代碼實現過程 辛烷值的預測 【改編】辛烷值是汽油最重要的品質指標，傳統的實驗室檢測方法存在樣品用量大，測試周期長和費用高等問題，不適用於生產控制，特別是在線測試。近年發展起來的近紅外光譜分析方法（NIR），作為一種快速分析方法，已廣泛應用於農業、制葯、生物化工、石油產品等領域。其優越性是無損檢測、低成本、無污染，能在線分析，更適合於生產和控制的需要。實驗採集得到50組汽油樣品（辛烷值已通過其他方法測
繼續訪問

用matlab做bp神經網路預測,matlab人工神經網路預測
ylabel('函數輸出','fontsize',12);%畫出預測結果誤差圖figureplot(error,'-*')title('BP網路預測誤差','fontsize',12)ylabel('誤差','fontsize',12)xlabel('樣本','fontsize',12)。三、訓練函數與學習函數的區別函數的輸出是權值和閾值的增量，訓練函數的輸出是訓練好的網路和訓練記錄，在訓練過程中訓練函數不斷調用學習函數修正權值和閾值，通過檢測設定的訓練步數或性能函數計算出的誤差小於設定誤差，來結束訓練。.
繼續訪問
matlab訓練神經網路模型並導入simulink詳細步驟
之前的神經網路相關文章： Matlab-RBF神經網路擬合數據 Matlab RBF神經網路及其實例 4.深度學習(1) --神經網路編程入門 本文介紹一下怎麼把訓練好的神經網路導入到simulink並使用，假定有兩個變數，一個輸出變數，隨機生成一點數據 x1 = rand(1000,1);x2 = rand(1000,1);x = [x1 x2];y = rand(1000,1); 在App裡面找到神經網路工具箱 點擊Next 選擇對應的數據，注意選擇好對應的輸入和輸出，還
繼續訪問

用matlab做bp神經網路預測,matlab神經網路怎麼預測
它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。Network可以看出，你的網路結構是兩個隱含層，2-3-1-1結構的網路，演算法是traindm，顯示出來的誤差變化為均方誤差值mse。達到設定的網路精度0.001的時候，誤差下降梯度為0.0046，遠大於默認的1e-5，說明此時的網路誤差仍在快速下降，所以可以把訓練精度目標再提高一些，比如設為0.0001或者1e-5。如果你所選用的激活函數是線性函數，那麼就可以先把輸出的表達式寫出來，即權向量和輸入的矩陣乘積。
繼續訪問

matlab訓練模型、導出模型及VC調用模型過程詳解
MATLAB是美國MathWorks公司出品的商業數學軟體，為演算法開發、數據可視化、數據分析以及數值計算等提供了高級計算語言和互動式環境。隨著人工智慧的崛起，MATLAB也添加了自己的機器學習工具包，只需要很少的代碼或命令就能完成模型訓練和測試的過程，訓練好的模型也能方便的導出，供VC等調用。本文主要介紹模型訓練、導出和調用的整個過程。 軟體版本： VC2015，matlab2018a ...
繼續訪問

matlab神經網路預測模型,matlab人工神經網路預測
谷歌人工智慧寫作項目：小發貓matlab帶有神經網路工具箱，可直接調用，建議找本書看看，或者MATLAB論壇找例子常見的神經網路結構。核心調用語句如下：%數據輸入%選連樣本輸入輸出數據歸一化[inputn,inputps]=mapminmax(input_train);[outputn,outputps]=mapminmax(output_train);%%BP網路訓練%%初始化網路結構net=newff(inputn,outputn,[88]);net.trainParam.epochs=100;=0.0
繼續訪問

在Matlab中調用pytorch上訓練好的網路模型
在Matlab中調用pytorch上訓練好的網路模型
繼續訪問

MATLAB_第二篇神經網路學習_BP神經網路
BP神經網路代碼實現1. BP神經網路的簡介和結構參數1.1 BP神經網路的結構組成1.2 BP神經網路訓練界面的參數解讀 非常感謝博主wishes61的分享. 1. BP神經網路的簡介和結構參數 一種按照誤差逆向傳播演算法訓練的多層前饋神經網路用於預測BP神經網路的計算過程：由正向計算過程和反向計算過程組成。 正向傳播過程，輸入模式從輸入層經隱單元層逐層處理，並轉向輸出層，每一層神經元的狀態隻影響下一層神經元的狀態。 如果在輸出層不能得到期望的輸出，則轉入反向傳播，將誤差信號沿原來的連接通路返回，通過修改各
繼續訪問

MATLAB神經網路擬合回歸工具箱Neural Net Fitting的使用方法
本文介紹MATLAB軟體中神經網路擬合（Neural Net Fitting）工具箱的具體使用方法~
繼續訪問

灰色預測工具箱matlab,Matlab灰色預測工具箱——走過數模
2009-07-02 23:05灰色預測幾乎是每年數模培訓必不可少的內容，相對來說也是比較簡單，這里寫了四個函數，方便在Matlab裡面調用，分別是GM(1，1)，殘差GM(1，1)，新陳代謝GM(1，1)，Verhust自己寫得難免有所疏忽，需要的朋友自己找本書本來試驗一下。。Gm(1，1)function [px0,ab,rel]=gm11(x0,number)%[px0,ab,rel]=gm...
繼續訪問
matlab利用訓練好的BP神經網路來預測新數據（先保存網路，再使用網路）
1，保存網路。save ('net') % net為已訓練好的網路，這里把他從workspace保存到工作目錄，顯示為net.mat文檔。 2，使用網路。load ('net') % net為上面保存的網路，這里把他下載到workspace。y_predict = sim(...
繼續訪問
數學建模學習（79）：Matlab神經網路工具箱使用，實現多輸入多輸出預測
Matlab神經網路工具箱實現，實現多輸入多輸出預測
繼續訪問

熱門推薦 如何利用matlab做BP神經網路分析（包括利用matlab神經網路工具箱）
利用MATLAB 進行BP神經網路的預測（含有神經網路工具箱） 最近一段時間在研究如何利用預測其銷量個數，在網上搜索了一下，發現了很多模型來預測，比如利用回歸模型、時間序列模型，GM（1,1）模型，可是自己在結合實際的工作內容，發現這幾種模型預測的精度不是很高，於是再在網上進行搜索，發現神經網路模型可以來預測，並且有很多是結合時間序列或者SVM（支持向量機）等組合模型來進...
繼續訪問
bp神經網路預測案例python_詳細BP神經網路預測演算法及實現過程實例
1.具體應用實例。根據表2，預測序號15的跳高成績。表2國內男子跳高運動員各項素質指標序號跳高成績()30行進跑(s)立定三級跳遠()助跑摸高()助跑4—6步跳高()負重深蹲杠鈴()杠鈴半蹲系數100(s)抓舉()12.243.29.63.452.151402.811.05022.333.210.33.752.21203.410.97032.243.09.03.52.21403.511.4504...
繼續訪問
如何調用MATLAB訓練神經網路生成的網路進行預測
如何調用MATLAB訓練神經網路生成的網路問題引出知識准備代碼註解 問題引出 如何存儲和調用已經訓練好的神經網路。 本人前幾天在智能控制學習的過程中也遇到了這樣的問題，在論壇中看了大家的回復，雖然都提到了關鍵的兩個函數「save」和「load」，但或多或少都簡潔了些，讓人摸不著頭腦（呵呵，當然也可能是本人太菜）。通過不斷調試，大致弄明白這兩個函數對神經網路的存儲。下面附上實例給大家做個說明，希望對跟我有一樣問題的朋友有所幫助。 知識准備 如果只是需要在工作目錄下保到當前訓練好的網路，可以在命令窗口 輸入：s
繼續訪問
matlab訓練好的模型怎麼用
神經網路

3. 手機ai是什麼軟體手機ai有什麼實際用途

所謂AI，其實指的是人工智慧，試圖通過計算機模擬人類意識和思維的全過程。說白了就是模擬人類神經結構和功能的數學模型或計算模型，通過大量的人工神經元進行計算。目前手機真正能用到AI(也就是神經網路)的功能也集中在圖像識別領域。各大廠商新加入的各種拍照演算法的優化也是因為手機圖像識別能力的提升。AI手機是晶元、智能系統、AI應用的結合體，缺一不可。AI演算法還能正確區分不同的聲音，讓對方清晰地接聽你的電話；語音功能方面，手機AI語音助手可以成為新的人機交互入口；在圖像識別方面，可以實現AI人臉識別、AI掃描、一鍵購物。

AI指的是人工智慧，把范圍縮小到硬體層面。是指模擬人腦結構的人工神經網路。它是模擬人類神經結構和功能的數學模型或計算模型，由大量人工神經元計算得出。與傳統的邏輯推理不同，基於大量數據統計的人工神經網路具有一定的判斷力，在語音識別和圖像識別方面尤其具有優勢。AI是「人工智慧」的英文縮寫，中文翻譯是人工智慧。人工智慧是計算機科學的一個分支，它試圖理解智能的本質，並產生一種新的智能機器，能夠以類似於人類智能的方式做出反應。

4. bp神經網路演算法是軟體嗎

應該沒有吧。其實也很簡單，只需要搭建一個 編程的環境，網上下載需要的程序，運行一下，根據需要修改參數就可以了。比如，matlab就很方便。

5. 手機上運行的深度神經網路模型-MobileNet

文章引用自《 從MobileNet看輕量級神經網路的發展 》，詳情請點擊原文觀看

前  言 

隨著深度學習的火熱，計算機視覺領域內的卷積神經網路模型也層出不窮。從1998年的LeNet，到2012年引爆深度學習熱潮的AlexNet，再到後來2014年的VGG，2015年的ResNet，深度學習網路模型在圖像處理中應用的效果越來越好。神經網路體積越來越大，結構越來越復雜，預測和訓練需要的硬體資源也逐步增多，往往只能在高算力的伺服器中運行深度學習神經網路模型。移動設備因硬體資源和算力的限制，很難運行復雜的深度學習網路模型。

深度學習領域內也在努力促使神經網路向小型化發展。在保證模型准確率的同時體積更小，速度更快。到了2016年直至現在，業內提出了SqueezeNet、ShuffleNet、NasNet、MnasNet以及MobileNet等輕量級網路模型。這些模型使移動終端、嵌入式設備運行神經網路模型成為可能。而MobileNet在輕量級神經網路中較具代表性。

谷歌在2019年5月份推出了最新的MobileNetV3。新版MobileNet使用了更多新特性，使得MobileNet非常具有研究和分析意義，本文將對MobileNet進行詳細解析。

MobileNet的優勢

MobileNet網路擁有更小的體積，更少的計算量，更高的精度。在輕量級神經網路中擁有極大的優勢。

1

更小的體積

MobileNet相比經典的大型網路，參數量明顯更少，參數量越少模型體積越小。

2

更少的計算量

MobileNet優化網路結構使模型計算量成倍下降。

3

更高的准確率

MobileNet憑借網路結構優化，在更少的參數及更少的計算量情況下，網路精度反而超過了部分大型神經網路。在最新的MobileNetV3-Large中，實現ImageNet數據集Top1准確率達到75.2%。

4

更快的速度

使用Google Pixel-1手機測試，MobileNet各版本都能保持運行時間在120ms以下，最新版MobileNetV3-Large運行時間達到66ms，參數量和計算量更低的MobileNetV3-Small更是能達到22ms；GoogleNet運行速度約為250ms，而VGG-16由於一次性需要載入至內存的空間已超過500MB，手機系統會報內存溢出錯誤導致無法運行。

5

多種應用場景

MobileNet可以在移動終端實現眾多的應用，包括目標檢測，目標分類，人臉屬性識別和人臉識別等。

MobileNet各版本介紹

1

MobileNetV1網路結構

整個網路不算平均池化層與softmax層，共28層；

在整個網路結構中步長為2的卷積較有特點，卷積的同時充當下采樣的功能；

第一層之後的26層都為深度可分離卷積的重復卷積操作；

每一個卷積層（含常規卷積、深度卷積、逐點卷積）之後都緊跟著批規范化和ReLU激活函數；

最後一層全連接層不使用激活函數。

2

MobileNetV2網路結構

MobileNetV2中主要引入線性瓶頸結構和反向殘差結構。

MobileNetV2網路模型中有共有17個Bottleneck層（每個Bottleneck包含兩個逐點卷積層和一個深度卷積層），一個標准卷積層（conv），兩個逐點卷積層（pw conv），共計有54層可訓練參數層。MobileNetV2中使用線性瓶頸（Linear Bottleneck）和反向殘差（Inverted Resials）結構優化了網路，使得網路層次更深了，但是模型體積更小，速度更快了。

3

MobileNetV3網路結構

MobileNetV3分為Large和Small兩個版本，Large版本適用於計算和存儲性能較高的平台，Small版本適用於硬體性能較低的平台。

Large版本共有15個bottleneck層，一個標准卷積層，三個逐點卷積層。

Small版本共有12個bottleneck層，一個標准卷積層，兩個逐點卷積層。

MobileNetV3中引入了5×5大小的深度卷積代替部分3×3的深度卷積。引入Squeeze-and-excitation（SE）模塊和h-swish（HS）激活函數以提高模型精度。結尾兩層逐點卷積不使用批規范化（Batch Norm），MobileNetV3結構圖中使用NBN標識。

（圖片來源https://arxiv.org/pdf/1905.02244.pdf）

網路結構上相對於MobileNetV2的結尾部分做了優化，去除三個高階層，如上圖所示。去除後減少了計算量和參數量，但是模型的精度並沒有損失。

值得一提的是，不論是Large還是Small版本，都是使用神經架構搜索（NAS）技術生成的網路結構。

4

MobileNet各版本特性

MobileNet實現計算量減小、參數量減少的同時保證了較高的准確率,這和其擁有的特性息息相關：

MobileNetV1提出的特性

MobileNetV2提出的特性

MobileNetV3提出的特性

MobileNet各個版本擁有的特性匯總

下文將對上表中的各個特性詳細闡述。

MobileNet的特性詳解

1

深度可分離卷積

從MobileNetV1開始，到V2、V3的線性瓶頸結構都大量使用了深度可分離卷積。

深度可分離卷積（Depthwise Separable Convolution）是一種卷積結構。它是由一層深度卷積（Depthwise convolution）與一層逐點卷積（Pointwise Convolution）組合而成的，每一層卷積之後都緊跟著批規范化和ReLU激活函數。跟標准卷積的區別就是精度基本不變的情況下，參數與計算量都明顯減少。

深度卷積

深度卷積（Depthwise convolution, DW）不同於常規卷積操作，深度卷積中一個卷積核只有一維，負責一個通道，一個通道只被一個卷積核卷積；常規卷積每個卷積核的維度與輸入維度相同，每個通道單獨做卷積運算後相加。

以一張5x5x3（長和寬為5，RGB3通道）的彩色圖片舉例。每層深度卷積卷積核的數量與上一層的通道數相同（通道和卷積核一一對應）。設padding=1，stride=1，一個三通道的圖像經過運算後生成了3個特徵圖，如下圖所示：

深度卷積完成後的輸出特徵圖通道數與輸入層的通道數相同，無法擴展通道數。而且這種運算對輸入層的每個通道獨立進行卷積運算，沒有有效的利用不同通道在相同空間位置上的特徵信息。因此需要逐點卷積來將生成的特徵圖進行組合生成新的特徵圖。

逐點卷積

逐點卷積（Pointwise Convolution, PW）的運算與標准卷積運算非常相似。

逐點卷積卷積核大小為1×1xM（M為輸入數據的維度），每次卷積一個像素的區域。逐點卷積運算會將上一層的特徵圖在深度方向上進行加權組合，生成新的特徵圖，新的特徵圖的大小與輸入數據大小一致；然後組合各通道的特徵圖，以較少的計算量進行降維或升維操作（改變輸出數據的維度）。

以一張5x5x3（長和寬為5，RGB3通道）的彩色圖片舉例，使用4個1x1x3的逐點卷積核進行卷積，逐點卷積運算後生成了4個特徵圖。這個例子是使用逐點卷積進行升維的操作，特徵圖從5x5x3 升維到5x5x4。如下圖所示：

深度可分離卷積結構解析

將深度卷積和逐點卷積組成深度可分離卷積後的示意圖，如下圖所示：

首先進行深度卷積操作，得出的特徵圖各通道之間是不關聯的。接著進行逐點卷積把深度卷積輸出的特徵圖各通道關聯起來。

深度可分離卷積使用了更小的空間代價（參數減少）和更少的時間代價（計算量更少）實現了標准卷積層一樣的效果（提取特徵）。

一般的設Df為輸入特徵圖邊長，Dk為卷積核邊長，特徵圖和卷積核均為長寬一致，輸入通道數為M，輸出通道數為N，則:

標准卷積計算量為：Df×Df×Dk×Dk×M×N

深度卷積的計算量為：Df×Df×Dk×Dk×M

逐點卷積的計算量為：Df×Df×M×N

上圖所示實現輸入特徵圖大小為5×5×3，輸出特成圖大小為5×5×4，設padding=1，stride=1，深度卷積卷積核大小為3×3，標准卷積也使用3×3尺寸卷積核。實現相同的卷積效果，參數量（不包含偏置）與計算量對比如下表所示：

深度可分離卷積的演變

事實上深度可分離卷積不是在MobileNetV1中第一次提出的，而是在2016年由谷歌的Xception網路結構中提出的。MobileNetV1在Xception的基礎上，對深度可分離卷積進行了改進，做到了計算量與參數量的下降：

假定M為輸入層的通道數，N為輸出層的通道數。

Xcenption的深度可分離卷積是由輸入參數開始，使用1x1xMxN卷積將輸入層的通道數轉換為目標通道數，再通過3x3x1卷積核對每個通道進行卷積，每次卷積過後使用ReLU進行激活。

MobileNetV1的深度可分離卷積則是先使用3x3x1xM對輸入層的每個通道分別卷積，之後通過1x1xMxN將輸入層通道數轉換為輸出層通道數，每次卷積過後做一次批規范化操作，再使用ReLU進行激活。

這里我們使用MobileNetV1網路結構的第一個深度可分離卷積層來舉例，輸入層維度為112x112x32，輸出層維度為112x112x64，Xception與MobileNet的深度可分離卷積的計算量與參數個數對比如下表：

由此可知將PW卷積與DW卷積的順序調整後，優化了網路的空間復雜度和時間復雜度。

2

寬度因子

MobileNet本身的網路結構已經比較小並且執行延遲較低，但為了適配更定製化的場景，MobileNet提供了稱為寬度因子（Width Multiplier）的超參數給我們調整。寬度因子在MobileNetV1、V2、V3都可以運用。

通過寬度因子，可以調整神經網路中間產生的特徵的大小，調整的是特徵數據通道數大小，從而調整了運算量的大小。

寬度因子簡單來說就是新網路中每一個模塊要使用的卷積核數量相較於標準的MobileNet比例。對於深度卷積結合1x1方式的卷積核，計算量為：

算式中α即為寬度因子，α常用的配置為1,0.75,0.5,0.25；當α等於1時就是標準的MobileNet。通過參數α可以非常有效的將計算量和參數數量約減到α的平方倍。

下圖為MobileNetV1使用不同α系數進行網路參數的調整時，在ImageNet上的准確率、計算量、參數數量之間的關系（每一個項中最前面的數字表示α的取值）。

（數據來源https://arxiv.org/pdf/1704.04861.pdf）

可以看到當輸入解析度固定為224x224時，隨著寬度因子的減少，模型的計算量和參數越來越小。從上表可以看到， 0.25 MobileNet的正確率比標准版1.0MobileNet低20%，但計算量和參數量幾乎只有標准版1.0MobileNet計算量、參數量的10%！對於計算資源和存儲資源都十分緊張的移動端平台，可以通過α寬度因子調節網路的餐數量是非常實用的，在真正使用時我們可以按需調整α寬度因子達到准確率與性能的平衡。

3

解析度因子

MobileNet還提供了另一個超參數解析度因子（Resolution Multiplier）供我們自定義網路結構，解析度因子同樣在MobileNetV1、V2、V3都可以運用。

解析度因子一般用β來指代，β的取值范圍在(0,1]之間，是作用於每一個模塊輸入尺寸的約減因子，簡單來說就是將輸入數據以及由此在每一個模塊產生的特徵圖都變小了，結合寬度因子α，深度卷積結合1x1方式的卷積核計算量為：

下圖為MobileNetV1使用不同的β系數作用於標准MobileNet時，在ImageNet上對精度和計算量的影響（α固定1.0）

（數據來源https://arxiv.org/pdf/1704.04861.pdf）

上圖中的 224、192、160、128 對應的解析度因子分別為 1、 6/7、5/7、4/7。

β=1時，輸入圖片的解析度為224x224，卷積後的圖像大小變化為： 224x224 、112x112、56x56、28x28、14x14、7x7。

β= 6/7時，輸入圖片的解析度為192x192，卷積後各層特徵圖像大小變化為：192x192、96x96、48x48、24x24、12x12、6x6。

卷積特徵圖像的大小變化不會引起參數量的變化，只改變模型M-Adds計算量。上圖中 224解析度模型測試ImageNet數據集准確率為70.6%，192解析度的模型准確率為69.1%，但是M-Adds計算量減少了151M，對移動平台計算資源緊張的情況下，同樣可以通過β解析度因子調節網路輸入特徵圖的解析度，做模型精度與計算量的取捨。

4

規范化

深度學習中的規范化操作（Normalization），有助於加快基於梯度下降法或隨機梯度下降法模型的收斂速度，提升模型的精度，規范化的參數能夠提升模型泛化能力，提高模型的可壓縮性。

按照規范化操作涉及對象的不同可以分為兩大類，一類是對輸入值進行規范化操作，比如批規范化（Batch Normalization）、層規范化（Layer Normalization）、實例規范化（Instance Normalization）、組規范化（Group Normalization）方法都屬於這一類。另外一類是對神經網路中參數進行規范化操作，比如使用L0,L1范數。

批規范化

批規范化（Batch Normalization）幾乎存在於MobileNetV1、V2、V3的每個卷積層的後面，目的是加快訓練收斂速度，提升准確率。

批規范化是一種對數值的特殊函數變換方法，也就是說假設原始的某個數值是 x，套上一個起到規范化作用的函數，對規范化之前的數值 x 進行轉換，形成一個規范化後的數值，即：

所謂規范化，是希望轉換後的數值滿足一定的特性，至於對數值具體如何變換，跟規范化目標有關，不同的規范化目標導致具體方法中函數所採用的形式不同。通過自適應的重新參數化的方法，克服神經網路層數加深導致模型難以訓練的問題。

參數規范化

參數規范化（Weight Normalization， WN）是規范化的一種, 通過人為的設定稀疏演算法，去除模型中多餘的參數（置為0）使得模型參數稀疏化，可以通過L1範式實現。

參數規范化是防止模型過分擬合訓練數據。當訓練一批樣本的時候，隨著訓練的推移模型會越來越趨向於擬合樣本數據。因為參數太多，會導致模型復雜度上升，容易過擬合。

需要保證模型"簡單"的基礎上最小化訓練誤差，這樣得到的參數才具有好的泛化性能（也就是測試誤差也小），而模型"簡單"就是通過規則函數來實現的。

如上圖所示，左側分類明顯的是欠擬合，模型並沒有能夠擬合數據。中間圖示為合適的擬合，右邊圖示是過擬合，模型在訓練樣本中擬合度是很好的，但是卻違背了特徵分類規律，在新的測試樣本中表現糟糕，影響模型的泛化能力。顯然右側模型在訓練是受到額外參數干擾。參數規則化能夠使參數稀疏，減少額外參數的干擾，提高泛化能力。

模型擁有稀疏的參數（模型中有大量參數為0），也有利於通過壓縮演算法壓縮模型的大小。

5

線性瓶頸

線性瓶頸英文為Linear Bottleneck，是從Bottleneck結構演變而來的，被用於MobileNetV2與V3。

Bottleneck結構首次被提出是在ResNet網路中。該結構第一層使用逐點卷積，第二層使用3×3大小卷積核進行深度卷積，第三層再使用逐點卷積。MobileNet中的瓶頸結構最後一層逐點卷積使用的激活函數是Linear，所以稱其為線性瓶頸結構（Linear Bottleneck）。線性瓶頸結構有兩種，第一種是步長為1時使用殘差結構，第二種是步長為2時不使用殘差結構。

其中輸入通道數為M，擴大倍數系數為T。T的值為大於0 的正數，當 0<T<1時，第一層逐點卷積起到的作用是降維。當 1<T時，第一層逐點卷積起到的作用是升維。

第二層為深度卷積，輸入通道數 = 輸出通道數 = M×T。

第三層為逐點卷積，作用是關聯深度卷積後的特徵圖並輸出指定通道數N。

線性瓶頸結構相對標准卷積能夠減少參數數量，減少卷積計算量。從空間和時間上優化了網路。

6

反向殘差

MobileNetV2中以ResNet的殘差（Resials）結構為基礎進行優化，提出了反向殘差（Inverted Resials）的概念，之後也同樣運用與MobileNetV3中。

ResNet中提出的殘差結構解決訓練中隨著網路深度增加而出現的梯度消失問題，使反向傳播過程中深度網路的淺層網路也能得到梯度，使淺層網路的參數也可訓練，從而增加特徵表達能力。

ResNet的殘差結構實際是在線性瓶頸結構的基礎上增加殘差傳播。如下圖所示：

ResNet中的殘差結構使用第一層逐點卷積降維，後使用深度卷積，再使用逐點卷積升維。

MobileNetV2版本中的殘差結構使用第一層逐點卷積升維並使用Relu6激活函數代替Relu，之後使用深度卷積，同樣使用Relu6激活函數，再使用逐點卷積降維，降維後使用Linear激活函數。這樣的卷積操作方式更有利於移動端使用（有利於減少參數與M-Adds計算量），因維度升降方式與ResNet中的殘差結構剛好相反，MobileNetV2將其稱之為反向殘差（Inverted Resials）。

7

5x5 的深度卷積

MobileNetV3中，深度卷積大量使用5x5大小的卷積核。這是因為使用神經結構搜索（NAS）技術計算出的MobileNetV3網路結構的過程中，發現了在深度卷積中使用5x5大小的卷積核比使用3x3大小的卷積核效果更好，准確率更高。關於NAS技術將會在下文的單獨章節中做介紹。

8

Squeeze-and-excitation 模塊

Squeeze-and-Excitation模塊（簡稱SE模塊）的首次提出是在2017年的Squeeze-and-Excitation Networks(SENet)網路結構中，在MNasNet中進行了改進，之後在MobileNetV3中大量使用。研究人員期望通過精確的建模卷積特徵各個通道之間的作用關系來改善網路模型的表達能力。為了達到這個期望，提出了一種能夠讓網路模型對特徵進行校準的機制，使得有效的權重大，無效或效果小的權重小的效果，這就是SE模塊。

（圖片來源https://arxiv.org/pdf/1905.02244.pdf）

如上圖，MobileNetV3的SE模塊被運用在線性瓶頸結構最後一層上，代替V2中最後的逐點卷積，改為先進行SE操作再逐點卷積。這樣保持了網路結構每層的輸入和輸出，僅在中間做處理，類似於軟體開發中的鉤子。

SE模塊結構詳解

下圖表示一個SE 模塊。主要包含Squeeze和Excitation兩部分。W，H表示特徵圖寬，高。C表示通道數，輸入特徵圖大小為W×H×C。

壓縮（Squeeze）

第一步是壓縮（Squeeze）操作，如下圖所示

這個操作就是一個全局平均池化（global average pooling）。經過壓縮操作後特徵圖被壓縮為1×1×C向量。

激勵（Excitation）

接下來就是激勵（Excitation）操作，如下圖所示

由兩個全連接層組成，其中SERatio是一個縮放參數，這個參數的目的是為了減少通道個數從而降低計算量。

第一個全連接層有C*SERatio個神經元，輸入為1×1×C，輸出1×1×C×SERadio。

第二個全連接層有C個神經元，輸入為1×1×C×SERadio，輸出為1×1×C。

scale操作

最後是scale操作，在得到1×1×C向量之後，就可以對原來的特徵圖進行scale操作了。很簡單，就是通道權重相乘，原有特徵向量為W×H×C，將SE模塊計算出來的各通道權重值分別和原特徵圖對應通道的二維矩陣相乘，得出的結果輸出。

這里我們可以得出SE模塊的屬性：

參數量 = 2×C×C×SERatio

計算量 = 2×C×C×SERatio

總體來講SE模塊會增加網路的總參數量，總計算量，因為使用的是全連接層計算量相比卷積層並不大，但是參數量會有明顯上升，所以MobileNetV3-Large中的總參數量比MobileNetV2多了2M。

MobileNetV3中的SE模塊

SE模塊的使用是很靈活的，可以在已有網路上添加而不打亂網路原有的主體結構。

ResNet中添加SE模塊形成SE-ResNet網路，SE模塊是在bottleneck結構之後加入的，如下圖左邊所示。

MobileNetV3版本中SE模塊加在了bottleneck結構的內部，在深度卷積後增加SE塊，scale操作後再做逐點卷積，如上圖右邊所示。MobileNetV3版本的SERadio系數為0.25。使用SE模塊後的MobileNetV3的參數量相比MobileNetV2多了約2M，達到5.4M，但是MobileNetV3的精度得到了很大的提升，在圖像分類和目標檢測中准確率都有明顯提升。

9

h-swish激活函數

MobileNetV3中發現swish激活函數能夠有效提高網路的精度，但是swish的計算量太大了，並不適合輕量級神經網路。MobileNetV3找到了類似swish激活函數但是計算量卻少很多的替代激活函數h-swish（hard version of swish）如下所示：

sigmoid、h-sigmoid、swish、h-swish激活函數的比較：

（圖片來源https://arxiv.org/pdf/1905.02244.pdf）

這種非線性在保持精度的情況下帶來了很多優勢，首先ReLU6在眾多軟硬體框架中都可以實現，其次量化時避免了數值精度的損失，運行快。這一非線性改變將模型的延時增加了15%。但它帶來的網路效應對於精度和延時具有正向促進，剩下的開銷可以通過融合非線性與先前層來消除。

6. 急求BP神經網路演算法，用java實現！！！

見附件，一個基本的用java編寫的BP網路代碼。

BP（Back Propagation）神經網路是86年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。BP網路能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。BP神經網路模型拓撲結構包括輸入層（input）、隱層(hidden layer)和輸出層(output layer)。