神經網路優化演算法屬於哪個層

Ⅰ 神經網路簡述

機器學習中談論的神經網路是指「神經網路學習」，或者說，是機器學習和神經網路這兩個學科領域的交叉部分[1]。

在這里，神經網路更多的是指計算機科學家模擬人類大腦結構和智能行為，發明的一類演算法的統稱。

神經網路是眾多優秀仿生演算法中的一種，讀書時曾接觸過蟻群優化演算法，曾驚訝於其強大之處，但神經網路的強大，顯然蟻群優化還不能望其項背。

A、起源與第一次高潮。有人認為，神經網路的最早討論，源於現代計算機科學的先驅——阿蘭.圖靈在1948年的論文中描述的「B型組織機器」[2]。二十世紀50年代出現了以感知機、Adaling為代表的一系列成功，這是神經網路發展的第一個高潮[1]。

B、第一次低谷。1969年，馬文.明斯基出版《感知機》一書，書中論斷直接將神經網路打入冷宮，導致神經網路十多年的「冰河期」。值得一提的是，在這期間的1974年，哈佛大學Paul Webos發明BP演算法，但當時未受到應有的重視[1]。

C、第二次高潮。1983年，加州理工學院的物理學家John Hopfield利用神經網路，在旅行商問題上獲得當時最好結果，引起轟動；Rumelhart等人重新發明了BP演算法，BP演算法迅速走紅，掀起神經網路第二次高潮[1]。

D、第二次低谷。二十世紀90年代中期，統計學習理論和支持向量機興起，較之於這些演算法，神經網路的理論基礎不清晰等缺點更加凸顯，神經網路研究進入第二次低谷[1]。

E、深度學習的崛起。2010年前後，隨著計算能力的提升和大數據的涌現，以神經網路為基礎的「深度學習」崛起，科技巨頭公司谷歌、Facebook、網路投入巨資研發，神經網路迎來第三次高潮[1]。2016年3月9日至15日，Google人工智慧程序AlphaGo對陣韓國圍棋世界冠軍李世乭，以4:1大比分獲勝，比眾多專家預言早了十年。這次比賽，迅速在全世界經濟、科研、計算機產業各領域掀起人工智慧和深度學習的熱烈討論。

F、展望。從幾個方面討論一下。

1)、近期在Google AlphaGo掀起的熱潮中，民眾的熱情與期待最大，甚至有少許恐慌情緒；計算機產業和互聯網產業熱情也非常巨大，對未來充滿期待，各大巨頭公司對其投入大量資源；學術界的反應倒是比較冷靜的。學術界的冷靜，是因為神經網路和深度神經網路的理論基礎還沒有出現長足的進步，其缺點還沒有根本改善。這也從另一個角度說明了深度神經網路理論進步的空間很大。

2)、"當代神經網路是基於我們上世紀六十年代掌握的腦知識。"關於人類大腦的科學與知識正在爆炸式增長。[3]世界上很多學術團隊正在基於大腦機制新的認知建立新的模型[3]。我個人對此報樂觀態度，從以往的仿生演算法來看，經過億萬年進化的自然界對科技發展的促進從來沒有停止過。

3)、還說AlphaGo，它並不是理論和演算法的突破，而是基於已有演算法的工程精品。AlhphaGo的工作，為深度學習的應用提供了非常廣闊的想像空間。分布式技術提供了巨大而廉價的計算能力，巨量數據的積累提供了豐富的訓練樣本，深度學習開始騰飛，這才剛剛開始。

一直沿用至今的，是McChlloch和Pitts在1943年依據腦神經信號傳輸結構抽象出的簡單模型，所以也被稱作」M-P神經元模型「。

其中，

f函數像一般形如下圖的函數，既考慮階躍性，又考慮光滑可導性。

實際常用如下公式，因形如S，故被稱作sigmoid函數。

把很多個這樣的神經元按一定層次連接起來，就得到了神經網路。

兩層神經元組成，輸入層接收外界輸入信號，輸出層是M-P神經元(只有輸出層是)。

感知機的數學模型和單個M-P神經元的數學模型是一樣的，如因為輸入層只需接收輸入信號，不是M-P神經元。

感知機只有輸出層神經元是B-P神經元，學習能力非常有限。對於現行可分問題，可以證明學習過程一定會收斂。而對於非線性問題，感知機是無能為力的。

BP神經網路全稱叫作誤差逆傳播(Error Propagation)神經網路，一般是指基於誤差逆傳播演算法的多層前饋神經網路。這里為了不佔篇幅，BP神經網路將起篇另述。

BP演算法是迄今最為成功的神經網路學習演算法，也是最有代表性的神經網路學習演算法。BP演算法不僅用於多層前饋神經網路，還用於其他類型神經網路的訓練。

RBF網路全程徑向基函數(Radial Basis Function)網路，是一種單隱層前饋神經網路，其與BP網路最大的不同是採用徑向基函數作為隱層神經元激活函數。

卷積神經網路(Convolutional neural networks，簡稱CNNs)是一種深度學習的前饋神經網路，在大型圖片處理中取得巨大成功。卷積神經網路將起篇另述。

循環神經網路(Recurrent Neural Networks，RNNs)與傳統的FNNs不同，RNNs引入定向循環，能夠處理那些輸入之間前後關聯的問題。RNNs已經在眾多自然語言處理(Natural Language Processing, NLP)中取得了巨大成功以及廣泛應用[5]。RNNs將起篇另述。[5]

[1]、《機器學習》，周志華著

[2]、《模式識別（第二版）》，Richard O.Duda等著，李宏東等譯

[3]、《揭秘IARPA項目：解碼大腦演算法或將徹底改變機器學習》，Emily Singerz著，機器之心編譯出品

[4]、圖片來源於互聯網

[5]、 循環神經網路(RNN, Recurrent Neural Networks)介紹

Ⅱ 神經網路演算法原理

一共有四種演算法及原理，如下所示：

1、自適應諧振理論（ART）網路

自適應諧振理論（ART）網路具有不同的方案。一個ART-1網路含有兩層一個輸入層和一個輸出層。這兩層完全互連，該連接沿著正向（自底向上）和反饋（自頂向下）兩個方向進行。

2、學習矢量量化（LVQ）網路

學習矢量量化（LVQ）網路，它由三層神經元組成，即輸入轉換層、隱含層和輸出層。該網路在輸入層與隱含層之間為完全連接，而在隱含層與輸出層之間為部分連接，每個輸出神經元與隱含神經元的不同組相連接。

3、Kohonen網路

Kohonen網路或自組織特徵映射網路含有兩層，一個輸入緩沖層用於接收輸入模式，另一個為輸出層，輸出層的神經元一般按正則二維陣列排列，每個輸出神經元連接至所有輸入神經元。連接權值形成與已知輸出神經元相連的參考矢量的分量。

4、Hopfield網路

Hopfield網路是一種典型的遞歸網路，這種網路通常只接受二進制輸入（0或1）以及雙極輸入（+1或-1）。它含有一個單層神經元，每個神經元與所有其他神經元連接，形成遞歸結構。

(2)神經網路優化演算法屬於哪個層擴展閱讀：

人工神經網路演算法的歷史背景：

該演算法系統是 20 世紀 40 年代後出現的。它是由眾多的神經元可調的連接權值連接而成，具有大規模並行處理、分布式信息存儲、良好的自組織自學習能力等特點。

BP演算法又稱為誤差反向傳播演算法，是人工神經網路中的一種監督式的學習演算法。BP 神經網路演算法在理論上可以逼近任意函數，基本的結構由非線性變化單元組成，具有很強的非線性映射能力。

而且網路的中間層數、各層的處理單元數及網路的學習系數等參數可根據具體情況設定，靈活性很大，在優化、信號處理與模式識別、智能控制、故障診斷等許 多領域都有著廣泛的應用前景。

Ⅲ rbf神經網路演算法是什麼

RBF神經網路演算法是由三層結構組成，輸入層至隱層為非線性的空間變換，一般選用徑向基函數的高斯函數進行運算；從隱層至輸出層為線性空間變換，即矩陣與矩陣之間的變換。

RBF神經網路進行數據運算時需要確認聚類中心點的位置及隱層至輸出層的權重。通常，選用K-means聚類演算法或最小正交二乘法對數據大量的進行訓練得出聚類中心矩陣和權重矩陣。

一般情況下，最小正交二乘法聚類中心點的位置是給定的，因此比較適合分布相對規律的數據。而K-means聚類演算法則會自主選取聚類中心，進行無監督分類學習，從而完成空間映射關系。

RBF網路特點

RBF網路能夠逼近任意非線性的函數(因為使用的是一個局部的激活函數。在中心點附近有最大的反應；越接近中心點則反應最大，遠離反應成指數遞減；就相當於每個神經元都對應不同的感知域)。

可以處理系統內難以解析的規律性，具有很好的泛化能力，並且具有較快的學習速度。

有很快的學習收斂速度，已成功應用於非線性函數逼近、時間序列分析、數據分類、模式識別、信息處理、圖像處理、系統建模、控制和故障診斷等。

當網路的一個或多個可調參數（權值或閾值）對任何一個輸出都有影響時，這樣的網路稱為全局逼近網路。由於對於每次輸入，網路上的每一個權值都要調整，從而導致全局逼近網路的學習速度很慢，比如BP網路。

Ⅳ 一文讀懂神經網路

要說近幾年最引人注目的技術，無疑的，非人工智慧莫屬。無論你是否身處科技互聯網行業，隨處可見人工智慧的身影：從 AlphaGo 擊敗世界圍棋冠軍，到無人駕駛概念的興起，再到科技巨頭 All in AI，以及各大高校向社會輸送海量的人工智慧專業的畢業生。以至於人們開始萌生一個想法：新的革命就要來了，我們的世界將再次發生一次巨變；而後開始焦慮：我的工作是否會被機器取代？我該如何才能抓住這次革命？

人工智慧背後的核心技術是深度神經網路（Deep Neural Network），大概是一年前這個時候，我正在回老家的高鐵上學習 3Blue1Brown 的 Neural Network 系列視頻課程，短短 4 集 60 多分鍾的時間，就把神經網路從 High Level 到推導細節說得清清楚楚，當時的我除了獲得新知的興奮之外，還有一點新的認知，算是給頭腦中的革命性的技術潑了盆冷水：神經網路可以解決一些復雜的、以前很難通過寫程序來完成的任務——例如圖像、語音識別等，但它的實現機制告訴我，神經網路依然沒有達到生物級別的智能，短期內期待它來取代人也是不可能的。

一年後的今天，依然在這個春運的時間點，將我對神經網路的理解寫下來，算是對這部分知識的一個學習筆記，運氣好的話，還可以讓不了解神經網路的同學了解起來。

維基網路這樣解釋 神經網路 ：

這個定義比較寬泛，你甚至還可以用它來定義其它的機器學習演算法，例如之前我們一起學習的邏輯回歸和 GBDT 決策樹。下面我們具體一點，下圖是一個邏輯回歸的示意圖：

其中 x1 和 x2 表示輸入，w1 和 w2 是模型的參數，z 是一個線性函數：

接著我們對 z 做一個 sigmod 變換（圖中藍色圓），得到輸出 y：

其實，上面的邏輯回歸就可以看成是一個只有 1 層 輸入層 ， 1 層 輸出層 的神經網路，圖中容納數字的圈兒被稱作 神經元 ；其中，層與層之間的連接 w1、w2 以及 b，是這個 神經網路的參數 ，層之間如果每個神經元之間都保持著連接，這樣的層被稱為 全連接層 （Full Connection Layer），或 稠密層 （Dense Layer）；此外，sigmoid 函數又被稱作 激活函數 （Activation Function），除了 sigmoid 外，常用的激活函數還有 ReLU、tanh 函數等，這些函數都起到將線性函數進行非線性變換的作用。我們還剩下一個重要的概念： 隱藏層 ，它需要把 2 個以上的邏輯回歸疊加起來加以說明：

如上圖所示，除輸入層和輸出層以外，其他的層都叫做 隱藏層 。如果我們多疊加幾層，這個神經網路又可以被稱作 深度神經網路 （Deep Neural Network），有同學可能會問多少層才算「深」呢？這個沒有絕對的定論，個人認為 3 層以上就算吧：）

以上，便是神經網路，以及神經網路中包含的概念，可見，神經網路並不特別，廣義上講，它就是

可見，神經網路和人腦神經也沒有任何關聯，如果我們說起它的另一個名字—— 多層感知機（Mutilayer Perceptron） ，就更不會覺得有多麼玄乎了，多層感知機創造於 80 年代，可為什麼直到 30 年後的今天才爆發呢？你想得沒錯，因為改了個名字……開個玩笑；實際上深度學習這項技術也經歷過很長一段時間的黑暗低谷期，直到人們開始利用 GPU 來極大的提升訓練模型的速度，以及幾個標志性的事件：如 AlphaGo戰勝李世石、Google 開源 TensorFlow 框架等等，感興趣的同學可以翻一下這里的歷史。

就拿上圖中的 3 個邏輯回歸組成的神經網路作為例子，它和普通的邏輯回歸比起來，有什麼優勢呢？我們先來看下單邏輯回歸有什麼劣勢，對於某些情況來說，邏輯回歸可能永遠無法使其分類，如下面數據：

這 4 個樣本畫在坐標系中如下圖所示

因為邏輯回歸的決策邊界（Decision Boundary）是一條直線，所以上圖中的兩個分類，無論你怎麼做，都無法找到一條直線將它們分開，但如果藉助神經網路，就可以做到這一點。

由 3 個邏輯回歸組成的網路（這里先忽略 bias）如下：

觀察整個網路的計算過程，在進入輸出層之前，該網路所做的計算實際上是：

即把輸入先做了一次線性變換（Linear Transformation），得到 [z1, z2] ，再把 [z1, z2] 做了一個非線性變換（sigmoid），得到 [x1', x2'] ，（線性變換的概念可以參考 這個視頻 ）。從這里開始，後面的操作就和一個普通的邏輯回歸沒有任何差別了，所以它們的差異在於： 我們的數據在輸入到模型之前，先做了一層特徵變換處理（Feature Transformation，有時又叫做特徵抽取 Feature Extraction），使之前不可能被分類的數據變得可以分類了 。

我們繼續來看下特徵變換的效果，假設 為 ，帶入上述公式，算出 4 個樣本對應的 [x1', x2'] 如下：

再將變換後的 4 個點繪制在坐標系中：

顯然，在做了特徵變換之後，這兩個分類就可以很容易的被一條決策邊界分開了。

所以， 神經網路的優勢在於，它可以幫助我們自動的完成特徵變換或特徵提取 ，尤其對於聲音、圖像等復雜問題，因為在面對這些問題時，人們很難清晰明確的告訴你，哪些特徵是有用的。

在解決特徵變換的同時，神經網路也引入了新的問題，就是我們需要設計各式各樣的網路結構來針對性的應對不同的場景，例如使用卷積神經網路（CNN）來處理圖像、使用長短期記憶網路（LSTM）來處理序列問題、使用生成式對抗網路（GAN）來寫詩和作圖等，就連去年自然語言處理（NLP）中取得突破性進展的 Transformer/Bert 也是一種特定的網路結構。所以， 學好神經網路，對理解其他更高級的網路結構也是有幫助的 。

上面說了，神經網路可以看作一個非線性函數，該函數的參數是連接神經元的所有的 Weights 和 Biases，該函數可以簡寫為 f(W, B) ，以手寫數字識別的任務作為例子：識別 MNIST 數據集 中的數字，數據集（MNIST 數據集是深度學習中的 HelloWorld）包含上萬張不同的人寫的數字圖片，共有 0-9 十種數字，每張圖片為 28*28=784 個像素，我們設計一個這樣的網路來完成該任務：

把該網路函數所具備的屬性補齊：

接下來的問題是，這個函數是如何產生的？這個問題本質上問的是這些參數的值是怎麼確定的。

在機器學習中，有另一個函數 c 來衡量 f 的好壞，c 的參數是一堆數據集，你輸入給 c 一批 Weights 和 Biases，c 輸出 Bad 或 Good，當結果是 Bad 時，你需要繼續調整 f 的 Weights 和 Biases，再次輸入給 c，如此往復，直到 c 給出 Good 為止，這個 c 就是損失函數 Cost Function（或 Loss Function）。在手寫數字識別的列子中，c 可以描述如下：

可見，要完成手寫數字識別任務，只需要調整這 12730 個參數，讓損失函數輸出一個足夠小的值即可，推而廣之，絕大部分神經網路、機器學習的問題，都可以看成是定義損失函數、以及參數調優的問題。

在手寫識別任務中，我們既可以使用交叉熵（Cross Entropy）損失函數，也可以使用 MSE（Mean Squared Error）作為損失函數，接下來，就剩下如何調優參數了。

神經網路的參數調優也沒有使用特別的技術，依然是大家剛接觸機器學習，就學到的梯度下降演算法，梯度下降解決了上面迭代過程中的遺留問題——當損失函數給出 Bad 結果時，如何調整參數，能讓 Loss 減少得最快。

梯度可以理解為：

把 Loss 對應到 H，12730 個參數對應到 (x,y)，則 Loss 對所有參數的梯度可以表示為下面向量，該向量的長度為 12730：
$$
abla L(w,b) = left[

frac{partial L}{partial w_1},
frac{partial L}{partial w_2},...,
frac{partial L}{partial b_{26}}

ight] ^ op
$$
所以，每次迭代過程可以概括為

用梯度來調整參數的式子如下（為了簡化，這里省略了 bias）：

上式中， 是學習率，意為每次朝下降最快的方向前進一小步，避免優化過頭（Overshoot）。

由於神經網路參數繁多，所以需要更高效的計算梯度的演算法，於是，反向傳播演算法（Backpropagation）呼之欲出。

在學習反向傳播演算法之前，我們先復習一下微積分中的鏈式法則（Chain Rule）：設 g = u(h) ， h = f(x) 是兩個可導函數，x 的一個很小的變化 △x 會使 h 產生一個很小的變化 △h，從而 g 也產生一個較小的變化 △g，現要求 △g/△x，可以使用鏈式法則：

有了以上基礎，理解反向傳播演算法就簡單了。

假設我們的演示網路只有 2 層，輸入輸出都只有 2 個神經元，如下圖所示：

其中 是輸入， 是輸出， 是樣本的目標值，這里使用的損失函數 L 為 MSE；圖中的上標 (1) 或 (2) 分別表示參數屬於第 (1) 層或第 (2) 層，下標 1 或 2 分別表示該層的第 1 或 第 2 個神經元。

現在我們來計算 和 ，掌握了這 2 個參數的偏導數計算之後，整個梯度的計算就掌握了。

所謂反向傳播演算法，指的是從右向左來計算每個參數的偏導數，先計算 ，根據鏈式法則

對左邊項用鏈式法則展開

又 是輸出值， 可以直接通過 MSE 的導數算出：

而 ，則 就是 sigmoid 函數的導數在 處的值，即

於是 就算出來了：

再來看 這一項，因為

所以

注意：上面式子對於所有的 和 都成立，且結果非常直觀，即 對 的偏導為左邊的輸入 的大小；同時，這里還隱含著另一層意思：需要調整哪個 來影響 ，才能使 Loss 下降得最快，從該式子可以看出，當然是先調整較大的 值所對應的 ，效果才最顯著 。

於是，最後一層參數 的偏導數就算出來了

我們再來算上一層的 ，根據鏈式法則 ：

繼續展開左邊這一項

你發現沒有，這幾乎和計算最後一層一摸一樣，但需要注意的是，這里的 對 Loss 造成的影響有多條路徑，於是對於只有 2 個輸出的本例來說：

上式中， 都已經在最後一層算出，下面我們來看下 ，因為

於是

同理

注意：這里也引申出梯度下降的調參直覺：即要使 Loss 下降得最快，優先調整 weight 值比較大的 weight。

至此， 也算出來了

觀察上式， 所謂每個參數的偏導數，通過反向傳播演算法，都可以轉換成線性加權（Weighted Sum）計算 ，歸納如下：

式子中 n 代表分類數，(l) 表示第 l 層，i 表示第 l 層的第 i 個神經元。 既然反向傳播就是一個線性加權，那整個神經網路就可以藉助於 GPU 的矩陣並行計算了 。

最後，當你明白了神經網路的原理，是不是越發的認為，它就是在做一堆的微積分運算，當然，作為能證明一個人是否學過微積分，神經網路還是值得學一下的。Just kidding ..

本文我們通過

這四點，全面的學習了神經網路這個知識點，希望本文能給你帶來幫助。

參考：

Ⅳ 神經網路淺談

人工智慧技術是當前炙手可熱的話題，而基於神經網路的深度學習技術更是熱點中的熱點。去年穀歌的Alpha Go 以4:1大比分的優勢戰勝韓國的李世石九段，展現了深度學習的強大威力，後續強化版的Alpha Master和無師自通的Alpha Zero更是在表現上完全碾壓前者。不論你怎麼看，以深度學習為代表的人工智慧技術正在塑造未來。

下圖為英偉達（NVIDIA）公司近年來的股價情況， 該公司的主要產品是「圖形處理器」（GPU），而GPU被證明能大大加快神經網路的訓練速度，是深度學習必不可少的計算組件。英偉達公司近年來股價的飛漲足以證明當前深度學習的井噴之勢。

好，話不多說，下面簡要介紹神經網路的基本原理、發展脈絡和優勢。

神經網路是一種人類由於受到生物神經細胞結構啟發而研究出的一種演算法體系，是機器學習演算法大類中的一種。首先讓我們來看人腦神經元細胞：

一個神經元通常具有多個樹突 ，主要用來接受傳入信息，而軸突只有一條，軸突尾端有許多軸突末梢，可以給其他多個神經元傳遞信息。軸突末梢跟其他神經元的樹突產生連接，從而傳遞信號。

下圖是一個經典的神經網路（Artificial Neural Network,ANN）：

乍一看跟傳統互聯網的拓撲圖有點類似，這也是稱其為網路的原因，不同的是節點之間通過有向線段連接，並且節點被分成三層。我們稱圖中的圓圈為神經元，左邊三個神經元組成的一列為輸入層，中間神經元列為隱藏層,右邊神經元列為輸出層，神經元之間的箭頭為權重。

神經元是計算單元，相當於神經元細胞的細胞核，利用輸入的數據進行計算，然後輸出，一般由一個線性計算部分和一個非線性計算部分組成；輸入層和輸出層實現數據的輸入輸出，相當於細胞的樹突和軸突末梢；隱藏層指既不是輸入也不是輸出的神經元層，一個神經網路可以有很多個隱藏層。

神經網路的關鍵不是圓圈代表的神經元，而是每條連接線對應的權重。每條連接線對應一個權重，也就是一個參數。權重具體的值需要通過神經網路的訓練才能獲得。我們實際生活中的學習體現在大腦中就是一系列神經網路迴路的建立與強化，多次重復的學習能讓迴路變得更加粗壯，使得信號的傳遞速度加快，最後對外表現為「深刻」的記憶。人工神經網路的訓練也借鑒於此，如果某種映射關系出現很多次，那麼在訓練過程中就相應調高其權重。

1943年，心理學家McCulloch和數學家Pitts參考了生物神經元的結構，發表了抽象的神經元模型MP：

符號化後的模型如下：

Sum函數計算各權重與輸入乘積的線性組合，是神經元中的線性計算部分，而sgn是取符號函數，當輸入大於0時，輸出1，反之輸出0，是神經元中的非線性部分。向量化後的公式為z=sgn(w^T a)（w^T=(w_1,w_2,w_3)，a=〖(a_1,a_2,a_3)〗^T）。

但是，MP模型中，權重的值都是預先設置的，因此不能學習。該模型雖然簡單，並且作用有限，但已經建立了神經網路大廈的地基

1958年，計算科學家Rosenblatt提出了由兩層神經元組成(一個輸入層，一個輸出層)的神經網路。他給它起了一個名字–「感知器」（Perceptron）

感知器是當時首個可以學習的人工神經網路。Rosenblatt現場演示了其學習識別簡單圖像的過程，在當時引起了轟動，掀起了第一波神經網路的研究熱潮。

但感知器只能做簡單的線性分類任務。1969年，人工智慧領域的巨擘Minsky指出這點，並同時指出感知器對XOR（異或，即兩個輸入相同時輸出0，不同時輸出1）這樣的簡單邏輯都無法解決。所以，明斯基認為神經網路是沒有價值的。

隨後，神經網路的研究進入低谷，又稱 AI Winter 。

Minsky說過單層神經網路無法解決異或問題，但是當增加一個計算層以後，兩層神經網路不僅可以解決異或問題，而且具有非常好的非線性分類效果。

下圖為兩層神經網路（輸入層一般不算在內）：

上圖中，輸出層的輸入是上一層的輸出。

向量化後的公式為：

注意：

每個神經元節點默認都有偏置變數b，加上偏置變數後的計算公式為：

同時，兩層神經網路不再使用sgn函數作為激勵函數，而採用平滑的sigmoid函數：

σ(z)=1/(1+e^(-z) )

其圖像如下：

理論證明： 兩層及以上的神經網路可以無限逼近真實的對應函數，從而模擬數據之間的真實關系 ，這是神經網路強大預測能力的根本。但兩層神經網路的計算量太大，當時的計算機的計算能力完全跟不上，直到1986年，Rumelhar和Hinton等人提出了反向傳播（Backpropagation，BP）演算法，解決了兩層神經網路所需要的復雜計算量問題，帶動了業界使用兩層神經網路研究的熱潮。

但好景不長，演算法的改進僅使得神經網路風光了幾年，然而計算能力不夠，局部最優解，調參等一系列問題一直困擾研究人員。90年代中期，由Vapnik等人發明的SVM（Support Vector Machines，支持向量機）演算法誕生，很快就在若干個方面體現出了對比神經網路的優勢：無需調參；高效；全局最優解。

由於以上原因，SVM迅速打敗了神經網路演算法成為主流。神經網路的研究再一次進入低谷， AI Winter again 。

多層神經網路一般指兩層或兩層以上的神經網路（不包括輸入層），更多情況下指兩層以上的神經網路。

2006年，Hinton提出使用 預訓練 」（pre-training）和「微調」(fine-tuning)技術能優化神經網路訓練，大幅度減少訓練多層神經網路的時間

並且，他給多層神經網路相關的學習方法賦予了一個新名詞–「 深度學習 」，以此為起點，「深度學習」紀元開始了：）

「深度學習」一方面指神經網路的比較「深」，也就是層數較多；另一方面也可以指神經網路能學到很多深層次的東西。研究發現，在權重參數不變的情況下，增加神經網路的層數，能增強神經網路的表達能力。

但深度學習究竟有多強大呢？沒人知道。2012年，Hinton與他的學生在ImageNet競賽中，用多層的卷積神經網路成功地對包含一千類別的一百萬張圖片進行了訓練，取得了分類錯誤率15%的好成績，這個成績比第二名高了近11個百分點，充分證明了多層神經網路識別效果的優越性。

同時，科研人員發現GPU的大規模並行矩陣運算模式完美地契合神經網路訓練的需要，在同等情況下，GPU的速度要比CPU快50-200倍，這使得神經網路的訓練時間大大減少，最終再一次掀起了神經網路研究的熱潮，並且一直持續到現在。

2016年基於深度學習的Alpha Go在圍棋比賽中以4:1的大比分優勢戰勝了李世石，深度學習的威力再一次震驚了世界。

神經網路的發展歷史曲折盪漾，既有被捧上神壇的高潮，也有無人問津的低谷，中間經歷了數次大起大落，我們姑且稱之為「三起三落」吧，其背後則是演算法的改進和計算能力的持續發展。

下圖展示了神經網路自發明以來的發展情況及一些重大時間節點。

當然，對於神經網路我們也要保持清醒的頭腦。由上圖，每次神經網路研究的興盛期持續10年左右，從最近2012年算起，或許10年後的2022年，神經網路的發展將再次遇到瓶頸。

神經網路作為機器學習的一種，其模型訓練的目的，就是使得參數盡可能的與真實的模型逼近。理論證明，兩層及以上的神經網路可以無限逼近真實的映射函數。因此，給定足夠的訓練數據和訓練時間，總能通過神經網路找到無限逼近真實關系的模型。

具體做法：首先給所有權重參數賦上隨機值，然後使用這些隨機生成的參數值，來預測訓練數據中的樣本。假設樣本的預測目標為yp ，真實目標為y，定義值loss，計算公式如下：

loss = (yp -y) ^2

這個值稱之為 損失 （loss），我們的目標就是使對所有訓練數據的損失和盡可能的小，這就轉化為求loss函數極值的問題。

一個常用方法是高等數學中的求導，但由於參數不止一個，求導後計算導數等於0的運算量很大，所以常用梯度下降演算法來解決這樣的優化問題。梯度是一個向量，由函數的各自變數的偏導數組成。

比如對二元函數 f =(x,y)，則梯度∇f=(∂f/∂x,∂f/∂y)。梯度的方向是函數值上升最快的方向。梯度下降演算法每次計算參數在當前的梯度，然後讓參數向著梯度的反方向前進一段距離，不斷重復，直到梯度接近零時截止。一般這個時候，所有的參數恰好達到使損失函數達到一個最低值的狀態。下圖為梯度下降的大致運行過程：

在神經網路模型中，由於結構復雜，每次計算梯度的代價很大。因此還需要使用 反向傳播 （Back Propagation）演算法。反向傳播演算法利用了神經網路的結構進行計算，不一次計算所有參數的梯度，而是從後往前。首先計算輸出層的梯度，然後是第二個參數矩陣的梯度，接著是中間層的梯度，再然後是第一個參數矩陣的梯度，最後是輸入層的梯度。計算結束以後，所要的兩個參數矩陣的梯度就都有了。當然，梯度下降只是其中一個優化演算法，其他的還有牛頓法、RMSprop等。

確定loss函數的最小值後，我們就確定了整個神經網路的權重，完成神經網路的訓練。

在神經網路中一樣的參數數量，可以用更深的層次去表達。

由上圖，不算上偏置參數的話，共有三層神經元，33個權重參數。

由下圖，保持權重參數不變，但增加了兩層神經元。

在多層神經網路中，每一層的輸入是前一層的輸出，相當於在前一層的基礎上學習，更深層次的神經網路意味著更深入的表示特徵，以及更強的函數模擬能力。更深入的表示特徵可以這樣理解，隨著網路的層數增加，每一層對於前一層次的抽象表示更深入。

如上圖，第一個隱藏層學習到「邊緣」的特徵，第二個隱藏層學習到「邊緣」組成的「形狀」的特徵，第三個隱藏層學習到由「形狀」組成的「圖案」的特徵，最後的隱藏層學習到由「圖案」組成的「目標」的特徵。通過抽取更抽象的特徵來對事物進行區分，從而獲得更好的區分與分類能力。

前面提到， 明斯基認為Rosenblatt提出的感知器模型不能處理最簡單的「異或」（XOR）非線性問題，所以神經網路的研究沒有前途，但當增加一層神經元後，異或問題得到了很好地解決，原因何在？原來從輸入層到隱藏層，數據發生了空間變換，坐標系發生了改變，因為矩陣運算本質上就是一種空間變換。

如下圖，紅色和藍色的分界線是最終的分類結果，可以看到，該分界線是一條非常平滑的曲線。

但是，改變坐標系後，分界線卻表現為直線，如下圖：

同時，非線性激勵函數的引入使得神經網路對非線性問題的表達能力大大加強。

對於傳統的樸素貝葉斯、決策樹、支持向量機SVM等分類器，提取特徵是一個非常重要的前置工作。在正式訓練之前，需要花費大量的時間在數據的清洗上，這樣分類器才能清楚地知道數據的維度，要不然基於概率和空間距離的線性分類器是沒辦法進行工作的。然而在神經網路中，由於巨量的線性分類器的堆疊（並行和串列）以及卷積神經網路的使用，它對雜訊的忍耐能力、對多通道數據上投射出來的不同特徵偏向的敏感程度會自動重視或忽略，這樣我們在處理的時候，就不需要使用太多的技巧用於數據的清洗了。有趣的是，業內大佬常感嘆，「你可能知道SVM等機器學習的所有細節，但是效果並不好，而神經網路更像是一個黑盒，很難知道它究竟在做什麼，但工作效果卻很好」。

人類對機器學習的環節干預越少，就意味著距離人工智慧的方向越近。神經網路的這個特性非常有吸引力。

1) 谷歌的TensorFlow開發了一個非常有意思的神經網路 入門教程 ，用戶可以非常方便地在網頁上更改神經網路的參數，並且能看到實時的學習效率和結果，非常適合初學者掌握神經網路的基本概念及神經網路的原理。網頁截圖如下：

2) 深度學習領域大佬吳恩達不久前發布的《 神經網路和深度學習 》MOOC，現在可以在網易雲課堂上免費觀看了，並且還有中文字幕。

3) 《神經網路於深度學習》（Michael Nielsen著）、《白話深度學習與TensorFlow》也是不錯的入門書籍。

Ⅵ 簡單介紹神經網路演算法

直接簡單介紹神經網路演算法

神經元：它是神經網路的基本單元。神經元先獲得輸入，然後執行某些數學運算後，再產生一個輸出。

神經元內輸入 經歷了3步數學運算，

先將兩個輸入乘以 權重 ：

權重 指某一因素或指標相對於某一事物的重要程度，其不同於一般的比重，體現的不僅僅是某一因素或指標所佔的百分比，強調的是因素或指標的相對重要程度

x1→x1 × w1

x2→x2 × w2

把兩個結果相加，加上一個 偏置 ：

（x1 × w1）+（x2 × w2）+ b

最後將它們經過 激活函數 處理得到輸出：

y = f(x1 × w1 + x2 × w2 + b)

激活函數 的作用是將無限制的輸入轉換為可預測形式的輸出。一種常用的激活函數是 sigmoid函數

sigmoid函數的輸出 介於0和1，我們可以理解為它把 (−∞,+∞) 范圍內的數壓縮到 (0, 1)以內。正值越大輸出越接近1，負向數值越大輸出越接近0。

神經網路： 神經網路就是把一堆神經元連接在一起

隱藏層 是夾在輸入輸入層和輸出層之間的部分，一個神經網路可以有多個隱藏層。

前饋 是指神經元的輸入向前傳遞獲得輸出的過程

訓練神經網路 ，其實這就是一個優化的過程，將損失最小化

損失 是判斷訓練神經網路的一個標准

可用 均方誤差 定義損失

均方誤差 是反映 估計量 與 被估計量 之間差異程度的一種度量。設t是根據子樣確定的總體參數θ的一個估計量，(θ-t)2的 數學期望 ，稱為估計量t的 均方誤差 。它等於σ2+b2，其中σ2與b分別是t的 方差 與 偏倚 。

預測值 是由一系列網路權重和偏置計算出來的值

反向傳播 是指向後計算偏導數的系統

正向傳播演算法 是由前往後進行的一個演算法

Ⅶ 神經網路（Neural Network）

（1）結構：許多樹突（dendrite）用於輸入，一個軸突 （axon）用於輸出。

（2）特性：興奮性和傳導性。興奮性是指當信號量超過某個閾值時，細胞體就會被激活，產生電脈沖。傳導性是指電脈沖沿著軸突並通過突觸傳遞到其它神經元。

（3）有兩種狀態的機器：激活時為「是」，不激活時為「否」。神經細胞的狀態取決於從其他神經細胞接收到的信號量，以及突觸的性質（抑制或加強）。

（1）神經元——不重要

① 神經元是包含權重和偏置項的 函數 ：接收數據後，執行一些計算，然後使用激活函數將數據限制在一個范圍內（多數情況下）。

② 單個神經元：線性可分的情況下，本質是一條直線， ，這條直線將數據劃分為兩類。而線性分類器本身就是一個單層神經網路。

③ 神經網路：非線性可分的情況下，神經網路通過多個隱層的方法來實現非線性的函數。

（2）權重/參數/連接（Weight）——最重要

每一個連接上都有一個權重。一個神經網路的訓練演算法就是讓權重的值調整到最佳，以使得整個網路的預測效果最好。

（3）偏置項（Bias Units）——必須

① 如果沒有偏置項，所有的函數都會經過原點。

② 正則化偏置會導致欠擬合：若對偏置正則化，會導致激活變得更加簡單，偏差就會上升，學習的能力就會下降。

③ 偏置的大小度量了神經元產生激勵（激活）的難易程度。

（1）定義：也稱為轉換函數，是一種將輸入 (input) 轉成輸出 (output) 的函數。

（2）作用：一般直線擬合的精確度要比曲線差很多，引入激活函數能給神經網路 增加一些非線性 的特性。

（3）性質：

① 非線性：導數不是常數，否則就退化成直線。對於一些畫一條直線仍然無法分開的問題，非線性可以把直線變彎，就能包羅萬象；

② 可微性：當優化方法是基於梯度的時候，處處可導為後向傳播演算法提供了核心條件；

③ 輸出范圍：一般限定在[0,1]，使得神經元對一些比較大的輸入會比較穩定；

④ 非飽和性：飽和就是指，當輸入比較大的時候輸出幾乎沒變化，會導致梯度消失；

⑤ 單調性：導數符號不變，輸出不會上躥下跳，讓神經網路訓練容易收斂。

（1）線性函數 (linear function)—— purelin()

（2）符號函數 (sign function)—— hardlim() 

① 如果z值高於閾值，則激活設置為1或yes，神經元將被激活。

② 如果z值低於閾值，則激活設置為0或no，神經元不會被激活。

（3）對率函數 (sigmoid function)—— logsig()

① 優點：光滑S型曲線連續可導，函數閾值有上限。

② 缺點：❶ 函數飽和使梯度消失，兩端梯度幾乎為0，更新困難，做不深；

                ❷ 輸出不是0中心，將影響梯度下降的運作，收斂異常慢；

                ❸ 冪運算相對來講比較耗時

（4）雙曲正切函數(hyperbolic tangent function)—— tansig()

① 優點：取值范圍0中心化，防止了梯度偏差

② 缺點：梯度消失現象依然存在，但相對於sigmoid函數問題較輕

（5）整流線性單元 ReLU 函數(rectified linear unit)

① 優點：❶ 分段線性函數，它的非線性性很弱，因此網路做得很深；

                ❷ 由於它的線性、非飽和性， 對於隨機梯度下降的收斂有巨大的加速作用；

② 缺點：❶ 當x<0，梯度都變成0，參數無法更新，也導致了數據多樣化的丟失；

                ❷ 輸出不是0中心

（6）滲漏型整流線性單元激活函數 Leaky ReLU 函數

① 優點：❶ 是為解決「ReLU死亡」問題的嘗試，在計算導數時允許較小的梯度；

                ❷ 非飽和的公式，不包含指數運算，計算速度快。

② 缺點：❶ 無法避免梯度爆炸問題； （沒有體現優於ReLU）

                ❷ 神經網路不學習 α 值。

（7）指數線性單元 ELU (Exponential Linear Units)

① 優點：❶ 能避免「死亡 ReLU」 問題；

                ❷ 能得到負值輸出，這能幫助網路向正確的方向推動權重和偏置變化；

                ❸ 在計算梯度時能得到激活，而不是讓它們等於 0。

② 缺點：❶ 由於包含指數運算，所以計算時間更長；

                ❷ 無法避免梯度爆炸問題； （沒有體現優於ReLU）

                ❸ 神經網路不學習 α 值。

（8）Maxout（對 ReLU 和 Leaky ReLU的一般化歸納）

① 優點：❶ 擁有ReLU的所有優點（線性和不飽和）

                ❷ 沒有ReLU的缺點（死亡的ReLU單元）

                ❸ 可以擬合任意凸函數

② 缺點 ：參數數量增加了一倍。難訓練，容易過擬合

（9）Swish

① 優點：❶ 在負半軸也有一定的不飽和區，參數的利用率更大

                ❷ 無上界有下界、平滑、非單調

                ❸ 在深層模型上的效果優於 ReLU

每個層都包含一定數量的單元（units）。增加層可增加神經網路輸出的非線性。

（1）輸入層：就是接收原始數據，然後往隱層送

（2）輸出層：神經網路的決策輸出

（3）隱藏層：神經網路的關鍵。把前一層的向量變成新的向量，讓數據變得線性可分。

（1）結構：僅包含輸入層和輸出層，直接相連。

（2）作用：僅能表示 線性可分 函數或決策，且一定可以在有限的迭代次數中收斂。

（3）局限：可以建立與門、或門、非門等，但無法建立更為復雜的異或門（XOR），即兩個輸入相同時輸出1，否則輸出0。 （「AI winter」）

（1）目的：擬合某個函數      （兩層神經網路可以逼近任意連續函數）

（2）結構：包含輸入層、隱藏層和輸出層 ，由於從輸入到輸出的過程中不存在與模型自身的反饋連接，因此被稱為「前饋」。    （層與層之間全連接）

（3）作用： 非線性 分類、聚類、預測等，通過訓練，可以學習到數據中隱含的知識。

（4）局限：計算復雜、計算速度慢、容易陷入局部最優解，通常要將它們與其他網路結合形成新的網路。

（5）前向傳播演算法（Forward Propagation）

① 方法：從左至右逐級依賴的演算法模型，即網路如何根據輸入X得到輸出Y，最終的輸出值和樣本值作比較， 計算出誤差 。

② 目的：完成了一次正反向傳播，就完成了一次神經網路的訓練迭代。通過輸出層的誤差，快速求解對每個ω、b的偏導，利用梯度下降法，使Loss越來越小。

② 局限：為使最終的誤差達到最小，要不斷修改參數值，但神經網路的每條連接線上都有不同權重參數，修改這些參數變得棘手。

（6）誤差反向傳播（Back Propagation）

① 原理：梯度下降法求局部極值

② 方法：從後往前，從輸出層開始計算 L 對當前層的微分，獲得各層的誤差信號，此誤差信號即作為修正單元權值的依據。計算結束以後，所要的兩個參數矩陣的 梯度 就都有了。

③ 局限：如果激活函數是飽和的，帶來的缺陷就是系統迭代更新變慢，系統收斂就慢，當然這是可以有辦法彌補的，一種方法是使用 交叉熵函數 作為損失函數。

（1）原理：隨著網路的層數增加，每一層對於前一層次的抽象表示更深入。在神經網路中，每一層神經元學習到的是前一層神經元值的更抽象的表示。通過抽取更抽象的特徵來對事物進行區分，從而獲得更好的區分與分類能力。

（2）方法：ReLU函數在訓練多層神經網路時，更容易收斂，並且預測性能更好。

（3）優點：① 易於構建，表達能力強，基本單元便可擴展為復雜的非線性函數

                      ② 並行性號，有利於在分布是系統上應用

（4）局限：① 優化演算法只能獲得局部極值，性能與初始值相關

                      ② 調參理論性缺乏

                      ③ 不可解釋，與實際任務關聯性模糊

（1）原理：由手工設計卷積核變成自動學習卷積核

（2）卷積（Convolutional layer）： 輸入與卷積核相乘再累加 （內積、加權疊加）

① 公式：

② 目的：提取輸入的不同特徵，得到維度很大的 特徵圖（feature map）

③ 卷積核：需要訓練的參數。一般為奇數維，有中心像素點，便於定位卷積核

④ 特點：局部感知、參數變少、權重共享、分層提取

（3）池化（Pooling Layer）：用更高層的抽象表達來表示主要特徵，又稱「降采樣」

① 分類： 最大 （出現與否）、平均（保留整體）、隨機（避免過擬合）

② 目的：降維，不需要訓練參數，得到新的、維度較小的特徵

（4）步長（stride）：若假設輸入大小是n∗n，卷積核的大小是f∗f，步長是s，則最後的feature map的大小為o∗o，其中

（5）填充（zero-padding）

① Full模式：即從卷積核（fileter）和輸入剛相交開始做卷積，沒有元素的部分做補0操作。

② Valid模式：卷積核和輸入完全相交開始做卷積，這種模式不需要補0。

③ Same模式：當卷積核的中心C和輸入開始相交時做卷積。沒有元素的部分做補0操作。

（7）激活函數：加入非線性特徵

（8）全連接層（Fully-connected layer）

如果說卷積層、池化層和激活函數層等是將原始數據映射到隱層特徵空間（決定計算速度），全連接層則起到將學到的「分布式特徵表示」映射到樣本標記空間的作用（決定參數個數）。

參考：

[1]  神經網路（入門最詳細）_ruthy的博客-CSDN博客_神經網路演算法入門

[2]  神經網路（容易被忽視的基礎知識） - Evan的文章 - 知乎

[3]  人工神經網路——王的機器

[4]  如何簡單形象又有趣地講解神經網路是什麼？ - 舒小曼的回答 - 知乎

[5]  神經網路15分鍾入門！足夠通俗易懂了吧 - Mr.括弧的文章 - 知乎

[6]  神經網路——最易懂最清晰的一篇文章_illikang的博客-CSDN博客_神經網路

[7]  直覺化深度學習教程——什麼是前向傳播——CSDN

[8]  「反向傳播演算法」過程及公式推導（超直觀好懂的Backpropagation）_aift的專欄-CSDN

[9]  卷積、反卷積、池化、反池化——CSDN

[10]  浙大機器學習課程- bilibili.com

Ⅷ 神經網路演算法

20 世紀五、六⼗年代，科學家 Frank Rosenblatt其受到 Warren McCulloch 和 Walter Pitts早期的⼯作的影響，發明了感知機（Perceptrons）。

⼀個感知器接受⼏個⼆進制輸⼊， ，並產⽣⼀個⼆進制輸出：

如上圖所示的感知機有三個輸⼊： 。通常可以有更多或更少輸⼊。 我們再引⼊權重： ，衡量輸入對輸出的重要性。感知機的輸出為0 或者 1，則由分配權重後的總和 ⼩於等於或者⼤於閾值決定。和權重⼀樣，閾值（threshold）是⼀個實數，⼀個神經元的參數。⽤更精確的代數形式如下：

給三個因素設置權重來作出決定：

可以把這三個因素對應地⽤⼆進制變數 來表⽰。例如，如果天⽓好，我們把

，如果不好， 。類似地，如果你的朋友陪你去， ，否則 。 也類似。

這三個對於可能對你來說，「電影好不好看」對你來說最重要，而天氣顯得不是那麼的重要。所以你會這樣分配權值： ，然後定義閾值threshold=5。

現在，你可以使⽤感知器來給這種決策建⽴數學模型。

例如：

隨著權重和閾值的變化，你可以得到不同的決策模型。很明顯，感知機不是⼈做出決策使⽤的全部模型。但是這個例⼦說明了⼀個感知機如何能權衡不同的依據來決策。這看上去也可以⼤致解釋⼀個感知機⽹絡有時確實能夠做出一些不錯的決定。

現在我們隊上面的結構做一點變化，令b=-threshold，即把閾值移到不等號左邊，變成偏置， 那麼感知器的規則可以重寫為:

引⼊偏置只是我們描述感知器的⼀個很⼩的變動，但是我們後⾯會看到它引導更進⼀步的符號簡化。因此，我們不再⽤閾值，⽽總是使⽤偏置。

感知機是首個可以學習的人工神經網路，它的出現引起的神經網路的第一層高潮。需要指出的是，感知機只能做簡單的線性分類任務，而且Minsky在1969年出版的《Perceptron》書中，證明了感知機對XOR（異或）這樣的問題都無法解決。但是感知機的提出，對神經網路的發展是具有重要意義的。

通過上面的感知機的觀察我們發現一個問題，每個感知機的輸出只有0和1，這就意味著有時我們只是在單個感知機上稍微修改了一點點權值w或者偏置b，就可能造成最終輸出完全的反轉。也就是說，感知機的輸出是一個階躍函數。如下圖所示，在0附近的時候，輸出的變化是非常明顯的，而在遠離0的地方，我們可能調整好久參數也不會發生輸出的變化。

這樣階躍的跳變並不是我們想要的，我們需要的是當我們隊權值w或者偏置b做出微小的調整後，輸出也相應的發生微小的改變芹則禪。這同時也意味值我們的輸出不再只是0和1，還可以輸出小數。由此我們引入了S型神經元。

S型神經元使用 S 型函數，也叫Sigmoid function函數，我們用它作為激活函數。其表達式如下：

圖像如下圖所示：

利⽤實際的 σ 函數，我們得到⼀個，就像上⾯說明的，平滑的感知器。 σ 函數的平滑特性，正是關鍵因素，⽽不是其細部形式盯明。 σ 的平滑意味著權重和偏置的微⼩變化，即 ∆w 和 ∆b，會從神經元產⽣⼀個微⼩的輸出變化 ∆output。實際上，微積分告訴我們

∆output 可以很好地近似表⽰為：

上面的式子是⼀個反映權重、偏置變化嫌塵和輸出變化的線性函數。這⼀線性使得我們可以通過選擇權重和偏置的微⼩變化來達到輸出的微⼩變化。所以當 S 型神經元和感知器本質上是相同的，但S型神經元在計算處理如何變化權重和偏置來使輸出變化的時候會更加容易。

有了對S型神經元的了解，我們就可以介紹神經網路的基本結構了。具體如下：

在⽹絡中最左邊的稱為輸⼊層，其中的神經元稱為輸⼊神經元。最右邊的，即輸出層包含有輸出神經元，在圖中，輸出層只有⼀個神經元。中間層，既然這層中的神經元既不是輸⼊也不是輸出，則被稱為隱藏層。

這就是神經網路的基本結構，隨著後面的發展神經網路的層數也隨之不斷增加和復雜。

我們回顧一下神經網路發展的歷程。神經網路的發展歷史曲折盪漾，既有被人捧上天的時刻，也有摔落在街頭無人問津的時段，中間經歷了數次大起大落。

從單層神經網路（感知機）開始，到包含一個隱藏層的兩層神經網路，再到多層的深度神經網路，一共有三次興起過程。詳見下圖。

我們希望有⼀個演算法，能讓我們找到權重和偏置，以⾄於⽹絡的輸出 y(x) 能夠擬合所有的 訓練輸⼊ x。為了量化我們如何實現這個⽬標，我們定義⼀個代價函數：

這⾥ w 表⽰所有的⽹絡中權重的集合， b 是所有的偏置， n 是訓練輸⼊數據的個數，
a 是表⽰當輸⼊為 x 時輸出的向量，求和則是在總的訓練輸⼊ x 上進⾏的。當然，輸出 a 取決於 x, w和 b，但是為了保持符號的簡潔性，我沒有明確地指出這種依賴關系。符號 ∥v∥ 是指向量 v 的模。我們把 C 稱為⼆次代價函數；有時也稱被稱為均⽅誤差或者 MSE。觀察⼆次代價函數的形式我們可以看到 C(w, b) 是⾮負的，因為求和公式中的每⼀項都是⾮負的。此外，代價函數 C(w,b)的值相當⼩，即 C(w; b) ≈ 0，精確地說，是當對於所有的訓練輸⼊ x， y(x) 接近於輸出 a 時。因

此如果我們的學習演算法能找到合適的權重和偏置，使得 C(w; b) ≈ 0，它就能很好地⼯作。相反，當 C(w; b) 很⼤時就不怎麼好了，那意味著對於⼤量地輸⼊， y(x) 與輸出 a 相差很⼤。因此我們的訓練演算法的⽬的，是最⼩化權重和偏置的代價函數 C(w; b)。換句話說，我們想要找到⼀系列能讓代價盡可能⼩的權重和偏置。我們將采⽤稱為梯度下降的演算法來達到這個⽬的。

下面我們將代價函數簡化為C(v)。它可以是任意的多元實值函數， 。
注意我們⽤ v 代替了 w 和 b 以強調它可能是任意的函數，我們現在先不局限於神經⽹絡的環境。

為了使問題更加簡單我們先考慮兩個變數的情況，想像 C 是⼀個只有兩個變數 和 的函數，我們的目的是找到 和 使得C最小。

如上圖所示，我們的目的就是找到局部最小值。對於這樣的一個問題，一種方法就是通過微積分的方法來解決，我們可以通過計算導數來求解C的極值點。但是對於神經網路來說，我們往往面對的是非常道的權值和偏置，也就是說v的維數不只是兩維，有可能是億萬維的。對於一個高維的函數C(v)求導數幾乎是不可能的。

在這種情況下，有人提出了一個有趣的演算法。想像一下一個小球從山頂滾下山谷的過程， 我們的⽇常經驗告訴我們這個球最終會滾到⾕底。我們先暫時忽略相關的物理定理， 對球體的⾁眼觀察是為了激發我們的想像⽽不是束縛我們的思維。因此與其陷進物理學⾥凌亂的細節，不如我們就這樣問⾃⼰：如果我們扮演⼀天的上帝，能夠構造⾃⼰的物理定律，能夠⽀配球體可以如何滾動，那麼我們將會採取什麼樣的運動學定律來讓球體能夠總是滾落到⾕底呢？

為了更精確地描述這個問題，讓我們思考⼀下，當我們在 和 ⽅向分別將球體移動⼀個很⼩的量，即 ∆ 和 ∆ 時，球體將會發⽣什麼情況。微積分告訴我們 C 將會有如下變化：

也可以用向量表示為

現在我們的問題就轉換為不斷尋找一個小於0的∆C，使得C+∆C不斷變小。

假設我們選取：

這⾥的 η 是個很⼩的正數（稱為學習速率），於是

由於 ∥∇C∥2 ≥ 0，這保證了 ∆C ≤ 0，即，如果我們按照上述⽅程的規則去改變 v，那麼 C
會⼀直減⼩，不會增加。

所以我們可以通過不斷改變v來C的值不斷下降，是小球滾到最低點。

總結⼀下，梯度下降演算法⼯作的⽅式就是重復計算梯度 ∇C，然後沿著相反的⽅向移動，沿著⼭⾕「滾落」。我們可以想像它像這樣：

為了使梯度下降能夠正確地運⾏，我們需要選擇合適的學習速率η，確保C不斷減少，直到找到最小值。

知道了兩個變數的函數 C 的梯度下降方法，我們可以很容易的把它推廣到多維。我們假設 C 是⼀個有 m 個變數 的多元函數。 ∆C 將會變為：

其中， ∇C為

∆v為：

更新規則為：

在回到神經網路中，w和b的更新規則為：

前面提到神經⽹絡如何使⽤梯度下降演算法來學習他們⾃⾝的權重和偏置。但是，這⾥還留下了⼀個問題：我們並沒有討論如何計算代價函數的梯度。這里就需要用到一個非常重要的演算法：反向傳播演算法（backpropagation）。

反向傳播演算法的啟示是數學中的鏈式法則。

四個方程：

輸出層誤差方程：

當前層誤差方程：

誤差方程關於偏置的關系：

誤差方程關於權值的關系

演算法描述：

檢視這個演算法，你可以看到為何它被稱作反向傳播。我們從最後⼀層開始向後計算誤差向量δ。這看起來有點奇怪，為何要從後⾯開始。但是如果你認真思考反向傳播的證明，這種反向移動其實是代價函數是⽹絡輸出的函數的結果。為了理解代價隨前⾯層的權重和偏置變化的規律，我們需要重復作⽤鏈式法則，反向地獲得需要的表達式。

參考鏈接： http://neuralnetworksanddeeplearning.com/