神經網路如何更新權重的演算法

Ⅰ 10的三次方怎麼稀釋梯度

這個復雜，需要了解方法。可以用到兩三種方法。
十倍梯度稀釋法(倍比稀釋和梯度稀釋)：
梯度下降是尋找函數極小值的優化方法，在深度學習模型中常用於在反向傳播過程中更新神經網路的權重。

梯度下降優化演算法功能是什麼？

梯度下降，優化演算法發揮了以下三個主要方面的作用：
1、學習率成分、或

2、修正坡度成分L/W
3或2者
讓我們看看下面的公式1。
方程1 :隨機梯度下降中的各種量
學習率調度器vs梯度下降優化的主要區別在於，梯度下降優化是將學習率乘以梯度的函數即因子來調整學習率成分，而學習率調度器是將學習率乘以一定的常數或關於時間步的函數的因子來更新學習率。
第一種方法主要是通過將學習率(learning rate )乘以0到1之間的因子來降低學習率)例如RMSprop。 第二種方法通常使用坡度(Gradient )的滑動平均(也稱為動量)而不是純坡度來確定下降方向。 第三種方法是將Adam和AMSGrad這樣的兩者結合起來。

Fig.2 )各類梯度下降優化演算法、其發表年和使用的核心思路。
Fig.3自上而下，展示了這些優化演算法是如何從最簡單的簡單梯度下降(SGD )進化到Adam的各種變種的。 SGD最初分別向兩個方向發展，一個是AdaGrad，主要調整學習率(learning rate )。 另一個是Momentum，主要調整梯度的構成要素。 隨著進化的發展，Momentum和RMSprop一體化，「QS dch」(Adam )誕生了。 你可能會對我這樣的組織方式提出異議，但我一直以來都是這樣理解的。

Fig.3 )各種最優化演算法的進化圖(gist ) ) ) ) ) )。

符號表示
t -迭代步數

w -需要更新的權重和參數
-學習率
L/w - L (損失函數)相對於w的梯度
因為我統一了論文中出現的希臘文字和符號表示，所以可以用統一的「進化」的觀點來看這些優化演算法

1. 隨機梯度下降（Stochastic Gradient Descend）
最原始的隨機梯度下降演算法主要是將當前梯度l/w乘以一個系數學習率來更新模型的權重w。
2. 動量演算法（Momentum）

動量演算法使用具有動量的坡度(坡度的指數滑動平均、Polyak、1964 )而不是當前坡度來更新w。 在後續的文章中，我們會發現採用指數滑動平均作為動量更新方法幾乎已經成為行業標准。
另外，v初始化值為0。 通常設定為0.9。

值得注意的是，許多文章在引用Momemtum演算法時都使用年輕花瓣Qian，1999的文章。 但是，該演算法的原始來源是Sutskever et al。 另一方面，經典動量演算法是1964年由Polyak提出的，因此上述也引用了Polyak的文章。 (謝謝James指出這一點)
3.Nesterov加速梯度下降法（NAG）

是在Polyak提出動量法後(雙關： Polyak勢)
頭正盛），一個使用Nesterov加速梯度下降法(Sutskever et al., 2013)的類似更新方法也被實現了。此更新方法使用V，即我稱之為投影梯度的指數移動平均值。

其中

且V 初始化為0。
第二個等式中的最後一項就是一個投影梯度。這個值可以通過使用先前的速度「前進一步」獲得（等式4）。這意味著對於這個時間步驟t，我們必須在最終執行反向傳播之前執行另一個前向傳播。這是步驟：
1.使用先前的速度將當前權重w更新為投影權重w*
（等式4）
2. 使用投影權重計算前向傳播
3.獲得投影梯度∂L/∂w*
4.計算相應的V和w
常見的默認值：
β = 0.9
請注意，原始的Nesterov 加速梯度下降法論文（ Nesterov, 1983 ）並不是關於隨機梯度下降，也沒有明確使用梯度下降方程。因此，更合適的參考是上面提到的Sutskever等人的出版物。在2013年，它描述了NAG在隨機梯度下降中的應用。（再一次，我要感謝James對HackerNews的評論中指出這一點。）

Ⅱ 關於深度學習的問題都有哪些

很多人對於深度學習有很多的問題，其實這說明深度學習的關注度還是很高的。深度學習是為人工智慧服務的，因此深度學習這種演算法越來越受大家的關注。在這篇文章中我們就給大家解答一下關於深度學習的問題，希望這篇文章能夠給大家帶來幫助。
1.為什麼構建深度學習模型需要使用GPU？
在深度學習中，深度學習模型有兩個主要的操作，也就是前向傳遞和後向傳遞。前向傳遞將輸入數據通過神經網路後生成輸出；後向傳遞根據前向傳遞得到的誤差來更新神經網路的權重。在矩陣中，我們知道計算矩陣就是第一個數組的行與第二個數組的列元素分別相乘。因此，在神經網路中，我們可以將第一個矩陣視為神經網路的輸入，第二個矩陣可以視為網路的權重。這似乎是一個簡單的任務。但是數據有很多，如果我們用傳統的方法，訓練這種系統需要幾年的時間。如果使用神經網路的計算密集部分由多個矩陣乘法組成。那麼如何才能更快？我們可以簡單地通過同時執行所有操作，而不是一個接一個地執行。這就是為什麼我們要使用GPU而不是CPU來訓練神經網路的原因。
2.何時應用神經網路？
首先，深度學習模型需要清晰且豐富的數據來訓練。對於圖像處理等復雜問題使用深度學習需要很謹慎。深度學習演算法屬於表示學習演算法。這些演算法將復雜問題分解為更簡單的形式以便理解。對於傳統的演算法來說，這將更困難。硬體要求對於運行深度神經網路模型也至關重要。神經網路很久以前就被發現了，但近年來得以成功實現，硬體資源更加強大也是其主要原因。
3.是否需要大量數據來訓練深度學習模型？
其實我們確實需要大量的數據來訓練深度學習模型，但也可以通過遷移學習來克服數據量不大這一障礙。即使數據量不大，針對特定任務進行訓練的深度學習模型也可以重用於同一個域中的不同問題，這種技術被稱為遷移學習。
相信大家看了這篇文章以後對深度學習有所理解了吧？大家在學習深度學習的時候一定要意識到一件事情，那就是深度學習是機器學習的分支，想學好人工智慧一定不能忽視了對深度學習的掌握和熟知。

Ⅲ 神經網路演算法是什麼

Introction
--------------------------------------------------------------------------------

神經網路是新技術領域中的一個時尚詞彙。很多人聽過這個詞，但很少人真正明白它是什麼。本文的目的是介紹所有關於神經網路的基本包括它的功能、一般結構、相關術語、類型及其應用。

「神經網路」這個詞實際是來自於生物學，而我們所指的神經網路正確的名稱應該是「人工神經網路（ANNs）」。在本文，我會同時使用這兩個互換的術語。

一個真正的神經網路是由數個至數十億個被稱為神經元的細胞（組成我們大腦的微小細胞）所組成，它們以不同方式連接而型成網路。人工神經網路就是嘗試模擬這種生物學上的體系結構及其操作。在這里有一個難題：我們對生物學上的神經網路知道的不多！因此，不同類型之間的神經網路體系結構有很大的不同，我們所知道的只是神經元基本的結構。

The neuron
--------------------------------------------------------------------------------

雖然已經確認在我們的大腦中有大約50至500種不同的神經元，但它們大部份都是基於基本神經元的特別細胞。基本神經元包含有synapses、soma、axon及dendrites。Synapses負責神經元之間的連接，它們不是直接物理上連接的，而是它們之間有一個很小的空隙允許電子訊號從一個神經元跳到另一個神經元。然後這些電子訊號會交給soma處理及以其內部電子訊號將處理結果傳遞給axon。而axon會將這些訊號分發給dendrites。最後，dendrites帶著這些訊號再交給其它的synapses，再繼續下一個循環。

如同生物學上的基本神經元，人工的神經網路也有基本的神經元。每個神經元有特定數量的輸入，也會為每個神經元設定權重（weight）。權重是對所輸入的資料的重要性的一個指標。然後，神經元會計算出權重合計值（net value），而權重合計值就是將所有輸入乘以它們的權重的合計。每個神經元都有它們各自的臨界值（threshold），而當權重合計值大於臨界值時，神經元會輸出1。相反，則輸出0。最後，輸出會被傳送給與該神經元連接的其它神經元繼續剩餘的計算。

Learning
--------------------------------------------------------------------------------

正如上述所寫，問題的核心是權重及臨界值是該如何設定的呢？世界上有很多不同的訓練方式，就如網路類型一樣多。但有些比較出名的包括back-propagation, delta rule及Kohonen訓練模式。

由於結構體系的不同，訓練的規則也不相同，但大部份的規則可以被分為二大類別 - 監管的及非監管的。監管方式的訓練規則需要「教師」告訴他們特定的輸入應該作出怎樣的輸出。然後訓練規則會調整所有需要的權重值（這是網路中是非常復雜的），而整個過程會重頭開始直至數據可以被網路正確的分析出來。監管方式的訓練模式包括有back-propagation及delta rule。非監管方式的規則無需教師，因為他們所產生的輸出會被進一步評估。

Architecture
--------------------------------------------------------------------------------

在神經網路中，遵守明確的規則一詞是最「模糊不清」的。因為有太多不同種類的網路，由簡單的布爾網路（Perceptrons），至復雜的自我調整網路（Kohonen），至熱動態性網路模型（Boltzmann machines）！而這些，都遵守一個網路體系結構的標准。

一個網路包括有多個神經元「層」，輸入層、隱蔽層及輸出層。輸入層負責接收輸入及分發到隱蔽層（因為用戶看不見這些層，所以見做隱蔽層）。這些隱蔽層負責所需的計算及輸出結果給輸出層，而用戶則可以看到最終結果。現在，為免混淆，不會在這里更深入的探討體系結構這一話題。對於不同神經網路的更多詳細資料可以看Generation5 essays

盡管我們討論過神經元、訓練及體系結構，但我們還不清楚神經網路實際做些什麼。

The Function of ANNs
--------------------------------------------------------------------------------

神經網路被設計為與圖案一起工作 - 它們可以被分為分類式或聯想式。分類式網路可以接受一組數，然後將其分類。例如ONR程序接受一個數字的影象而輸出這個數字。或者PPDA32程序接受一個坐標而將它分類成A類或B類（類別是由所提供的訓練決定的）。更多實際用途可以看Applications in the Military中的軍事雷達，該雷達可以分別出車輛或樹。

聯想模式接受一組數而輸出另一組。例如HIR程序接受一個『臟』圖像而輸出一個它所學過而最接近的一個圖像。聯想模式更可應用於復雜的應用程序，如簽名、面部、指紋識別等。

The Ups and Downs of Neural Networks
--------------------------------------------------------------------------------

神經網路在這個領域中有很多優點，使得它越來越流行。它在類型分類/識別方面非常出色。神經網路可以處理例外及不正常的輸入數據，這對於很多系統都很重要（例如雷達及聲波定位系統）。很多神經網路都是模仿生物神經網路的，即是他們仿照大腦的運作方式工作。神經網路也得助於神經系統科學的發展，使它可以像人類一樣准確地辨別物件而有電腦的速度！前途是光明的，但現在...

是的，神經網路也有些不好的地方。這通常都是因為缺乏足夠強大的硬體。神經網路的力量源自於以並行方式處理資訊，即是同時處理多項數據。因此，要一個串列的機器模擬並行處理是非常耗時的。

神經網路的另一個問題是對某一個問題構建網路所定義的條件不足 - 有太多因素需要考慮：訓練的演算法、體系結構、每層的神經元個數、有多少層、數據的表現等，還有其它更多因素。因此，隨著時間越來越重要，大部份公司不可能負擔重復的開發神經網路去有效地解決問題。

NN 神經網路，Neural Network
ANNs 人工神經網路，Artificial Neural Networks
neurons 神經元
synapses 神經鍵
self-organizing networks 自我調整網路
networks modelling thermodynamic properties 熱動態性網路模型

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
網格演算法我沒聽說過
好像只有網格計算這個詞

網格計算是伴隨著互聯網技術而迅速發展起來的，專門針對復雜科學計算的新型計算模式。這種計算模式是利用互聯網把分散在不同地理位置的電腦組織成一個「虛擬的超級計算機」，其中每一台參與計算的計算機就是一個「節點」，而整個計算是由成千上萬個「節點」組成的「一張網格」， 所以這種計算方式叫網格計算。這樣組織起來的「虛擬的超級計算機」有兩個優勢，一個是數據處理能力超強；另一個是能充分利用網上的閑置處理能力。簡單地講，網格是把整個網路整合成一台巨大的超級計算機，實現計算資源、存儲資源、數據資源、信息資源、知識資源、專家資源的全面共享。

Ⅳ 神經網路中輸入層到隱藏層的W是怎麼來的

W是權重。開始的初始化權重是隨機產生的，之後的權重是在訓練中自動更新的。訓練更新的權重一般而言是看不到的，但也可以通過可視化權重的方式實現中間變數的觀察，不過這些權重有什麼含義目前並不十分清楚。

神經網路是模擬動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。從x到h到y可以近似看作動物神經，權重則可以看作是神經的粗細程度，或者說是兩細胞之間聯結的緊密程度。神經網路通過調整內部大量的權重來實現調整內部節點之間相互連接的關系，從而達到模擬動物神經網路來處理信息的目的。

Ⅳ 如何用人工神經網路確定指標體系的權重

說的確定應該就是訓練方法吧，神經網路的權值不是人工給定的。而是用訓練集（包括輸入和輸出）訓練，用訓練集訓練一遍稱為一個epoch，一般要許多epoch才行，目的是使得目標與訓練結果的誤差(一般採用均方誤差）小到一個給定的閾值。以上所說是有監督的學習方法，還有無監督的學習方法。

Ⅵ 入門 | 一文簡述循環神經網路

入門 | 一文簡述循環神經網路

本文簡要介紹了什麼是循環神經網路及其運行原理，並給出了一個 RNN 實現示例。

什麼是循環神經網路（RNN）？它們如何運行？可以用在哪裡呢？本文試圖回答上述這些問題，還展示了一個 RNN 實現 demo，你可以根據自己的需要進行擴展。

循環神經網路架構

基礎知識。Python、CNN 知識是必備的。了解 CNN 的相關知識，是為了與 RNN 進行對比：RNN 為什麼以及在哪些地方比 CNN 更好。

我們首先從「循環」（Recurrent）這個詞說起。為什麼將其稱為循環？循環的意思是：

經常或重復出現

將這類神經網路稱為循環神經網路是因為它對一組序列輸入重復進行同樣的操作。本文後續部分將討論這種操作的意義。

我們為什麼需要 RNN？

也許你現在想的是，已經有像卷積網路這樣表現非常出色的網路了，為什麼還需要其他類型的網路呢？有一個需要用到 RNN 的特殊例子。為了解釋 RNN，你首先需要了解序列的相關知識，我們先來講一下序列。

序列是相互依賴的（有限或無限）數據流，比如時間序列數據、信息性的字元串、對話等。在對話中，一個句子可能有一個意思，但是整體的對話可能又是完全不同的意思。股市數據這樣的時間序列數據也是，單個數據表示當前價格，但是全天的數據會有不一樣的變化，促使我們作出買進或賣出的決定。

當輸入數據具有依賴性且是序列模式時，CNN 的結果一般都不太好。CNN 的前一個輸入和下一個輸入之間沒有任何關聯。所以所有的輸出都是獨立的。CNN 接受輸入，然後基於訓練好的模型輸出。如果你運行了 100 個不同的輸入，它們中的任何一個輸出都不會受之前輸出的影響。但想一下如果是文本生成或文本翻譯呢？所有生成的單詞與之前生成的單詞都是獨立的（有些情況下與之後的單詞也是獨立的，這里暫不討論）。所以你需要有一些基於之前輸出的偏向。這就是需要 RNN 的地方。RNN 對之前發生在數據序列中的事是有一定記憶的。這有助於系統獲取上下文。理論上講，RNN 有無限的記憶，這意味著它們有無限回顧的能力。通過回顧可以了解所有之前的輸入。但從實際操作中看，它只能回顧最後幾步。

本文僅為了與人類大體相關聯，而不會做任何決定。本文只是基於之前關於該項目的知識做出了自己的判斷（我甚至尚未理解人類大腦的 0.1%）。

何時使用 RNN？

RNN 可用於許多不同的地方。下面是 RNN 應用最多的領域。

1. 語言建模和文本生成

給出一個詞語序列，試著預測下一個詞語的可能性。這在翻譯任務中是很有用的，因為最有可能的句子將是可能性最高的單片語成的句子。

2. 機器翻譯

將文本內容從一種語言翻譯成其他語言使用了一種或幾種形式的 RNN。所有日常使用的實用系統都用了某種高級版本的 RNN。

3. 語音識別

基於輸入的聲波預測語音片段，從而確定詞語。

4. 生成圖像描述

RNN 一個非常廣泛的應用是理解圖像中發生了什麼，從而做出合理的描述。這是 CNN 和 RNN 相結合的作用。CNN 做圖像分割，RNN 用分割後的數據重建描述。這種應用雖然基本，但可能性是無窮的。

5. 視頻標記

可以通過一幀一幀地標記視頻進行視頻搜索。

深入挖掘

本文按照以下主題進行。每一部分都是基於之前的部分進行的，所以不要跳著讀。

前饋網路循環網路循環神經元基於時間的反向傳播（BPTT）RNN 實現

前饋網路入門

前饋網路通過在網路的每個節點上做出的一系列操作傳遞信息。前饋網路每次通過每個層直接向後傳遞信息。這與其他循環神經網路不同。一般而言，前饋網路接受一個輸入並據此產生輸出，這也是大多數監督學習的步驟，輸出結果可能是一個分類結果。它的行為與 CNN 類似。輸出可以是以貓狗等作為標簽的類別。

前饋網路是基於一系列預先標注過的數據訓練的。訓練階段的目的是減少前饋網路猜類別時的誤差。一旦訓練完成，我們就可以用訓練後的權重對新批次的數據進行分類。

一個典型的前饋網路架構

還有一件事要注意。在前饋網路中，無論在測試階段展示給分類器的圖像是什麼，都不會改變權重，所以也不會影響第二個決策。這是前饋網路和循環網路之間一個非常大的不同。

與循環網路不同，前饋網路在測試時不會記得之前的輸入數據。它們始終是取決於時間點的。它們只會在訓練階段記得歷史輸入數據。

循環網路

也就是說，循環網路不僅將當前的輸入樣例作為網路輸入，還將它們之前感知到的一並作為輸入。

我們試著建立了一個多層感知器。從簡單的角度講，它有一個輸入層、一個具備特定激活函數的隱藏層，最終可以得到輸出。

多層感知器架構示例

如果在上述示例中的層數增加了，輸入層也接收輸入。那麼第一個隱藏層將激活傳遞到下一個隱藏層上，依此類推。最後到達輸出層。每一個隱藏層都有自己的權重和偏置項。現在問題變成了我們可以輸入到隱藏層嗎？

每一層都有自己的權重（W）、偏置項（B）和激活函數（F）。這些層的行為不同，合並它們從技術層面上講也極具挑戰性。為了合並它們，我們將所有層的權重和偏置項替換成相同的值。如下圖所示：

現在我們就可以將所有層合並在一起了。所有的隱藏層都可以結合在一個循環層中。所以看起來就像下圖：

我們在每一步都會向隱藏層提供輸入。現在一個循環神經元存儲了所有之前步的輸入，並將這些信息和當前步的輸入合並。因此，它還捕獲到一些當前數據步和之前步的相關性信息。t-1 步的決策影響到第 t 步做的決策。這很像人類在生活中做決策的方式。我們將當前數據和近期數據結合起來，幫助解決手頭的特定問題。這個例子很簡單，但從原則上講這與人類的決策能力是一致的。這讓我非常想知道我們作為人類是否真的很智能，或者說我們是否有非常高級的神經網路模型。我們做出的決策只是對生活中收集到的數據進行訓練。那麼一旦有了能夠在合理時間段內存儲和計算數據的先進模型和系統時，是否可以數字化大腦呢？所以當我們有了比大腦更好更快的模型（基於數百萬人的數據訓練出的）時，會發生什麼？

另一篇文章（https://deeplearning4j.org/lstm.html）的有趣觀點：人總是被自己的行為所困擾。

我們用一個例子來闡述上面的解釋，這個例子是預測一系列字母後的下一個字母。想像一個有 8 個字母的單詞 namaskar。

namaskar（合十禮）：印度表示尊重的傳統問候或姿勢，將手掌合起置於面前或胸前鞠躬。

如果我們在向網路輸入 7 個字母後試著找出第 8 個字母，會發生什麼呢？隱藏層會經歷 8 次迭代。如果展開網路的話就是一個 8 層的網路，每一層對應一個字母。所以你可以想像一個普通的神經網路被重復了多次。展開的次數與它記得多久之前的數據是直接相關的。

循環神經網路的運作原理

循環神經元

這里我們將更深入地了解負責決策的實際神經元。以之前提到的 namaskar 為例，在給出前 7 個字母後，試著找出第 8 個字母。輸入數據的完整詞彙表是 {n,a,m,s,k,r}。在真實世界中單詞或句子都會更復雜。為了簡化問題，我們用的是下面這個簡單的詞彙表。

在上圖中，隱藏層或 RNN 塊在當前輸入和之前的狀態中應用了公式。在本例中，namaste 的字母 n 前面什麼都沒有。所以我們直接使用當前信息推斷，並移動到下一個字母 a。在推斷字母 a 的過程中，隱藏層應用了上述公式結合當前推斷 a 的信息與前面推斷 n 的信息。輸入在網路中傳遞的每一個狀態都是一個時間步或一步，所以時間步 t 的輸入是 a，時間步 t-1 的輸入就是 n。將公式同時應用於 n 和 a 後，就得到了一個新狀態。

用於當前狀態的公式如下所示：

h_t 是新狀態，h_t-1 是前一個狀態。x_t 是時間 t 時的輸入。在對之前的時間步應用了相同的公式後，我們已經能感知到之前的輸入了。我們將檢查 7 個這樣的輸入，它們在每一步的權重和函數都是相同的。

現在試著以簡單的方式定義 f()。我們使用 tanh 激活函數。通過矩陣 W_hh 定義權重，通過矩陣 W_xh 定義輸入。公式如下所示：

上例只將最後一步作為記憶，因此只與最後一步的數據合並。為了提升網路的記憶能力，並在記憶中保留較長的序列，我們必須在方程中添加更多的狀態，如 h_t-2、h_t-3 等。最後輸出可以按測試階段的計算方式進行計算：

其中，y_t 是輸出。對輸出與實際輸出進行對比，然後計算出誤差值。網路通過反向傳播誤差來更新權重，進行學習。本文後續部分會對反向傳播進行討論。

基於時間的反向傳播演算法（BPTT）

本節默認你已經了解了反向傳播概念。如果需要對反向傳播進行深入了解，請參閱鏈接：?http://cs231n.github.io/optimization-2/?。

現在我們了解了 RNN 是如何實際運作的，但是在實際工作中如何訓練 RNN 呢？該如何決定每個連接的權重呢？如何初始化這些隱藏單元的權重呢？循環網路的目的是要准確地對序列輸入進行分類。這要靠誤差值的反向傳播和梯度下降來實現。但是前饋網路中使用的標准反向傳播無法在此應用。

與有向無環的前饋網路不同，RNN 是循環圖，這也是問題所在。在前饋網路中可以計算出之前層的誤差導數。但 RNN 的層級排列與前饋網路並不相同。

答案就在之前討論過的內容中。我們需要展開網路。展開網路使其看起來像前饋網路就可以了。

展開 RNN

在每個時間步取出 RNN 的隱藏單元並復制。時間步中的每一次復制就像前饋網路中的一層。在時間步 t+1 中每個時間步 t 層與所有可能的層連接。因此我們對權重進行隨機初始化，展開網路，然後在隱藏層中通過反向傳播優化權重。通過向最低層傳遞參數完成初始化。這些參數作為反向傳播的一部分也得到了優化。

展開網路的結果是，現在每一層的權重都不同，因此最終會得到不同程度的優化。無法保證基於權重計算出的誤差是相等的。所以每一次運行結束時每一層的權重都不同。這是我們絕對不希望看到的。最簡單的解決辦法是以某種方式將所有層的誤差合並到一起。可以對誤差值取平均或者求和。通過這種方式，我們可以在所有時間步中使用一層來保持相同的權重。

RNN 實現

本文試著用 Keras 模型實現 RNN。我們試著根據給定的文本預測下一個序列。

代碼地址：?https://gist.github.com/.git?

該模型是 Yash Katariya 建的。我對該模型做了一些細微的改動以適合本文的要求。

Ⅶ 如何用python和scikit learn實現神經網路

1：神經網路演算法簡介

2：Backpropagation演算法詳細介紹

3：非線性轉化方程舉例

4：自己實現神經網路演算法NeuralNetwork

5：基於NeuralNetwork的XOR實例

6：基於NeuralNetwork的手寫數字識別實例

7：scikit-learn中BernoulliRBM使用實例

8：scikit-learn中的手寫數字識別實例

一：神經網路演算法簡介

1：背景

以人腦神經網路為啟發，歷史上出現過很多版本，但最著名的是backpropagation

2：多層向前神經網路（Multilayer Feed-Forward Neural Network）

Ⅷ BP神經網路如何自定義權重值

0到1之間隨即定，然後根據最速下降法或者遺傳演算法對其進行優化即可。

Ⅸ 神經網路中的前向和後向演算法

神經網路中的前向和後向演算法
看了一段時間的深度網路模型，也在tf和theano上都跑了一些模型，但是感覺沒有潛下去，對很多東西的理解都只停留在「這個是干什麼的」層次上面。昨天在和小老師一起看一篇文章的時候，就被問到RNN裡面的後向傳播演算法具體是怎麼推。當時心裡覺得BP演算法其實很熟悉啊，然後在推導的過程中就一臉懵逼了。於是又去網上翻了翻相關內容，自己走了一遍，准備做個筆記，算是個交代。
准備一個神經網路模型，比如：

其中，[i1,i2]
代表輸入層的兩個結點，[h1,h2]代表隱藏層的兩個結點，[o1,o2]為輸出。[b1,b2]
為偏置項。連接每個結點之間的邊已經在圖中標出。
來了解一下前向演算法：
前向演算法的作用是計算輸入層結點對隱藏層結點的影響，也就是說，把網路正向的走一遍：輸入層—->隱藏層—->輸出層
計算每個結點對其下一層結點的影響。
?? 例如，我們要算結點h1
的值，那麼就是：
是一個簡單的加權求和。這里稍微說一下，偏置項和權重項的作用是類似的，不同之處在於權重項一般以乘法的形式體現，而偏置項以加法的形式體現。
??而在計算結點o1時，結點h1的輸出不能簡單的使用neth1的結果，必須要計算激活函數，激活函數，不是說要去激活什麼，而是要指「激活的神經元的特徵」通過函數保留並映射出來。以sigmoid函數為例，h1的輸出：

於是

最後o1的輸出結果，也就是整個網路的一個輸出值是：
按照上面的步驟計算出out02，則[outo1,outo2]就是整個網路第一次前向運算之後得到的結果。
後向演算法：

??在實際情況中，因為是隨機給定的權值，很大的可能（幾乎是100%）得到的輸出與實際結果之間的偏差非常的大，這個時候我們就需要比較我們的輸出和實際結果之間的差異，將這個殘差返回給整個網路，調整網路中的權重關系。這也是為什麼我們在神經網路中需要後向傳播的原因。其主要計算步驟如下：
1. 計算總誤差
2. 隱藏層的權值更新
在要更新每個邊的權重之前，必須要知道這條邊對最後輸出結果的影響，可以用整體誤差對w5求偏導求出：
具體計算的時候，可以採用鏈式法則展開：
在計算的時候一定要注意每個式子裡面哪些自變數是什麼，求導千萬不要求錯了。
??需要講出來的一個地方是，在計算w1的權重時，Etotal中的兩部分都需要對它進行求導，因為這條邊在前向傳播中對兩個殘差都有影響
3. 更新權重 這一步裡面就沒什麼東西了，直接根據學習率來更新權重：

至此，一次正向+反向傳播過程就到此為止，接下來只需要進行迭代，不斷調整邊的權重，修正網路的輸出和實際結果之間的偏差（也就是training整個網路）。