神經網路收斂到多少

1. 怎樣可以提高神經網路的收斂速度

摘要 先確定神經網路的訓練演算法和神經元節點數。

2. 神經網路的初始權值和閾值為什麼都歸一化0到1之間呢

因為神經元的傳輸函數在[0,1]之間區別比較大，如果大於1以後，傳輸函數值變化不大（導數或斜率就比較小），不利於反向傳播演算法的執行。反向傳播演算法需要用到各個神經元傳輸函數的梯度信息，當神經元的輸入太大時（大於1比如），相應的該點自變數梯度值就過小，就無法順利實現權值和閾值的調整）。傳輸函數比如logsig或tansig，你可以把函數圖像畫出來，會發現，[-1,1]之間函數圖像比較徒，一階導數（梯度）比較大，如果在這個敬意范圍之外，圖像就比較平坦，一階導數（梯度）就接近0了。

3. 神經網路訓練loss收斂的問題

這個問題比較泛，因為網路的損失函數是由自己設計的，如果不特殊說明一般是有均方誤差和交叉熵兩種損失函數的。其中均方誤差當然就是指的輸出與標簽的差的平方和的平均，計算方式如下： 而交叉熵則是為了防止網路在訓練後期遲緩而提出的一種損失函數，計算方式如下：

4. 神經網路參數如何確定

神經網路各個網路參數設定原則：

①、網路節點  網路輸入層神經元節點數就是系統的特徵因子(自變數)個數，輸出層神經元節點數就是系統目標個數。隱層節點選按經驗選取，一般設為輸入層節點數的75%。如果輸入層有7個節點，輸出層1個節點，那麼隱含層可暫設為5個節點，即構成一個7-5-1 BP神經網路模型。在系統訓練時，實際還要對不同的隱層節點數4、5、6個分別進行比較，最後確定出最合理的網路結構。

②、初始權值的確定  初始權值是不應完全相等的一組值。已經證明，即便確定  存在一組互不相等的使系統誤差更小的權值，如果所設Wji的的初始值彼此相等，它們將在學習過程中始終保持相等。故而，在程序中，我們設計了一個隨機發生器程序，產生一組一0.5~+0.5的隨機數，作為網路的初始權值。

③、最小訓練速率  在經典的BP演算法中，訓練速率是由經驗確定，訓練速率越大，權重變化越大，收斂越快；但訓練速率過大，會引起系統的振盪，因此，訓練速率在不導致振盪前提下，越大越好。因此，在DPS中，訓練速率會自動調整，並盡可能取大一些的值，但用戶可規定一個最小訓練速率。該值一般取0.9。

④、動態參數  動態系數的選擇也是經驗性的，一般取0.6 ~0.8。

⑤、允許誤差  一般取0.001~0.00001，當2次迭代結果的誤差小於該值時，系統結束迭代計算，給出結果。

⑥、迭代次數  一般取1000次。由於神經網路計算並不能保證在各種參數配置下迭代結果收斂，當迭代結果不收斂時，允許最大的迭代次數。

⑦、Sigmoid參數 該參數調整神經元激勵函數形式，一般取0.9~1.0之間。

⑧、數據轉換。在DPS系統中，允許對輸入層各個節點的數據進行轉換，提供轉換的方法有取對數、平方根轉換和數據標准化轉換。

(4)神經網路收斂到多少擴展閱讀：

神經網路的研究內容相當廣泛，反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面：

1.生物原型

從生理學、心理學、解剖學、腦科學、病理學等方面研究神經細胞、神經網路、神經系統的生物原型結構及其功能機理。

2.建立模型

根據生物原型的研究，建立神經元、神經網路的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。

3.演算法

在理論模型研究的基礎上構作具體的神經網路模型，以實現計算機模擬或准備製作硬體，包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。

神經網路用到的演算法就是向量乘法，並且廣泛採用符號函數及其各種逼近。並行、容錯、可以硬體實現以及自我學習特性，是神經網路的幾個基本優點，也是神經網路計算方法與傳統方法的區別所在。

5. 神經網路能否較快收斂

要收斂快，就把學習步長設長一些、目標精度設低一些即可。

6. 神經網路演算法原理

4.2.1 概述

人工神經網路的研究與計算機的研究幾乎是同步發展的。1943年心理學家McCulloch和數學家Pitts合作提出了形式神經元的數學模型，20世紀50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函數的概念提出了神經網路的一種數學模型，1986年，Rumelhart及LeCun等學者提出了多層感知器的反向傳播演算法等。

神經網路技術在眾多研究者的努力下，理論上日趨完善，演算法種類不斷增加。目前，有關神經網路的理論研究成果很多，出版了不少有關基礎理論的著作，並且現在仍是全球非線性科學研究的熱點之一。

神經網路是一種通過模擬人的大腦神經結構去實現人腦智能活動功能的信息處理系統，它具有人腦的基本功能，但又不是人腦的真實寫照。它是人腦的一種抽象、簡化和模擬模型，故稱之為人工神經網路（邊肇祺，2000）。

人工神經元是神經網路的節點，是神經網路的最重要組成部分之一。目前，有關神經元的模型種類繁多，最常用最簡單的模型是由閾值函數、Sigmoid 函數構成的模型（圖 4-3）。

儲層特徵研究與預測

以上演算法是對每個樣本作權值修正，也可以對各個樣本計算δ_j後求和，按總誤差修正權值。

7. BP人工神經網路的收斂是什麼

收斂和迭代演算法有關。
反向傳播演算法是定義一個誤差er（往往是輸出結果與預想結果之間的某個范數），然後求出滿足誤差極小的權向量。如果把誤差看成一個連續函數（泛函）的話，求對權向量各分量的偏導為0即可，但是實際上它是離散的，所以我們需要用迭代來求最小梯度。
如果是新定義演算法的話理論上的收斂要證明，可以證明它在迭代次數趨近無窮的時候等於某一解，也可以證明它滿足李普希茲條件（就是帶有完備范數和李普希茲常數的那個），這種情形下我們叫做收斂，要是用已有演算法或者乾脆就是BP演算法的時候不需要你證明。理論上不收斂的情況是這樣，當迭代次數趨近無窮的時候，權向量的解不唯一。
實際上的收斂是這樣，給定一個最大迭代次數n，一個誤差限erl，反向傳播演算法應該很容易找，我不往上寫了，每一步權值修正都會使er減小，直觀的看就是權向量的分量沿著梯度減小的方向在前進，雖然理論上樣本足夠大並且n趨於無窮的時候會收斂，但是實際上有可能出現當迭代到第n次，誤差er依然大於誤差限erl的情況，也就是說我們沒有解出來滿足要求的權向量，所以網路訓練失敗，叫做不收斂。當然，也可以使用梯度限來作為迭代終止的條件，這種情況下不收斂就是梯度在迭代了n次以後沒有小於某一值，從而沒有求出滿足要求的權向量；收斂就是求出了滿足梯度限的權向量。