1. 深入淺出BP神經網路演算法的原理
深入淺出BP神經網路演算法的原理
相信每位剛接觸神經網路的時候都會先碰到BP演算法的問題，如何形象快速地理解BP神經網路就是我們學習的高級樂趣了（畫外音：樂趣？你在跟我談樂趣？）
本篇博文就是要簡單粗暴地幫助各位童鞋快速入門採取BP演算法的神經網路。
BP神經網路是怎樣的一種定義？看這句話：一種按「誤差逆傳播演算法訓練」的多層前饋網路。
BP的思想就是：利用輸出後的誤差來估計輸出層前一層的誤差，再用這層誤差來估計更前一層誤差，如此獲取所有各層誤差估計。這里的誤差估計可以理解為某種偏導數，我們就是根據這種偏導數來調整各層的連接權值，再用調整後的連接權值重新計算輸出誤差。直到輸出的誤差達到符合的要求或者迭代次數溢出設定值。
說來說去，「誤差」這個詞說的很多嘛，說明這個演算法是不是跟誤差有很大的關系？
沒錯，BP的傳播對象就是「誤差」，傳播目的就是得到所有層的估計誤差。
它的學習規則是：使用最速下降法，通過反向傳播（就是一層一層往前傳）不斷調整網路的權值和閾值，最後使全局誤差系數最小。
它的學習本質就是：對各連接權值的動態調整。
拓撲結構如上圖：輸入層（input），隱藏層（hide layer），輸出層（output）
BP網路的優勢就是能學習和儲存大量的輸入輸出的關系，而不用事先指出這種數學關系。那麼它是如何學習的？
BP利用處處可導的激活函數來描述該層輸入與該層輸出的關系，常用S型函數δ來當作激活函數。
我們現在開始有監督的BP神經網路學習演算法：
1、正向傳播得到輸出層誤差e
=>輸入層輸入樣本=>各隱藏層=>輸出層
2、判斷是否反向傳播
=>若輸出層誤差與期望不符=>反向傳播
3、誤差反向傳播
=>誤差在各層顯示=>修正各層單元的權值，直到誤差減少到可接受程度。
演算法闡述起來比較簡單，接下來通過數學公式來認識BP的真實面目。
假設我們的網路結構是一個含有N個神經元的輸入層，含有P個神經元的隱層，含有Q個神經元的輸出層。
這些變數分別如下：
認識好以上變數後，開始計算：
一、用（-1，1）內的隨機數初始化誤差函數，並設定精度ε，最多迭代次數M
二、隨機選取第k個輸入樣本及對應的期望輸出
重復以下步驟至誤差達到要求：
三、計算隱含層各神經元的輸入和輸出
四、計算誤差函數e對輸出層各神經元的偏導數，根據輸出層期望輸出和實際輸出以及輸出層輸入等參數計算。
五、計算誤差函數對隱藏層各神經元的偏導數，根據後一層（這里即輸出層）的靈敏度（稍後介紹靈敏度）δo(k)，後一層連接權值w，以及該層的輸入值等參數計算
六、利用第四步中的偏導數來修正輸出層連接權值
七、利用第五步中的偏導數來修正隱藏層連接權值
八、計算全局誤差（m個樣本，q個類別）
比較具體的計算方法介紹好了，接下來用比較簡潔的數學公式來大致地概括這個過程，相信看完上述的詳細步驟都會有些了解和領悟。
假設我們的神經網路是這樣的，此時有兩個隱藏層。
我們先來理解靈敏度是什麼？
看下面一個公式：
這個公式是誤差對b的一個偏導數，這個b是怎麼？它是一個基，靈敏度δ就是誤差對基的變化率，也就是導數。
因為?u/?b=1，所以?E/?b=?E/?u=δ，也就是說bias基的靈敏度?E/?b=δ等於誤差E對一個節點全部輸入u的導數?E/?u。
也可以認為這里的靈敏度等於誤差E對該層輸入的導數，注意了，這里的輸入是上圖U級別的輸入，即已經完成層與層權值計算後的輸入。
每一個隱藏層第l層的靈敏度為：
這里的「?」表示每個元素相乘，不懂的可與上面詳細公式對比理解
而輸出層的靈敏度計算方法不同，為：
而最後的修正權值為靈敏度乘以該層的輸入值，注意了，這里的輸入可是未曾乘以權值的輸入，即上圖的Xi級別。
對於每一個權值(W)ij都有一個特定的學習率ηIj，由演算法學習完成。
2. MATLAB中BP神經網路的訓練演算法具體是怎麼樣的
先用newff函數建立網路，再用train函數訓練即可。
1）正向傳播：輸入樣本－>輸入層－>各隱層（處理）－>輸出層
注1：若輸出層實際輸出與期望輸出（教師信號）不符，則轉入2）（誤差反向傳播過程）
2）誤差反向傳播：輸出誤差（某種形式）－>隱層（逐層）－>輸入層
其主要目的是通過將輸出誤差反傳，將誤差分攤給各層所有單元，從而獲得各層單元的誤差信號，進而修正各單元的權值（其過程，是一個權值調整的過程）。
BP演算法實現步驟（軟體）：
1）初始化
2）輸入訓練樣本對，計算各層輸出
3）計算網路輸出誤差
4）計算各層誤差信號
5）調整各層權值
6）檢查網路總誤差是否達到精度要求
滿足，則訓練結束；不滿足，則返回步驟2）
註：改進演算法—增加動量項、自適應調整學習速率（這個似乎不錯)及引入陡度因子。
3. bp神經網路
BP（Back Propagation）網路是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。BP網路能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。BP神經網路模型拓撲結構包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。
人工神經網路就是模擬人思維的第二種方式。這是一個非線性動力學系統，其特色在於信息的分布式存儲和並行協同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網路系統所能實現的行為卻是極其豐富多彩的。
人工神經網路首先要以一定的學習准則進行學習，然後才能工作。現以人工神經網路對手寫「A」、「B」兩個字母的識別為例進行說明，規定當「A」輸入網路時，應該輸出「1」，而當輸入為「B」時，輸出為「0」。
所以網路學習的准則應該是：如果網路作出錯誤的的判決，則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連接權值賦予(0，1)區間內的隨機值，將「A」所對應的圖象模式輸入給網路，網路將輸入模式加權求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使連接權值增大，以便使網路再次遇到「A」模式輸入時，仍然能作出正確的判斷。
如果輸出為「0」(即結果錯誤)，則把網路連接權值朝著減小綜合輸入加權值的方向調整，其目的在於使網路下次再遇到「A」模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網路輪番輸入若干個手寫字母「A」、「B」後，經過網路按以上學習方法進行若干次學習後，網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網路的各個連接權值上。當網路再次遇到其中任何一個模式時，能夠作出迅速、准確的判斷和識別。一般說來，網路中所含的神經元個數越多，則它能記憶、識別的模式也就越多。
如圖所示拓撲結構的單隱層前饋網路，一般稱為三層前饋網或三層感知器，即：輸入層、中間層（也稱隱層）和輸出層。它的特點是：各層神經元僅與相鄰層神經元之間相互全連接，同層內神經元之間無連接，各層神經元之間無反饋連接，構成具有層次結構的前饋型神經網路系統。單計算層前饋神經網路只能求解線性可分問題，能夠求解非線性問題的網路必須是具有隱層的多層神經網路。
神經網路的研究內容相當廣泛，反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面：
（1）生物原型研究。從生理學、心理學、解剖學、腦科學、病理學等生物科學方面研究神經細胞、神經網路、神經系統的生物原型結構及其功能機理。
（2）建立理論模型。根據生物原型的研究，建立神經元、神經網路的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。
（3）網路模型與演算法研究。在理論模型研究的基礎上構作具體的神經網路模型，以實現計算機模擬或准備製作硬體，包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。
（4）人工神經網路應用系統。在網路模型與演算法研究的基礎上，利用人工神經網路組成實際的應用系統，例如，完成某種信號處理或模式識別的功能、構作專家系統、製成機器人等等。
縱觀當代新興科學技術的發展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學技術領域的進程中歷經了崎嶇不平的道路。我們也會看到，探索人腦功能和神經網路的研究將伴隨著重重困難的克服而日新月異。
神經網路可以用作分類、聚類、預測等。神經網路需要有一定量的歷史數據，通過歷史數據的訓練，網路可以學習到數據中隱含的知識。在你的問題中，首先要找到某些問題的一些特徵，以及對應的評價數據，用這些數據來訓練神經網路。
雖然BP網路得到了廣泛的應用，但自身也存在一些缺陷和不足，主要包括以下幾個方面的問題。
首先，由於學習速率是固定的，因此網路的收斂速度慢，需要較長的訓練時間。對於一些復雜問題，BP演算法需要的訓練時間可能非常長，這主要是由於學習速率太小造成的，可採用變化的學習速率或自適應的學習速率加以改進。
其次，BP演算法可以使權值收斂到某個值，但並不保證其為誤差平面的全局最小值，這是因為採用梯度下降法可能產生一個局部最小值。對於這個問題，可以採用附加動量法來解決。
再次，網路隱含層的層數和單元數的選擇尚無理論上的指導，一般是根據經驗或者通過反復實驗確定。因此，網路往往存在很大的冗餘性，在一定程度上也增加了網路學習的負擔。
最後，網路的學習和記憶具有不穩定性。也就是說，如果增加了學習樣本，訓練好的網路就需要從頭開始訓練，對於以前的權值和閾值是沒有記憶的。但是可以將預測、分類或聚類做的比較好的權值保存。
4. BP神經網路方法
人工神經網路是近幾年來發展起來的新興學科，它是一種大規模並行分布處理的非線性系統，適用解決難以用數學模型描述的系統，逼近任何非線性的特性，具有很強的自適應、自學習、聯想記憶、高度容錯和並行處理能力，使得神經網路理論的應用已經滲透到了各個領域。近年來，人工神經網路在水質分析和評價中的應用越來越廣泛，並取得良好效果。在這些應用中，縱觀應用於模式識別的神經網路，BP網路是最有效、最活躍的方法之一。
BP網路是多層前向網路的權值學習採用誤差逆傳播學習的一種演算法（Error Back Propagation，簡稱BP）。在具體應用該網路時分為網路訓練及網路工作兩個階段。在網路訓練階段，根據給定的訓練模式，按照「模式的順傳播」→「誤差逆傳播」→「記憶訓練」→「學習收斂」4個過程進行網路權值的訓練。在網路的工作階段，根據訓練好的網路權值及給定的輸入向量，按照「模式順傳播」方式求得與輸入向量相對應的輸出向量的解答（閻平凡，2000）。
BP演算法是一種比較成熟的有指導的訓練方法，是一個單向傳播的多層前饋網路。它包含輸入層、隱含層、輸出層，如圖4-4所示。
圖4-4 地下水質量評價的BP神經網路模型
圖4-4給出了4層地下水水質評價的BP神經網路模型。同層節點之間不連接。輸入信號從輸入層節點，依次傳過各隱含層節點，然後傳到輸出層節點，如果在輸出層得不到期望輸出，則轉入反向傳播，將誤差信號沿原來通路返回，通過學習來修改各層神經元的權值，使誤差信號最小。每一層節點的輸出隻影響下一層節點的輸入。每個節點都對應著一個作用函數（f）和閾值（a），BP網路的基本處理單元量為非線性輸入-輸出的關系，輸入層節點閾值為0，且f（x）=x；而隱含層和輸出層的作用函數為非線性的Sigmoid型（它是連續可微的）函數，其表達式為
f（x）=1/（1+e-x） （4-55）
設有L個學習樣本（Xk，Ok）（k=1，2，…，l），其中Xk為輸入，Ok為期望輸出，Xk經網路傳播後得到的實際輸出為Yk，則Yk與要求的期望輸出Ok之間的均方誤差為
區域地下水功能可持續性評價理論與方法研究
式中：M為輸出層單元數；Yk，p為第k樣本對第p特性分量的實際輸出；Ok，p為第k樣本對第p特性分量的期望輸出。
樣本的總誤差為
區域地下水功能可持續性評價理論與方法研究
由梯度下降法修改網路的權值，使得E取得最小值，學習樣本對Wij的修正為
區域地下水功能可持續性評價理論與方法研究
式中：η為學習速率，可取0到1間的數值。
所有學習樣本對權值Wij的修正為
區域地下水功能可持續性評價理論與方法研究
通常為增加學習過程的穩定性，用下式對Wij再進行修正：
區域地下水功能可持續性評價理論與方法研究
式中：β為充量常量；Wij（t）為BP網路第t次迭代循環訓練後的連接權值；Wij（t-1）為BP網路第t-1次迭代循環訓練後的連接權值。
在BP網路學習的過程中，先調整輸出層與隱含層之間的連接權值，然後調整中間隱含層間的連接權值，最後調整隱含層與輸入層之間的連接權值。實現BP網路訓練學習程序流程，如圖4-5所示（倪深海等，2000）。
圖4-5 BP神經網路模型程序框圖
若將水質評價中的評價標准作為樣本輸入，評價級別作為網路輸出，BP網路通過不斷學習，歸納出評價標准與評價級別間復雜的內在對應關系，即可進行水質綜合評價。
BP網路對地下水質量綜合評價，其評價方法不需要過多的數理統計知識，也不需要對水質量監測數據進行復雜的預處理，操作簡便易行，評價結果切合實際。由於人工神經網路方法具有高度民主的非線性函數映射功能，使得地下水水質評價結果較准確（袁曾任，1999）。
BP網路可以任意逼近任何連續函數，但是它主要存在如下缺點：①從數學上看，它可歸結為一非線性的梯度優化問題，因此不可避免地存在局部極小問題；②學習演算法的收斂速度慢，通常需要上千次或更多。
神經網路具有學習、聯想和容錯功能，是地下水水質評價工作方法的改進，如何在現行的神經網路中進一步吸取模糊和灰色理論的某些優點，建立更適合水質評價的神經網路模型，使該模型既具有方法的先進性又具有現實的可行性，將是我們今後研究和探討的問題。
5. BP神經網路是怎麼訓練的
就是將訓練樣本集劃分為兩部分，測試集和驗證集，僅用測試集訓慶搜練，每次訓練後用驗證集代入，求其誤差和，當訓練誤差不斷減小而驗證誤差卻增加時，可以考慮演算法終止，再訓練可能就會過擬合。滑晌
希望譽讓歷你能看明白
6. 神經網路——BP演算法
對於初學者來說，了解了一個演算法的重要意義，往往會引起他對演算法本身的重視。BP(Back Propagation，後向傳播)演算法，具有非凡的歷史意義和重大的現實意義。
1969年,作為人工神經網路創始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一書,論證了簡單的線性感知器功能有限,不能解決如「異或」(XOR )這樣的基本問題,而且對多層網路也持悲觀態度。這些論點給神經網路研究以沉重的打擊,很多科學家紛紛離開這一領域,神經網路的研究走向長達10年的低潮時期。[1]
1974年哈佛大學的Paul Werbos發明BP演算法時，正值神經外網路低潮期，並未受到應有的重視。[2]
1983年，加州理工學院的物理學家John Hopfield利用神經網路，在旅行商這個NP完全問題的求解上獲得當時最好成績，引起了轟動[2]。然而,Hopfield的研究成果仍未能指出明斯基等人論點的錯誤所在,要推動神經網路研究的全面開展必須直接解除對感知器——多層網路演算法的疑慮。[1]
真正打破明斯基冰封魔咒的是，David Rumelhart等學者出版的《平行分布處理:認知的微觀結構探索》一書。書中完整地提出了BP演算法,系統地解決了多層網路中隱單元連接權的學習問題,並在數學上給出了完整的推導。這是神經網路發展史上的里程碑，BP演算法迅速走紅，掀起了神經網路的第二次高潮。[1,2]
因此，BP演算法的歷史意義：明確地否定了明斯基等人的錯誤觀點，對神經網路第二次高潮具有決定性意義。
這一點是說BP演算法在神經網路領域中的地位和意義。
BP演算法是迄今最成功的神經網路學習演算法，現實任務中使用神經網路時，大多是在使用BP演算法進行訓練[2],包括最近炙手可熱的深度學習概念下的卷積神經網路(CNNs)。
BP神經網路是這樣一種神經網路模型，它是由一個輸入層、一個輸出層和一個或多個隱層構成，它的激活函數採用sigmoid函數，採用BP演算法訓練的多層前饋神經網路。
BP演算法全稱叫作誤差反向傳播(error Back Propagation，或者也叫作誤差逆傳播)演算法。其演算法基本思想為：在2.1所述的前饋網路中，輸入信號經輸入層輸入，通過隱層計算由輸出層輸出，輸出值與標記值比較，若有誤差，將誤差反向由輸出層向輸入層傳播，在這個過程中，利用梯度下降演算法對神經元權值進行調整。
BP演算法中核心的數學工具就是微積分的 鏈式求導法則 。
BP演算法的缺點，首當其沖就是局部極小值問題。
BP演算法本質上是梯度下降，而它所要優化的目標函數又非常復雜，這使得BP演算法效率低下。
[1]、《BP演算法的哲學思考》，成素梅、郝中華著
[2]、《機器學習》，周志華著
[3]、 Deep Learning論文筆記之（四）CNN卷積神經網路推導和實現
2016-05-13 第一次發布
2016-06-04 較大幅度修改，完善推導過程，修改文章名
2016-07-23 修改了公式推導中的一個錯誤，修改了一個表述錯誤
7. 如何快速學習matlab BP神經網路
如何快速學習matlab BP神經網路
我不知道你是要深入的了解其原理，還是只是用用而已……
對於我來說，我基本上是著眼於BP神經網路的應用，分類啊，擬合（預測）啊。而對於原理，我只能說我不是很了解，看過一些，但是似懂非懂。
綜合，我推薦《MATLAB神經網路43個案例分析》這本書吧，大部分是著眼於應用，即直接調用MATLAB的函數來實現神經網路的搭建，訓練，應用，而這本書的第一章給出了自己實現BP神經網路的例子和程序（不調用MATLAB的神經網路方面的函數）
要深入原理的話，讀原碼最好了，
不過讀matlab工具箱的原碼比較繁雜，你可以看這個簡化版的：
8. BP神經網路(誤差反傳網路)
雖然每個人工神經元很簡單，但是只要把多個人工
神經元按一定方式連接起來就構成了一個能處理復雜信息的神經網路。採用BP演算法的多層前饋網路是目前應用最廣泛的神經網路，稱之為BP神經網路。它的最大功能就是能映射復雜的非線性函數關系。
對於已知的模型空間和數據空間，我們知道某個模型和他對應的數據，但是無法寫出它們之間的函數關系式，但是如果有大量的一一對應的模型和數據樣本集合，利用BP神經網路可以模擬(映射)它們之間的函數關系。
一個三層BP網路如圖8.11所示，分為輸入層、隱層、輸出層。它是最常用的BP網路。理論分析證明三層網路已經能夠表達任意復雜的連續函數關系了。只有在映射不連續函數時(如鋸齒波)才需要兩個隱層[8]。
圖8.11中，X=(x1，…，xi，…，xn)T為輸入向量，如加入x0=-1，可以為隱層神經元引入閥值;隱層輸出向量為:Y=(y1，…，yi，…，ym)T，如加入y0=-1，可以為輸出層神經元引入閥值;輸出層輸出向量為:O=(o1，…，oi，…，ol)T;輸入層到隱層之間的權值矩陣用V表示，V=(V1，…，Vj，…，Vl)T，其中列向量Vj表示隱層第j個神經元的權值向量;隱層到輸出層之間的權值矩陣用W表示，W=(W1，…，Wk，…，Wl)T，
其中列向量Wk表示輸出層第k個神經元的權值向量。
圖8.11 三層BP網路[8]
BP演算法的基本思想是:預先給定一一對應的輸入輸出樣本集。學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳入，經過各隱層逐層處理後，傳向輸出層。若輸出層的實際輸出與期望的輸出(教師信號)不符，則轉入誤差的反向傳播。將輸出誤差以某種形式通過隱層向輸入層逐層反傳，並將誤差分攤給各層的所有神經元，獲得各層的誤差信號，用它們可以對各層的神經元的權值進行調整(關於如何修改權值參見韓立群著作[8])，循環不斷地利用輸入輸出樣本集進行權值調整，以使所有輸入樣本的輸出誤差都減小到滿意的精度。這個過程就稱為網路的學習訓練過程。當網路訓練完畢後，它相當於映射(表達)了輸入輸出樣本之間的函數關系。
在地球物理勘探中，正演過程可以表示為如下函數:
d=f(m) (8.31)
它的反函數為
m=f-1(d) (8.32)
如果能夠獲得這個反函數，那麼就解決了反演問題。一般來說，難以寫出這個反函數，但是我們可以用BP神經網路來映射這個反函數m=f-1(d)。對於地球物理反問題，如果把觀測數據當作輸入數據，模型參數當作輸出數據，事先在模型空間隨機產生大量樣本進行正演計算，獲得對應的觀測數據樣本，利用它們對BP網路進行訓練，則訓練好的網路就相當於是地球物理數據方程的反函數。可以用它進行反演，輸入觀測數據，網路就會輸出它所對應的模型。
BP神經網路在能夠進行反演之前需要進行學習訓練。訓練需要大量的樣本，產生這些樣本需要大量的正演計算，此外在學習訓練過程也需要大量的時間。但是BP神經網路一旦訓練完畢，在反演中的計算時間可以忽略。
要想使BP神經網路比較好地映射函數關系，需要有全面代表性的樣本，但是由於模型空間的無限性，難以獲得全面代表性的樣本集合。用這樣的樣本訓練出來的BP網路，只能反映樣本所在的較小范圍數據空間和較小范圍模型空間的函數關系。對於超出它們的觀測數據就無法正確反演。目前BP神經網路在一維反演有較多應用，在二維、三維反演應用較少，原因就是難以產生全面代表性的樣本空間。
9. 關於matlab的BP神經網路
1、數據歸一化，輸入的數據通常為P,輸出數據通常為T，數據格式為，每列對應一個樣本，歸一化常用函數，是歸一化後的數據，是歸一化的結構體，在後面反歸一化預測值；
2、建立網路並設定參數，中括弧裡面的是輸入層數，隱槐察兄含神經元數，輸出層數，設定節點傳遞函數的參數，訓練的次數，訓練的誤差目標沒純值，學習速率，通常在0到1之間；
3、預測並分析，根據之前歸一化的標准，對預測結果進行反歸一化，得到結果，對誤差進行輸出，也可以作圖，看預測值和真實值能否吻合，還鉛襲可以在神經網路訓練完成後的對話框中看MSE和R方。
10. 自學bp神經網路要有什麼基礎
簡介：BP（Back Propagation）網路是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。BP網路能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。BP神經網路模型拓撲結構包括輸入層（input）、隱層(hide layer)和輸出層(output layer) 摘 要：BP神經網路演算法是在BP神經網路現有演算法的基礎上提出的，是通過任意選定一組權值，將給定的目標輸出直接作為線性方程的代數和來建立線性方程組，解得待求權，不存在傳統方法的局部極小及收斂速度慢的問題，且更易理解。關鍵詞：固定權值；gauss消元法；BP演算法人工神經網路（artificial neural networks，ANN）系統是20世紀40年代後出現的，它是由眾多的神經元可調的連接權值連接而成，具有大規模並行處理、分布式信息存儲、良好的自組織自學習能力等特點，在信息處理、模式識別、智能控制及系統建模等領域得到越來越廣泛的應用。尤其誤差反向傳播演算法（Error Back－propagation Training，簡稱BP網路）可以逼近任意連續函數，具有很強的非線性映射能力，而且網路的中間層數、各層的處理單元數及網路的學習系數等參數可根據具體情況設定，靈活性很大，所以它在許多應用領域中起到重要作用。近年來，為了解決BP神經網路收斂速度慢、不能保證收斂到全局最小點，網路的中間層及它的單元數選取無理論指導及網路學習和記憶的不穩定性等缺陷，提出了許多改進演算法。1 傳統的BP演算法簡述BP演算法是一種有監督式的學習演算法，其主要思想是：輸入學習樣本，使用反向傳播演算法對網路的權值和偏差進行反復的調整訓練，使輸出的向量與期望向量盡可能地接近，當網路輸出層的誤差平方和小於指定的誤差時訓練完成，保存網路的權值和偏差。具體步驟如下：（1）初始化，隨機給定各連接權［w］,［v］及閥值θi，rt。（2）由給定的輸入輸出模式對計算隱層、輸出層各單元輸出bj＝f（■wijai-θj） ct＝f（■vjtbj－rt）式中：bj為隱層第j個神經元實際輸出；ct為輸出層第t個神經元的實際輸出；wij為輸入層至隱層的連接權；vjt為隱層至輸出層的連接權。dtk＝（ytk－ct）ct（1－ct） ejk＝［■dtvjt］ bj（1－bj）式中：dtk為輸出層的校正誤差；ejk為隱層的校正誤差。（3）計算新的連接權及閥值，計算公式如下：vjt（n＋1）＝vjt（n）＋琢dtkbj wij（n＋1）＝wij（n）＋茁ejkaik rt（n＋1）＝rt（n）＋琢dtk θj（n＋1）=θj（n）＋茁ejk 式中：琢，茁為學習系數（0＜琢＜1，0＜茁＜1）。（4）選取下一個輸入模式對返回第2步反復訓練直到網路設輸出誤差達到要求結束訓練。傳統的BP演算法，實質上是把一組樣本輸入/輸出問題轉化為一個非線性優化問題，並通過負梯度下降演算法，利用迭代運算求解權值問題的一種學習方法，但其收斂速度慢且容易陷入局部極小，為此提出了一種新的演算法，即高斯消元法。