如何使用bp神經網路求函數極值

Ⅰ bp神經網路怎麼求權值

net.iw{1,1}=W0;net.b{1}=B0;
net.iw{1,1}=W0;輸入層和隱層間的權值，net.b{1}=B0輸入層和隱層間的閾值.

BP(back propagation)神經網路是1986年由Rumelhart和McClelland為首的科學家提出的概念，是一種按照誤差逆向傳播演算法訓練的多層前饋神經網路，是目前應用最廣泛的神經網路。

BP神經網路具有任碼皮旦意復雜的模式分類能力和優良的多維函數映射能力，解決了簡單感知器不能解決的異或(Exclusive OR，XOR)和一些其他問題。從結構上講，BP網路遲擾具有輸入層、隱藏層和輸出層；

從本質上講，BP演算法就是以網路誤差平方為目標函數、採用梯度下降法來計算目標函數的最小值。

(1)如何使用bp神經網路求函數極值擴展閱讀：

BP神經網路無論在網路理論還是在性能方面已比較成熟。其突出優點就是具有很強的非線性映射能力和柔性的網路結構。網路的中間握橋層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。但是BP神經網路也存在以下的一些主要缺陷。

①學習速度慢，即使是一個簡單的問題，一般也需要幾百次甚至上千次的學習才能收斂。

②容易陷入局部極小值。

③網路層數、神經元個數的選擇沒有相應的理論指導。

④網路推廣能力有限。

對於上述問題，目前已經有了許多改進措施，研究最多的就是如何加速網路的收斂速度和盡量避免陷入局部極小值的問題。

Ⅱ 如何用神經網路遺傳演算法求極值

===============學習神經網路可以到<神經網路之家>================
可以先用matlab神經網路工具箱訓練網路,當網路訓練好之後,把網路存起來.
然後編寫遺傳演算法,你知道,遺傳演算法是每代不斷迭代的,然後每代會根據適應度決定是否進入下一代,這里的適應度你就用sim(net,x)得到的值的倒數(或者類似的)作為適應度,然後其它就和遺傳演算法沒什麼兩樣了.最後得到的最優解, 就是網路的最優解. 也就是你要的結果了.
不過兄弟,這想法很牛B,很值得鼓勵這樣的想法.但我不得不說兩句,從實際角度來說,這樣的實現沒有太大的意義. 你的目的就是想從數據中找到Y最小的時候,X的什麼值, 但數據上畢竟只是數據,不管你怎麼繞,透露出來的信息還是有限的,不管怎麼繞,其實數據能提供最大限度的信息就是:在Y=10.88時,即X1=25,X2=24....X6=1.5時,Y是最小值的, 這是數據能提供的最大限度的信息,你再怎麼繞, 其實當你懂得神經網路的深層原理時,你會發現,你的方案並沒能挖掘出更優的解(因為數據的信息是有限的),這只是把自己繞暈了
不過能有這樣的想法,兄弟肯定是個學習的好材料,加油.
===============學習神經網路可以到<神經網路之家>================

Ⅲ 用粒子群群演算法優化BP神經網路的參數，進行極值尋優

這四個都屬於人工智慧演算法的范疇。其中BP演算法、BP神經網路和神經網路
屬於神經網路這個大類。遺傳演算法為進化演算法這個大類。
神經網路模擬人類大腦神經計算過程，可以實現高度非線性的預測和計算，主要用於非線性擬合，仔枝識別，特點是需要「訓練」，給一些輸入，告訴他正確的輸出。若干次後，再給新的輸入，神經網路就能正確的預測對於的輸出。神經網路廣泛的運用在型戚裂模式識別，故障診斷中。BP演算法和BP神經網路是神經網路的改進版，修正了一些神經網路的缺點。
遺傳演算法屬於進化演算法，模擬大自然生物進化的過程：優勝略汰。個體不斷進化，只有高質量的個體（目標函數最小（大））才卜閉能進入下一代的繁殖。如此往復，最終找到全局最優值。遺傳演算法能夠很好的解決常規優化演算法無法解決的高度非線性優化問題，廣泛應用在各行各業中。差分進化，蟻群演算法，粒子群演算法等都屬於進化演算法，只是模擬的生物群體對象不一樣而已。

Ⅳ Matlab小問題 神經網路能求極值嗎

可以啊，神經網路其實就是一種數值擬合的方法，其意義和泰勒級數展開實際上是一樣的，只要你正確的擬合出了數據的規律是可以求得極大值的，而且神經網路的神經元函數都是非常好球微分的，所以可以用現在很多流行的數值方法，求極大值。

這里對於一維擬合需要使用小波函數，高維需要脊波函數，PID神經元網路可用於動態網路的無導師學習。

當然對於化工領域一些問題由於樣本非常有限無法找到數據的正確規律，所以可能存在預報困難的問題

Ⅳ 神經網路——BP演算法

對於初學者來說，了解了一個演算法的重要意義，往往會引起他對演算法本身的重視。BP(Back Propagation，後向傳播)演算法，具有非凡的歷史意義和重大的現實意義。

1969年,作為人工神經網路創始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一書,論證了簡單的線性感知器功能有限,不能解決如「異或」(XOR )這樣的基本問題,而且對多層網路也持悲觀態度。這些論點給神經網路研究以沉重的打擊,很多科學家紛紛離開這一領域,神經網路的研究走向長達10年的低潮時期。[1]

1974年哈佛大學的Paul Werbos發明BP演算法時，正值神經外網路低潮期，並未受到應有的重視。[2]

1983年，加州理工學院的物理學家John Hopfield利用神經網路，在旅行商這個NP完全問題的求解上獲得當時最好成績，引起了轟動[2]。然而,Hopfield的研究成果仍未能指出明斯基等人論點的錯誤所在,要推動神經網路研究的全面開展必須直接解除對感知器——多層網路演算法的疑慮。[1]

真正打破明斯基冰封魔咒的是，David Rumelhart等學者出版的《平行分布處理:認知的微觀結構探索》一書。書中完整地提出了BP演算法,系統地解決了多層網路中隱單元連接權的學習問題,並在數學上給出了完整的推導。這是神經網路發展史上的里程碑，BP演算法迅速走紅，掀起了神經網路的第二次高潮。[1,2]

因此，BP演算法的歷史意義：明確地否定了明斯基等人的錯誤觀點，對神經網路第二次高潮具有決定性意義。

這一點是說BP演算法在神經網路領域中的地位和意義。

BP演算法是迄今最成功的神經網路學習演算法，現實任務中使用神經網路時，大多是在使用BP演算法進行訓練[2],包括最近炙手可熱的深度學習概念下的卷積神經網路(CNNs)。

BP神經網路是這樣一種神經網路模型，它是由一個輸入層、一個輸出層和一個或多個隱層構成，它的激活函數採用sigmoid函數，採用BP演算法訓練的多層前饋神經網路。

BP演算法全稱叫作誤差反向傳播(error Back Propagation，或者也叫作誤差逆傳播)演算法。其演算法基本思想為：在2.1所述的前饋網路中，輸入信號經輸入層輸入，通過隱層計算由輸出層輸出，輸出值與標記值比較，若有誤差，將誤差反向由輸出層向輸入層傳播，在這個過程中，利用梯度下降演算法對神經元權值進行調整。

BP演算法中核心的數學工具就是微積分的 鏈式求導法則 。

BP演算法的缺點，首當其沖就是局部極小值問題。

BP演算法本質上是梯度下降，而它所要優化的目標函數又非常復雜，這使得BP演算法效率低下。

[1]、《BP演算法的哲學思考》，成素梅、郝中華著

[2]、《機器學習》，周志華著

[3]、 Deep Learning論文筆記之（四）CNN卷積神經網路推導和實現

2016-05-13 第一次發布

2016-06-04 較大幅度修改，完善推導過程，修改文章名

2016-07-23 修改了公式推導中的一個錯誤，修改了一個表述錯誤

Ⅵ 用粒子群群演算法優化BP神經網路的參數，進行極值尋優

Ⅶ 神經網路遺傳演算法函數極值尋優

對於未知的非線性函數，僅通過函數的輸入輸出數據難以准確尋找函數極值。這類問題可以通過神經網路結合遺傳演算法求解，利用神經網路的非線性擬合能力和遺傳演算法的非線性尋優能力尋找函數極值。本文用神經網路遺傳演算法尋優如下非線性函數極值，函數表達式為

函數圖形如下圖1所示。

從函數方程和圖形可以看出，該函數的全局最小值為0，對應的坐標為(0,0)。雖然從函數方程和圖形中很容易找出函數極值及極值對應坐標，但是在函數方程未知的情況下函數極值及極值對應坐標就很難找到。

神經網路遺傳演算法函數極值尋優主要分為BP神經網路訓練擬合和遺傳演算法極值尋優兩步，演算法流程如下圖2所示。

神經網路訓練擬合根據尋優函數的特點構建合適的BP神經網路，用非線性函數的輸出數據訓練BP網路，訓練後的BP神經網路就可以預測函數輸出。遺傳演算法極值尋優把訓練後的BP神經網路預測結果作為個體適應度值，通過選擇、交叉和變異操作尋找函數的全局最優值及對應輸入值。
本文根據非線性函數有2個輸入參數、1個輸出參數，確定BP神經網路結構為2-5-1.取函數的4 000組輸入輸出數據，從中隨機選取3 900組數據訓練網路，100組數據測試網路性能，網路訓練好後用於預測非線性函數輸出。
遺傳演算法中個體採用實數編碼，由於尋優函數只有2個輸入參數，所以個體長度為2。個體適應度值為BP神經網路預測值，適應度值越小。交叉概率為0.4，變異概率為0.2。

用函數輸入輸出數據訓練BP神經網路，使訓練後的網路能夠擬合非線性函數輸出，保存訓練好的網路用語計算個體適應度值。根據非線性函告讓信數方程隨機得到該函數的4 000組輸入輸出數據，存儲於data.mat中，其中input為函數輸入數據，output為函數對應輸出數據，從中隨機抽取3 900組訓練數據訓練網路，100組測試數據測試網路擬合性能。最後保存訓練好的網路。

把訓練好的BP神經網路預測輸出作為個體適應度值。

BP神經網路擬合結果分析
本文中個體的適應度值為BP神經網路預測值，因此BP神經網路預測精度對於最優位置的尋找具有非常重要的意義。由於尋優非線性函數有2個輸入參數、1個輸出參數，所以構建的BP神經網路的結構為2-5-1。共取非線性函數4 000組輸入輸出數據，從中隨機選擇3 900組數據訓練BP神經網路，100組數據作為測試數據測試BP神經網路擬合性能，BP神經網路預測輸出和期望輸出對比如下圖3所示。

從BP神經網路預測結果可以看出，BP神經網路可以准確預測非線性函數輸出，可以把網路預測近似看成函數實際輸出。

遺傳演算法尋優結果分析 BP神經網路訓練結束後，可以利用遺傳演算法尋找該非線性函數的最小值。遺傳演算法的迭代次數是100次，種群規模是20，交叉概率為0.4，變異概率為0.2，採用浮點數編碼，個體長度為21，優化過程中最優個體適應度值變化曲線如下圖4所示。

本文所使用的方法有比較重要的工程應用價值，比如對於某項試驗來說，試驗目的是獲取到最大試驗結果對應的實驗條件，但是由於時間和經費限制，該試驗只能進行有限次，可能單靠試驗結果找不到最優的試驗條件。這時可以在已知試驗數據的基礎上，通過本文介紹的神經網路遺傳演算法尋找最優試驗條件。
思路就是先根據試驗條件數和試驗結果數確定BP神經網路結構；然後把試驗條件作為輸入數據，滑叢試驗結果作為輸出數據訓練BP網路，使得訓練後的網路襪輪可以預測一定試驗條件下的試驗結果；最後把試驗條件作為遺傳演算法中的種群個體，把網路預測的試驗結果作為個體適應度值，通過遺傳演算法推導最優試驗結果及其對應試驗條件。

Ⅷ 怎麼用mtlab優化工具箱求目標函數為BP神經網路訓練結果的極值

需要聲明全局變數。宏悉仿分別在兩段程序陸滾的開頭加上

globalnet

不然無法在函數中調用net.

如果你要多於一個函數共用一個簡單的變數，簡單的處理方法就是把這個變數在所有函數中定義為global全局變數。在命令行做同樣的事情，如果你要工作空間訪問上述變數。這個全局變數的定義必須出現在變數被應用於一個函數之前。雖然不是要求，但全局變數也最好以大寫字母開頭，這樣可以同其他變數區別出來。舉個例子，做一個以falling.m命名的M－文件。

function h = falling(t)
global GRAVITY
h = 1/2*GRAVITY*t.^2;

然後交互地輸入語蔽纖句

global GRAVITY
GRAVITY = 32;
y = falling((0:.1:5)');

這兩個變數在函數中表示同一個內容。之後你可以交互地修改GRVITY並獲得新的解法，而不用再編輯文檔。

注意：1 全局變數列表中各個變數名不能用逗號分隔。 如： global a b c
2 全局變數使用前必須再matlab工作空間中申明，如果再具體得函數中用則要在函數前面申明，否則在該函數中即使用到了該變數，也會被當成局部變數使用。

Ⅸ 求人工神經網路的具體演算法，數學模型，比如求一個函數最優值之類的，不要各種亂七八糟的介紹，謝謝

神經網路就像多項式或者線性模型一樣，是個看不見表達式的模型，它的表達式就是網路，它比一般模型具有更高的自由度和彈性；同時它是一個典型的黑箱模型方法；比多項式等模型還黑。優化演算法，就是尋優的演算法，所謂尋優過程，就是尋找使目標函數最小時（都是統一表示成尋找使函數具有最小值）的自變數的值。回歸或者擬合一個模型,例如用一個多項式模型去擬合一組數據，其本質就是尋找使殘差平方和最小的參數值，這就是一個尋優的過程，其實就是尋找使函數F（x）值最小時的x的值；對於這個具體的尋找過程就涉及到演算法問題，就是如何計算。所謂演算法，是數值分析的一個范疇，就是解這問題的方法；例如一個一元二次方程 x^2-3x+1=0的解法，因為簡單可以直接求解，也可以用牛頓逐個靠近的方法求解，也即是迭代，慢慢接近真實解，如此下去不斷接近真值，要注意迭代演算法是涉及演算法精度的，這些迭代演算法是基於計算機的，演算法的初衷也是用近似的演算法用一定的精度來接近真實值。 比如上面的方程也可以用遺傳演算法來解，可以從一些初始值最終迭代到最佳解。神經網路在尋找網路的參數即權值的時候，也有尋找使訓練效果最好的過程，這也是尋優的過程，這里涉及到了演算法就是所謂的神經網路演算法，這和最小二乘演算法是一樣的道理；例如做響應面的時候，其實就是二次回歸，用最小二乘得到二次模型的參數，得到一個函數，求最大產物量就是求函數模型的最大值，怎麼算呢？頂點處如果導數為0，這個地方對應的x值就是最優的，二次模型簡單可以用偏導數=0來直接解決，這過程也可以遺傳演算法等來解決。說到底所謂尋優的本質就是，尋找函數極值處對應的自變數的值。