神經網路和局部異常因子結合

㈠ 如何用神經網路來減少條件隨機場特徵

BP神經網路、離散Hopfield網路、LVQ神經網路等等都可以。1.BP（BackPropagation）神經網路是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。BP網路能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。BP神經網路模型拓撲結構包括輸入層（input）、隱層(hiddenlayer)和輸出層(outputlayer)。2.Hopfiled神經網路是一種遞歸神經網路，由約翰·霍普菲爾德在1982年發明。Hopfield網路是一種結合存儲系統和二元系統的神經網路。它保證了向局部極小的收斂，但收斂到錯誤的局部極小值（localminimum），而非全局極小（globalminimum）的情況也可能發生。Hopfiled網路也提供了模擬人類記憶的模型。3.LVQ神經網路由三層組成，即輸入層、隱含層和輸出層，網路在輸入層與隱含層間為完全連接，而在隱含層與輸出層間為部分連接，每個輸出層神經元與隱含層神經元的不同組相連接。隱含層和輸出層神經元之間的連接權值固定為1。輸入層和隱含層神經元間連接的權值建立參考矢量的分量（對每個隱含神經元指定一個參考矢量）。在網路訓練過程中，這些權值被修改。隱含層神經元（又稱為Kohnen神經元）和輸出神經元都具有二進制輸出值。當某個輸入模式被送至網路時，參考矢量最接近輸入模式的隱含神經元因獲得激發而贏得競爭，因而允許它產生一個「1」，而其它隱含層神經元都被迫產生「0」。與包含獲勝神經元的隱含層神經元組相連接的輸出神經元也發出「1」，而其它輸出神經元均發出「0」。產生「1」的輸出神經元給出輸入模式的類，由此可見，每個輸出神經元被用於表示不同的類。

㈡ 神經網路以及小波分析法在汽車發動機故障檢修中有什麼應用

汽車是我們生活中常用的將交通工具，那麼神經網路和小波分析法在汽車發動機故障檢修中有什麼應用呢？大家請看我接下來詳細地講解。

一，小波分析在故障檢修中的應用

小波包分解與故障特徵提取。缸蓋表面的振動信號由一系列瞬態響應信號組成，分別代表氣缸的振動源響應信號:1為氣缸的燃燒激勵響應;2是排氣閥打開時的節流閥沖擊。氣門間隙異常時,振動信號的能量大於目前沖擊力作用時,振動信號的主要組件目前離沖擊力穩定的振動信號和雜訊,信號能量相對較小。因此，可以利用每個頻帶的能量變化來提取故障特徵，通過小波包分解系數{4]得到頻帶的能量。

㈢ 卷積神經網路中的局部連接是什麼意思

網路的下一層和上一層之間通過卷積核連接，或者說上一層的數據和卷積核卷積之後得到下一層。在全連接網路中，上一層的每個數據和下一層的每個數據都會有關，局部連接的意思就是說下一層只和上一層的局部數據有關。

這張圖就是局部連接，可以看到上一層只有3個單元和下一層連接（這張圖的流程是從下到上，所以我說的上一層是最底層，下一層是按照箭頭方向的上邊那層）。

局部連接的作用是減少計算參數。

㈣ 機器學習之神經網路入門

機器學習之神經網路入門
神經網路是由具有適應性的簡單單元組成的廣泛並行互連的網路，它的組織能夠模擬生物神經系統對真實世界物體所作出的交互反應。神經網路用途極其廣泛，本文採用神經網路演算法用於金融領域量化選股策略。
神經網路原理
神經網路中最基本的成分是神經元模型，在生物神經網路中，每個神經元與其他神經元相連，當它「興奮」時，就會向相連的神經元發送化學物質，從而改變這些神經元的電位；如果某神經元的電位超過了一個「閾值」，那麼它就會被激活，即「興奮」起來，向其他神經元發送化學物質。下圖為M-P神經元模型：
在這個模型中，神經元接收到來自n個其他神經元傳遞過來的輸入信號，這些輸入信號通過帶權重的連接進行傳遞，神經元接收到的總輸入值將與神經元的閾值進行比較，然後通過「激活函數」處理以產生神經元的輸出。
理想中的激活函數是上圖中的(a)階躍函數，它將輸入值映射為輸出值「0」或「1」，顯然「1」代表神經元興奮，「0」代表神經元抑制，但由於其不連續，不光滑的性質，所以實際常用（b)Sigmoid函數作為激活函數。把許多個這樣的神經元按一定的層次結構連接起來，就得到了神經網路。
基於神經網路的量化選股策略
策略思想：選取一些常用技術指標作為訓練樣本特徵集，對於類別，如果未來20個工作日上漲幅度超過10%則標記為1，否則為-1，採用神經網路演算法進行訓練，預測結果為1且未持倉則買入，預測結果為-1且已持倉則賣出。
特徵因子選取：本文採用神經網路演算法解決有監督學習的分類問題，特徵因子選取了2015-01-05那天上證50指數成份股的總市值，OBV能量潮，市盈率，布林線，KDJ隨機指標，RSI相對強弱指標共6個指標。
數據標准化：數據標准化方法有很多，本文採用高斯預處理方法，即每個特徵因子減去它對應的均值再除以它的標准差((x-x.mean)/x.std)。

㈤ 神經網路固有缺陷及如何克服

需要有大量的隨機數據對其進行訓練，不能保證速度很快，調整過程不明了，我也是初學，大概的感覺，期待後面的答案。

㈥ 請教BP神經網路 多因子組合分析的演算法。

不好意思，我好久不登陸了，剛剛看到，估計你都畢業了吧，問題應該已經解決了吧？

㈦ 神經網路的發展趨勢如何

神經網路的雲集成模式還不是很成熟，應該有發展潛力，但神經網路有自己的硬傷，不知道能夠達到怎樣的效果，所以決策支持系統中並不是很熱門，但是神經網路無視過程的優點也是無可替代的，雲網路如果能夠對神經網路提供一個互補的輔助決策以控制誤差的話，也許就能使神經網路成熟起來
1 人工神經網路產生的背景
自古以來，關於人類智能本源的奧秘，一直吸引著無數哲學家和自然科學家的研究熱情。生物學家、神經學家經過長期不懈的努力，通過對人腦的觀察和認識，認為人腦的智能活動離不開腦的物質基礎，包括它的實體結構和其中所發生的各種生物、化學、電學作用，並因此建立了神經元網路理論和神經系統結構理論，而神經元理論又是此後神經傳導理論和大腦功能學說的基礎。在這些理論基礎之上，科學家們認為，可以從仿製人腦神經系統的結構和功能出發，研究人類智能活動和認識現象。另一方面，19世紀之前，無論是以歐氏幾何和微積分為代表的經典數學，還是以牛頓力學為代表的經典物理學，從總體上說，這些經典科學都是線性科學。然而，客觀世界是如此的紛繁復雜，非線性情況隨處可見，人腦神經系統更是如此。復雜性和非線性是連接在一起的，因此，對非線性科學的研究也是我們認識復雜系統的關鍵。為了更好地認識客觀世界，我們必須對非線性科學進行研究。人工神經網路作為一種非線性的、與大腦智能相似的網路模型，就這樣應運而生了。所以，人工神經網路的創立不是偶然的，而是20世紀初科學技術充分發展的產物。
2 人工神經網路的發展
人工神經網路的研究始於40年代初。半個世紀以來，經歷了興起、高潮與蕭條、高潮及穩步發展的遠為曲折的道路。
1943年，心理學家W.S.Mcculloch和數理邏輯學家W.Pitts 提出了M—P模型，這是第一個用數理語言描述腦的信息處理過程的模型， 雖然神經元的功能比較弱，但它為以後的研究工作提供了依據。1949年，心理學家D.O.Hebb提出突觸聯系可變的假設，根據這一假設提出的學習規律為神經網路的學習演算法奠定了基礎。 1957 年， 計算機科學家Rosenblatt提出了著名的感知機模型，它的模型包含了現代計算機的一些原理，是第一個完整的人工神經網路，第一次把神經網路研究付諸工程實現。由於可應用於模式識別，聯想記憶等方面，當時有上百家實驗室投入此項研究，美國軍方甚至認為神經網路工程應當比「原子彈工程」更重要而給予巨額資助，並在聲納信號識別等領域取得一定成績。1960年，B.Windrow和E.Hoff提出了自適應線性單元， 它可用於自適應濾波、預測和模式識別。至此，人工神經網路的研究工作進入了第一個高潮。
1969年，美國著名人工智慧學者M.Minsky和S.Papert編寫了影響很大的Perceptron一書，從理論上證明單層感知機的能力有限，諸如不能解決異或問題，而且他們推測多層網路的感知機能力也不過如此，他們的分析恰似一瓢冷水，很多學者感到前途渺茫而紛紛改行，原先參與研究的實驗室紛紛退出，在這之後近10年，神經網路研究進入了一個緩慢發展的蕭條期。這期間，芬蘭學者T.Kohonen 提出了自組織映射理論，反映了大腦神經細胞的自組織特性、記憶方式以及神經細胞興奮刺激的規律；美國學者S.A.Grossberg的自適應共振理論（ART ）；日本學者K.Fukushima提出了認知機模型；ShunIchimari則致力於神經網路有關數學理論的研究等，這些研究成果對以後的神經網路的發展產生了重要影響。
美國生物物理學家J.J.Hopfield於1982年、1984年在美國科學院院刊發表的兩篇文章，有力地推動了神經網路的研究，引起了研究神經網路的又一次熱潮。 1982 年， 他提出了一個新的神經網路模型——hopfield網路模型。他在這種網路模型的研究中，首次引入了網路能量函數的概念，並給出了網路穩定性的判定依據。1984年，他又提出了網路模型實現的電子電路，為神經網路的工程實現指明了方向，他的研究成果開拓了神經網路用於聯想記憶的優化計算的新途徑，並為神經計算機研究奠定了基礎。1984年Hinton等人將模擬退火演算法引入到神經網路中，提出了Boltzmann機網路模型，BM 網路演算法為神經網路優化計算提供了一個有效的方法。1986年，D.E.Rumelhart和J.LMcclelland提出了誤差反向傳播演算法，成為至今為止影響很大的一種網路學習方法。1987年美國神經計算機專家R.Hecht—Nielsen提出了對向傳播神經網路，該網路具有分類靈活，演算法簡練的優點，可用於模式分類、函數逼近、統計分析和數據壓縮等領域。1988年L.Ochua 等人提出了細胞神經網路模型，它在視覺初級加工上得到了廣泛應用。
為適應人工神經網路的發展，1987年成立了國際神經網路學會，並決定定期召開國際神經網路學術會議。1988年1月Neural Network 創刊。1990年3月IEEE Transaction on Neural Network問世。 我國於1990年12月在北京召開了首屆神經網路學術大會，並決定以後每年召開一次。1991 年在南京成立了中國神經網路學會。 IEEE 與INNS 聯合召開的IJCNN92已在北京召開。 這些為神經網路的研究和發展起了推波助瀾的作用，人工神經網路步入了穩步發展的時期。
90年代初，諾貝爾獎獲得者Edelman提出了Darwinism模型，建立了神經網路系統理論。同年，Aihara等在前人推導和實驗的基礎上，給出了一個混沌神經元模型，該模型已成為一種經典的混沌神經網路模型，該模型可用於聯想記憶。 Wunsch 在90OSA 年會上提出了一種AnnualMeeting，用光電執行ART，學習過程有自適應濾波和推理功能，具有快速和穩定的學習特點。1991年，Hertz探討了神經計算理論， 對神經網路的計算復雜性分析具有重要意義；Inoue 等提出用耦合的混沌振盪子作為某個神經元，構造混沌神經網路模型，為它的廣泛應用前景指明了道路。1992年，Holland用模擬生物進化的方式提出了遺傳演算法， 用來求解復雜優化問題。1993年方建安等採用遺傳演算法學習，研究神經網路控制器獲得了一些結果。1994年Angeline等在前人進化策略理論的基礎上，提出一種進化演算法來建立反饋神經網路，成功地應用到模式識別，自動控制等方面；廖曉昕對細胞神經網路建立了新的數學理論和方法，得到了一系列結果。HayashlY根據動物大腦中出現的振盪現象，提出了振盪神經網路。1995年Mitra把人工神經網路與模糊邏輯理論、 生物細胞學說以及概率論相結合提出了模糊神經網路，使得神經網路的研究取得了突破性進展。Jenkins等人研究光學神經網路， 建立了光學二維並行互連與電子學混合的光學神經網路，它能避免網路陷入局部最小值，並最後可達到或接近最理想的解；SoleRV等提出流體神經網路，用來研究昆蟲社會，機器人集體免疫系統，啟發人們用混沌理論分析社會大系統。1996年，ShuaiJW』等模擬人腦的自發展行為， 在討論混沌神經網路的基礎上提出了自發展神經網路。1997、1998年董聰等創立和完善了廣義遺傳演算法，解決了多層前向網路的最簡拓樸構造問題和全局最優逼近問題。
隨著理論工作的發展，神經網路的應用研究也取得了突破性進展，涉及面非常廣泛，就應用的技術領域而言有計算機視覺，語言的識別、理解與合成，優化計算，智能控制及復雜系統分析，模式識別，神經計算機研製，知識推理專家系統與人工智慧。涉及的學科有神經生理學、認識科學、數理科學、心理學、信息科學、計算機科學、微電子學、光學、動力學、生物電子學等。美國、日本等國在神經網路計算機軟硬體實現的開發方面也取得了顯著的成績，並逐步形成產品。在美國，神經計算機產業已獲得軍方的強有力支持，國防部高級研究計劃局認為「神經網路是解決機器智能的唯一希望」，僅一項8 年神經計算機計劃就投資4億美元。在歐洲共同體的ESPRIT計劃中， 就有一項特別項目：「神經網路在歐洲工業中的應用」，單是生產神經網路專用晶元這一項就投資2200萬美元。據美國資料聲稱，日本在神經網路研究上的投資大約是美國的4倍。我國也不甘落後，自從1990 年批准了南開大學的光學神經計算機等3項課題以來， 國家自然科學基金與國防預研基金也都為神經網路的研究提供資助。另外，許多國際著名公司也紛紛捲入對神經網路的研究，如Intel、IBM、Siemens、HNC。神經計算機產品開始走向商用階段，被國防、企業和科研部門選用。在舉世矚目的海灣戰爭中，美國空軍採用了神經網路來進行決策與控制。在這種刺激和需求下，人工神經網路定會取得新的突破，迎來又一個高潮。自1958年第一個神經網路誕生以來，其理論與應用成果不勝枚舉。人工神經網路是一個快速發展著的一門新興學科，新的模型、新的理論、新的應用成果正在層出不窮地涌現出來。
3 人工神經網路的發展前景
針對神經網路存在的問題和社會需求，今後發展的主要方向可分為理論研究和應用研究兩個方面。
（1）利用神經生理與認識科學研究大腦思維及智能的機理、 計算理論，帶著問題研究理論。
人工神經網路提供了一種揭示智能和了解人腦工作方式的合理途徑，但是由於人類起初對神經系統了解非常有限，對於自身腦結構及其活動機理的認識還十分膚淺，並且帶有某種「先驗」。例如， Boltzmann機引入隨機擾動來避免局部極小，有其卓越之處，然而缺乏必要的腦生理學基礎，毫無疑問，人工神經網路的完善與發展要結合神經科學的研究。而且，神經科學，心理學和認識科學等方面提出的一些重大問題，是向神經網路理論研究提出的新挑戰，這些問題的解決有助於完善和發展神經網路理論。因此利用神經生理和認識科學研究大腦思維及智能的機理，如有新的突破，將會改變智能和機器關系的認識。
利用神經科學基礎理論的研究成果，用數理方法探索智能水平更高的人工神經網路模型，深入研究網路的演算法和性能，如神經計算、進化計算、穩定性、收斂性、計算復雜性、容錯性、魯棒性等，開發新的網路數理理論。由於神經網路的非線性，因此非線性問題的研究是神經網路理論發展的一個最大動力。特別是人們發現，腦中存在著混沌現象以來，用混沌動力學啟發神經網路的研究或用神經網路產生混沌成為擺在人們面前的一個新課題，因為從生理本質角度出發是研究神經網路的根本手段。
（2）神經網路軟體模擬， 硬體實現的研究以及神經網路在各個科學技術領域應用的研究。
由於人工神經網路可以用傳統計算機模擬，也可以用集成電路晶元組成神經計算機，甚至還可以用光學的、生物晶元的方式實現，因此研製純軟體模擬，虛擬模擬和全硬體實現的電子神經網路計算機潛力巨大。如何使神經網路計算機與傳統的計算機和人工智慧技術相結合也是前沿課題；如何使神經網路計算機的功能向智能化發展，研製與人腦功能相似的智能計算機，如光學神經計算機，分子神經計算機，將具有十分誘人的前景。
4 哲理
（1）人工神經網路打開了認識論的新領域
認識與腦的問題，長期以來一直受到人們的關注，因為它不僅是有關人的心理、意識的心理學問題，也是有關人的思維活動機制的腦科學與思維科學問題，而且直接關繫到對物質與意識的哲學基本問題的回答。人工神經網路的發展使我們能夠更進一步地既唯物又辯證地理解認識與腦的關系，打開認識論的新領域。人腦是一個復雜的並行系統，它具有「認知、意識、情感」等高級腦功能，用人工進行模擬，有利於加深對思維及智能的認識，已對認知和智力的本質的研究產生了極大的推動作用。在研究大腦的整體功能和復雜性方面，人工神經網路給人們帶來了新的啟迪。由於人腦中存在混沌現象，混沌可用來理解腦中某些不規則的活動，從而混沌動力學模型能用作人對外部世界建模的工具，可用來描述人腦的信息處理過程。混沌和智能是有關的，神經網路中引入混沌學思想有助於提示人類形象思維等方面的奧秘。人工神經網路之所以再度興起，關鍵在於它反映了事物的非線性，抓住了客觀世界的本質，而且它在一定程度上正面回答了智能系統如何從環境中自主學習這一最關鍵的問題，從認知的角度講，所謂學習，就是對未知現象或規律的發現和歸納。由於神經網路具有高度的並行性，高度的非線性全局作用，良好的容錯性與聯想記憶功能以及十分強的自適應、自學習功能，而使得它成為揭示智能和了解人腦工作方式的合理途徑。但是，由於認知問題的復雜性，目前，我們對於腦神經網的運行和神經細胞的內部處理機制，如信息在人腦是如何傳輸、存貯、加工的？記憶、聯想、判斷是如何形成的？大腦是否存在一個操作系統？還沒有太多的認識，因此要製造人工神經網路來模仿人腦各方面的功能，還有待於人們對大腦信息處理機理認識的深化。
（2）人工神經網路發展的推動力來源於實踐、 理論和問題的相互作用
隨著人們社會實踐范圍的不斷擴大，社會實踐層次的不斷深入，人們所接觸到的自然現象也越來越豐富多彩、紛繁復雜，這就促使人們用不同的原因加以解釋不同種類的自然現象，當不同種類的自然現象可以用同樣的原因加以解釋，這樣就出現了不同學科的相互交叉、綜合，人工神經網路就這樣產生了。在開始階段，由於這些理論化的網路模型比較簡單，還存在許多問題，而且這些模型幾乎沒有得到實踐的檢驗，因而神經網路的發展比較緩慢。隨著理論研究的深入，問題逐漸地解決特別是工程上得到實現以後，如聲納識別成功，才迎來了神經網路的第一個發展高潮。可Minisky認為感知器不能解決異或問題， 多層感知器也不過如此，神經網路的研究進入了低谷，這主要是因為非線性問題沒得到解決。隨著理論的不斷豐富，實踐的不斷深入， 現在已證明Minisky的悲觀論調是錯誤的。今天，高度發達的科學技術逐漸揭示了非線性問題是客觀世界的本質。問題、理論、實踐的相互作用又迎來了人工神經網路的第二次高潮。目前人工神經網路的問題是智能水平不高，還有其它理論和實現方面的問題，這就迫使人們不斷地進行理論研究，不斷實踐，促使神經網路不斷向前發展。總之，先前的原因遇到了解釋不同的新現象，促使人們提出更加普遍和精確的原因來解釋。理論是基礎，實踐是動力，但單純的理論和實踐的作用還不能推動人工神經網路的發展，還必須有問題提出，才能吸引科學家進入研究的特定范圍，引導科學家從事相關研究，從而逼近科學發現，而後實踐又提出新問題，新問題又引發新的思考，促使科學家不斷思考，不斷完善理論。人工神經網路的發展無不體現著問題、理論和實踐的辯證統一關系。
（3 ）人工神經網路發展的另一推動力來源於相關學科的貢獻及不同學科專家的競爭與協同
人工神經網路本身就是一門邊緣學科，它的發展有更廣闊的科學背景，亦即是眾多科研成果的綜合產物，控制論創始人Wiener在其巨著《控制論》中就進行了人腦神經元的研究；計算機科學家Turing就提出過B網路的設想；Prigogine提出非平衡系統的自組織理論，獲得諾貝爾獎；Haken研究大量元件聯合行動而產生宏觀效果， 非線性系統「混沌」態的提出及其研究等，都是研究如何通過元件間的相互作用建立復雜系統，類似於生物系統的自組織行為。腦科學與神經科學的進展迅速反映到人工神經網路的研究中，例如生物神經網路理論，視覺中發現的側抑制原理，感受野概念等，為神經網路的發展起了重要的推動作用。從已提出的上百種人工神經網路模型中，涉及學科之多，令人目不暇接，其應用領域之廣，令人嘆為觀止。不同學科專家為了在這一領域取得領先水平，存在著不同程度的競爭，所有這些有力地推動了人工神經網路的發展。人腦是一個功能十分強大、結構異常復雜的信息系統，隨著資訊理論、控制論、生命科學，計算機科學的發展，人們越來越驚異於大腦的奇妙，至少到目前為止，人類大腦信號處理機制對人類自身來說，仍是一個黑盒子，要揭示人腦的奧秘需要神經學家、心理學家、計算機科學家、微電子學家、數學家等專家的共同努力，對人類智能行為不斷深入研究，為人工神經網路發展提供豐富的理論源泉。另外，還要有哲學家的參與，通過哲學思想和自然科學多種學科的深層結合，逐步孕育出探索人類思維本質和規律的新方法，使思維科學從朦朧走向理性。而且，不同領域專家的競爭與協調同有利於問題清晰化和尋求最好的解決途徑。縱觀神經網路的發展歷史，沒有相關學科的貢獻，不同學科專家的競爭與協同，神經網路就不會有今天。當然，人工神經網路在各個學科領域應用的研究反過來又推動其它學科的發展，推動自身的完善和發展。

㈧ 神經網路異常檢測方法和機器學習異常檢測方法對於入侵檢測的應用

神經網路入侵檢測方法是通過訓練神經網路連續的信息單元來進行異常檢測，信息單元指的是命令。網路的輸入為用戶當前輸入的命令和已執行過的W個命令；用戶執行過的命令被神經網路用來預測用戶輸入的下一個命令，如下圖。若神經網路被訓練成預測用戶輸入命令的序列集合，則神經網路就構成用戶的輪郭框架。當用這個神經網路預測不出某用戶正確的後繼命令，即在某種程度上表明了用戶行為與其輪廓框架的偏離，這時表明有異常事件發生，以此就能作異常入侵檢測。

上面式子用來分類識別，檢測異常序列。實驗結果表明這種方法檢測迅速，而且誤警率底。然而，此方法對於用戶動態行為變化以及單獨異常檢測還有待改善。復雜的相似度量和先驗知識加入到檢測中可能會提高系統的准確性，但需要做進一步工作。

㈨ 人工神經網路有哪些類型

人工神經網路模型主要考慮網路連接的拓撲結構、神經元的特徵、學習規則等。目前，已有近40種神經網路模型，其中有反傳網路、感知器、自組織映射、Hopfield網路、波耳茲曼機、適應諧振理論等。根據連接的拓撲結構，神經網路模型可以分為：

（1）前向網路 網路中各個神經元接受前一級的輸入，並輸出到下一級，網路中沒有反饋，可以用一個有向無環路圖表示。這種網路實現信號從輸入空間到輸出空間的變換，它的信息處理能力來自於簡單非線性函數的多次復合。網路結構簡單，易於實現。反傳網路是一種典型的前向網路。

（2）反饋網路 網路內神經元間有反饋，可以用一個無向的完備圖表示。這種神經網路的信息處理是狀態的變換，可以用動力學系統理論處理。系統的穩定性與聯想記憶功能有密切關系。Hopfield網路、波耳茲曼機均屬於這種類型。

學習是神經網路研究的一個重要內容，它的適應性是通過學習實現的。根據環境的變化，對權值進行調整，改善系統的行為。由Hebb提出的Hebb學習規則為神經網路的學習演算法奠定了基礎。Hebb規則認為學習過程最終發生在神經元之間的突觸部位，突觸的聯系強度隨著突觸前後神經元的活動而變化。在此基礎上，人們提出了各種學習規則和演算法，以適應不同網路模型的需要。有效的學習演算法，使得神經網路能夠通過連接權值的調整，構造客觀世界的內在表示，形成具有特色的信息處理方法，信息存儲和處理體現在網路的連接中。
根據學習環境不同，神經網路的學習方式可分為監督學習和非監督學習。在監督學習中，將訓練樣本的數據加到網路輸入端，同時將相應的期望輸出與網路輸出相比較，得到誤差信號，以此控制權值連接強度的調整，經多次訓練後收斂到一個確定的權值。當樣本情況發生變化時，經學習可以修改權值以適應新的環境。使用監督學習的神經網路模型有反傳網路、感知器等。非監督學習時，事先不給定標准樣本，直接將網路置於環境之中，學習階段與工作階段成為一體。此時，學習規律的變化服從連接權值的演變方程。非監督學習最簡單的例子是Hebb學習規則。競爭學習規則是一個更復雜的非監督學習的例子，它是根據已建立的聚類進行權值調整。自組織映射、適應諧振理論網路等都是與競爭學習有關的典型模型。
研究神經網路的非線性動力學性質，主要採用動力學系統理論、非線性規劃理論和統計理論，來分析神經網路的演化過程和吸引子的性質，探索神經網路的協同行為和集體計算功能，了解神經信息處理機制。為了探討神經網路在整體性和模糊性方面處理信息的可能，混沌理論的概念和方法將會發揮作用。混沌是一個相當難以精確定義的數學概念。一般而言，「混沌」是指由確定性方程描述的動力學系統中表現出的非確定性行為，或稱之為確定的隨機性。「確定性」是因為它由內在的原因而不是外來的雜訊或干擾所產生，而「隨機性」是指其不規則的、不能預測的行為，只可能用統計的方法描述。混沌動力學系統的主要特徵是其狀態對初始條件的靈敏依賴性，混沌反映其內在的隨機性。混沌理論是指描述具有混沌行為的非線性動力學系統的基本理論、概念、方法，它把動力學系統的復雜行為理解為其自身與其在同外界進行物質、能量和信息交換過程中內在的有結構的行為，而不是外來的和偶然的行為，混沌狀態是一種定態。混沌動力學系統的定態包括：靜止、平穩量、周期性、准同期性和混沌解。混沌軌線是整體上穩定與局部不穩定相結合的結果，稱之為奇異吸引子。

㈩ 什麼是BP神經網路

BP演算法的基本思想是：學習過程由信號正向傳播與誤差的反向回傳兩個部分組成；正向傳播時，輸入樣本從輸入層傳入，經各隱層依次逐層處理，傳向輸出層，若輸出層輸出與期望不符，則將誤差作為調整信號逐層反向回傳，對神經元之間的連接權矩陣做出處理，使誤差減小。經反復學習，最終使誤差減小到可接受的范圍。具體步驟如下：
1、從訓練集中取出某一樣本，把信息輸入網路中。
2、通過各節點間的連接情況正向逐層處理後，得到神經網路的實際輸出。
3、計算網路實際輸出與期望輸出的誤差。
4、將誤差逐層反向回傳至之前各層，並按一定原則將誤差信號載入到連接權值上，使整個神經網路的連接權值向誤差減小的方向轉化。
5、対訓練集中每一個輸入—輸出樣本對重復以上步驟，直到整個訓練樣本集的誤差減小到符合要求為止。