❶ 人工神經網路的主要研究成果
1 人工神經網路產生的背景
自古以來,關於人類智能本源的奧秘,一直吸引著無數哲學家和自然科學家的研究熱情。生物學家、神經學家經過長期不懈的努力,通過對人腦的觀察和認識,認為人腦的智能活動離不開腦的物質基礎,包括它的實體結構和其中所發生的各種生物、化學、電學作用,並因此建立了神經元網路理論和神經系統結構理論,而神經元理論又是此後神經傳導理論和大腦功能學說的基礎。在這些理論基礎之上,科學家們認為,可以從仿製人腦神經系統的結構和功能出發,研究人類智能活動和認識現象。另一方面,19世紀之前,無論是以歐氏幾何和微積分為代表的經典數學,還是以牛頓力學為代表的經典物理學,從總體上說,這些經典科學都是線性科學。然而,客觀世界是如此的紛繁復雜,非線性情況隨處可見,人腦神經系統更是如此。復雜性和非線性是連接在一起的,因此,對非線性科學的研究也是我們認識復雜系統的關鍵。為了更好地認識客觀世界,我們必須對非線性科學進行研究。人工神經網路作為一種非線性的、與大腦智能相似的網路模型,就這樣應運而生了。所以,人工神經網路的創立不是偶然的,而是20世紀初科學技術充分發展的產物。
2 人工神經網路的發展
人工神經網路的研究始於40年代初。半個世紀以來,經歷了興起、高潮與蕭條、高潮及穩步發展的遠為曲折的道路。
1943年,心理學家W.S.Mcculloch和數理邏輯學家W.Pitts 提出了M—P模型,這是第一個用數理語言描述腦的信息處理過程的模型, 雖然神經元的功能比較弱,但它為以後的研究工作提供了依據。1949年,心理學家D.O.Hebb提出突觸聯系可變的假設,根據這一假設提出的學習規律為神經網路的學習演算法奠定了基礎。 1957 年, 計算機科學家Rosenblatt提出了著名的感知機模型,它的模型包含了現代計算機的一些原理,是第一個完整的人工神經網路,第一次把神經網路研究付諸工程實現。由於可應用於模式識別,聯想記憶等方面,當時有上百家實驗室投入此項研究,美國軍方甚至認為神經網路工程應當比「原子彈工程」更重要而給予巨額資助,並在聲納信號識別等領域取得一定成績。1960年,B.Windrow和E.Hoff提出了自適應線性單元, 它可用於自適應濾波、預測和模式識別。至此,人工神經網路的研究工作進入了第一個高潮。
1969年,美國著名人工智慧學者M.Minsky和S.Papert編寫了影響很大的Perceptron一書,從理論上證明單層感知機的能力有限,諸如不能解決異或問題,而且他們推測多層網路的感知機能力也不過如此,他們的分析恰似一瓢冷水,很多學者感到前途渺茫而紛紛改行,原先參與研究的實驗室紛紛退出,在這之後近10年,神經網路研究進入了一個緩慢發展的蕭條期。這期間,芬蘭學者T.Kohonen 提出了自組織映射理論,反映了大腦神經細胞的自組織特性、記憶方式以及神經細胞興奮刺激的規律;美國學者S.A.Grossberg的自適應共振理論(ART );日本學者K.Fukushima提出了認知機模型;ShunIchimari則致力於神經網路有關數學理論的研究等,這些研究成果對以後的神經網路的發展產生了重要影響。
美國生物物理學家J.J.Hopfield於1982年、1984年在美國科學院院刊發表的兩篇文章,有力地推動了神經網路的研究,引起了研究神經網路的又一次熱潮。 1982 年, 他提出了一個新的神經網路模型——hopfield網路模型。他在這種網路模型的研究中,首次引入了網路能量函數的概念,並給出了網路穩定性的判定依據。1984年,他又提出了網路模型實現的電子電路,為神經網路的工程實現指明了方向,他的研究成果開拓了神經網路用於聯想記憶的優化計算的新途徑,並為神經計算機研究奠定了基礎。1984年Hinton等人將模擬退火演算法引入到神經網路中,提出了Boltzmann機網路模型,BM 網路演算法為神經網路優化計算提供了一個有效的方法。1986年,D.E.Rumelhart和J.LMcclelland提出了誤差反向傳播演算法,成為至今為止影響很大的一種網路學習方法。1987年美國神經計算機專家R.Hecht—Nielsen提出了對向傳播神經網路,該網路具有分類靈活,演算法簡練的優點,可用於模式分類、函數逼近、統計分析和數據壓縮等領域。1988年L.Ochua 等人提出了細胞神經網路模型,它在視覺初級加工上得到了廣泛應用。
為適應人工神經網路的發展,1987年成立了國際神經網路學會,並決定定期召開國際神經網路學術會議。1988年1月Neural Network 創刊。1990年3月IEEE Transaction on Neural Network問世。 我國於1990年12月在北京召開了首屆神經網路學術大會,並決定以後每年召開一次。1991 年在南京成立了中國神經網路學會。 IEEE 與INNS 聯合召開的IJCNN92已在北京召開。 這些為神經網路的研究和發展起了推波助瀾的作用,人工神經網路步入了穩步發展的時期。
90年代初,諾貝爾獎獲得者Edelman提出了Darwinism模型,建立了神經網路系統理論。同年,Aihara等在前人推導和實驗的基礎上,給出了一個混沌神經元模型,該模型已成為一種經典的混沌神經網路模型,該模型可用於聯想記憶。 Wunsch 在90OSA 年會上提出了一種AnnualMeeting,用光電執行ART,學習過程有自適應濾波和推理功能,具有快速和穩定的學習特點。1991年,Hertz探討了神經計算理論, 對神經網路的計算復雜性分析具有重要意義;Inoue 等提出用耦合的混沌振盪子作為某個神經元,構造混沌神經網路模型,為它的廣泛應用前景指明了道路。1992年,Holland用模擬生物進化的方式提出了遺傳演算法, 用來求解復雜優化問題。1993年方建安等採用遺傳演算法學習,研究神經網路控制器獲得了一些結果。1994年Angeline等在前人進化策略理論的基礎上,提出一種進化演算法來建立反饋神經網路,成功地應用到模式識別,自動控制等方面;廖曉昕對細胞神經網路建立了新的數學理論和方法,得到了一系列結果。HayashlY根據動物大腦中出現的振盪現象,提出了振盪神經網路。1995年Mitra把人工神經網路與模糊邏輯理論、 生物細胞學說以及概率論相結合提出了模糊神經網路,使得神經網路的研究取得了突破性進展。Jenkins等人研究光學神經網路, 建立了光學二維並行互連與電子學混合的光學神經網路,它能避免網路陷入局部最小值,並最後可達到或接近最理想的解;SoleRV等提出流體神經網路,用來研究昆蟲社會,機器人集體免疫系統,啟發人們用混沌理論分析社會大系統。1996年,ShuaiJW』等模擬人腦的自發展行為, 在討論混沌神經網路的基礎上提出了自發展神經網路。1997、1998年董聰等創立和完善了廣義遺傳演算法,解決了多層前向網路的最簡拓樸構造問題和全局最優逼近問題。
隨著理論工作的發展,神經網路的應用研究也取得了突破性進展,涉及面非常廣泛,就應用的技術領域而言有計算機視覺,語言的識別、理解與合成,優化計算,智能控制及復雜系統分析,模式識別,神經計算機研製,知識推理專家系統與人工智慧。涉及的學科有神經生理學、認識科學、數理科學、心理學、信息科學、計算機科學、微電子學、光學、動力學、生物電子學等。美國、日本等國在神經網路計算機軟硬體實現的開發方面也取得了顯著的成績,並逐步形成產品。在美國,神經計算機產業已獲得軍方的強有力支持,國防部高級研究計劃局認為「神經網路是解決機器智能的唯一希望」,僅一項8 年神經計算機計劃就投資4億美元。在歐洲共同體的ESPRIT計劃中, 就有一項特別項目:「神經網路在歐洲工業中的應用」,單是生產神經網路專用晶元這一項就投資2200萬美元。據美國資料聲稱,日本在神經網路研究上的投資大約是美國的4倍。我國也不甘落後,自從1990 年批准了南開大學的光學神經計算機等3項課題以來, 國家自然科學基金與國防預研基金也都為神經網路的研究提供資助。另外,許多國際著名公司也紛紛捲入對神經網路的研究,如Intel、IBM、Siemens、HNC。神經計算機產品開始走向商用階段,被國防、企業和科研部門選用。在舉世矚目的海灣戰爭中,美國空軍採用了神經網路來進行決策與控制。在這種刺激和需求下,人工神經網路定會取得新的突破,迎來又一個高潮。自1958年第一個神經網路誕生以來,其理論與應用成果不勝枚舉。人工神經網路是一個快速發展著的一門新興學科,新的模型、新的理論、新的應用成果正在層出不窮地涌現出來。
3 人工神經網路的發展前景
針對神經網路存在的問題和社會需求,今後發展的主要方向可分為理論研究和應用研究兩個方面。
(1)利用神經生理與認識科學研究大腦思維及智能的機理、 計算理論,帶著問題研究理論。
人工神經網路提供了一種揭示智能和了解人腦工作方式的合理途徑,但是由於人類起初對神經系統了解非常有限,對於自身腦結構及其活動機理的認識還十分膚淺,並且帶有某種「先驗」。例如, Boltzmann機引入隨機擾動來避免局部極小,有其卓越之處,然而缺乏必要的腦生理學基礎,毫無疑問,人工神經網路的完善與發展要結合神經科學的研究。而且,神經科學,心理學和認識科學等方面提出的一些重大問題,是向神經網路理論研究提出的新挑戰,這些問題的解決有助於完善和發展神經網路理論。因此利用神經生理和認識科學研究大腦思維及智能的機理,如有新的突破,將會改變智能和機器關系的認識。
利用神經科學基礎理論的研究成果,用數理方法探索智能水平更高的人工神經網路模型,深入研究網路的演算法和性能,如神經計算、進化計算、穩定性、收斂性、計算復雜性、容錯性、魯棒性等,開發新的網路數理理論。由於神經網路的非線性,因此非線性問題的研究是神經網路理論發展的一個最大動力。特別是人們發現,腦中存在著混沌現象以來,用混沌動力學啟發神經網路的研究或用神經網路產生混沌成為擺在人們面前的一個新課題,因為從生理本質角度出發是研究神經網路的根本手段。
(2)神經網路軟體模擬, 硬體實現的研究以及神經網路在各個科學技術領域應用的研究。
由於人工神經網路可以用傳統計算機模擬,也可以用集成電路晶元組成神經計算機,甚至還可以用光學的、生物晶元的方式實現,因此研製純軟體模擬,虛擬模擬和全硬體實現的電子神經網路計算機潛力巨大。如何使神經網路計算機與傳統的計算機和人工智慧技術相結合也是前沿課題;如何使神經網路計算機的功能向智能化發展,研製與人腦功能相似的智能計算機,如光學神經計算機,分子神經計算機,將具有十分誘人的前景。
4 哲理
(1)人工神經網路打開了認識論的新領域
認識與腦的問題,長期以來一直受到人們的關注,因為它不僅是有關人的心理、意識的心理學問題,也是有關人的思維活動機制的腦科學與思維科學問題,而且直接關繫到對物質與意識的哲學基本問題的回答。人工神經網路的發展使我們能夠更進一步地既唯物又辯證地理解認識與腦的關系,打開認識論的新領域。人腦是一個復雜的並行系統,它具有「認知、意識、情感」等高級腦功能,用人工進行模擬,有利於加深對思維及智能的認識,已對認知和智力的本質的研究產生了極大的推動作用。在研究大腦的整體功能和復雜性方面,人工神經網路給人們帶來了新的啟迪。由於人腦中存在混沌現象,混沌可用來理解腦中某些不規則的活動,從而混沌動力學模型能用作人對外部世界建模的工具,可用來描述人腦的信息處理過程。混沌和智能是有關的,神經網路中引入混沌學思想有助於提示人類形象思維等方面的奧秘。人工神經網路之所以再度興起,關鍵在於它反映了事物的非線性,抓住了客觀世界的本質,而且它在一定程度上正面回答了智能系統如何從環境中自主學習這一最關鍵的問題,從認知的角度講,所謂學習,就是對未知現象或規律的發現和歸納。由於神經網路具有高度的並行性,高度的非線性全局作用,良好的容錯性與聯想記憶功能以及十分強的自適應、自學習功能,而使得它成為揭示智能和了解人腦工作方式的合理途徑。但是,由於認知問題的復雜性,目前,我們對於腦神經網的運行和神經細胞的內部處理機制,如信息在人腦是如何傳輸、存貯、加工的?記憶、聯想、判斷是如何形成的?大腦是否存在一個操作系統?還沒有太多的認識,因此要製造人工神經網路來模仿人腦各方面的功能,還有待於人們對大腦信息處理機理認識的深化。
(2)人工神經網路發展的推動力來源於實踐、 理論和問題的相互作用
隨著人們社會實踐范圍的不斷擴大,社會實踐層次的不斷深入,人們所接觸到的自然現象也越來越豐富多彩、紛繁復雜,這就促使人們用不同的原因加以解釋不同種類的自然現象,當不同種類的自然現象可以用同樣的原因加以解釋,這樣就出現了不同學科的相互交叉、綜合,人工神經網路就這樣產生了。在開始階段,由於這些理論化的網路模型比較簡單,還存在許多問題,而且這些模型幾乎沒有得到實踐的檢驗,因而神經網路的發展比較緩慢。隨著理論研究的深入,問題逐漸地解決特別是工程上得到實現以後,如聲納識別成功,才迎來了神經網路的第一個發展高潮。可Minisky認為感知器不能解決異或問題, 多層感知器也不過如此,神經網路的研究進入了低谷,這主要是因為非線性問題沒得到解決。隨著理論的不斷豐富,實踐的不斷深入, 現在已證明Minisky的悲觀論調是錯誤的。今天,高度發達的科學技術逐漸揭示了非線性問題是客觀世界的本質。問題、理論、實踐的相互作用又迎來了人工神經網路的第二次高潮。目前人工神經網路的問題是智能水平不高,還有其它理論和實現方面的問題,這就迫使人們不斷地進行理論研究,不斷實踐,促使神經網路不斷向前發展。總之,先前的原因遇到了解釋不同的新現象,促使人們提出更加普遍和精確的原因來解釋。理論是基礎,實踐是動力,但單純的理論和實踐的作用還不能推動人工神經網路的發展,還必須有問題提出,才能吸引科學家進入研究的特定范圍,引導科學家從事相關研究,從而逼近科學發現,而後實踐又提出新問題,新問題又引發新的思考,促使科學家不斷思考,不斷完善理論。人工神經網路的發展無不體現著問題、理論和實踐的辯證統一關系。
(3 )人工神經網路發展的另一推動力來源於相關學科的貢獻及不同學科專家的競爭與協同
人工神經網路本身就是一門邊緣學科,它的發展有更廣闊的科學背景,亦即是眾多科研成果的綜合產物,控制論創始人Wiener在其巨著《控制論》中就進行了人腦神經元的研究;計算機科學家Turing就提出過B網路的設想;Prigogine提出非平衡系統的自組織理論,獲得諾貝爾獎;Haken研究大量元件聯合行動而產生宏觀效果, 非線性系統「混沌」態的提出及其研究等,都是研究如何通過元件間的相互作用建立復雜系統,類似於生物系統的自組織行為。腦科學與神經科學的進展迅速反映到人工神經網路的研究中,例如生物神經網路理論,視覺中發現的側抑制原理,感受野概念等,為神經網路的發展起了重要的推動作用。從已提出的上百種人工神經網路模型中,涉及學科之多,令人目不暇接,其應用領域之廣,令人嘆為觀止。不同學科專家為了在這一領域取得領先水平,存在著不同程度的競爭,所有這些有力地推動了人工神經網路的發展。人腦是一個功能十分強大、結構異常復雜的信息系統,隨著資訊理論、控制論、生命科學,計算機科學的發展,人們越來越驚異於大腦的奇妙,至少到目前為止,人類大腦信號處理機制對人類自身來說,仍是一個黑盒子,要揭示人腦的奧秘需要神經學家、心理學家、計算機科學家、微電子學家、數學家等專家的共同努力,對人類智能行為不斷深入研究,為人工神經網路發展提供豐富的理論源泉。另外,還要有哲學家的參與,通過哲學思想和自然科學多種學科的深層結合,逐步孕育出探索人類思維本質和規律的新方法,使思維科學從朦朧走向理性。而且,不同領域專家的競爭與協調同有利於問題清晰化和尋求最好的解決途徑。縱觀神經網路的發展歷史,沒有相關學科的貢獻,不同學科專家的競爭與協同,神經網路就不會有今天。當然,人工神經網路在各個學科領域應用的研究反過來又推動其它學科的發展,推動自身的完善和發展。
❷ 神經網路的研究方向
神經網路的研究可以分為理論研究和應用研究兩大方面。
理論研究可分為以下兩類:
1、利用神經生理與認知科學研究人類思維以及智能機理。
2、利用神經基礎理論的研究成果,用數理方法探索功能更加完善、性能更加優越的神經網路模型,深入研究網路演算法和性能,如:穩定性、收斂性、容錯性、魯棒性等;開發新的網路數理理論,如:神經網路動力學、非線性神經場等。
應用研究可分為以下兩類:
1、神經網路的軟體模擬和硬體實現的研究。
2、神經網路在各個領域中應用的研究。這些領域主要包括:
模式識別、信號處理、知識工程、專家系統、優化組合、機器人控制等。隨著神經網路理論本身以及相關理論、相關技術的不斷發展,神經網路的應用定將更加深入。
❸ 神經網路是什麼
神經網路可以指向兩種,一個是生物神經網路,一個是人工神經網路。
生物神經網路:一般指生物的大腦神經元,細胞,觸點等組成的網路,用於產生生物的意識,幫助生物進行思考和行動。
人工神經網路(Artificial Neural Networks,簡寫為ANNs)也簡稱為神經網路(NNs)或稱作連接模型(Connection Model),它是一種模仿動物神經網路行為特徵,進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度,通過調整內部大量節點之間相互連接的關系,從而達到處理信息的目的。
人工神經網路:是一種應用類似於大腦神經突觸聯接的結構進行信息處理的數學模型。在工程與學術界也常直接簡稱為「神經網路」或類神經網路。
❹ 神經網路是什麼
神經網路是一種以人腦為模型的機器學習,簡單地說就是創造一個人工神經網路,通過一種演算法允許計算機通過合並新的數據來學習。
神經網路簡單說就是通過一種演算法允許計算機通過合並新的數據來學習!
❺ 神經網路的研究內容
神經網路的研究內容相當廣泛,反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面: 在理論模型研究的基礎上構作具體的神經網路模型,以實現計算機模擬或准備製作硬體,包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。
神經網路用到的演算法就是向量乘法,並且廣泛採用符號函數及其各種逼近。並行、容錯、可以硬體實現以及自我學習特性,是神經網路的幾個基本優點,也是神經網路計算方法與傳統方法的區別所在。 在網路模型與演算法研究的基礎上,利用人工神經網路組成實際的應用系統,例如,完成某種信號處理或模式識別的功能、構作專家系統、製成機器人、復雜系統控制等等。
縱觀當代新興科學技術的發展歷史,人類在征服宇宙空間、基本粒子,生命起源等科學技術領域的進程中歷經了崎嶇不平的道路。我們也會看到,探索人腦功能和神經網路的研究將伴隨著重重困難的克服而日新月異。