A. 人工神經網路是哪個流派的基礎
「純意念控制」人工神經康復機器人系統2014年6月14日在天津大學和天津市人民醫院共同舉辦的發表會上,由雙方共同研製的人工神經康復機器人「神工一號」正式亮相。
中文名
「純意念控制」人工神經康復機器人系統
發布時間
2014年6月14日
快速
導航
產品特色發展歷史
功能配置
「純意念控制」人工神經康復機器人系統在復合想像動作信息解析與處理、非同步腦——機介面訓練與識別、皮層——肌肉活動同步耦合優化、中風後抑鬱腦電非線性特徵提取與篩查等關鍵技術上取得了重大突破。
「純意念控制」人工神經康復機器人系統包括無創腦電感測模塊、想像動作特徵檢測模塊、運動意圖識別模塊、指令編碼介面模塊、刺激信息調理模塊、刺激電流輸出模塊6部分。
產品特色
「純意念控制」人工神經康復機器人系統最新研究成果將讓不少中風、癱瘓人士燃起重新獨立生活的希望。現已擁有包括23項授權國家發明專利、1項軟體著作權在內的自主知識產權集群,是全球首台適用於全肢體中風康復的「純意念控制」人工神經機器人系統。[1]
腦控機械外骨骼是利用被動機械牽引,非肌肉主動收縮激活。而「神工一號」則利用神經肌肉電刺激,模擬神經沖動的電刺激引起肌肉產生主動收縮,帶動骨骼和關節產生自主動作,與人體自主運動原理一致。
體驗者需要把裝有電極的腦電探測器戴在頭部,並在患病肢體的肌肉上安裝電極,藉助「神工一號」的連接,就可以用「意念」來「控制」自己本來無法行動的肢體了。[2]
發展歷史
「純意念控制」人工神經康復機器人系統技術歷時10年,是國家「863計劃「、「十二五」國家科技支撐計劃和國家優秀青年科學基金重點支持項目。
人工神經網路(Artificial Neural Network,即ANN ),是20世紀80 年代以來人工智慧領域興起的研究熱點。它從信息處理角度對人腦神經元網路進行抽象, 建立某種簡單模型,按不同的連接方式組成不同的網路。在工程與學術界也常直接簡稱為神經網路或類神經網路。神經網路是一種運算模型,由大量的節點(或稱神經元)之間相互聯接構成。每個節點代表一種特定的輸出函數,稱為激勵函數(activation function)。每兩個節點間的連接都代表一個對於通過該連接信號的加權值,稱之為權重,這相當於人工神經網路的記憶。網路的輸出則依網路的連接方式,權重值和激勵函數的不同而不同。而網路自身通常都是對自然界某種演算法或者函數的逼近,也可能是對一種邏輯策略的表達。
最近十多年來,人工神經網路的研究工作不斷深入,已經取得了很大的進展,其在模式識別、智能機器人、自動控制、預測估計、生物、醫學、經濟等領域已成功地解決了許多現代計算機難以解決的實際問題,表現出了良好的智能特性。
中文名
人工神經網路
外文名
artificial neural network
別稱
ANN
應用學科
人工智慧
適用領域范圍
模式分類
精品薦讀
「蠢萌」的神經網路
作者:牛油果進化論
快速
導航
基本特徵發展歷史網路模型學習類型分析方法特點優點研究方向發展趨勢應用分析
神經元
如圖所示
a1~an為輸入向量的各個分量
w1~wn為神經元各個突觸的權值
b為偏置
f為傳遞函數,通常為非線性函數。以下默認為hardlim()
t為神經元輸出
數學表示 t=f(WA'+b)
W為權向量
A為輸入向量,A'為A向量的轉置
b為偏置
f為傳遞函數
可見,一個神經元的功能是求得輸入向量與權向量的內積後,經一個非線性傳遞函數得到一個標量結果。
單個神經元的作用:把一個n維向量空間用一個超平面分割成兩部分(稱之為判斷邊界),給定一個輸入向量,神經元可以判斷出這個向量位於超平面的哪一邊。
該超平面的方程: Wp+b=0
W權向量
b偏置
p超平面上的向量
基本特徵
人工神經網路是由大量處理單元互聯組成的非線性、自適應信息處理系統。它是在現代神經科學研究成果的基礎上提出的,試圖通過模擬大腦神經網路處理、記憶信息的方式進行信息處理。人工神經網路具有四個基本特徵:
(1)非線性 非線性關系是自然界的普遍特性。大腦的智慧就是一種非線性現象。人工神經元處於激活或抑制二種不同的狀態,這種行為在數學上表現為一種非線性關系。具有閾值的神經元構成的網路具有更好的性能,可以提高容錯性和存儲容量。
人工神經網路
(2)非局限性 一個神經網路通常由多個神經元廣泛連接而成。一個系統的整體行為不僅取決於單個神經元的特徵,而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯想記憶是非局限性的典型例子。
(3)非常定性 人工神經網路具有自適應、自組織、自學習能力。神經網路不但處理的信息可以有各種變化,而且在處理信息的同時,非線性動力系統本身也在不斷變化。經常採用迭代過程描寫動力系統的演化過程。
(4)非凸性 一個系統的演化方向,在一定條件下將取決於某個特定的狀態函數。例如能量函數,它的極值相應於系統比較穩定的狀態。非凸性是指這種函數有多個極值,故系統具有多個較穩定的平衡態,這將導致系統演化的多樣性。
人工神經網路中,神經元處理單元可表示不同的對象,例如特徵、字母、概念,或者一些有意義的抽象模式。網路中處理單元的類型分為三類:輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數據;輸出單元實現系統處理結果的輸出;隱單元是處在輸入和輸出單元之間,不能由系統外部觀察的單元。神經元間的連接權值反映了單元間的連接強度,信息的表示和處理體現在網路處理單元的連接關系中。人工神經網路是一種非程序化、適應性、大腦風格的信息處理 ,其本質是通過網路的變換和動力學行為得到一種並行分布式的信息處理功能,並在不同程度和層次上模仿人腦神經系統的信息處理功能。它是涉及神經科學、思維科學、人工智慧、計算機科學等多個領域的交叉學科。
人工神經網路
人工神經網路是並行分布式系統,採用了與傳統人工智慧和信息處理技術完全不同的機理,克服了傳統的基於邏輯符號的人工智慧在處理直覺、非結構化信息方面的缺陷,具有自適應、自組織和實時學習的特點。[1]
發展歷史
1943年,心理學家W.S.McCulloch和數理邏輯學家W.Pitts建立了神經網路和數學模型,稱為MP模型。他們通過MP模型提出了神經元的形式化數學描述和網路結構方法,證明了單個神經元能執行邏輯功能,從而開創了人工神經網路研究的時代。1949年,心理學家提出了突觸聯系強度可變的設想。60年代,人工神經網路得到了進一步發展,更完善的神經網路模型被提出,其中包括感知器和自適應線性元件等。M.Minsky等仔細分析了以感知器為代表的神經網路系統的功能及局限後,於1969年出版了《Perceptron》一書,指出感知器不能解決高階謂詞問題。他們的論點極大地影響了神經網路的研究,加之當時串列計算機和人工智慧所取得的成就,掩蓋了發展新型計算機和人工智慧新途徑的必要性和迫切性,使人工神經網路的研究處於低潮。在此期間,一些人工神經網路的研究者仍然致力於這一研究,提出了適應諧振理論(ART網)、自組織映射、認知機網路,同時進行了神經網路數學理論的研究。以上研究為神經網路的研究和發展奠定了基礎。1982年,美國加州工學院物理學家J.J.Hopfield提出了Hopfield神經網格模型,引入了「計算能量」概念,給出了網路穩定性判斷。 1984年,他又提出了連續時間Hopfield神經網路模型,為神經計算機的研究做了開拓性的工作,開創了神經網路用於聯想記憶和優化計算的新途徑,有力地推動了神經網路的研究,1985年,又有學者提出了波耳茲曼模型,在學習中採用統計熱力學模擬退火技術,保證整個系統趨於全局穩定點。1986年進行認知微觀結構地研究,提出了並行分布處理的理論。1986年,Rumelhart, Hinton, Williams發展了BP演算法。Rumelhart和McClelland出版了《Parallel distribution processing: explorations in the microstructures of cognition》。迄今,BP演算法已被用於解決大量實際問題。1988年,Linsker對感知機網路提出了新的自組織理論,並在Shanon資訊理論的基礎上形成了最大互信息理論,從而點燃了基於NN的信息應用理論的光芒。1988年,Broomhead和Lowe用徑向基函數(Radial basis function, RBF)提出分層網路的設計方法,從而將NN的設計與數值分析和線性適應濾波相掛鉤。90年代初,Vapnik等提出了支持向量機(Support vector machines, SVM)和VC(Vapnik-Chervonenkis)維數的概念。人工神經網路的研究受到了各個發達國家的重視,美國國會通過決議將1990年1月5日開始的十年定為「腦的十年」,國際研究組織號召它的成員國將「腦的十年」變為全球行為。在日本的「真實世界計算(RWC)」項目中,人工智慧的研究成了一個重要的組成部分。
人工神經網路
網路模型
人工神經網路模型主要考慮網路連接的拓撲結構、神經元的特徵、學習規則等。目前,已有近40種神經網路模型,其中有反傳網路、感知器、自組織映射、Hopfield網路、波耳茲曼機、適應諧振理論等。根據連接的拓撲結構,神經網路模型可以分為:[1]
人工神經網路
前向網路
網路中各個神經元接受前一級的輸入,並輸出到下一級,網路中沒有反饋,可以用一個有向無環路圖表示。這種網路實現信號從輸入空間到輸出空間的變換,它的信息處理能力來自於簡單非線性函數的多次復合。網路結構簡單,易於實現。反傳網路是一種典型的前向網路。[2]
反饋網路
網路內神經元間有反饋,可以用一個無向的完備圖表示。這種神經網路的信息處理是狀態的變換,可以用動力學系統理論處理。系統的穩定性與聯想記憶功能有密切關系。Hopfield網路、波耳茲曼機均屬於這種類型。
學習類型
學習是神經網路研究的一個重要內容,它的適應性是通過學習實現的。根據環境的變化,對權值進行調整,改善系統的行為。由Hebb提出的Hebb學習規則為神經網路的學習演算法奠定了基礎。Hebb規則認為學習過程最終發生在神經元之間的突觸部位,突觸的聯系強度隨著突觸前後神經元的活動而變化。在此基礎上,人們提出了各種學習規則和演算法,以適應不同網路模型的需要。有效的學習演算法,使得神經網路能夠通過連接權值的調整,構造客觀世界的內在表示,形成具有特色的信息處理方法,信息存儲和處理體現在網路的連接中。
人工神經網路
分類
根據學習環境不同,神經網路的學習方式可分為監督學習和非監督學習。在監督學習中,將訓練樣本的數據加到網路輸入端,同時將相應的期望輸出與網路輸出相比較,得到誤差信號,以此控制權值連接強度的調整,經多次訓練後收斂到一個確定的權值。當樣本情況發生變化時,經學習可以修改權值以適應新的環境。使用監督學習的神經網路模型有反傳網路、感知器等。非監督學習時,事先不給定標准樣本,直接將網路置於環境之中,學習階段與工作階段成為一體。此時,學習規律的變化服從連接權值的演變方程。非監督學習最簡單的例子是Hebb學習規則。競爭學習規則是一個更復雜的非監督學習的例子,它是根據已建立的聚類進行權值調整。自組織映射、適應諧振理論網路等都是與競爭學習有關的典型模型。
分析方法
研究神經網路的非線性動力學性質,主要採用動力學系統理論、非線性規劃理論和統計理論,來分析神經網路的演化過程和吸引子的性質,探索神經網路的協同行為和集體計算功能,了解神經信息處理機制。為了探討神經網路在整體性和模糊性方面處理信息的可能,混沌理論的概念和方法將會發揮作用。混沌是一個相當難以精確定義的數學概念。一般而言,「混沌」是指由確定性方程描述的動力學系統中表現出的非確定性行為,或稱之為確定的隨機性。「確定性」是因為它由內在的原因而不是外來的雜訊或干擾所產生,而「隨機性」是指其不規則的、不能預測的行為,只可能用統計的方法描述。
B. 深度學習中什麼是人工神經網路
人工神經網路(Artificial Neural Network,即ANN )是從信息處理角度對人腦神經元網路進行抽象,是20世紀80年代以來人工智慧領域興起的研究熱點,其本質是一種運算模型,由大量的節點(或稱神經元)之間相互聯接構成,在模式識別、智能機器人、自動控制、生物、醫學、經濟等領域已成功地解決了許多現代計算機難以解決的實際問題,表現出了良好的智能特性。
人工神經網路是由大量處理單元互聯組成的非線性、自適應信息處理系統,它是在現代 神經科學研究成果的基礎上提出的,試圖通過模擬大腦神經網路處理、記憶信息的方式進行信息處理。人工神經網路具有四個基本特徵:
(1)非線性– 非線性關系是自然界的普遍特性,人工神經元處於激活或抑制二種不同的狀態,這種行為在數學上表現為一種非線性
人工神經網路
由系統外部觀察的單元。神經元間的連接權值反映了單元間的連接強度,信息的表示和處理體現在網路處理單元的連接關系中。
總結:人工神經網路是一種非程序化、 適應性、大腦風格的信息處理 ,其本質是通過網路的變換和動力學行為得到一種並行分布式的信息處理功能,並在不同程度和層次上模仿人腦神經系統的信息處理功能。
C. 神經網路是什麼
神經網路是一種以人腦為模型的機器學習,簡單地說就是創造一個人工神經網路,通過一種演算法允許計算機通過合並新的數據來學習。
神經網路簡單說就是通過一種演算法允許計算機通過合並新的數據來學習!
D. 人工智慧有哪幾個主要學派
目前人工智慧的主要學派有下面三家:
(1)符號主義(symbolicism),又稱為邏輯主義(logicism)、心理學派(psychologism)或計算機學派(computerism),其原理主要為物理符號系統(即符號操作系統)假設和有限合理性原理。
(2)連接主義(connectionism),又稱為仿生學派(bionicsism)或生理學派(physiologism),其主要原理為神經網路及神經網路間的連接機制與學習演算法。
(3)行為主義(actionism),又稱為進化主義(evolutionism)或控制論學派(cyberneticsism),其原理為控制論及感知-動作型控制系統。
他們對人工智慧發展歷史具有不同的看法。
1、符號主義認為人工智慧源於數理邏輯。數理邏輯從19世紀末起得以迅速發展,到20世紀30年代開始用於描述智能行為。計算機出現後,又再計算機上實現了邏輯演繹系統。其有代表性的成果為啟發式程序LT邏輯理論家,證明了38條數學定理,表了可以應用計算機研究人的思維多成,模擬人類智能活動。正是這些符號主義者,早在1956年首先採用「人工智慧」這個術語。後來又發展了啟發式演算法->專家系統->知識工程理論與技術,並在20世紀80年代取得很大發展。符號主義曾長期一枝獨秀,為人工智慧的發展作出重要貢獻,尤其是專家系統的成功開發與應用,為人工智慧走向工程應用和實現理論聯系實際具有特別重要的意義。在人工智慧的其他學派出現之後,符號主義仍然是人工智慧的主流派別。這個學派的代表任務有紐厄爾(Newell)、西蒙(Simon)和尼爾遜(Nilsson)等。
2、連接主義認為人工智慧源於仿生學,特別是對人腦模型的研究。它的代表性成果是1943年由生理學家麥卡洛克(McCulloch)和數理邏輯學家皮茨(Pitts)創立的腦模型,即MP模型,開創了用電子裝置模仿人腦結構和功能的新途徑。它從神經元開始進而研究神經網路模型和腦模型,開辟了人工智慧的又一發展道路。20世紀60~70年代,連接主義,尤其是對以感知機(perceptron)為代表的腦模型的研究出現過熱潮,由於受到當時的理論模型、生物原型和技術條件的限制,腦模型研究在20世紀70年代後期至80年代初期落入低潮。直到Hopfield教授在1982年和1984年發表兩篇重要論文,提出用硬體模擬神經網路以後,連接主義才又重新抬頭。1986年,魯梅爾哈特(Rumelhart)等人提出多層網路中的反向傳播演算法(BP)演算法。此後,連接主義勢頭大振,從模型到演算法,從理論分析到工程實現,偉神經網路計算機走向市場打下基礎。現在,對人工神經網路(ANN)的研究熱情仍然較高,但研究成果沒有像預想的那樣好。
3、行為主義認為人工智慧源於控制論。控制論思想早在20世紀40~50年代就成為時代思潮的重要部分,影響了早期的人工智慧工作者。維納(Wiener)和麥克洛克(McCulloch)等人提出的控制論和自組織系統以及錢學森等人提出的工程式控制制論和生物控制論,影響了許多領域。控制論把神經系統的工作原理與信息理論、控制理論、邏輯以及計算機聯系起來。早期的研究工作重點是模擬人在控制過程中的智能行為和作用,如對自尋優、自適應、自鎮定、自組織和自學習等控制論系統的研究,並進行「控制論動物」的研製。到20世紀60~70年代,上述這些控制論系統的研究取得一定進展,播下智能控制和智能機器人的種子,並在20世紀80年代誕生了智能控制和智能機器人系統。行為主義是20世紀末才以人工智慧新學派的面孔出現的,引起許多人的興趣。這一學派的代表作者首推布魯克斯(Brooks)的六足行走機器人,它被看作是新一代的「控制論動物」,是一個基於感知-動作模式模擬昆蟲行為的控制系統
E. BP人工神經網路
人工神經網路(artificialneuralnetwork,ANN)指由大量與自然神經系統相類似的神經元聯結而成的網路,是用工程技術手段模擬生物網路結構特徵和功能特徵的一類人工系統。神經網路不但具有處理數值數據的一般計算能力,而且還具有處理知識的思維、學習、記憶能力,它採用類似於「黑箱」的方法,通過學習和記憶,找出輸入、輸出變數之間的非線性關系(映射),在執行問題和求解時,將所獲取的數據輸入到已經訓練好的網路,依據網路學到的知識進行網路推理,得出合理的答案與結果。
岩土工程中的許多問題是非線性問題,變數之間的關系十分復雜,很難用確切的數學、力學模型來描述。工程現場實測數據的代表性與測點的位置、范圍和手段有關,有時很難滿足傳統統計方法所要求的統計條件和規律,加之岩土工程信息的復雜性和不確定性,因而運用神經網路方法實現岩土工程問題的求解是合適的。
BP神經網路模型是誤差反向傳播(BackPagation)網路模型的簡稱。它由輸入層、隱含層和輸出層組成。網路的學習過程就是對網路各層節點間連接權逐步修改的過程,這一過程由兩部分組成:正向傳播和反向傳播。正向傳播是輸入模式從輸入層經隱含層處理傳向輸出層;反向傳播是均方誤差信息從輸出層向輸入層傳播,將誤差信號沿原來的連接通路返回,通過修改各層神經元的權值,使得誤差信號最小。
BP神經網路模型在建立及應用過程中,主要存在的不足和建議有以下四個方面:
(1)對於神經網路,數據愈多,網路的訓練效果愈佳,也更能反映實際。但在實際操作中,由於條件的限制很難選取大量的樣本值進行訓練,樣本數量偏少。
(2)BP網路模型其計算速度較慢、無法表達預測量與其相關參數之間親疏關系。
(3)以定量數據為基礎建立模型,若能收集到充分資料,以定性指標(如基坑降水方式、基坑支護模式、施工工況等)和一些易獲取的定量指標作為輸入層,以評價等級作為輸出層,這樣建立的BP網路模型將更准確全面。
(4)BP人工神經網路系統具有非線性、智能的特點。較好地考慮了定性描述和定量計算、精確邏輯分析和非確定性推理等方面,但由於樣本不同,影響要素的權重不同,以及在根據先驗知識和前人的經驗總結對定性參數進行量化處理,必然會影響評價的客觀性和准確性。因此,在實際評價中只有根據不同的基坑施工工況、不同的周邊環境條件,應不同用戶的需求,選擇不同的分析指標,才能滿足復雜工況條件下地質環境評價的要求,取得較好的應用效果。
F. 人工智慧需要什麼基礎
演算法、算力、數據作為人工智慧(AI)核心三要素,相互影響,相互支撐,在不同行業中形成了不一樣的產業形態。隨著演算法的創新、算力的增強、數據資源的累積,傳統基礎設施將藉此東風實現智能化升級,並有望推動經濟發展全要素的智能化革新。讓人類社會從信息化進入智能化。
(1)文藝復興後的人工神經網路。
人工神經網路是一種仿造神經元運作的函數演算,能接受外界資訊輸入的刺激,且根據不同刺激影響的權重轉換成輸出的反應,或用以改變內部函數的權重結構,以適應不同環境的數學模型。
(2)靠巨量數據運作的機器學習。
科學家發現,要讓機器有智慧,並不一定要真正賦予它思辯能力,可以大量閱讀、儲存資料並具有分辨的能力,就足以幫助人類工作。
(3)人工智慧的重要應用:自然語言處理。
自然語言處理的研究,是要讓機器「理解」人類的語言,是人工智慧領域里的其中一項重要分支。
自然語言處理可先簡單理解分為進、出計算機等兩種:
其一是從人類到電腦──讓電腦把人類的語言轉換成程式可以處理的型式;
其二是從電腦回饋到人──把電腦所演算的成果轉換成人類可以理解的語言表達出來。
G. 神經網路研究屬於什麼學派
符號主義
符號主義
符號主義
符號主義符號主義
符號主義
符號主義符號主義符號主義符號主義
符號主義
H. 人工神經網路,人工神經網路是什麼意思
一、 人工神經網路的概念
人工神經網路(Artificial Neural Network,ANN)簡稱神經網路(NN),是基於生物學中神經網路的基本原理,在理解和抽象了人腦結構和外界刺激響應機制後,以網路拓撲知識為理論基礎,模擬人腦的神經系統對復雜信息的處理機制的一種數學模型。該模型以並行分布的處理能力、高容錯性、智能化和自學習等能力為特徵,將信息的加工和存儲結合在一起,以其獨特的知識表示方式和智能化的自適應學習能力,引起各學科領域的關注。它實際上是一個有大量簡單元件相互連接而成的復雜網路,具有高度的非線性,能夠進行復雜的邏輯操作和非線性關系實現的系統。
神經網路是一種運算模型,由大量的節點(或稱神經元)之間相互聯接構成。每個節點代表一種特定的輸出函數,稱為激活函數(activation function)。每兩個節點間的連接都代表一個對於通過該連接信號的加權值,稱之為權重(weight),神經網路就是通過這種方式來模擬人類的記憶。網路的輸出則取決於網路的結構、網路的連接方式、權重和激活函數。而網路自身通常都是對自然界某種演算法或者函數的逼近,也可能是對一種邏輯策略的表達。神經網路的構築理念是受到生物的神經網路運作啟發而產生的。人工神經網路則是把對生物神經網路的認識與數學統計模型相結合,藉助數學統計工具來實現。另一方面在人工智慧學的人工感知領域,我們通過數學統計學的方法,使神經網路能夠具備類似於人的決定能力和簡單的判斷能力,這種方法是對傳統邏輯學演算的進一步延伸。
人工神經網路中,神經元處理單元可表示不同的對象,例如特徵、字母、概念,或者一些有意義的抽象模式。網路中處理單元的類型分為三類:輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數據;輸出單元實現系統處理結果的輸出;隱單元是處在輸入和輸出單元之間,不能由系統外部觀察的單元。神經元間的連接權值反映了單元間的連接強度,信息的表示和處理體現在網路處理單元的連接關系中。人工神經網路是一種非程序化、適應性、大腦風格的信息處理,其本質是通過網路的變換和動力學行為得到一種並行分布式的信息處理功能,並在不同程度和層次上模仿人腦神經系統的信息處理功能。
神經網路,是一種應用類似於大腦神經突觸連接結構進行信息處理的數學模型,它是在人類對自身大腦組織結合和思維機制的認識理解基礎之上模擬出來的,它是根植於神經科學、數學、思維科學、人工智慧、統計學、物理學、計算機科學以及工程科學的一門技術。
二、 人工神經網路的發展
神經網路的發展有悠久的歷史。其發展過程大致可以概括為如下4個階段。
1. 第一階段----啟蒙時期
(1)、M-P神經網路模型:20世紀40年代,人們就開始了對神經網路的研究。1943 年,美國心理學家麥克洛奇(Mcculloch)和數學家皮茲(Pitts)提出了M-P模型,此模型比較簡單,但是意義重大。在模型中,通過把神經元看作個功能邏輯器件來實現演算法,從此開創了神經網路模型的理論研究。
(2)、Hebb規則:1949 年,心理學家赫布(Hebb)出版了《The Organization of Behavior》(行為組織學),他在書中提出了突觸連接強度可變的假設。這個假設認為學習過程最終發生在神經元之間的突觸部位,突觸的連接強度隨之突觸前後神經元的活動而變化。這一假設發展成為後來神經網路中非常著名的Hebb規則。這一法則告訴人們,神經元之間突觸的聯系強度是可變的,這種可變性是學習和記憶的基礎。Hebb法則為構造有學習功能的神經網路模型奠定了基礎。
(3)、感知器模型:1957 年,羅森勃拉特(Rosenblatt)以M-P 模型為基礎,提出了感知器(Perceptron)模型。感知器模型具有現代神經網路的基本原則,並且它的結構非常符合神經生理學。這是一個具有連續可調權值矢量的MP神經網路模型,經過訓練可以達到對一定的輸入矢量模式進行分類和識別的目的,它雖然比較簡單,卻是第一個真正意義上的神經網路。Rosenblatt 證明了兩層感知器能夠對輸入進行分類,他還提出了帶隱層處理元件的三層感知器這一重要的研究方向。Rosenblatt 的神經網路模型包含了一些現代神經計算機的基本原理,從而形成神經網路方法和技術的重大突破。
(4)、ADALINE網路模型: 1959年,美國著名工程師威德羅(B.Widrow)和霍夫(M.Hoff)等人提出了自適應線性元件(Adaptive linear element,簡稱Adaline)和Widrow-Hoff學習規則(又稱最小均方差演算法或稱δ規則)的神經網路訓練方法,並將其應用於實際工程,成為第一個用於解決實際問題的人工神經網路,促進了神經網路的研究應用和發展。ADALINE網路模型是一種連續取值的自適應線性神經元網路模型,可以用於自適應系統。
2. 第二階段----低潮時期
人工智慧的創始人之一Minsky和Papert對以感知器為代表的網路系統的功能及局限性從數學上做了深入研究,於1969年發表了轟動一時《Perceptrons》一書,指出簡單的線性感知器的功能是有限的,它無法解決線性不可分的兩類樣本的分類問題,如簡單的線性感知器不可能實現「異或」的邏輯關系等。這一論斷給當時人工神經元網路的研究帶來沉重的打擊。開始了神經網路發展史上長達10年的低潮期。
(1)、自組織神經網路SOM模型:1972年,芬蘭的KohonenT.教授,提出了自組織神經網路SOM(Self-Organizing feature map)。後來的神經網路主要是根據KohonenT.的工作來實現的。SOM網路是一類無導師學習網路,主要用於模式識別﹑語音識別及分類問題。它採用一種「勝者為王」的競爭學習演算法,與先前提出的感知器有很大的不同,同時它的學習訓練方式是無指導訓練,是一種自組織網路。這種學習訓練方式往往是在不知道有哪些分類類型存在時,用作提取分類信息的一種訓練。
(2)、自適應共振理論ART:1976年,美國Grossberg教授提出了著名的自適應共振理論ART(Adaptive Resonance Theory),其學習過程具有自組織和自穩定的特徵。
3. 第三階段----復興時期
(1)、Hopfield模型:1982年,美國物理學家霍普菲爾德(Hopfield)提出了一種離散神經網路,即離散Hopfield網路,從而有力地推動了神經網路的研究。在網路中,它首次將李雅普諾夫(Lyapunov)函數引入其中,後來的研究學者也將Lyapunov函數稱為能量函數。證明了網路的穩定性。1984年,Hopfield 又提出了一種連續神經網路,將網路中神經元的激活函數由離散型改為連續型。1985 年,Hopfield和Tank利用Hopfield神經網路解決了著名的旅行推銷商問題(Travelling Salesman Problem)。Hopfield神經網路是一組非線性微分方程。Hopfield的模型不僅對人工神經網路信息存儲和提取功能進行了非線性數學概括,提出了動力方程和學習方程,還對網路演算法提供了重要公式和參數,使人工神經網路的構造和學習有了理論指導,在Hopfield模型的影響下,大量學者又激發起研究神經網路的熱情,積極投身於這一學術領域中。因為Hopfield 神經網路在眾多方面具有巨大潛力,所以人們對神經網路的研究十分地重視,更多的人開始了研究神經網路,極大地推動了神經網路的發展。
(2)、Boltzmann機模型:1983年,Kirkpatrick等人認識到模擬退火演算法可用於NP完全組合優化問題的求解,這種模擬高溫物體退火過程來找尋全局最優解的方法最早由Metropli等人1953年提出的。1984年,Hinton與年輕學者Sejnowski等合作提出了大規模並行網路學習機,並明確提出隱單元的概念,這種學習機後來被稱為Boltzmann機。
Hinton和Sejnowsky利用統計物理學的感念和方法,首次提出的多層網路的學習演算法,稱為Boltzmann 機模型。
(3)、BP神經網路模型:1986年,儒默哈特(D.E.Ru melhart)等人在多層神經網路模型的基礎上,提出了多層神經網路權值修正的反向傳播學習演算法----BP演算法(Error Back-Propagation),解決了多層前向神經網路的學習問題,證明了多層神經網路具有很強的學習能力,它可以完成許多學習任務,解決許多實際問題。
(4)、並行分布處理理論:1986年,由Rumelhart和McCkekkand主編的《Parallel Distributed Processing:Exploration in the Microstructures of Cognition》,該書中,他們建立了並行分布處理理論,主要致力於認知的微觀研究,同時對具有非線性連續轉移函數的多層前饋網路的誤差反向傳播演算法即BP演算法進行了詳盡的分析,解決了長期以來沒有權值調整有效演算法的難題。可以求解感知機所不能解決的問題,回答了《Perceptrons》一書中關於神經網路局限性的問題,從實踐上證實了人工神經網路有很強的運算能力。
(5)、細胞神經網路模型:1988年,Chua和Yang提出了細胞神經網路(CNN)模型,它是一個細胞自動機特性的大規模非線性計算機模擬系統。Kosko建立了雙向聯想存儲模型(BAM),它具有非監督學習能力。
(6)、Darwinism模型:Edelman提出的Darwinism模型在90年代初產生了很大的影響,他建立了一種神經網路系統理論。
(7)、1988年,Linsker對感知機網路提出了新的自組織理論,並在Shanon資訊理論的基礎上形成了最大互信息理論,從而點燃了基於NN的信息應用理論的光芒。
(8)、1988年,Broomhead和Lowe用徑向基函數(Radialbasis function, RBF)提出分層網路的設計方法,從而將NN的設計與數值分析和線性適應濾波相掛鉤。
(9)、1991年,Haken把協同引入神經網路,在他的理論框架中,他認為,認知過程是自發的,並斷言模式識別過程即是模式形成過程。
(10)、1994年,廖曉昕關於細胞神經網路的數學理論與基礎的提出,帶來了這個領域新的進展。通過拓廣神經網路的激活函數類,給出了更一般的時滯細胞神經網路(DCNN)、Hopfield神經網路(HNN)、雙向聯想記憶網路(BAM)模型。
(11)、90年代初,Vapnik等提出了支持向量機(Supportvector machines, SVM)和VC(Vapnik-Chervonenkis)維數的概念。
經過多年的發展,已有上百種的神經網路模型被提出。
I. 什麼是神經網路
神經網路是機器學習的一個流派。這是現今最火的一個學派。我們在第一講中,已經知道人學習知識是通過神經元的連接,科學家通過模仿人腦機理發明了人工神經元。技術的進一步發展,多層神經元的連接,就形成了神經網路。那麼神經網路是怎麼搭建起來的呢?神經元是構建神經網路的最基本單位, 這張圖就是一個人工神經元的原理圖,非常簡單,一個神經元由一個加法器和一個門限器組成。加法器有一些輸入,代表從其他神經元來的信號,這些信號分別被乘上一個系數後在加法器里相加,如果相加的結果大於某個值,就「激活」這個神經元,接通到下個神經元,否則就不激活。原理就這么簡單,做起來也很簡單。今天所有的神經網路的基本單元都是這個。輸入信號乘上的系數,我們也叫「權重」,就是網路的參數,玩神經網路就是調整權重,讓它做你想讓它做的事。 一個神經元只能識別一個東西,比如,當你訓練給感知器會「認」數字「8」,你給它看任何一個數字,它就會告訴你,這是「8」還不是「8」。為了讓機器識別更多更復雜的圖像,我們就需要用更多的神經元。人的大腦由 1000 億個神經元構成,人腦神經元組成了一個很復雜的三維立體結構。