Ⅰ BP人工神經網路
人工神經網路(artificialneuralnetwork,ANN)指由大量與自然神經系統相類似的神經元聯結而成的網路,是用工程技術手段模擬生物網路結構特徵和功能特徵的一類人工系統。神經網路不但具有處理數值數據的一般計算能力,而且還具有處理知識的思維、學習、記憶能力,它採用類似於「黑箱」的方法,通過學習和記憶,找出輸入、輸出變數之間的非線性關系(映射),在執行問題和求解時,將所獲取的數據輸入到已經訓練好的網路,依據網路學到的知識進行網路推理,得出合理的答案與結果。
岩土工程中的許多問題是非線性問題,變數之間的關系十分復雜,很難用確切的數學、力學模型來描述。工程現場實測數據的代表性與測點的位置、范圍和手段有關,有時很難滿足傳統統計方法所要求的統計條件和規律,加之岩土工程信息的復雜性和不確定性,因而運用神經網路方法實現岩土工程問題的求解是合適的。
BP神經網路模型是誤差反向傳播(BackPagation)網路模型的簡稱。它由輸入層、隱含層和輸出層組成。網路的學習過程就是對網路各層節點間連接權逐步修改的過程,這一過程由兩部分組成:正向傳播和反向傳播。正向傳播是輸入模式從輸入層經隱含層處理傳向輸出層;反向傳播是均方誤差信息從輸出層向輸入層傳播,將誤差信號沿原來的連接通路返回,通過修改各層神經元的權值,使得誤差信號最小。
BP神經網路模型在建立及應用過程中,主要存在的不足和建議有以下四個方面:
(1)對於神經網路,數據愈多,網路的訓練效果愈佳,也更能反映實際。但在實際操作中,由於條件的限制很難選取大量的樣本值進行訓練,樣本數量偏少。
(2)BP網路模型其計算速度較慢、無法表達預測量與其相關參數之間親疏關系。
(3)以定量數據為基礎建立模型,若能收集到充分資料,以定性指標(如基坑降水方式、基坑支護模式、施工工況等)和一些易獲取的定量指標作為輸入層,以評價等級作為輸出層,這樣建立的BP網路模型將更准確全面。
(4)BP人工神經網路系統具有非線性、智能的特點。較好地考慮了定性描述和定量計算、精確邏輯分析和非確定性推理等方面,但由於樣本不同,影響要素的權重不同,以及在根據先驗知識和前人的經驗總結對定性參數進行量化處理,必然會影響評價的客觀性和准確性。因此,在實際評價中只有根據不同的基坑施工工況、不同的周邊環境條件,應不同用戶的需求,選擇不同的分析指標,才能滿足復雜工況條件下地質環境評價的要求,取得較好的應用效果。
Ⅱ 深度學習中什麼是人工神經網路
人工神經網路(Artificial Neural Network,即ANN )是從信息處理角度對人腦神經元網路進行抽象,是20世紀80年代以來人工智慧領域興起的研究熱點,其本質是一種運算模型,由大量的節點(或稱神經元)之間相互聯接構成,在模式識別、智能機器人、自動控制、生物、醫學、經濟等領域已成功地解決了許多現代計算機難以解決的實際問題,表現出了良好的智能特性。
人工神經網路是由大量處理單元互聯組成的非線性、自適應信息處理系統,它是在現代 神經科學研究成果的基礎上提出的,試圖通過模擬大腦神經網路處理、記憶信息的方式進行信息處理。人工神經網路具有四個基本特徵:
(1)非線性– 非線性關系是自然界的普遍特性,人工神經元處於激活或抑制二種不同的狀態,這種行為在數學上表現為一種非線性
人工神經網路
由系統外部觀察的單元。神經元間的連接權值反映了單元間的連接強度,信息的表示和處理體現在網路處理單元的連接關系中。
總結:人工神經網路是一種非程序化、 適應性、大腦風格的信息處理 ,其本質是通過網路的變換和動力學行為得到一種並行分布式的信息處理功能,並在不同程度和層次上模仿人腦神經系統的信息處理功能。
Ⅲ 人工神經網路的分類
人工神經網路模型主要考慮網路連接的拓撲結構、神經元的特徵、學習規則等。目前,已有近40種神經網路模型,其中有反傳網路、感知器、自組織映射、Hopfield網路、波耳茲曼機、適應諧振理論等。
ann:人工神經網路(Artificial Neural Networks)
bp:Back Propagation網路是1986年由Rumelhart和McCelland為首的科學家小組提出,是一種按誤差逆傳播演算法訓練的多層前饋網路,是目前應用最廣泛的神經網路模型之一。BP網路能學習和存貯大量的輸入-輸出模式映射關系,而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法,通過反向傳播來不斷調整網路的權值和閾值,使網路的誤差平方和最小。BP神經網路模型拓撲結構包括輸入層(input)、隱層(hide layer)和輸出層(output layer)。
Ⅳ 神經網路演算法的人工神經網路
人工神經網路(Artificial Neural Networks,ANN)系統是 20 世紀 40 年代後出現的。它是由眾多的神經元可調的連接權值連接而成,具有大規模並行處理、分布式信 息存儲、良好的自組織自學習能力等特點。BP(Back Propagation)演算法又稱為誤差 反向傳播演算法,是人工神經網路中的一種監督式的學習演算法。BP 神經網路演算法在理 論上可以逼近任意函數,基本的結構由非線性變化單元組成,具有很強的非線性映射能力。而且網路的中間層數、各層的處理單元數及網路的學習系數等參數可根據具體情況設定,靈活性很大,在優化、信號處理與模式識別、智能控制、故障診斷等許 多領域都有著廣泛的應用前景。 人工神經元的研究起源於腦神經元學說。19世紀末,在生物、生理學領域,Waldeger等人創建了神經元學說。人們認識到復雜的神經系統是由數目繁多的神經元組合而成。大腦皮層包括有100億個以上的神經元,每立方毫米約有數萬個,它們互相聯結形成神經網路,通過感覺器官和神經接受來自身體內外的各種信息,傳遞至中樞神經系統內,經過對信息的分析和綜合,再通過運動神經發出控制信息,以此來實現機體與內外環境的聯系,協調全身的各種機能活動。
神經元也和其他類型的細胞一樣,包括有細胞膜、細胞質和細胞核。但是神經細胞的形態比較特殊,具有許多突起,因此又分為細胞體、軸突和樹突三部分。細胞體內有細胞核,突起的作用是傳遞信息。樹突是作為引入輸入信號的突起,而軸突是作為輸出端的突起,它只有一個。
樹突是細胞體的延伸部分,它由細胞體發出後逐漸變細,全長各部位都可與其他神經元的軸突末梢相互聯系,形成所謂「突觸」。在突觸處兩神經元並未連通,它只是發生信息傳遞功能的結合部,聯系界面之間間隙約為(15~50)×10米。突觸可分為興奮性與抑制性兩種類型,它相應於神經元之間耦合的極性。每個神經元的突觸數目正常,最高可達10個。各神經元之間的連接強度和極性有所不同,並且都可調整、基於這一特性,人腦具有存儲信息的功能。利用大量神經元相互聯接組成人工神經網路可顯示出人的大腦的某些特徵。
人工神經網路是由大量的簡單基本元件——神經元相互聯接而成的自適應非線性動態系統。每個神經元的結構和功能比較簡單,但大量神經元組合產生的系統行為卻非常復雜。
人工神經網路反映了人腦功能的若干基本特性,但並非生物系統的逼真描述,只是某種模仿、簡化和抽象。
與數字計算機比較,人工神經網路在構成原理和功能特點等方面更加接近人腦,它不是按給定的程序一步一步地執行運算,而是能夠自身適應環境、總結規律、完成某種運算、識別或過程式控制制。
人工神經網路首先要以一定的學習准則進行學習,然後才能工作。現以人工神經網路對於寫「A」、「B」兩個字母的識別為例進行說明,規定當「A」輸入網路時,應該輸出「1」,而當輸入為「B」時,輸出為「0」。
所以網路學習的准則應該是:如果網路作出錯誤的的判決,則通過網路的學習,應使得網路減少下次犯同樣錯誤的可能性。首先,給網路的各連接權值賦予(0,1)區間內的隨機值,將「A」所對應的圖象模式輸入給網路,網路將輸入模式加權求和、與門限比較、再進行非線性運算,得到網路的輸出。在此情況下,網路輸出為「1」和「0」的概率各為50%,也就是說是完全隨機的。這時如果輸出為「1」(結果正確),則使連接權值增大,以便使網路再次遇到「A」模式輸入時,仍然能作出正確的判斷。
如果輸出為「0」(即結果錯誤),則把網路連接權值朝著減小綜合輸入加權值的方向調整,其目的在於使網路下次再遇到「A」模式輸入時,減小犯同樣錯誤的可能性。如此操作調整,當給網路輪番輸入若干個手寫字母「A」、「B」後,經過網路按以上學習方法進行若干次學習後,網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功,它已將這兩個模式分布地記憶在網路的各個連接權值上。當網路再次遇到其中任何一個模式時,能夠作出迅速、准確的判斷和識別。一般說來,網路中所含的神經元個數越多,則它能記憶、識別的模式也就越多。 (1)人類大腦有很強的自適應與自組織特性,後天的學習與訓練可以開發許多各具特色的活動功能。如盲人的聽覺和觸覺非常靈敏;聾啞人善於運用手勢;訓練有素的運動員可以表現出非凡的運動技巧等等。
普通計算機的功能取決於程序中給出的知識和能力。顯然,對於智能活動要通過總結編製程序將十分困難。
人工神經網路也具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重值,以適應周圍環境的要求。同一網路因學習方式及內容不同可具有不同的功能。人工神經網路是一個具有學習能力的系統,可以發展知識,以致超過設計者原有的知識水平。通常,它的學習訓練方式可分為兩種,一種是有監督或稱有導師的學習,這時利用給定的樣本標准進行分類或模仿;另一種是無監督學習或稱無為導師學習,這時,只規定學習方式或某些規則,則具體的學習內容隨系統所處環境 (即輸入信號情況)而異,系統可以自動發現環境特徵和規律性,具有更近似人腦的功能。
(2)泛化能力
泛化能力指對沒有訓練過的樣本,有很好的預測能力和控制能力。特別是,當存在一些有雜訊的樣本,網路具備很好的預測能力。
(3)非線性映射能力
當對系統對於設計人員來說,很透徹或者很清楚時,則一般利用數值分析,偏微分方程等數學工具建立精確的數學模型,但當對系統很復雜,或者系統未知,系統信息量很少時,建立精確的數學模型很困難時,神經網路的非線性映射能力則表現出優勢,因為它不需要對系統進行透徹的了解,但是同時能達到輸入與輸出的映射關系,這就大大簡化設計的難度。
(4)高度並行性
並行性具有一定的爭議性。承認具有並行性理由:神經網路是根據人的大腦而抽象出來的數學模型,由於人可以同時做一些事,所以從功能的模擬角度上看,神經網路也應具備很強的並行性。
多少年以來,人們從醫學、生物學、生理學、哲學、信息學、計算機科學、認知學、組織協同學等各個角度企圖認識並解答上述問題。在尋找上述問題答案的研究過程中,這些年來逐漸形成了一個新興的多學科交叉技術領域,稱之為「神經網路」。神經網路的研究涉及眾多學科領域,這些領域互相結合、相互滲透並相互推動。不同領域的科學家又從各自學科的興趣與特色出發,提出不同的問題,從不同的角度進行研究。
下面將人工神經網路與通用的計算機工作特點來對比一下:
若從速度的角度出發,人腦神經元之間傳遞信息的速度要遠低於計算機,前者為毫秒量級,而後者的頻率往往可達幾百兆赫。但是,由於人腦是一個大規模並行與串列組合處理系統,因而,在許多問題上可以作出快速判斷、決策和處理,其速度則遠高於串列結構的普通計算機。人工神經網路的基本結構模仿人腦,具有並行處理特徵,可以大大提高工作速度。
人腦存貯信息的特點為利用突觸效能的變化來調整存貯內容,也即信息存貯在神經元之間連接強度的分布上,存貯區與計算機區合為一體。雖然人腦每日有大量神經細胞死亡 (平均每小時約一千個),但不影響大腦的正常思維活動。
普通計算機是具有相互獨立的存貯器和運算器,知識存貯與數據運算互不相關,只有通過人編出的程序使之溝通,這種溝通不能超越程序編制者的預想。元器件的局部損壞及程序中的微小錯誤都可能引起嚴重的失常。 心理學家和認知科學家研究神經網路的目的在於探索人腦加工、儲存和搜索信息的機制,弄清人腦功能的機理,建立人類認知過程的微結構理論。
生物學、醫學、腦科學專家試圖通過神經網路的研究推動腦科學向定量、精確和理論化體系發展,同時也寄希望於臨床醫學的新突破;信息處理和計算機科學家研究這一問題的目的在於尋求新的途徑以解決不能解決或解決起來有極大困難的大量問題,構造更加逼近人腦功能的新一代計算機。
人工神經網路早期的研究工作應追溯至上世紀40年代。下面以時間順序,以著名的人物或某一方面突出的研究成果為線索,簡要介紹人工神經網路的發展歷史。
1943年,心理學家W·Mcculloch和數理邏輯學家W·Pitts在分析、總結神經元基本特性的基礎上首先提出神經元的數學模型。此模型沿用至今,並且直接影響著這一領域研究的進展。因而,他們兩人可稱為人工神經網路研究的先驅。
1945年馮·諾依曼領導的設計小組試製成功存儲程序式電子計算機,標志著電子計算機時代的開始。1948年,他在研究工作中比較了人腦結構與存儲程序式計算機的根本區別,提出了以簡單神經元構成的再生自動機網路結構。但是,由於指令存儲式計算機技術的發展非常迅速,迫使他放棄了神經網路研究的新途徑,繼續投身於指令存儲式計算機技術的研究,並在此領域作出了巨大貢獻。雖然,馮·諾依曼的名字是與普通計算機聯系在一起的,但他也是人工神經網路研究的先驅之一。
50年代末,F·Rosenblatt設計製作了「感知機」,它是一種多層的神經網路。這項工作首次把人工神經網路的研究從理論探討付諸工程實踐。當時,世界上許多實驗室仿效製作感知機,分別應用於文字識別、聲音識別、聲納信號識別以及學習記憶問題的研究。然而,這次人工神經網路的研究高潮未能持續很久,許多人陸續放棄了這方面的研究工作,這是因為當時數字計算機的發展處於全盛時期,許多人誤以為數字計算機可以解決人工智慧、模式識別、專家系統等方面的一切問題,使感知機的工作得不到重視;其次,當時的電子技術工藝水平比較落後,主要的元件是電子管或晶體管,利用它們製作的神經網路體積龐大,價格昂貴,要製作在規模上與真實的神經網路相似是完全不可能的;另外,在1968年一本名為《感知機》的著作中指出線性感知機功能是有限的,它不能解決如異感這樣的基本問題,而且多層網路還不能找到有效的計算方法,這些論點促使大批研究人員對於人工神經網路的前景失去信心。60年代末期,人工神經網路的研究進入了低潮。
另外,在60年代初期,Widrow提出了自適應線性元件網路,這是一種連續取值的線性加權求和閾值網路。後來,在此基礎上發展了非線性多層自適應網路。當時,這些工作雖未標出神經網路的名稱,而實際上就是一種人工神經網路模型。
隨著人們對感知機興趣的衰退,神經網路的研究沉寂了相當長的時間。80年代初期,模擬與數字混合的超大規模集成電路製作技術提高到新的水平,完全付諸實用化,此外,數字計算機的發展在若干應用領域遇到困難。這一背景預示,向人工神經網路尋求出路的時機已經成熟。美國的物理學家Hopfield於1982年和1984年在美國科學院院刊上發表了兩篇關於人工神經網路研究的論文,引起了巨大的反響。人們重新認識到神經網路的威力以及付諸應用的現實性。隨即,一大批學者和研究人員圍繞著 Hopfield提出的方法展開了進一步的工作,形成了80年代中期以來人工神經網路的研究熱潮。
1985年,Ackley、Hinton和Sejnowski將模擬退火演算法應用到神經網路訓練中,提出了Boltzmann機,該演算法具有逃離極值的優點,但是訓練時間需要很長。
1986年,Rumelhart、Hinton和Williams提出了多層前饋神經網路的學習演算法,即BP演算法。它從證明的角度推導演算法的正確性,是學習演算法有理論依據。從學習演算法角度上看,是一個很大的進步。
1988年,Broomhead和Lowe第一次提出了徑向基網路:RBF網路。
總體來說,神經網路經歷了從高潮到低谷,再到高潮的階段,充滿曲折的過程。