神經網路由什麼演化

A. 什麼是神經網路

神經網路是機器學習的一個流派。這是現今最火的一個學派。我們在第一講中，已經知道人學習知識是通過神經元的連接，科學家通過模仿人腦機理發明了人工神經元。技術的進一步發展，多層神經元的連接，就形成了神經網路。那麼神經網路是怎麼搭建起來的呢？神經元是構建神經網路的最基本單位， 這張圖就是一個人工神經元的原理圖，非常簡單，一個神經元由一個加法器和一個門限器組成。加法器有一些輸入，代表從其他神經元來的信號，這些信號分別被乘上一個系數後在加法器里相加，如果相加的結果大於某個值，就「激活」這個神經元，接通到下個神經元，否則就不激活。原理就這么簡單，做起來也很簡單。今天所有的神經網路的基本單元都是這個。輸入信號乘上的系數，我們也叫「權重」，就是網路的參數，玩神經網路就是調整權重，讓它做你想讓它做的事。 一個神經元只能識別一個東西，比如，當你訓練給感知器會「認」數字「8」，你給它看任何一個數字，它就會告訴你，這是「8」還不是「8」。為了讓機器識別更多更復雜的圖像，我們就需要用更多的神經元。人的大腦由 1000 億個神經元構成，人腦神經元組成了一個很復雜的三維立體結構。

B. 如何用自動機器學習實現神經網路進化

如果想深入學習，那肯定得對每種神經網路都做了解，最好親自對演算法進行推導。但是如果僅僅是想使用神經網路，則參考一些案例、照著做就行。

人工神經網路（Artificial Neural Network，即ANN ），是20世紀80 年代以來人工智慧領域興起的研究熱點。它從信息處理角度對人腦神經元網路進行抽象， 建立某種簡單模型，按不同的連接方式組成不同的網路。在工程與學術界也常直接簡稱為神經網路或類神經網路。神經網路是一種運算模型，由大量的節點（或稱神經元）之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激勵函數（activation function）。每兩個節點間的連接都代表一個對於通過該連接信號的加權值，稱之為權重，這相當於人工神經網路的記憶。網路的輸出則依網路的連接方式，權重值和激勵函數的不同而不同。而網路自身通常都是對自然界某種演算法或者函數的逼近，也可能是對一種邏輯策略的表達。

C. 神經網路從何而來

【嵌牛導讀】神經網路從何而來？這里說的『從何而來』，並不僅僅是從技術上去介紹一個方法的創造或發展，而更想探討方法背後所蘊含的思想基礎與演變之路。

【嵌牛鼻子】神經網路、深度學習

【嵌牛提問】神經網路的由來？

【嵌牛正文】深度學習與神經網路是近幾年來計算機與人工智慧領域最炙手可熱的話題了。為了蹭這波熱度，博主也打算分享一些自己的經驗與思考。第一篇文章想探討一個非常基礎的問題：神經網路從何而來？這里說的『從何而來』，並不僅僅是從技術上去介紹一個方法的創造或發展，而更想探討方法背後所蘊含的思想基礎與演變之路。

首先，需要為『神經網路』正一下名。在人工智慧領域，我們通常所說的神經網路（Neural Networks）全稱是人工神經網路（Artificial Neural Network），與之對應的是我們用肉長成的生物神經網路（Biology Neural Network）。眾所周知，人工神經網路受生物神經網路的啟發而產生，並在幾十年間不斷進步演化。可要論人類對人工智慧的探索歷史，卻遠遠長於這幾十年。為了深刻了解神經網路出現的背景，我們有必要從更早的歷史開始說起。

簡單說，人工智慧想做的事情就是去總結和提煉人類思考的過程，使之能夠機械化、可重復。從各種神話、傳說來看，我們的祖先在幾千年前就對這件事兒充滿了好奇與遐想。到兩千多年前，一大批偉大的哲學家在希臘、中國和印度相繼誕生，並將人類對這一問題的認識推向了新的高度。為避免本文成為枯燥的哲學史，這里不想舉太多的例子。偉大的希臘哲學家亞里士多德在他的《前分析篇》中提出了著名的三段論（sollygism），類似於：

所有希臘人是人

所有人終有一死

因此所有希臘人終有一死

雖然這是我們現在已經無比熟悉的推理模式，但是要在2000年前從無到有系統總結出一系列這樣的命題與推理模式，卻著實不易。有了『三段論』這種的武器，人們對問題的認識與決策就能從感性真正走向理性，做到可以重復。此外，我們熟悉的歐式幾何也是當時這種邏輯推理學派的代表。歐式幾何以一系列的公理為基礎，基於一套嚴密的邏輯推理體系，最終得到結論的證明，現在仍然是每個學生需要反復訓練的思維體操。

隨著時間的演進，認知哲學與邏輯學也在不斷的發展。在17世紀時，以笛卡爾、萊布尼茨為代表的哲學家進一步提出通過數學的方式對邏輯推演進行標准化，這也是對人腦推理與思考的再次抽象，為後續以後基於數字電路的人工智慧打下了基礎。之後，數理邏輯進一步發展，而到了20世紀中期，數理邏輯又一次取得了巨大的突破，哥德爾不完備理論、圖靈機模型等的相繼提出，科學家們既認識到了數理邏輯的局限性，也看到了將推理機械化的無限可能性，一種新的計算方式呼之欲出。

在圖靈機的思想指導下，第一台電子計算機很快被設計出來，為人工智慧的真正實現提供了物質上的基礎。其實回望人工智慧歷史上的歷次重大飛躍，硬體技術的發展無不扮演者重要的作用。很多看似有效的演算法都苦於沒有足夠強大的計算平台支持無疾而終，而計算能力的提升也可以促進科學家們們擺脫束縛，在演算法的研究道路上天馬行空。深度學習這些年的迅猛發展，很大程度就是得益於大規模集群和圖形處理器等技術的成熟，使得用復雜模型快速處理大規模數據成為可能。

1956年達特茅斯會議上，斯坦福大學科學家約翰·麥卡錫（John McCarthy）正式提出了『人工智慧』這一概念， 標志著一個學科的正式誕生，也標志著人工智慧的發展開始進入了快車道。如果說邏輯符號操作是對人類思維的本質的抽象，那麼利用電子計算機技術來模擬人類的符號推理計算也是一個自然而然的想法。在艾倫·紐威爾（Alan Newell）和赫伯特·西蒙（Herbert A.Simon）等大師的推動下，以邏輯推演為核心符號主義（symbolicism）流派很快占據了人工智慧領域的重要地位。符號主義在很多領域取得了成功，比如在80年代風靡一時的專家系統，通過知識庫和基於知識庫的推理系統模擬專家進行決策，得到了廣泛的應用。而本世紀初熱炒的語義網路以及當下最流行的知識圖譜，也可以看做這一流派的延續與發展。

符號主義最大的特點是知識的表示直觀，推理的過程清晰，但是也存在著許多局限性。除去在計算能力方面的困擾，一個很大的問題就在於雖然我們可以通過邏輯推理解決一些復雜的問題，但是對一些看似簡單的問題，比如人臉識別，卻無能為力。當看到一張人臉的照片，我們可以毫不費力的識別出這個人是誰，可這個過程並不需要做什麼復雜的推理，它在我們的大腦中瞬間完成，以至於我們對這個過程的細節卻一無所知。看起來想通過挖掘一系列嚴密的推理規則解決這類問題是相對困難的，這也促使很多人去探索與人腦工作更加貼合的解決方案。實際上在符號主義出現的同時，人工智慧的另一重要學派聯結主義（Connectionism）也開始蓬勃發展，本文的『主角』神經網路終於可以登場了。

在文章的一開始就提到，我們現在所說的人工神經網路是受生物神經網路啟發而設計出來的。在1890年，實驗心理學先驅William James在他的巨著《心理學原理》中第一次詳細論述人腦結構及功能。其中提到神經細胞受到刺激激活後可以把刺激傳播到另一個神經細胞，並且神經細胞激活是細胞所有輸入疊加的結果。這一後來得到驗證的假說也成為了人工神經網路設計的生物學基礎。基於這一假說，一系列模擬人腦神經計算的模型被相繼提出，具有代表性的有Hebbian Learning Rule, Oja's Rule和MCP Neural Model等，他們與現在通用的神經網路模型已經非常相似，例如在Hebbian Learning模型中，已經可以支持神經元之間權重的自動學習。而在1958年，Rosenblatt將這些模型付諸於實施，利用電子設備構建了真正意義上的第一個神經網路模型：感知機（Perceptron）。Rosenblatt現場演示了其學習識別簡單圖像的過程，在當時的社會引起了轟動，並帶來了神經網路的第一次大繁榮。此後的幾十年裡，神經網路又經歷了數次起起伏伏，既有春風得意一統天下的歲月，也有被打入冷宮無人問津的日子，當然，這些都是後話了。

本文更想討論這樣一個問題：神經網路產生的動機僅僅是對生物學中對神經機制的模仿嗎？在神經網路產生的背後，還蘊含著一代代科學家怎麼樣的思想與情懷呢？事實上，在神經網路為代表的一類方法在人工智慧中又被稱為聯結主義（Connectionism）。關於聯結主義的歷史，一般的文獻介紹按照慣例會追溯到希臘時期哲學家們對關聯性的定義與研究，例如我們的老朋友亞里士多德等等。然而當時哲學家研究的關聯其實並不特指神經元之間的這種關聯，比如前文提到的符號推理本身也是一種形式關聯，在希臘哲學中並沒有對這兩者進行專門的區分。所以硬要把這些說成是連接主義的思想起源略微有一些牽強。

前文提到，在數理邏輯發展過程中，17世紀的歐陸理性主義起到了重要的作用。以笛卡爾、萊布尼茨等為代表的哲學家，主張在理性中存在著天賦觀念，以此為原則並嚴格按照邏輯必然性進行推理就可以得到普遍必然的知識。與此同時，以洛克、休謨等哲學家為代表的英國經驗主義，則強調人類的知識來自於對感知和經驗歸納。這一定程度上是對絕對的真理的一種否定，人類的認識是存在主觀的，隨經驗而變化的部分的。如果在這個思想的指導下，我們與其去尋找一套普世且完備的推理系統，不如去構造一套雖不完美但能夠隨著經驗積累不斷完善的學習系統。而休謨甚至提出了放棄揭示自然界的因果聯系和必然規律，而是依據「習慣性聯想」去描繪一連串的感覺印象。這其實和神經網路設計的初衷是非常類似的：重視經驗的獲得與歸納（通過樣本進行學習），但對模型本身的嚴謹性與可解釋行則沒有那麼關注，正如有時候我們願意把神經網路模型看做是一個『黑箱』。

然而單單一個『黑箱』是不能成為經驗的學習與整理的系統的，我們還需要去尋找構建『黑箱』的一種方法論。現代哲學發展到20世紀初期時，在維特根斯坦和羅素等哲學家的倡導下，產生了邏輯經驗主義學派。依託當時邏輯學的迅猛發展，這一主義既強調經驗的作用，也重視通過嚴密的邏輯推理來得到結論，而非簡單的歸納。在數理邏輯領域頗有建樹的羅素有一位大名鼎鼎的學生諾伯特·維納，他創立的控制論與系統論、資訊理論一道，為信息科學的發展提供了堅實的理論基礎。而神經網路模型的創立也深受這『三論』的影響。前文提到MCP神經元模型的兩位創始人分別是羅素和維納的學生。作為一個系統，神經網路接受外部的輸入，得到輸出，並根據環境進行反饋，對系統進行更新，直到達到穩定狀態。這個過程，同樣也是神經網路對環境信息傳遞的接受和重新編碼的過程。如果如果把神經網路當做一個『黑盒』，那麼我們首先關心該是這個黑盒的輸入與輸出，以及如何根據環境給黑盒一個合理的反饋，使之能夠進行調整。而黑盒內部的結構，則更多的成為了形式的問題。我們借鑒生物神經網路構造這個黑盒，恰好是一個好的解決方案，但這未必是唯一的解決方案或者說與人類大腦的神經元結構存在必然的聯系。比如在統計學習領域中最著名的支持向量機（Support Vector Machines），最終是作為一種特殊的神經網路而提出的。可當其羽翼豐滿之後，則和神經網路逐漸脫離關系，開啟了機器學習的另一個門派。不同的模型形式之間可以互相轉化，但是重視經驗（樣本），強調反饋的思想卻一直保留下來。

前面說了這些，到底神經網路從何而來呢？總結下來就是三個方面吧：1.對理性邏輯的追求，對樣本實證的重視，為神經網路的誕生提供了思想的基礎。2.生物學與神經科學的發展為神經網路形式的出現提供了啟發。3.計算機硬體的發展與計算能力的提升使神經網路從理想變成了現實。而這三方面的發展也催生著神經網路的進一步發展與深度學習的成熟：更大規模的數據，更完善的優化演算法使網路能夠學習到更多更准確的信息；對人腦的認識的提升啟發設計出層次更深，結構更高效的網路結構；硬體存儲與計算能力提升使海量數據的高效訓練成為可能。而未來神經網路給我們帶來的更多驚喜，也很大可能源自於這三個方面，讓我們不妨多一些期待吧。

D. 人工智慧和神經網路有什麼聯系與區別

聯系：都是模仿人類行為的數學模型以及演算法。神經網路的研究能促進或者加快人工智慧的發展。

區別如下：

一、指代不同

1、人工智慧：是研究、開發用於模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學。

2、神經網路：是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。

二、方法不同

1、人工智慧：企圖了解智能的實質，並生產出一種新的能以人類智能相似的方式做出反應的智能機器，該領域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統等。

2、神經網路：依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。

三、目的不同

1、人工智慧：主要目標是使機器能夠勝任一些通常需要人類智能才能完成的復雜工作。

2、神經網路：具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重值，以適應周圍環境的要求。同一網路因學習方式及內容不同可具有不同的功能。

E. 深度學習中什麼是人工神經網路

人工神經網路（Artificial Neural Network，即ANN ）是從信息處理角度對人腦神經元網路進行抽象，是20世紀80年代以來人工智慧領域興起的研究熱點，其本質是一種運算模型，由大量的節點（或稱神經元）之間相互聯接構成，在模式識別、智能機器人、自動控制、生物、醫學、經濟等領域已成功地解決了許多現代計算機難以解決的實際問題，表現出了良好的智能特性。

人工神經網路是由大量處理單元互聯組成的非線性、自適應信息處理系統，它是在現代 神經科學研究成果的基礎上提出的，試圖通過模擬大腦神經網路處理、記憶信息的方式進行信息處理。人工神經網路具有四個基本特徵：

（1）非線性– 非線性關系是自然界的普遍特性，人工神經元處於激活或抑制二種不同的狀態，這種行為在數學上表現為一種非線性

人工神經網路

由系統外部觀察的單元。神經元間的連接權值反映了單元間的連接強度，信息的表示和處理體現在網路處理單元的連接關系中。

總結:人工神經網路是一種非程序化、 適應性、大腦風格的信息處理 ，其本質是通過網路的變換和動力學行為得到一種並行分布式的信息處理功能，並在不同程度和層次上模仿人腦神經系統的信息處理功能。

F. 神經網路 的四個基本屬性是什麼

神經網路 的四個基本屬性：

（1）非線性：非線性是自然界的普遍特徵。腦智能是一種非線性現象。人工神經元處於兩種不同的激活或抑制狀態，它們在數學上是非線性的。由閾值神經元組成的網路具有更好的性能，可以提高網路的容錯性和存儲容量。

（2）無限制性：神經網路通常由多個連接廣泛的神經元組成。一個系統的整體行為不僅取決於單個神經元的特性，而且還取決於單元之間的相互作用和互連。通過單元之間的大量連接來模擬大腦的非限制性。聯想記憶是一個典型的無限制的例子。

（3）非常定性：人工神經網路具有自適應、自組織和自學習的能力。神經網路處理的信息不僅會發生變化，而且非線性動態系統本身也在發生變化。迭代過程通常用來描述動態系統的演化。

（4）非凸性：在一定條件下，系統的演化方向取決於特定的狀態函數。例如，能量函數的極值對應於系統的相對穩定狀態。非凸性是指函數具有多個極值，系統具有多個穩定平衡態，從而導致系統演化的多樣性。

(6)神經網路由什麼演化擴展閱讀：

神經網路的特點優點：

人工神經網路的特點和優越性，主要表現在三個方面：

第一，具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網路，網路就會通過自學習功能，慢慢學會識別類似的圖像。自學習功能對於預測有特別重要的意義。預期未來的人工神經網路計算機將為人類提供經濟預測、市場預測、效益預測，其應用前途是很遠大的。

第二，具有聯想存儲功能。用人工神經網路的反饋網路就可以實現這種聯想。

第三，具有高速尋找優化解的能力。尋找一個復雜問題的優化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經網路，發揮計算機的高速運算能力，可能很快找到優化解。

G. 人工神經網路的基礎數學模型來自哪裡

「純意念控制」人工神經康復機器人系統2014年6月14日在天津大學和天津市人民醫院共同舉辦的發表會上，由雙方共同研製的人工神經康復機器人「神工一號」正式亮相。

人工神經網路是由大量處理單元互聯組成的非線性、自適應信息處理系統。它是在現代神經科學研究成果的基礎上提出的，試圖通過模擬大腦神經網路處理、記憶信息的方式進行信息處理。

基本特徵：

（1）非線性非線性關系是自然界的普遍特性。大腦的智慧就是一種非線性現象。人工神經元處於激活或抑制二種不同的狀態，這種行為在數學上表現為一種非線性關系。具有閾值的神經元構成的網路具有更好的性能，可以提高容錯性和存儲容量。

（2）非局限性 一個神經網路通常由多個神經元廣泛連接而成。一個系統的整體行為不僅取決於單個神經元的特徵，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯想記憶是非局限性的典型例子。

（3）非常定性 人工神經網路具有自適應、自組織、自學習能力。神經網路不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統本身也在不斷變化。經常採用迭代過程描寫動力系統的演化過程。

H. BP神經網路的起源學說

人工神經元的研究起源於腦神經元學說。19世紀末，在生物、生理學領域，Waldeger等人創建了神經元學說。人們認識到復雜的神經系統是由數目繁多的神經元組合而成。大腦皮層包括有100億個以上的神經元，每立方毫米約有數萬個，它們互相聯結形成神經網路，通過感覺器官和神經接受來自身體內外的各種信息，傳遞至中樞神經系統內，經過對信息的分析和綜合，再通過運動神經發出控制信息，以此來實現機體與內外環境的聯系，協調全身的各種機能活動。 人工神經網路是由大量的簡單基本元件——神經元相互聯接而成的自適應非線性動態系統。每個神經元的結構和功能比較簡單，但大量神經元組合產生的系統行為卻非常復雜。
人工神經網路反映了人腦功能的若干基本特性，但並非生物系統的逼真描述，只是某種模仿、簡化和抽象。與數字計算機比較，人工神經網路在構成原理和功能特點等方面更加接近人腦，它不是按給定的程序一步一步地執行運算，而是能夠自身適應環境、總結規律、完成某種運算、識別或過程式控制制。神經元也和其他類型的細胞一樣，包括有細胞膜、細胞質和細胞核。但是神經細胞的形態比較特殊，具有許多突起，因此又分為細胞體、軸突和樹突三部分。細胞體內有細胞核，突起的作用是傳遞信息。樹突是作為引入輸入信號的突起，而軸突是作為輸出端的突起，它只有一個。 若從速度的角度出發，人腦神經元之間傳遞信息的速度要遠低於計算機，前者為毫秒量級，而後者的頻率往往可達幾百兆赫。但是，由於人腦是一個大規模並行與串列組合處理系統，因而，在許多問題上可以作出快速判斷、決策和處理，其速度則遠高於串列結構的普通計算機。人工神經網路的基本結構模仿人腦，具有並行處理特徵，可以大大提高工作速度。
利用突觸效能的變化來調整存貯內容
人腦存貯信息的特點為利用突觸效能的變化來調整存貯內容，也即信息存貯在神經元之間連接強度的分布上，存貯區與計算機區合為一體。雖然人腦每日有大量神經細胞死亡 （平均每小時約一千個），但不影響大腦的正常思維活動。
普通計算機是具有相互獨立的存貯器和運算器，知識存貯與數據運算互不相關，只有通過人編出的程序使之溝通，這種溝通不能超越程序編制者的預想。元器件的局部損壞及程序中的微小錯誤都可能引起嚴重的失常。
人類大腦有很強的自適應與自組織特性，後天的學習與訓練可以開發許多各具特色的活動功能。如盲人的聽覺和觸覺非常靈敏；聾啞人善於運用手勢；訓練有素的運動員可以表現出非凡的運動技巧等等。
普通計算機的功能取決於程序中給出的知識和能力。顯然，對於智能活動要通過總結編製程序將十分困難。

I. 人工神經網路的發展

現代意義上對神經網路（特指人工神經網路）的研究一般認為從1943年美國芝加哥大學的生理學家W.S. McCulloch和W.A. Pitts提出M-P神經元模型開始，到今年正好六十年。在這六十年中，神經網路的發展走過了一段曲折的道路。1965年M. Minsky和S. Papert在《感知機》一書中指出感知機的缺陷並表示出對這方面研究的悲觀態度，使得神經網路的研究從興起期進入了停滯期，這是神經網路發展史上的第一個轉折。到了20世紀80年代初，J.J. Hopfield的工作和D. Rumelhart等人的PDP報告顯示出神經網路的巨大潛力，使得該領域的研究從停滯期進入了繁榮期，這是神經網路發展史上的第二個轉折。
到了20世紀90年代中後期，隨著研究者們對神經網路的局限有了更清楚的認識，以及支持向量機等似乎更有前途的方法的出現，「神經網路」這個詞不再象前些年那麼「火爆」了。很多人認為神經網路的研究又開始陷入了低潮，並認為支持向量機將取代神經網路。有趣的是，著名學者C.-J. Lin於2003年1月在德國馬克斯·普朗克研究所所做的報告中說，支持向量機雖然是一個非常熱門的話題，但目前最主流的分類工具仍然是決策樹和神經網路。由著名的支持向量機研究者說出這番話，顯然有一種特殊的意味。
事實上，目前神經網路的境遇與1965年之後真正的低潮期相比有明顯的不同。在1965年之後的很長一段時期里，美國和前蘇聯沒有資助任何一項神經網路的研究課題，而今天世界各國對神經網路的研究仍然有大量的經費支持；1965年之後90%以上的神經網路研究者改變了研究方向，而今天無論是國際還是國內都有一支相對穩定的研究隊伍。實際上，神經網路在1965年之後陷入低潮是因為當時該領域的研究在一定意義上遭到了否定，而今天的相對平靜是因為該領域已經走向成熟，很多技術開始走進生產和生活，從而造成了原有研究空間的縮小。
在科學研究中通常有這么一個現象，當某個領域的論文大量涌現的時候，往往正是該領域很不成熟、研究空間很大的時候，而且由於這時候人們對該領域研究的局限缺乏清楚的認識，其熱情往往具有很大的盲目性。從這個意義上說，過去若干年裡各領域研究者一擁而上、各種專業刊物滿眼「神經網路」的風光，其實是一種畸形繁榮的景象，而對神經網路的研究現在才進入了一個比較理智、正常的發展期。在這段時期中，通過對以往研究中存在的問題和局限進行反思，並適當借鑒相關領域的研究進展，將可望開拓新的研究空間，為該領域的進一步發展奠定基礎。