A. 一文看懂四種基本的神經網路架構
原文鏈接：
http://blackblog.tech/2018/02/23/Eight-Neural-Network/
更多干貨就在我的個人博客 http://blackblog.tech 歡迎關注
剛剛入門神經網路，往往會對眾多的神經網路架構感到困惑，神經網路看起來復雜多樣，但是這么多架構無非也就是三類，前饋神經網路，循環網路，對稱連接網路，本文將介紹四種常見的神經網路，分別是CNN，RNN，DBN，GAN。通過這四種基本的神經網路架構，我們來對神經網路進行一定的了解。
神經網路是機器學習中的一種模型，是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
一般來說，神經網路的架構可以分為三類：
前饋神經網路：
這是實際應用中最常見的神經網路類型。第一層是輸入，最後一層是輸出。如果有多個隱藏層，我們稱之為「深度」神經網路。他們計算出一系列改變樣本相似性的變換。各層神經元的活動是前一層活動的非線性函數。
循環網路：
循環網路在他們的連接圖中定向了循環，這意味著你可以按照箭頭回到你開始的地方。他們可以有復雜的動態，使其很難訓練。他們更具有生物真實性。
循環網路的目的使用來處理序列數據。在傳統的神經網路模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節點是無連接的。但是這種普通的神經網路對於很多問題卻無能無力。例如，你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。
循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。
對稱連接網路：
對稱連接網路有點像循環網路，但是單元之間的連接是對稱的（它們在兩個方向上權重相同）。比起循環網路，對稱連接網路更容易分析。這個網路中有更多的限制，因為它們遵守能量函數定律。沒有隱藏單元的對稱連接網路被稱為「Hopfield 網路」。有隱藏單元的對稱連接的網路被稱為玻爾茲曼機。
其實之前的帖子講過一些關於感知機的內容，這里再復述一下。
首先還是這張圖
這是一個M-P神經元
一個神經元有n個輸入，每一個輸入對應一個權值w，神經元內會對輸入與權重做乘法後求和，求和的結果與偏置做差，最終將結果放入激活函數中，由激活函數給出最後的輸出，輸出往往是二進制的，0 狀態代表抑制，1 狀態代表激活。
可以把感知機看作是 n 維實例空間中的超平面決策面，對於超平面一側的樣本，感知器輸出 1，對於另一側的實例輸出 0，這個決策超平面方程是 w⋅x=0。 那些可以被某一個超平面分割的正反樣例集合稱為線性可分(linearly separable)樣例集合，它們就可以使用圖中的感知機表示。
與、或、非問題都是線性可分的問題，使用一個有兩輸入的感知機能容易地表示，而異或並不是一個線性可分的問題，所以使用單層感知機是不行的，這時候就要使用多層感知機來解決疑惑問題了。
如果我們要訓練一個感知機，應該怎麼辦呢？
我們會從隨機的權值開始，反復地應用這個感知機到每個訓練樣例，只要它誤分類樣例就修改感知機的權值。重復這個過程，直到感知機正確分類所有的樣例。每一步根據感知機訓練法則來修改權值，也就是修改與輸入 xi 對應的權 wi，法則如下：
這里 t 是當前訓練樣例的目標輸出，o 是感知機的輸出，η 是一個正的常數稱為學習速率。學習速率的作用是緩和每一步調整權的程度，它通常被設為一個小的數值（例如 0.1），而且有時會使其隨著權調整次數的增加而衰減。
多層感知機，或者說是多層神經網路無非就是在輸入層與輸出層之間加了多個隱藏層而已，後續的CNN，DBN等神經網路只不過是將重新設計了每一層的類型。感知機可以說是神經網路的基礎，後續更為復雜的神經網路都離不開最簡單的感知機的模型，
談到機器學習，我們往往還會跟上一個詞語，叫做模式識別，但是真實環境中的模式識別往往會出現各種問題。比如：
圖像分割：真實場景中總是摻雜著其它物體。很難判斷哪些部分屬於同一個對象。對象的某些部分可以隱藏在其他對象的後面。
物體光照：像素的強度被光照強烈影響。
圖像變形：物體可以以各種非仿射方式變形。例如，手寫也可以有一個大的圓圈或只是一個尖頭。
情景支持：物體所屬類別通常由它們的使用方式來定義。例如，椅子是為了讓人們坐在上面而設計的，因此它們具有各種各樣的物理形狀。
卷積神經網路與普通神經網路的區別在於，卷積神經網路包含了一個由卷積層和子采樣層構成的特徵抽取器。在卷積神經網路的卷積層中，一個神經元只與部分鄰層神經元連接。在CNN的一個卷積層中，通常包含若干個特徵平面(featureMap)，每個特徵平面由一些矩形排列的的神經元組成，同一特徵平面的神經元共享權值，這里共享的權值就是卷積核。卷積核一般以隨機小數矩陣的形式初始化，在網路的訓練過程中卷積核將學習得到合理的權值。共享權值（卷積核）帶來的直接好處是減少網路各層之間的連接，同時又降低了過擬合的風險。子采樣也叫做池化（pooling），通常有均值子采樣（mean pooling）和最大值子采樣（max pooling）兩種形式。子采樣可以看作一種特殊的卷積過程。卷積和子采樣大大簡化了模型復雜度，減少了模型的參數。
卷積神經網路由三部分構成。第一部分是輸入層。第二部分由n個卷積層和池化層的組合組成。第三部分由一個全連結的多層感知機分類器構成。
這里舉AlexNet為例：
·輸入：224×224大小的圖片，3通道
·第一層卷積：11×11大小的卷積核96個，每個GPU上48個。
·第一層max-pooling：2×2的核。
·第二層卷積：5×5卷積核256個，每個GPU上128個。
·第二層max-pooling：2×2的核。
·第三層卷積：與上一層是全連接，3*3的卷積核384個。分到兩個GPU上個192個。
·第四層卷積：3×3的卷積核384個，兩個GPU各192個。該層與上一層連接沒有經過pooling層。
·第五層卷積：3×3的卷積核256個，兩個GPU上個128個。
·第五層max-pooling：2×2的核。
·第一層全連接：4096維，將第五層max-pooling的輸出連接成為一個一維向量，作為該層的輸入。
·第二層全連接：4096維
·Softmax層：輸出為1000，輸出的每一維都是圖片屬於該類別的概率。
卷積神經網路在模式識別領域有著重要應用，當然這里只是對卷積神經網路做了最簡單的講解，卷積神經網路中仍然有很多知識，比如局部感受野，權值共享，多卷積核等內容，後續有機會再進行講解。
傳統的神經網路對於很多問題難以處理，比如你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。RNN之所以稱為循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。理論上，RNN能夠對任何長度的序列數據進行處理。
這是一個簡單的RNN的結構，可以看到隱藏層自己是可以跟自己進行連接的。
那麼RNN為什麼隱藏層能夠看到上一刻的隱藏層的輸出呢，其實我們把這個網路展開來開就很清晰了。
從上面的公式我們可以看出，循環層和全連接層的區別就是循環層多了一個權重矩陣 W。
如果反復把式2帶入到式1，我們將得到：
在講DBN之前，我們需要對DBN的基本組成單位有一定的了解，那就是RBM，受限玻爾茲曼機。
首先什麼是玻爾茲曼機？
[圖片上傳失敗...(image-d36b31-1519636788074)]
如圖所示為一個玻爾茲曼機，其藍色節點為隱層，白色節點為輸入層。
玻爾茲曼機和遞歸神經網路相比，區別體現在以下幾點：
1、遞歸神經網路本質是學習一個函數，因此有輸入和輸出層的概念，而玻爾茲曼機的用處在於學習一組數據的「內在表示」，因此其沒有輸出層的概念。
2、遞歸神經網路各節點鏈接為有向環，而玻爾茲曼機各節點連接成無向完全圖。
而受限玻爾茲曼機是什麼呢？
最簡單的來說就是加入了限制，這個限制就是將完全圖變成了二分圖。即由一個顯層和一個隱層構成，顯層與隱層的神經元之間為雙向全連接。
h表示隱藏層，v表示顯層
在RBM中，任意兩個相連的神經元之間有一個權值w表示其連接強度，每個神經元自身有一個偏置系數b（對顯層神經元）和c（對隱層神經元）來表示其自身權重。
具體的公式推導在這里就不展示了
DBN是一個概率生成模型，與傳統的判別模型的神經網路相對，生成模型是建立一個觀察數據和標簽之間的聯合分布，對P(Observation|Label)和 P(Label|Observation)都做了評估，而判別模型僅僅而已評估了後者，也就是P(Label|Observation)。
DBN由多個限制玻爾茲曼機（Restricted Boltzmann Machines）層組成，一個典型的神經網路類型如圖所示。這些網路被「限制」為一個可視層和一個隱層，層間存在連接，但層內的單元間不存在連接。隱層單元被訓練去捕捉在可視層表現出來的高階數據的相關性。
生成對抗網路其實在之前的帖子中做過講解，這里在說明一下。
生成對抗網路的目標在於生成，我們傳統的網路結構往往都是判別模型，即判斷一個樣本的真實性。而生成模型能夠根據所提供的樣本生成類似的新樣本，注意這些樣本是由計算機學習而來的。
GAN一般由兩個網路組成，生成模型網路，判別模型網路。
生成模型 G 捕捉樣本數據的分布，用服從某一分布（均勻分布，高斯分布等）的雜訊 z 生成一個類似真實訓練數據的樣本，追求效果是越像真實樣本越好；判別模型 D 是一個二分類器，估計一個樣本來自於訓練數據（而非生成數據）的概率，如果樣本來自於真實的訓練數據，D 輸出大概率，否則，D 輸出小概率。
舉個例子：生成網路 G 好比假幣製造團伙，專門製造假幣，判別網路 D 好比警察，專門檢測使用的貨幣是真幣還是假幣，G 的目標是想方設法生成和真幣一樣的貨幣，使得 D 判別不出來，D 的目標是想方設法檢測出來 G 生成的假幣。
傳統的判別網路：
生成對抗網路：
下面展示一個cDCGAN的例子（前面帖子中寫過的）
生成網路
判別網路
最終結果，使用MNIST作為初始樣本，通過學習後生成的數字，可以看到學習的效果還是不錯的。
本文非常簡單的介紹了四種神經網路的架構，CNN，RNN，DBN，GAN。當然也僅僅是簡單的介紹，並沒有深層次講解其內涵。這四種神經網路的架構十分常見，應用也十分廣泛。當然關於神經網路的知識，不可能幾篇帖子就講解完，這里知識講解一些基礎知識，幫助大家快速入（zhuang）門（bi）。後面的帖子將對深度自動編碼器，Hopfield 網路長短期記憶網路（LSTM）進行講解。
B. 人工智慧時代，神經網路的原理及使用方法 | 微課堂
人工智慧時代已經悄然來臨，在計算機技術高速發展的未來，機器是否能代替人腦？也許有些讀者會說，永遠不可能，因為人腦的思考包含感性邏輯。事實上，神經網路演算法正是在模仿人腦的思考方式。想不想知道神經網路是如何「思考」的呢？下面我向大家簡單介紹一下神經網路的原理及使用方法。
所謂人工智慧，就是讓機器具備人的思維和意識。人工智慧主要有三個學派——行為主義、符號主義和連接主義。
行為主義是基於控制論，是在構建感知動作的控制系統。理解行為主義有個很好的例子，就是讓機器人單腳站立，通過感知要摔倒的方向控制兩只手的動作，保持身體的平衡，這就構建了一個感知動作控制系統。
符號主義是基於算數邏輯和表達式。求解問題時，先把問題描述為表達式，再求解表達式。如果你在求解某個問題時，可以用if case這樣的條件語句，和若干計算公式描述出來，這就使用了符號主義的方法，比如「專家系統」。符號主義可以認為是用公式描述的人工智慧，它讓計算機具備了理性思維。但是人類不僅具備理性思維，還具備無法用公式描述的感性思維。比如，如果你看過這篇推送，下回再見到「符號主義」幾個字，你會覺得眼熟，會想到這是人工智慧相關的知識，這是人的直覺，是感性的。
連接主義就是在模擬人的這種感性思維，是在仿造人腦內的神經元連接關系。這張圖給出了人腦中的一根神經元，左側是神經元的輸入，「軸突」部分是神經元的輸出。人腦就是由860億個這樣的神經元首尾相接組成的網路。
神經網路可以讓計算機具備感性思維。我們首先理解一下基於連接主義的神經網路設計過程。這張圖給出了人類從出生到24個月神經網路的變化：
隨著我們的成長，大量的數據通過視覺、聽覺湧入大腦，使我們的神經網路連接，也就是這些神經元連線上的權重發生了變化，有些線上的權重增強了，有些線上的權重減弱了。
我們要用計算機仿出這些神經網路連接關系，讓計算機具備感性思維。
首先需要准備數據，數據量越大越好，以構成特徵和標簽對。如果想識別貓，就要有大量貓的圖片和這張圖片是貓的標簽構成特徵標簽對，然後搭建神經網路的網路結構，再通過反向傳播優化連接的權重，直到模型的識別准確率達到要求，得到最優的連線權重，把這個模型保存起來。最後用保存的模型輸入從未見過的新數據，它會通過前向傳播輸出概率值，概率值最大的一個就是分類和預測的結果。
我們舉個例子來感受一下神經網路的設計過程。鳶尾花可以分為三類：狗尾鳶尾、雜色鳶尾和佛吉尼亞鳶尾。我們拿出一張圖，需要讓計算機判斷這是哪類鳶尾花。人們通過經驗總結出了規律：通過測量花的花萼長、花萼寬、花瓣長、花瓣寬分辨出鳶尾花的類別，比如花萼長>花萼寬，並且花瓣長/花瓣寬>2，則可以判定為這是第一種，雜色鳶尾。看到這里，也許有些讀者已經想到用if、case這樣的條件語句來實現鳶尾花的分類。沒錯，條件語句根據這些信息可以判斷鳶尾花分類，這是一個非常典型的專家系統，這個過程是理性計算。只要有了這些數據，就可以通過條件判定公式計算出是哪類鳶尾花。但是我們發現鳶尾花的種植者在識別鳶尾花的時候並不需要這么理性的計算，因為他們見識了太多的鳶尾花，一看就知道是哪種，而且隨著經驗的增加，識別的准確率會提高。這就是直覺，是感性思維，也是我們這篇文章想要和大家分享的神經網路方法。
這種神經網路設計過程首先需要採集大量的花萼長、花萼寬、花瓣長、花瓣寬，和它們所對應的是哪種鳶尾花。花萼長、花萼寬、花瓣長、花瓣寬叫做輸入特徵，它們對應的分類叫做標簽。大量的輸入特徵和標簽對構建出數據集，再把這個數據集喂入搭建好的神經網路結構，網路通過反向傳播優化參數，得到模型。當有新的、從未見過的輸入特徵，送入神經網路時，神經網路會輸出識別的結果。
展望21世紀初，在近十年神經網路理論研究趨向的背景下，神經網路理論的主要前沿領域包括：
一、對智能和機器關系問題的認識進一步增長。
研究人類智力一直是科學發展中最有意義，也是空前困難的挑戰性問題。人腦是我們所知道的唯一智能系統，具有感知識別、學習、聯想、記憶、推理等智能。我們通過不斷 探索 人類智能的本質以及聯結機制，並用人工系統復現或部分復現，製造各種智能機器，這樣可使人類有更多的時間和機會從事更為復雜、更富創造性的工作。
神經網路是由大量處理單元組成的非線性、自適應、自組織系統，是在現代神經科學研究成果的基礎上提出的，試圖模擬神經網路加工、記憶信息的方式，設計一種新的機器，使之具有人腦風格的信息處理能力。智能理論所面對的課題來自「環境——問題——目的」，有極大的誘惑力與壓力，它的發展方向將是把基於連接主義的神經網路理論、基於符號主義的人工智慧專家系統理論和基於進化論的人工生命這三大研究領域，在共同追求的總目標下，自發而有機地結合起來。
二、神經計算和進化計算的重大發展。
計算和演算法是人類自古以來十分重視的研究領域，本世紀30年代，符號邏輯方面的研究非常活躍。近年來，神經計算和進化計算領域很活躍，有新的發展動向，在從系統層次向細胞層次轉化里，正在建立數學理論基礎。隨著人們不斷 探索 新的計算和演算法，將推動計算理論向計算智能化方向發展，在21世紀人類將全面進入信息 社會 ，對信息的獲取、處理和傳輸問題，對網路路由優化問題，對數據安全和保密問題等等將有新的要求，這些將成為 社會 運行的首要任務。因此，神經計算和進化計算與高速信息網路理論聯系將更加密切，並在計算機網路領域中發揮巨大的作用，例如大范圍計算機網路的自組織功能實現就要進行進化計算。
人類的思維方式正在轉變，從線性思維轉到非線性思維神經元，神經網路都有非線性、非局域性、非定常性、非凸性和混沌等特性。我們在計算智能的層次上研究非線性動力系統、混沌神經網路以及對神經網路的數理研究，進一步研究自適應性子波、非線性神經場的興奮模式、神經集團的宏觀力學等。因為，非線性問題的研究是神經網路理論發展的一個最大動力，也是它面臨的最大挑戰。
以上就是有關神經網路的相關內容，希望能為讀者帶來幫助。
以上內容由蘇州空天信息研究院謝雨宏提供。
C. 神經網路原理及應用
神經網路原理及應用
1. 什麼是神經網路？
神經網路是一種模擬動物神經網路行為特徵，進行分布式並行信息處理的演算法。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
人類的神經網路
2. 神經網路基礎知識
構成：大量簡單的基礎元件——神經元相互連接
工作原理：模擬生物的神經處理信息的方式
功能：進行信息的並行處理和非線性轉化
特點：比較輕松地實現非線性映射過程，具有大規模的計算能力
神經網路的本質：
神經網路的本質就是利用計算機語言模擬人類大腦做決定的過程。
3. 生物神經元結構
4. 神經元結構模型
xj為輸入信號，θi為閾值，wij表示與神經元連接的權值，yi表示輸出值
判斷xjwij是否大於閾值θi
5. 什麼是閾值？
臨界值。
神經網路是模仿大腦的神經元，當外界刺激達到一定的閾值時，神經元才會受刺激，影響下一個神經元。
6. 幾種代表性的網路模型
單層前向神經網路——線性網路
階躍網路
多層前向神經網路（反推學習規則即BP神經網路）
Elman網路、Hopfield網路、雙向聯想記憶網路、自組織競爭網路等等
7. 神經網路能幹什麼？
運用這些網路模型可實現函數逼近、數據聚類、模式分類、優化計算等功能。因此，神經網路廣泛應用於人工智慧、自動控制、機器人、統計學等領域的信息處理中。雖然神經網路的應用很廣，但是在具體的使用過程中到底應當選擇哪種網路結構比較合適是值得考慮的。這就需要我們對各種神經網路結構有一個較全面的認識。
8. 神經網路應用
D. 什麼叫神經網路
楓舞給出基本的概念:
一.一些基本常識和原理
[什麼叫神經網路?]
人的思維有邏輯性和直觀性兩種不同的基本方式。邏輯性的思維是指根據邏輯規則進行推理的過程；它先將信息化成概念，並用符號表示，然後，根據符號運算按串列模式進行邏輯推理；這一過程可以寫成串列的指令，讓計算機執行。然而，直觀性的思維是將分布式存儲的信息綜合起來，結果是忽然間產生想法或解決問題的辦法。這種思維方式的根本之點在於以下兩點:1.信息是通過神經元上的興奮模式分布儲在網路上;2.信息處理是通過神經元之間同時相互作用的動態過程來完成的。
人工神經網路就是模擬人思維的第二種方式。這是一個非線性動力學系統，其特色在於信息的分布式存儲和並行協同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網路系統所能實現的行為卻是極其豐富多彩的。
[人工神經網路的工作原理]
人工神經網路首先要以一定的學習准則進行學習，然後才能工作。現以人工神經網路對手寫「A」、「B」兩個字母的識別為例進行說明，規定當「A」輸入網路時，應該輸出「1」，而當輸入為「B」時，輸出為「0」。
所以網路學習的准則應該是：如果網路作出錯誤的的判決，則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連接權值賦予(0，1)區間內的隨機值，將「A」所對應的圖象模式輸入給網路，網路將輸入模式加權求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使連接權值增大，以便使網路再次遇到「A」模式輸入時，仍然能作出正確的判斷。
如果輸出為「0」(即結果錯誤)，則把網路連接權值朝著減小綜合輸入加權值的方向調整，其目的在於使網路下次再遇到「A」模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網路輪番輸入若干個手寫字母「A」、「B」後，經過網路按以上學習方法進行若干次學習後，網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網路的各個連接權值上。當網路再次遇到其中任何一個模式時，能夠作出迅速、准確的判斷和識別。一般說來，網路中所含的神經元個數越多，則它能記憶、識別的模式也就越多。
=================================================
楓舞推薦一個小程序:
關於一個神經網路模擬程序的下載
人工神經網路實驗系統(BP網路) V1.0 Beta 作者:沈琦
http://emuch.net/html/200506/de24132.html
作者關於此程序的說明:
從輸出結果可以看到，前3條"學習"指令，使"輸出"神經元收斂到了值 0.515974。而後3條"學習"指令，其收斂到了值0.520051。再看看處理4和11的指令結果 P *Out1: 0.520051看到了嗎？ "大腦"識別出了4和11是屬於第二類的！怎麼樣?很神奇吧?再打show指令看看吧!"神經網路"已經形成了!你可以自己任意的設"模式"讓這個"大腦"學習分辯哦!只要樣本數據量充分(可含有誤差的樣本)，如果能夠在out數據上收斂地話，那它就能分辨地很准哦!有時不是絕對精確，因為它具有"模糊處理"的特性.看Process輸出的值接近哪個Learning的值就是"大腦"作出的"模糊性"判別!
=================================================
楓舞推薦神經網路研究社區:
人工神經網路論壇
http://www.youngfan.com/forum/index.php
http://www.youngfan.com/nn/index.html(舊版,楓舞推薦)
國際神經網路學會(INNS)(英文)
http://www.inns.org/
歐洲神經網路學會(ENNS)(英文)
http://www.snn.kun.nl/enns/
亞太神經網路學會(APNNA)(英文)
http://www.cse.cuhk.e.hk/~apnna
日本神經網路學會(JNNS)(日文)
http://www.jnns.org
國際電氣工程師協會神經網路分會
http://www.ieee-nns.org/
研學論壇神經網路
http://bbs.matwav.com/post/page?bid=8&sty=1&age=0
人工智慧研究者俱樂部
http://www.souwu.com/
2nsoft人工神經網路中文站
http://211.156.161.210:8888/2nsoft/index.jsp
=================================================
楓舞推薦部分書籍:
人工神經網路技術入門講稿(PDF)
http://www.youngfan.com/nn/ann.pdf
神經網路FAQ(英文)
http://www.youngfan.com/nn/FAQ/FAQ.html
數字神經網路系統(電子圖書)
http://www.youngfan.com/nn/nnbook/director.htm
神經網路導論(英文)
http://www.shef.ac.uk/psychology/gurney/notes/contents.html
===============================================
楓舞還找到一份很有參考價值的講座
<前向網路的敏感性研究>
http://www.youngfan.com/nn/mgx.ppt
是Powerpoint文件，比較大，如果網速不夠最好用滑鼠右鍵下載另存.
=========================================================
楓舞添言:很久之前，楓舞夢想智能機器人從自己手中誕生,SO在學專業的時候也有往這方面發展...考研的時候亦是朝著人工智慧的方向發展..但是很不幸的是楓舞考研失敗...SO 只好放棄這個美好的願望,為生活奔波.希望你能夠成為一個好的智能計算機工程師..楓舞已經努力的在給你提供條件資源哦~~
E. 有人可以介紹一下什麼是"神經網路"嗎
由於神經網路是多學科交叉的產物，各個相關的學科領域對神經網路
都有各自的看法，因此，關於神經網路的定義，在科學界存在許多不同的
見解。目前使用得最廣泛的是T.Koholen的定義，即"神經網路是由具有適
應性的簡單單元組成的廣泛並行互連的網路，它的組織能夠模擬生物神經
系統對真實世界物體所作出的交互反應。"
如果我們將人腦神經信息活動的特點與現行馮·諾依曼計算機的工作方
式進行比較，就可以看出人腦具有以下鮮明特徵：
1. 巨量並行性。
在馮·諾依曼機中，信息處理的方式是集中、串列的，即所有的程序指
令都必須調到CPU中後再一條一條地執行。而人在識別一幅圖像或作出一項
決策時，存在於腦中的多方面的知識和經驗會同時並發作用以迅速作出解答。
據研究，人腦中約有多達10^(10)～10^(11)數量級的神經元，每一個神經元
具有103數量級的連接，這就提供了巨大的存儲容量，在需要時能以很高的
反應速度作出判斷。
2. 信息處理和存儲單元結合在一起。
在馮·諾依曼機中，存儲內容和存儲地址是分開的，必須先找出存儲器的
地址，然後才能查出所存儲的內容。一旦存儲器發生了硬體故障，存儲器中
存儲的所有信息就都將受到毀壞。而人腦神經元既有信息處理能力又有存儲
功能，所以它在進行回憶時不僅不用先找存儲地址再調出所存內容，而且可
以由一部分內容恢復全部內容。當發生"硬體"故障（例如頭部受傷）時，並
不是所有存儲的信息都失效，而是僅有被損壞得最嚴重的那部分信息丟失。
3. 自組織自學習功能。
馮·諾依曼機沒有主動學習能力和自適應能力，它只能不折不扣地按照
人們已經編制好的程序步驟來進行相應的數值計算或邏輯計算。而人腦能夠
通過內部自組織、自學習的能力，不斷地適應外界環境，從而可以有效地處
理各種模擬的、模糊的或隨機的問題。
神經網路研究的主要發展過程大致可分為四個階段：
1. 第一階段是在五十年代中期之前。
西班牙解剖學家Cajal於十九世紀末創立了神經元學說，該學說認為神經
元的形狀呈兩極，其細胞體和樹突從其他神經元接受沖動，而軸索則將信號
向遠離細胞體的方向傳遞。在他之後發明的各種染色技術和微電極技術不斷
提供了有關神經元的主要特徵及其電學性質。
1943年，美國的心理學家W.S.McCulloch和數學家W.A.Pitts在論文《神經
活動中所蘊含思想的邏輯活動》中，提出了一個非常簡單的神經元模型，即
M－P模型。該模型將神經元當作一個功能邏輯器件來對待，從而開創了神經
網路模型的理論研究。
1949年，心理學家D.O. Hebb寫了一本題為《行為的組織》的書，在這本
書中他提出了神經元之間連接強度變化的規則，即後來所謂的Hebb學習法則。
Hebb寫道："當神經細胞A的軸突足夠靠近細胞B並能使之興奮時，如果A重
復或持續地激發B，那麼這兩個細胞或其中一個細胞上必然有某種生長或代
謝過程上的變化，這種變化使A激活B的效率有所增加。"簡單地說，就是
如果兩個神經元都處於興奮狀態，那麼它們之間的突觸連接強度將會得到增
強。
五十年代初，生理學家Hodykin和數學家Huxley在研究神經細胞膜等效電
路時，將膜上離子的遷移變化分別等效為可變的Na+電阻和K+電阻，從而建
立了著名的Hodykin-Huxley方程。
這些先驅者的工作激發了許多學者從事這一領域的研究，從而為神經計
算的出現打下了基礎。
2. 第二階段從五十年代中期到六十年代末。
1958年，F.Rosenblatt等人研製出了歷史上第一個具有學習型神經網路
特點的模式識別裝置，即代號為Mark I的感知機（Perceptron），這一重
大事件是神經網路研究進入第二階段的標志。對於最簡單的沒有中間層的
感知機，Rosenblatt證明了一種學習演算法的收斂性，這種學習演算法通過迭代
地改變連接權來使網路執行預期的計算。
稍後於Rosenblatt，B.Widrow等人創造出了一種不同類型的會學習的神經
網路處理單元，即自適應線性元件Adaline，並且還為Adaline找出了一種有
力的學習規則，這個規則至今仍被廣泛應用。Widrow還建立了第一家神經計
算機硬體公司，並在六十年代中期實際生產商用神經計算機和神經計算機軟
件。
除Rosenblatt和Widrow外，在這個階段還有許多人在神經計算的結構和
實現思想方面作出了很大的貢獻。例如，K.Steinbuch研究了稱為學習矩陣
的一種二進制聯想網路結構及其硬體實現。N.Nilsson於1965年出版的
《機器學習》一書對這一時期的活動作了總結。
3. 第三階段從六十年代末到八十年代初。
第三階段開始的標志是1969年M.Minsky和S.Papert所著的《感知機》一書
的出版。該書對單層神經網路進行了深入分析，並且從數學上證明了這種網
絡功能有限，甚至不能解決象"異或"這樣的簡單邏輯運算問題。同時，他們
還發現有許多模式是不能用單層網路訓練的，而多層網路是否可行還很值得
懷疑。
由於M.Minsky在人工智慧領域中的巨大威望，他在論著中作出的悲觀結論
給當時神經網路沿感知機方向的研究潑了一盆冷水。在《感知機》一書出版
後，美國聯邦基金有15年之久沒有資助神經網路方面的研究工作，前蘇聯也
取消了幾項有前途的研究計劃。
但是，即使在這個低潮期里，仍有一些研究者繼續從事神經網路的研究工
作，如美國波士頓大學的S.Grossberg、芬蘭赫爾辛基技術大學的T.Kohonen
以及日本東京大學的甘利俊一等人。他們堅持不懈的工作為神經網路研究的
復興開辟了道路。
4. 第四階段從八十年代初至今。
1982年，美國加州理工學院的生物物理學家J.J.Hopfield採用全互連型
神經網路模型，利用所定義的計算能量函數，成功地求解了計算復雜度為
NP完全型的旅行商問題（Travelling Salesman Problem，簡稱TSP）。這
項突破性進展標志著神經網路方面的研究進入了第四階段，也是蓬勃發展
的階段。
Hopfield模型提出後，許多研究者力圖擴展該模型，使之更接近人腦的
功能特性。1983年，T.Sejnowski和G.Hinton提出了"隱單元"的概念，並且
研製出了Boltzmann機。日本的福島邦房在Rosenblatt的感知機的基礎上，
增加隱層單元，構造出了可以實現聯想學習的"認知機"。Kohonen應用3000
個閾器件構造神經網路實現了二維網路的聯想式學習功能。1986年，
D.Rumelhart和J.McClelland出版了具有轟動性的著作《並行分布處理-認知
微結構的探索》，該書的問世宣告神經網路的研究進入了高潮。
1987年，首屆國際神經網路大會在聖地亞哥召開，國際神經網路聯合會
（INNS）成立。隨後INNS創辦了刊物《Journal Neural Networks》，其他
專業雜志如《Neural Computation》，《IEEE Transactions on Neural
Networks》，《International Journal of Neural Systems》等也紛紛
問世。世界上許多著名大學相繼宣布成立神經計算研究所並制訂有關教育
計劃，許多國家也陸續成立了神經網路學會，並召開了多種地區性、國際性
會議，優秀論著、重大成果不斷涌現。
今天，在經過多年的准備與探索之後，神經網路的研究工作已進入了決
定性的階段。日本、美國及西歐各國均制訂了有關的研究規劃。
日本制訂了一個"人類前沿科學計劃"。這項計劃為期15－20年，僅
初期投資就超過了1萬億日元。在該計劃中，神經網路和腦功能的研究佔有
重要地位，因為所謂"人類前沿科學"首先指的就是有關人類大腦以及通過
借鑒人腦而研製新一代計算機的科學領域。
在美國，神經網路的研究得到了軍方的強有力的支持。美國國防部投資
4億美元，由國防部高級研究計劃局（DAPRA）制訂了一個8年研究計劃，
並成立了相應的組織和指導委員會。同時，海軍研究辦公室（ONR）、空軍
科研辦公室（AFOSR）等也紛紛投入巨額資金進行神經網路的研究。DARPA認
為神經網路"看來是解決機器智能的唯一希望"，並認為"這是一項比原子彈
工程更重要的技術"。美國國家科學基金會（NSF）、國家航空航天局（NASA）
等政府機構對神經網路的發展也都非常重視，它們以不同的形式支持了眾多
的研究課題。
歐共體也制訂了相應的研究計劃。在其ESPRIT計劃中，就有一個項目是
"神經網路在歐洲工業中的應用"，除了英、德兩國的原子能機構外，還有多
個歐洲大公司卷進這個研究項目，如英國航天航空公司、德國西門子公司等。
此外，西歐一些國家還有自己的研究計劃，如德國從1988年就開始進行一個
叫作"神經資訊理論"的研究計劃。
我國從1986年開始，先後召開了多次非正式的神經網路研討會。1990年
12月，由中國計算機學會、電子學會、人工智慧學會、自動化學會、通信學
會、物理學會、生物物理學會和心理學會等八個學會聯合在北京召開了"中
國神經網路首屆學術會議"，從而開創了我國神經網路研究的新紀元。