信號特徵神經網路

1. 什麼是神經網路，舉例說明神經網路的應用

我想這可能是你想要的神經網路吧！

什麼是神經網路：
人工神經網路（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經網路（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。

神經網路的應用：

應用
在網路模型與演算法研究的基礎上，利用人工神經網路組成實際的應用系統，例如，完成某種信號處理或模式識別的功能、構作專家系統、製成機器人、復雜系統控制等等。
縱觀當代新興科學技術的發展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學技術領域的進程中歷經了崎嶇不平的道路。我們也會看到，探索人腦功能和神經網路的研究將伴隨著重重困難的克服而日新月異。

神經網路的研究內容相當廣泛，反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面：
生物原型
從生理學、心理學、解剖學、腦科學、病理學等方面研究神經細胞、神經網路、神經系統的生物原型結構及其功能機理。
建立模型
根據生物原型的研究，建立神經元、神經網路的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。
演算法
在理論模型研究的基礎上構作具體的神經網路模型，以實現計算機模擬或准備製作硬體，包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。
神經網路用到的演算法就是向量乘法，並且廣泛採用符號函數及其各種逼近。並行、容錯、可以硬體實現以及自我學習特性，是神經網路的幾個基本優點，也是神經網路計算方法與傳統方法的區別所在。

2. 有人可以介紹一下什麼是"神經網路"嗎

由於神經網路是多學科交叉的產物，各個相關的學科領域對神經網路
都有各自的看法，因此，關於神經網路的定義，在科學界存在許多不同的
見解。目前使用得最廣泛的是T.Koholen的定義，即"神經網路是由具有適
應性的簡單單元組成的廣泛並行互連的網路，它的組織能夠模擬生物神經
系統對真實世界物體所作出的交互反應。"

如果我們將人腦神經信息活動的特點與現行馮·諾依曼計算機的工作方
式進行比較，就可以看出人腦具有以下鮮明特徵：

1. 巨量並行性。
在馮·諾依曼機中，信息處理的方式是集中、串列的，即所有的程序指
令都必須調到CPU中後再一條一條地執行。而人在識別一幅圖像或作出一項
決策時，存在於腦中的多方面的知識和經驗會同時並發作用以迅速作出解答。
據研究，人腦中約有多達10^(10)～10^(11)數量級的神經元，每一個神經元
具有103數量級的連接，這就提供了巨大的存儲容量，在需要時能以很高的
反應速度作出判斷。

2. 信息處理和存儲單元結合在一起。
在馮·諾依曼機中，存儲內容和存儲地址是分開的，必須先找出存儲器的
地址，然後才能查出所存儲的內容。一旦存儲器發生了硬體故障，存儲器中
存儲的所有信息就都將受到毀壞。而人腦神經元既有信息處理能力又有存儲
功能，所以它在進行回憶時不僅不用先找存儲地址再調出所存內容，而且可
以由一部分內容恢復全部內容。當發生"硬體"故障（例如頭部受傷）時，並
不是所有存儲的信息都失效，而是僅有被損壞得最嚴重的那部分信息丟失。

3. 自組織自學習功能。
馮·諾依曼機沒有主動學習能力和自適應能力，它只能不折不扣地按照
人們已經編制好的程序步驟來進行相應的數值計算或邏輯計算。而人腦能夠
通過內部自組織、自學習的能力，不斷地適應外界環境，從而可以有效地處
理各種模擬的、模糊的或隨機的問題。

神經網路研究的主要發展過程大致可分為四個階段：

1. 第一階段是在五十年代中期之前。

西班牙解剖學家Cajal於十九世紀末創立了神經元學說，該學說認為神經
元的形狀呈兩極，其細胞體和樹突從其他神經元接受沖動，而軸索則將信號
向遠離細胞體的方向傳遞。在他之後發明的各種染色技術和微電極技術不斷
提供了有關神經元的主要特徵及其電學性質。

1943年，美國的心理學家W.S.McCulloch和數學家W.A.Pitts在論文《神經
活動中所蘊含思想的邏輯活動》中，提出了一個非常簡單的神經元模型，即
M－P模型。該模型將神經元當作一個功能邏輯器件來對待，從而開創了神經
網路模型的理論研究。

1949年，心理學家D.O. Hebb寫了一本題為《行為的組織》的書，在這本
書中他提出了神經元之間連接強度變化的規則，即後來所謂的Hebb學習法則。
Hebb寫道："當神經細胞A的軸突足夠靠近細胞B並能使之興奮時，如果A重
復或持續地激發B，那麼這兩個細胞或其中一個細胞上必然有某種生長或代
謝過程上的變化，這種變化使A激活B的效率有所增加。"簡單地說，就是
如果兩個神經元都處於興奮狀態，那麼它們之間的突觸連接強度將會得到增
強。

五十年代初，生理學家Hodykin和數學家Huxley在研究神經細胞膜等效電
路時，將膜上離子的遷移變化分別等效為可變的Na+電阻和K+電阻，從而建
立了著名的Hodykin-Huxley方程。

這些先驅者的工作激發了許多學者從事這一領域的研究，從而為神經計
算的出現打下了基礎。

2. 第二階段從五十年代中期到六十年代末。

1958年，F.Rosenblatt等人研製出了歷史上第一個具有學習型神經網路
特點的模式識別裝置，即代號為Mark I的感知機（Perceptron），這一重
大事件是神經網路研究進入第二階段的標志。對於最簡單的沒有中間層的
感知機，Rosenblatt證明了一種學習演算法的收斂性，這種學習演算法通過迭代
地改變連接權來使網路執行預期的計算。

稍後於Rosenblatt，B.Widrow等人創造出了一種不同類型的會學習的神經
網路處理單元，即自適應線性元件Adaline，並且還為Adaline找出了一種有
力的學習規則，這個規則至今仍被廣泛應用。Widrow還建立了第一家神經計
算機硬體公司，並在六十年代中期實際生產商用神經計算機和神經計算機軟
件。

除Rosenblatt和Widrow外，在這個階段還有許多人在神經計算的結構和
實現思想方面作出了很大的貢獻。例如，K.Steinbuch研究了稱為學習矩陣
的一種二進制聯想網路結構及其硬體實現。N.Nilsson於1965年出版的
《機器學習》一書對這一時期的活動作了總結。

3. 第三階段從六十年代末到八十年代初。

第三階段開始的標志是1969年M.Minsky和S.Papert所著的《感知機》一書
的出版。該書對單層神經網路進行了深入分析，並且從數學上證明了這種網
絡功能有限，甚至不能解決象"異或"這樣的簡單邏輯運算問題。同時，他們
還發現有許多模式是不能用單層網路訓練的，而多層網路是否可行還很值得
懷疑。

由於M.Minsky在人工智慧領域中的巨大威望，他在論著中作出的悲觀結論
給當時神經網路沿感知機方向的研究潑了一盆冷水。在《感知機》一書出版
後，美國聯邦基金有15年之久沒有資助神經網路方面的研究工作，前蘇聯也
取消了幾項有前途的研究計劃。

但是，即使在這個低潮期里，仍有一些研究者繼續從事神經網路的研究工
作，如美國波士頓大學的S.Grossberg、芬蘭赫爾辛基技術大學的T.Kohonen
以及日本東京大學的甘利俊一等人。他們堅持不懈的工作為神經網路研究的
復興開辟了道路。

4. 第四階段從八十年代初至今。

1982年，美國加州理工學院的生物物理學家J.J.Hopfield採用全互連型
神經網路模型，利用所定義的計算能量函數，成功地求解了計算復雜度為
NP完全型的旅行商問題（Travelling Salesman Problem，簡稱TSP）。這
項突破性進展標志著神經網路方面的研究進入了第四階段，也是蓬勃發展
的階段。

Hopfield模型提出後，許多研究者力圖擴展該模型，使之更接近人腦的
功能特性。1983年，T.Sejnowski和G.Hinton提出了"隱單元"的概念，並且
研製出了Boltzmann機。日本的福島邦房在Rosenblatt的感知機的基礎上，
增加隱層單元，構造出了可以實現聯想學習的"認知機"。Kohonen應用3000
個閾器件構造神經網路實現了二維網路的聯想式學習功能。1986年，
D.Rumelhart和J.McClelland出版了具有轟動性的著作《並行分布處理-認知
微結構的探索》，該書的問世宣告神經網路的研究進入了高潮。

1987年，首屆國際神經網路大會在聖地亞哥召開，國際神經網路聯合會
（INNS）成立。隨後INNS創辦了刊物《Journal Neural Networks》，其他
專業雜志如《Neural Computation》，《IEEE Transactions on Neural
Networks》，《International Journal of Neural Systems》等也紛紛
問世。世界上許多著名大學相繼宣布成立神經計算研究所並制訂有關教育
計劃，許多國家也陸續成立了神經網路學會，並召開了多種地區性、國際性
會議，優秀論著、重大成果不斷涌現。

今天，在經過多年的准備與探索之後，神經網路的研究工作已進入了決
定性的階段。日本、美國及西歐各國均制訂了有關的研究規劃。

日本制訂了一個"人類前沿科學計劃"。這項計劃為期15－20年，僅
初期投資就超過了1萬億日元。在該計劃中，神經網路和腦功能的研究佔有
重要地位，因為所謂"人類前沿科學"首先指的就是有關人類大腦以及通過
借鑒人腦而研製新一代計算機的科學領域。

在美國，神經網路的研究得到了軍方的強有力的支持。美國國防部投資
4億美元，由國防部高級研究計劃局（DAPRA）制訂了一個8年研究計劃，
並成立了相應的組織和指導委員會。同時，海軍研究辦公室（ONR）、空軍
科研辦公室（AFOSR）等也紛紛投入巨額資金進行神經網路的研究。DARPA認
為神經網路"看來是解決機器智能的唯一希望"，並認為"這是一項比原子彈
工程更重要的技術"。美國國家科學基金會（NSF）、國家航空航天局（NASA）
等政府機構對神經網路的發展也都非常重視，它們以不同的形式支持了眾多
的研究課題。

歐共體也制訂了相應的研究計劃。在其ESPRIT計劃中，就有一個項目是
"神經網路在歐洲工業中的應用"，除了英、德兩國的原子能機構外，還有多
個歐洲大公司卷進這個研究項目，如英國航天航空公司、德國西門子公司等。
此外，西歐一些國家還有自己的研究計劃，如德國從1988年就開始進行一個
叫作"神經資訊理論"的研究計劃。

我國從1986年開始，先後召開了多次非正式的神經網路研討會。1990年
12月，由中國計算機學會、電子學會、人工智慧學會、自動化學會、通信學
會、物理學會、生物物理學會和心理學會等八個學會聯合在北京召開了"中
國神經網路首屆學術會議"，從而開創了我國神經網路研究的新紀元。

3. 神經網路原理及應用

神經網路原理及應用
1. 什麼是神經網路？
神經網路是一種模擬動物神經網路行為特徵，進行分布式並行信息處理的演算法。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
人類的神經網路

2. 神經網路基礎知識
構成：大量簡單的基礎元件——神經元相互連接
工作原理：模擬生物的神經處理信息的方式
功能：進行信息的並行處理和非線性轉化
特點：比較輕松地實現非線性映射過程，具有大規模的計算能力
神經網路的本質：

神經網路的本質就是利用計算機語言模擬人類大腦做決定的過程。
3. 生物神經元結構

4. 神經元結構模型

xj為輸入信號，θi為閾值，wij表示與神經元連接的權值，yi表示輸出值
判斷xjwij是否大於閾值θi
5. 什麼是閾值？
臨界值。
神經網路是模仿大腦的神經元，當外界刺激達到一定的閾值時，神經元才會受刺激，影響下一個神經元。

6. 幾種代表性的網路模型
單層前向神經網路——線性網路
階躍網路
多層前向神經網路（反推學習規則即BP神經網路）
Elman網路、Hopfield網路、雙向聯想記憶網路、自組織競爭網路等等
7. 神經網路能幹什麼？
運用這些網路模型可實現函數逼近、數據聚類、模式分類、優化計算等功能。因此，神經網路廣泛應用於人工智慧、自動控制、機器人、統計學等領域的信息處理中。雖然神經網路的應用很廣，但是在具體的使用過程中到底應當選擇哪種網路結構比較合適是值得考慮的。這就需要我們對各種神經網路結構有一個較全面的認識。
8. 神經網路應用

4. 綆榪扮炵粡緗戠粶鐨勬瀯鎴愬強姣忛儴鍒嗙殑浣滅敤

紲炵粡緗戠粶鐨勬瀯鎴愬強姣忛儴鍒嗙殑浣滅敤濡備笅錛

1銆佽緭鍏ュ眰錛氱炵粡緗戠粶鐨勮緭鍏ュ眰璐熻矗鎺ユ敹澶栭儴杈撳叆鐨勬暟鎹錛岃繖浜涙暟鎹鍙浠ユ槸鍥懼儚銆佹枃鏈銆佸０闊崇瓑澶氱嶅艦寮忋傝緭鍏ュ眰灝嗚緭鍏ユ暟鎹杞鍖栦負紲炵粡緗戠粶鍙浠ュ勭悊鐨勬牸寮忥紝閫氬父鏄灝嗚緭鍏ユ暟鎹杞鍖栦負鍚戦噺褰㈠紡銆

2銆侀殣鈃忓眰錛氶殣鈃忓眰鏄紲炵粡緗戠粶鐨勬牳蹇冮儴鍒嗭紝瀹冮氳繃涓緋誨垪澶嶆潅鐨勮＄畻灝嗚緭鍏ュ眰浼犻掕繃鏉ョ殑鏁版嵁榪涜屽勭悊錛屽苟灝嗗勭悊緇撴灉浼犻掔粰涓嬩竴灞傘傞殣鈃忓眰鍙浠ュ寘鍚澶氫釜涓嶅悓鐨勫眰嬈★紝姣忎釜灞傛￠兘鏈変竴緇勭炵粡鍏冿紝瀹冧滑閫氳繃鍔犳潈榪炴帴鐩鎬簰榪炴帴銆

3銆侀勬祴鍒嗘瀽錛氱炵粡緗戠粶鍙浠ョ敤浜庨勬祴鏈鏉ョ殑瓚嬪娍鍜岀粨鏋溿傝繖鍦ㄨ繘琛岃偂紲ㄥ競鍦洪勬祴銆佺柧鐥呴勬祴銆佸ぉ姘旈勬姤絳変換鍔℃椂闈炲父鏈夌敤銆傞氳繃璁緇冪炵粡緗戠粶錛屽畠鍙浠ヨ嚜鍔ㄥ湴瀛︿範鍘嗗彶鏁版嵁鐨勬ā寮忥紝騫舵牴鎹榪欎簺妯″紡棰勬祴鏈鏉ョ殑緇撴灉銆

4銆佽嚜鍔ㄥ寲鍐崇瓥錛氱炵粡緗戠粶鍙浠ョ敤浜庤嚜鍔ㄥ寲鍐崇瓥榪囩▼銆傝繖鍦ㄨ繘琛岃嚜鍔ㄩ┚椹躲佹満鍣ㄤ漢鎺у埗銆佹父鎴忕瓥鐣ョ瓑浠誨姟鏃墮潪甯告湁鐢ㄣ傞氳繃璁緇冪炵粡緗戠粶錛屽畠鍙浠ヨ嚜鍔ㄥ湴瀛︿範鍒扮幆澧冪殑鐗瑰緛錛屽苟鏍規嵁榪欎簺鐗瑰緛鍋氬嚭鏈浼樼殑鍐崇瓥銆

5. 紲炵粡緗戠粶妯″瀷鐢ㄤ簬瑙ｅ喅浠涔堟牱鐨勯棶棰

紲炵粡緗戠粶妯″瀷鐢ㄤ簬瑙ｅ喅鐨勯棶棰樻湁錛氫俊鎮棰嗗煙銆佸尰瀛﹂嗗煙銆佺粡嫻庨嗗煙銆佹帶鍒墮嗗煙銆佷氦閫氶嗗煙銆佸績鐞嗗﹂嗗煙銆

1銆佷俊鎮棰嗗煙

錛1錛夈佷俊鎮澶勭悊錛氫漢宸ョ炵粡緗戠粶緋葷粺鍏鋒湁寰堥珮鐨勫歸敊鎬с 椴佹掓у強鑷緇勭粐鎬э紝鍦ㄥ啗浜嬬郴緇熺數瀛愯懼囦腑寰楀埌騫挎硾鐨勫簲鐢ㄣ傜幇鏈夌殑鏅鴻兘淇℃伅緋葷粺鏈夋櫤鑳戒華鍣ㄣ佽嚜鍔ㄨ窡韙鐩戞祴浠鍣ㄧ郴緇熴佽嚜鍔ㄦ帶鍒跺埗瀵肩郴緇熴佽嚜鍔ㄦ晠闅滆瘖鏂鍜屾姤璀︾郴緇熺瓑銆

錛2錛夈佹ā寮忚瘑鍒錛氫漢宸ョ炵粡緗戠粶鏄妯″紡璇嗗埆涓鐨勫父鐢ㄦ柟娉曪紝琚騫挎硾搴旂敤鍒版枃瀛楄瘑鍒銆佽闊寵瘑鍒銆佹寚綰硅瘑鍒銆侀仴鎰熷浘鍍忚瘑鍒銆佷漢鑴歌瘑鍒銆佹墜鍐欎綋瀛楃︾殑璇嗗埆銆佸伐涓氭晠闅滄嫻嬨佺簿紜鍒跺肩瓑鏂歸潰銆

3銆侀潪甯稿畾鎬э細浜哄伐紲炵粡緗戠粶鍏鋒湁鑷閫傚簲銆佽嚜緇勭粐銆佽嚜瀛︿範鑳藉姏銆傜炵粡緗戠粶涓嶄絾澶勭悊鐨勪俊鎮鍙浠ユ湁鍚勭嶅彉鍖栵紝鑰屼笖鍦ㄥ勭悊淇℃伅鐨勫悓鏃訛紝闈炵嚎鎬у姩鍔涚郴緇熸湰韜涔熷湪涓嶆柇鍙樺寲銆傜粡甯擱噰鐢ㄨ凱浠ｈ繃紼嬫弿鍐欏姩鍔涚郴緇熺殑婕斿寲榪囩▼銆

4銆侀潪鍑告э細涓涓緋葷粺鐨勬紨鍖栨柟鍚戱紝鍦ㄤ竴瀹氭潯浠朵笅灝嗗彇鍐充簬鏌愪釜鐗瑰畾鐨勭姸鎬佸嚱鏁般備緥濡傝兘閲忓嚱鏁幫紝瀹冪殑鏋佸肩浉搴斾簬緋葷粺姣旇緝紼沖畾鐨勭姸鎬併傞潪鍑告ф槸鎸囪繖縐嶅嚱鏁版湁澶氫釜鏋佸礆紝鏁呯郴緇熷叿鏈夊氫釜杈冪ǔ瀹氱殑騫寵鎬侊紝榪欏皢瀵艱嚧緋葷粺婕斿寲鐨勫氭牱鎬с

6. 人工神經網路的基本特徵

人工神經網路是由大量處理單元互聯組成的非線性、自適應信息處理系統。它是在現代神經科學研究成果的基礎上提出的，試圖通過模擬大腦神經網路處理、記憶信息的方式進行信息處理。人工神經網路具有四個基本特徵：
（1）非線性 非線性關系是自然界的普遍特性。大腦的智慧就是一種非線性現象。人工神經元處於激活或抑制二種不同的狀態，這種行為在數學上表現為一種非線性關系。具有閾值的神經元構成的網路具有更好的性能，可以提高容錯性和存儲容量。
（2）非局限性 一個神經網路通常由多個神經元廣泛連接而成。一個系統的整體行為不僅取決於單個神經元的特徵，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯想記憶是非局限性的典型例子。
（3）非常定性 人工神經網路具有自適應、自組織、自學習能力。神經網路不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統本身也在不斷變化。經常採用迭代過程描寫動力系統的演化過程。
（4）非凸性 一個系統的演化方向，在一定條件下將取決於某個特定的狀態函數。例如能量函數，它的極值相應於系統比較穩定的狀態。非凸性是指這種函數有多個極值，故系統具有多個較穩定的平衡態，這將導致系統演化的多樣性。
人工神經網路中，神經元處理單元可表示不同的對象，例如特徵、字母、概念，或者一些有意義的抽象模式。網路中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數據；輸出單元實現系統處理結果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統外部觀察的單元。神經元間的連接權值反映了單元間的連接強度，信息的表示和處理體現在網路處理單元的連接關系中。人工神經網路是一種非程序化、適應性、大腦風格的信息處理 ，其本質是通過網路的變換和動力學行為得到一種並行分布式的信息處理功能，並在不同程度和層次上模仿人腦神經系統的信息處理功能。它是涉及神經科學、思維科學、人工智慧、計算機科學等多個領域的交叉學科。
人工神經網路是並行分布式系統，採用了與傳統人工智慧和信息處理技術完全不同的機理，克服了傳統的基於邏輯符號的人工智慧在處理直覺、非結構化信息方面的缺陷，具有自適應、自組織和實時學習的特點。

7. 信號處理的神經網路方法

信號處理的神經網路方法如下：

1、原數據可能數據量很大，維數很，計算機處理起來時間復雜度很高，預處理可以降低數據維度寫作貓。數據的很多特性非常影響神經網路等分類模型的效果。

2、比如數據值得分布不在一個尺度上，當地氣溫值與當地月工資顯然不在一個數量級上，這時，需要數據規范化，把這兩個特徵的數據都規范到0到1，這樣使得它們對賣弊模型的影響具有同樣的尺度。

我們挑選BP、RBF、SOFM、LVQ、Hopfield這5種已成功應用於解決實際信號處理問題的網路結構進行詳細介紹，並對如何利用它們解決信號處理問題進行分析。另外還介紹了量子比特神經網路這種新興網路結構。

8. 神經網路的主要內容特點

（1） 神經網路的一般特點
作為一種正在興起的新型技術神經網路有著自己的優勢，他的主要特點如下：
① 由於神經網路模仿人的大腦，採用自適應演算法。使它較之專家系統的固定的推理方式及傳統計算機的指令程序方式更能夠適應化環境的變化。總結規律，完成某種運算、推理、識別及控制任務。因而它具有更高的智能水平，更接近人的大腦。
② 較強的容錯能力，使神經網路能夠和人工視覺系統一樣，根據對象的主要特徵去識別對象。
③ 自學習、自組織功能及歸納能力。
以上三個特點是神經網路能夠對不確定的、非結構化的信息及圖像進行識別處理。石油勘探中的大量信息就具有這種性質。因而，人工神經網路是十分適合石油勘探的信息處理的。
（2） 自組織神經網路的特點
自組織特徵映射神經網路作為神經網路的一種，既有神經網路的通用的上面所述的三個主要的特點又有自己的特色。
① 自組織神經網路共分兩層即輸入層和輸出層。
② 採用競爭學記機制，勝者為王，但是同時近鄰也享有特權，可以跟著競爭獲勝的神經元一起調整權值，從而使得結果更加光滑，不想前面的那樣粗糙。
③ 這一網路同時考慮拓撲結構的問題，即他不僅僅是對輸入數據本身的分析，更考慮到數據的拓撲機構。
權值調整的過程中和最後的結果輸出都考慮了這些，使得相似的神經元在相鄰的位置，從而實現了與人腦類似的大腦分區響應處理不同類型的信號的功能。
④ 採用無導師學記機制，不需要教師信號，直接進行分類操作，使得網路的適應性更強，應用更加的廣泛，尤其是那些對於現在的人來說結果還是未知的數據的分類。頑強的生命力使得神經網路的應用范圍大大加大。