信号特征神经网络

1. 什么是神经网络，举例说明神经网络的应用

我想这可能是你想要的神经网络吧！

什么是神经网络：
人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

神经网络的应用：

应用
在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人、复杂系统控制等等。
纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。

神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。主要的研究工作集中在以下几个方面：
生物原型
从生理学、心理学、解剖学、脑科学、病理学等方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。
建立模型
根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。
算法
在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。
神经网络用到的算法就是向量乘法，并且广泛采用符号函数及其各种逼近。并行、容错、可以硬件实现以及自我学习特性，是神经网络的几个基本优点，也是神经网络计算方法与传统方法的区别所在。

2. 有人可以介绍一下什么是"神经网络"吗

由于神经网络是多学科交叉的产物，各个相关的学科领域对神经网络
都有各自的看法，因此，关于神经网络的定义，在科学界存在许多不同的
见解。目前使用得最广泛的是T.Koholen的定义，即"神经网络是由具有适
应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经
系统对真实世界物体所作出的交互反应。"

如果我们将人脑神经信息活动的特点与现行冯·诺依曼计算机的工作方
式进行比较，就可以看出人脑具有以下鲜明特征：

1. 巨量并行性。
在冯·诺依曼机中，信息处理的方式是集中、串行的，即所有的程序指
令都必须调到CPU中后再一条一条地执行。而人在识别一幅图像或作出一项
决策时，存在于脑中的多方面的知识和经验会同时并发作用以迅速作出解答。
据研究，人脑中约有多达10^(10)～10^(11)数量级的神经元，每一个神经元
具有103数量级的连接，这就提供了巨大的存储容量，在需要时能以很高的
反应速度作出判断。

2. 信息处理和存储单元结合在一起。
在冯·诺依曼机中，存储内容和存储地址是分开的，必须先找出存储器的
地址，然后才能查出所存储的内容。一旦存储器发生了硬件故障，存储器中
存储的所有信息就都将受到毁坏。而人脑神经元既有信息处理能力又有存储
功能，所以它在进行回忆时不仅不用先找存储地址再调出所存内容，而且可
以由一部分内容恢复全部内容。当发生"硬件"故障（例如头部受伤）时，并
不是所有存储的信息都失效，而是仅有被损坏得最严重的那部分信息丢失。

3. 自组织自学习功能。
冯·诺依曼机没有主动学习能力和自适应能力，它只能不折不扣地按照
人们已经编制好的程序步骤来进行相应的数值计算或逻辑计算。而人脑能够
通过内部自组织、自学习的能力，不断地适应外界环境，从而可以有效地处
理各种模拟的、模糊的或随机的问题。

神经网络研究的主要发展过程大致可分为四个阶段：

1. 第一阶段是在五十年代中期之前。

西班牙解剖学家Cajal于十九世纪末创立了神经元学说，该学说认为神经
元的形状呈两极，其细胞体和树突从其他神经元接受冲动，而轴索则将信号
向远离细胞体的方向传递。在他之后发明的各种染色技术和微电极技术不断
提供了有关神经元的主要特征及其电学性质。

1943年，美国的心理学家W.S.McCulloch和数学家W.A.Pitts在论文《神经
活动中所蕴含思想的逻辑活动》中，提出了一个非常简单的神经元模型，即
M－P模型。该模型将神经元当作一个功能逻辑器件来对待，从而开创了神经
网络模型的理论研究。

1949年，心理学家D.O. Hebb写了一本题为《行为的组织》的书，在这本
书中他提出了神经元之间连接强度变化的规则，即后来所谓的Hebb学习法则。
Hebb写道："当神经细胞A的轴突足够靠近细胞B并能使之兴奋时，如果A重
复或持续地激发B，那么这两个细胞或其中一个细胞上必然有某种生长或代
谢过程上的变化，这种变化使A激活B的效率有所增加。"简单地说，就是
如果两个神经元都处于兴奋状态，那么它们之间的突触连接强度将会得到增
强。

五十年代初，生理学家Hodykin和数学家Huxley在研究神经细胞膜等效电
路时，将膜上离子的迁移变化分别等效为可变的Na+电阻和K+电阻，从而建
立了着名的Hodykin-Huxley方程。

这些先驱者的工作激发了许多学者从事这一领域的研究，从而为神经计
算的出现打下了基础。

2. 第二阶段从五十年代中期到六十年代末。

1958年，F.Rosenblatt等人研制出了历史上第一个具有学习型神经网络
特点的模式识别装置，即代号为Mark I的感知机（Perceptron），这一重
大事件是神经网络研究进入第二阶段的标志。对于最简单的没有中间层的
感知机，Rosenblatt证明了一种学习算法的收敛性，这种学习算法通过迭代
地改变连接权来使网络执行预期的计算。

稍后于Rosenblatt，B.Widrow等人创造出了一种不同类型的会学习的神经
网络处理单元，即自适应线性元件Adaline，并且还为Adaline找出了一种有
力的学习规则，这个规则至今仍被广泛应用。Widrow还建立了第一家神经计
算机硬件公司，并在六十年代中期实际生产商用神经计算机和神经计算机软
件。

除Rosenblatt和Widrow外，在这个阶段还有许多人在神经计算的结构和
实现思想方面作出了很大的贡献。例如，K.Steinbuch研究了称为学习矩阵
的一种二进制联想网络结构及其硬件实现。N.Nilsson于1965年出版的
《机器学习》一书对这一时期的活动作了总结。

3. 第三阶段从六十年代末到八十年代初。

第三阶段开始的标志是1969年M.Minsky和S.Papert所着的《感知机》一书
的出版。该书对单层神经网络进行了深入分析，并且从数学上证明了这种网
络功能有限，甚至不能解决象"异或"这样的简单逻辑运算问题。同时，他们
还发现有许多模式是不能用单层网络训练的，而多层网络是否可行还很值得
怀疑。

由于M.Minsky在人工智能领域中的巨大威望，他在论着中作出的悲观结论
给当时神经网络沿感知机方向的研究泼了一盆冷水。在《感知机》一书出版
后，美国联邦基金有15年之久没有资助神经网络方面的研究工作，前苏联也
取消了几项有前途的研究计划。

但是，即使在这个低潮期里，仍有一些研究者继续从事神经网络的研究工
作，如美国波士顿大学的S.Grossberg、芬兰赫尔辛基技术大学的T.Kohonen
以及日本东京大学的甘利俊一等人。他们坚持不懈的工作为神经网络研究的
复兴开辟了道路。

4. 第四阶段从八十年代初至今。

1982年，美国加州理工学院的生物物理学家J.J.Hopfield采用全互连型
神经网络模型，利用所定义的计算能量函数，成功地求解了计算复杂度为
NP完全型的旅行商问题（Travelling Salesman Problem，简称TSP）。这
项突破性进展标志着神经网络方面的研究进入了第四阶段，也是蓬勃发展
的阶段。

Hopfield模型提出后，许多研究者力图扩展该模型，使之更接近人脑的
功能特性。1983年，T.Sejnowski和G.Hinton提出了"隐单元"的概念，并且
研制出了Boltzmann机。日本的福岛邦房在Rosenblatt的感知机的基础上，
增加隐层单元，构造出了可以实现联想学习的"认知机"。Kohonen应用3000
个阈器件构造神经网络实现了二维网络的联想式学习功能。1986年，
D.Rumelhart和J.McClelland出版了具有轰动性的着作《并行分布处理-认知
微结构的探索》，该书的问世宣告神经网络的研究进入了高潮。

1987年，首届国际神经网络大会在圣地亚哥召开，国际神经网络联合会
（INNS）成立。随后INNS创办了刊物《Journal Neural Networks》，其他
专业杂志如《Neural Computation》，《IEEE Transactions on Neural
Networks》，《International Journal of Neural Systems》等也纷纷
问世。世界上许多着名大学相继宣布成立神经计算研究所并制订有关教育
计划，许多国家也陆续成立了神经网络学会，并召开了多种地区性、国际性
会议，优秀论着、重大成果不断涌现。

今天，在经过多年的准备与探索之后，神经网络的研究工作已进入了决
定性的阶段。日本、美国及西欧各国均制订了有关的研究规划。

日本制订了一个"人类前沿科学计划"。这项计划为期15－20年，仅
初期投资就超过了1万亿日元。在该计划中，神经网络和脑功能的研究占有
重要地位，因为所谓"人类前沿科学"首先指的就是有关人类大脑以及通过
借鉴人脑而研制新一代计算机的科学领域。

在美国，神经网络的研究得到了军方的强有力的支持。美国国防部投资
4亿美元，由国防部高级研究计划局（DAPRA）制订了一个8年研究计划，
并成立了相应的组织和指导委员会。同时，海军研究办公室（ONR）、空军
科研办公室（AFOSR）等也纷纷投入巨额资金进行神经网络的研究。DARPA认
为神经网络"看来是解决机器智能的唯一希望"，并认为"这是一项比原子弹
工程更重要的技术"。美国国家科学基金会（NSF）、国家航空航天局（NASA）
等政府机构对神经网络的发展也都非常重视，它们以不同的形式支持了众多
的研究课题。

欧共体也制订了相应的研究计划。在其ESPRIT计划中，就有一个项目是
"神经网络在欧洲工业中的应用"，除了英、德两国的原子能机构外，还有多
个欧洲大公司卷进这个研究项目，如英国航天航空公司、德国西门子公司等。
此外，西欧一些国家还有自己的研究计划，如德国从1988年就开始进行一个
叫作"神经信息论"的研究计划。

我国从1986年开始，先后召开了多次非正式的神经网络研讨会。1990年
12月，由中国计算机学会、电子学会、人工智能学会、自动化学会、通信学
会、物理学会、生物物理学会和心理学会等八个学会联合在北京召开了"中
国神经网络首届学术会议"，从而开创了我国神经网络研究的新纪元。

3. 神经网络原理及应用

神经网络原理及应用
1. 什么是神经网络？
神经网络是一种模拟动物神经网络行为特征，进行分布式并行信息处理的算法。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
人类的神经网络

2. 神经网络基础知识
构成：大量简单的基础元件——神经元相互连接
工作原理：模拟生物的神经处理信息的方式
功能：进行信息的并行处理和非线性转化
特点：比较轻松地实现非线性映射过程，具有大规模的计算能力
神经网络的本质：

神经网络的本质就是利用计算机语言模拟人类大脑做决定的过程。
3. 生物神经元结构

4. 神经元结构模型

xj为输入信号，θi为阈值，wij表示与神经元连接的权值，yi表示输出值
判断xjwij是否大于阈值θi
5. 什么是阈值？
临界值。
神经网络是模仿大脑的神经元，当外界刺激达到一定的阈值时，神经元才会受刺激，影响下一个神经元。

6. 几种代表性的网络模型
单层前向神经网络——线性网络
阶跃网络
多层前向神经网络（反推学习规则即BP神经网络）
Elman网络、Hopfield网络、双向联想记忆网络、自组织竞争网络等等
7. 神经网络能干什么？
运用这些网络模型可实现函数逼近、数据聚类、模式分类、优化计算等功能。因此，神经网络广泛应用于人工智能、自动控制、机器人、统计学等领域的信息处理中。虽然神经网络的应用很广，但是在具体的使用过程中到底应当选择哪种网络结构比较合适是值得考虑的。这就需要我们对各种神经网络结构有一个较全面的认识。
8. 神经网络应用

4. 绠杩扮炵粡缃戠粶镄勬瀯鎴愬强姣忛儴鍒嗙殑浣灭敤

绁炵粡缃戠粶镄勬瀯鎴愬强姣忛儴鍒嗙殑浣灭敤濡备笅锛

1銆佽緭鍏ュ眰锛氱炵粡缃戠粶镄勮緭鍏ュ眰璐熻矗鎺ユ敹澶栭儴杈揿叆镄勬暟鎹锛岃繖浜涙暟鎹鍙浠ユ槸锲惧儚銆佹枃链銆佸０阔崇瓑澶氱嶅舰寮忋傝緭鍏ュ眰灏呜緭鍏ユ暟鎹杞鍖栦负绁炵粡缃戠粶鍙浠ュ勭悊镄勬牸寮忥纴阃氩父鏄灏呜緭鍏ユ暟鎹杞鍖栦负钖戦噺褰㈠纺銆

2銆侀殣钘忓眰锛氶殣钘忓眰鏄绁炵粡缃戠粶镄勬牳蹇冮儴鍒嗭纴瀹冮氲繃涓绯诲垪澶嶆潅镄勮＄畻灏呜緭鍏ュ眰浼犻掕繃𨱒ョ殑鏁版嵁杩涜屽勭悊锛屽苟灏嗗勭悊缁撴灉浼犻掔粰涓嬩竴灞伞傞殣钘忓眰鍙浠ュ寘钖澶氢釜涓嶅悓镄勫眰娆★纴姣忎釜灞傛￠兘链変竴缁勭炵粡鍏冿纴瀹冧滑阃氲繃锷犳潈杩炴帴鐩镐簰杩炴帴銆

3銆侀勬祴鍒嗘瀽锛氱炵粡缃戠粶鍙浠ョ敤浜庨勬祴链𨱒ョ殑瓒嫔娍鍜岀粨鏋溿傝繖鍦ㄨ繘琛岃偂绁ㄥ竞鍦洪勬祴銆佺柧䦅呴勬祴銆佸ぉ姘旈勬姤绛変换锷℃椂闱炲父链夌敤銆傞氲繃璁缁幂炵粡缃戠粶锛屽畠鍙浠ヨ嚜锷ㄥ湴瀛︿範铡嗗彶鏁版嵁镄勬ā寮忥纴骞舵牴鎹杩欎簺妯″纺棰勬祴链𨱒ョ殑缁撴灉銆

4銆佽嚜锷ㄥ寲鍐崇瓥锛氱炵粡缃戠粶鍙浠ョ敤浜庤嚜锷ㄥ寲鍐崇瓥杩囩▼銆傝繖鍦ㄨ繘琛岃嚜锷ㄩ┚椹躲佹満鍣ㄤ汉鎺у埗銆佹父鎴忕瓥鐣ョ瓑浠诲姟镞堕潪甯告湁鐢ㄣ傞氲繃璁缁幂炵粡缃戠粶锛屽畠鍙浠ヨ嚜锷ㄥ湴瀛︿範鍒扮幆澧幂殑鐗瑰緛锛屽苟镙规嵁杩欎簺鐗瑰緛锅氩嚭链浼樼殑鍐崇瓥銆

5. 绁炵粡缃戠粶妯″瀷鐢ㄤ簬瑙ｅ喅浠涔堟牱镄勯梾棰

绁炵粡缃戠粶妯″瀷鐢ㄤ簬瑙ｅ喅镄勯梾棰樻湁锛氢俊鎭棰嗗烟銆佸尰瀛﹂嗗烟銆佺粡娴庨嗗烟銆佹带鍒堕嗗烟銆佷氦阃氶嗗烟銆佸绩鐞嗗﹂嗗烟銆

1銆佷俊鎭棰嗗烟

锛1锛夈佷俊鎭澶勭悊锛氢汉宸ョ炵粡缃戠粶绯荤粺鍏锋湁寰堥珮镄勫归敊镐с 椴佹掓у强镊缁勭粐镐э纴鍦ㄥ啗浜嬬郴缁熺数瀛愯惧囦腑寰楀埌骞挎硾镄勫簲鐢ㄣ傜幇链夌殑鏅鸿兘淇℃伅绯荤粺链夋櫤鑳戒华鍣ㄣ佽嚜锷ㄨ窡韪鐩戞祴浠鍣ㄧ郴缁熴佽嚜锷ㄦ带鍒跺埗瀵肩郴缁熴佽嚜锷ㄦ晠闅滆瘖鏂鍜屾姤璀︾郴缁熺瓑銆

锛2锛夈佹ā寮忚瘑鍒锛氢汉宸ョ炵粡缃戠粶鏄妯″纺璇嗗埆涓镄勫父鐢ㄦ柟娉曪纴琚骞挎硾搴旂敤鍒版枃瀛楄瘑鍒銆佽阔宠瘑鍒銆佹寚绾硅瘑鍒銆侀仴镒熷浘镀忚瘑鍒銆佷汉鑴歌瘑鍒銆佹坠鍐欎綋瀛楃︾殑璇嗗埆銆佸伐涓氭晠闅沧娴嬨佺簿纭鍒跺肩瓑鏂归溃銆

3銆侀潪甯稿畾镐э细浜哄伐绁炵粡缃戠粶鍏锋湁镊阃傚簲銆佽嚜缁勭粐銆佽嚜瀛︿範鑳藉姏銆傜炵粡缃戠粶涓崭絾澶勭悊镄勪俊鎭鍙浠ユ湁钖勭嶅彉鍖栵纴钥屼笖鍦ㄥ勭悊淇℃伅镄勫悓镞讹纴闱炵嚎镐у姩锷涚郴缁熸湰韬涔熷湪涓嶆柇鍙桦寲銆傜粡甯搁噰鐢ㄨ凯浠ｈ繃绋嬫弿鍐椤姩锷涚郴缁熺殑婕斿寲杩囩▼銆

4銆侀潪鍑告э细涓涓绯荤粺镄勬紨鍖栨柟钖戯纴鍦ㄤ竴瀹氭浔浠朵笅灏嗗彇鍐充簬镆愪釜鐗瑰畾镄勭姸镐佸嚱鏁般备緥濡傝兘閲忓嚱鏁帮纴瀹幂殑鏋佸肩浉搴斾簬绯荤粺姣旇缉绋冲畾镄勭姸镐併傞潪鍑告ф槸鎸囱繖绉嶅嚱鏁版湁澶氢釜鏋佸硷纴鏁呯郴缁熷叿链夊氢釜杈幂ǔ瀹氱殑骞宠镐侊纴杩椤皢瀵艰嚧绯荤粺婕斿寲镄勫氭牱镐с

6. 人工神经网络的基本特征

人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。人工神经网络具有四个基本特征：
（1）非线性 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。
（2）非局限性 一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。
（3）非常定性 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。
（4）非凸性 一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。
人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大脑风格的信息处理 ，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。它是涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。
人工神经网络是并行分布式系统，采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面的缺陷，具有自适应、自组织和实时学习的特点。

7. 信号处理的神经网络方法

信号处理的神经网络方法如下：

1、原数据可能数据量很大，维数很，计算机处理起来时间复杂度很高，预处理可以降低数据维度写作猫。数据的很多特性非常影响神经网络等分类模型的效果。

2、比如数据值得分布不在一个尺度上，当地气温值与当地月工资显然不在一个数量级上，这时，需要数据规范化，把这两个特征的数据都规范到0到1，这样使得它们对卖弊模型的影响具有同样的尺度。

我们挑选BP、RBF、SOFM、LVQ、Hopfield这5种已成功应用于解决实际信号处理问题的网络结构进行详细介绍，并对如何利用它们解决信号处理问题进行分析。另外还介绍了量子比特神经网络这种新兴网络结构。

8. 神经网络的主要内容特点

（1） 神经网络的一般特点
作为一种正在兴起的新型技术神经网络有着自己的优势，他的主要特点如下：
① 由于神经网络模仿人的大脑，采用自适应算法。使它较之专家系统的固定的推理方式及传统计算机的指令程序方式更能够适应化环境的变化。总结规律，完成某种运算、推理、识别及控制任务。因而它具有更高的智能水平，更接近人的大脑。
② 较强的容错能力，使神经网络能够和人工视觉系统一样，根据对象的主要特征去识别对象。
③ 自学习、自组织功能及归纳能力。
以上三个特点是神经网络能够对不确定的、非结构化的信息及图像进行识别处理。石油勘探中的大量信息就具有这种性质。因而，人工神经网络是十分适合石油勘探的信息处理的。
（2） 自组织神经网络的特点
自组织特征映射神经网络作为神经网络的一种，既有神经网络的通用的上面所述的三个主要的特点又有自己的特色。
① 自组织神经网络共分两层即输入层和输出层。
② 采用竞争学记机制，胜者为王，但是同时近邻也享有特权，可以跟着竞争获胜的神经元一起调整权值，从而使得结果更加光滑，不想前面的那样粗糙。
③ 这一网络同时考虑拓扑结构的问题，即他不仅仅是对输入数据本身的分析，更考虑到数据的拓扑机构。
权值调整的过程中和最后的结果输出都考虑了这些，使得相似的神经元在相邻的位置，从而实现了与人脑类似的大脑分区响应处理不同类型的信号的功能。
④ 采用无导师学记机制，不需要教师信号，直接进行分类操作，使得网络的适应性更强，应用更加的广泛，尤其是那些对于现在的人来说结果还是未知的数据的分类。顽强的生命力使得神经网络的应用范围大大加大。