Ⅰ 神经网络能够自己思考吗
如果我们把人体内部神经网络的工作机制所表现出来的总体特性,用称为心智模式(mental model)来表达,那么下面对问题的表述就更易于理解和容易。
维纳在《控制论》中曾经说过,每个时代的思想都被反映在那个时代的技术中。这个思想我就理解成心智模式水平。那么今天我们这个时代也有反映这个时代思想的技术,网络互联社会性软件等等的发展在某种程度上是反映我们这个时代所具有的体现如何学习的思想的技术,那么如此反观我们自身,我们个体或群体的心智水平发展是否跟上时代的步伐呢?
心智模式具有与环境交互作用的预见和解释功能,那么对于学习本身,我们的心智运用是否能够发展出一种使得每一次前面的学习都能够有助于促进后面学习的发生发展的一种模型,或者说我们以前的学习理论倾向于一次性完成所有的学习任务(针对的仅仅是具体的学习任务,是"部分学习",而不是整体的学习),不是通过对知识(或者说,知识所反映的世界本身的层次性,等级性)和能力的学习来影响以后的学习。我们是否可以运用我们的心智所具有的预见与解释功能,发展出一种有进化潜力的学习方式,让所有的学习发生能够产生内在的进化作用?
人类在自身的发展中,通过不同个体在特定智力上的发展同其他个体在其他特定智力的发展之间的合作来实现人类自身智力的完整性的道路就表现为学科的分门别类以及各种专业的划分,这种学习方式曾经一度推动历史的进步,但是人类(个体方面)因此也牺牲了很多,这种局面在系统哲学诞生之后应该引起重视,让人类的每个个体重新回到他原有的那种整体性和创造性去。如果我们的心智模式在人出生之后就能够接触到对人类社会信息的整体的了解,从一个整体的视角去学习,这也就避免了现代教育所带来的破碎危机。
人类的认知系统不同于其他学习系统的关键地方应该是人类生命的层次性、人具有主动的选择性,以及相应的价值取向,这种价值取向不是个体学习决定的,是个体所处的社会的整体确定的,涉及社会的学习水平个体的学习水平的深度、广度、层、等级。
在应用系统论控制论复杂理论对学习进行分析的时候,不能单单把学习看做是一种自组织方式,学习这种自组织产生的根源不是单纯来自于个体的求知求真求善动机,而是个体对自己感受到的社会动向的一种积极反映,教师的职业的特殊性,在专业化的道路上应该通过社会的整体趋势的理解来指导自己的教学,引导学生认识自己,管理自己,发展自己。
如果说大脑内复杂的神经网络为思考提供了温床,那么互连网的出现,SOCIAL NETWORKS,SOCIAL BRAIN这些新生事物就是一个改变原来个人的单独思考模式为社会思考从而向着社会学习前进的标志。在这样的背景下,个体心智模式与群体心智模式如何进行研究和描述?我们如何来更好地探讨心智模式的进化?
由 zxl 发表于 01:01 PM | 回复 (1) | 引用
我对进化心理学的理解(2)——进化体现何处
如果说“Evolutionary psychology focuses on the evolved properties of nervous systems, especially those of humans.”(引自这里)
人体神经网络对信息的处理传输就是在与环境进行信息能量不断的交互过程中进化的,或者说适应(adaption)环境变化的,这里的环境有自然环境有社会环境,那么适应环境变化意味着什么?意味着神经网络对与环境交互的信息的处理传输方式或者机制能够更新并被不断复制,当然这里每一点的变化都要历经很长的时间。
那么在漫长的人类进化的历史长河中,人类的生活的外围环境发生哪些变化呢?我们不妨回顾社会发展,看看人与环境的交互方式的典型变化,我们把人与环境交互的变化分为三个进化阶段:
第一个阶段,在语言文字诞生前夕的人与自然阶段交互,这个阶段人所交互的环境主要是大自然,自然环境;
第二个阶段,伴随语言文字的诞生到科学技术的发展,科技成为第一生产力,这个阶段人所交互的环境主要是自然与科学技术本身;
第三个阶段,就是在科技充分发展,进入知识经济社会今天向后的发展,这个阶段人所交互的环境主要是由知识所构建的“知识环境”。
何以断言?
第一个阶段,人为了生存,主要是依靠体力求得自然人的生存;(体力)
第二个阶段,人逐步依靠技术,用科学技术逐步来代替体力支出;(技术取代体力)
第三个阶段,人逐步开始不断地创新,把所有可能的“重复”,包括思维的重复都用可能类似于“计算机软件”实现一定功能来取代,如人工智能的进一步发展,那么人自身不断地进行思维的创造工作。(知识创新所产生的智能过程不断被更高级智能过程所取代的过程)
(还需要进一步细化与深入浅出)
这三个阶段是多么的不同,那么对神经网络对信息获取、处理的方式也可能有所不同,而前两个阶段的不同已经为很多科学研究成果所证实。
我们在这里探讨这个问题,也想从社会发展进化的角度,来思考“学习”,学习似乎是人与环境交互的适应系统,或者说桥梁,它架起了两端,一端是我们人生活的外部环境,另一端是我们人的神经网络,它将这两者紧密地关联在一起,人在自身成长的过程中,也推动了社会历史的进步,通过学习,人既创造自己也在创造环境。
Ⅱ 什么叫神经网络
南搞小孩给出基本的概念: 一.一些基本常识和原理 [什么叫神经网络?] 人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程;它先将信息化成概念,并用符号表示,然后,根据符号运算按串行模式进行逻辑推理;这一过程可以写成串行的指令,让计算机执行。然而,直观性的思维是将分布式存储的信息综合起来,结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布储在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。 人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统,其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单,功能有限,但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。 [人工神经网络的工作原理] 人工神经网络首先要以一定的学习准则进行学习,然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明,规定当“A”输入网络时,应该输出“1”,而当输入为“B”时,输出为“0”。 所以网络学习的准则应该是:如果网络作出错误的的判决,则通过网络的学习,应使得网络减少下次犯同样错误的可能性。首先,给网络的各连接权值赋予(0,1)区间内的随机值,将“A”所对应的图象模式输入给网络,网络将输入模式加权求和、与门限比较、再进行非线性运算,得到网络的输出。在此情况下,网络输出为“1”和“0”的概率各为50%,也就是说是完全随机的。这时如果输出为“1”(结果正确),则使连接权值增大,以便使网络再次遇到“A”模式输入时,仍然能作出正确的判断。 如果输出为“0”(即结果错误),则把网络连接权值朝着减小综合输入加权值的方向调整,其目的在于使网络下次再遇到“A”模式输入时,减小犯同样错误的可能性。如此操作调整,当给网络轮番输入若干个手写字母“A”、“B”后,经过网络按以上学习方法进行若干次学习后,网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功,它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时,能够作出迅速、准确的判断和识别。一般说来,网络中所含的神经元个数越多,则它能记忆、识别的模式也就越多。 南搞小孩一个小程序: 关于一个神经网络模拟程序的下载 人工神经网络实验系统(BP网络) V1.0 Beta 作者:沈琦 http://emuch.net/html/200506/de24132.html 作者关于此程序的说明: 从输出结果可以看到,前3条"学习"指令,使"输出"神经元收敛到了值 0.515974。而后3条"学习"指令,其收敛到了值0.520051。再看看处理4和11的指令结果 P *Out1: 0.520051看到了吗? "大脑"识别出了4和11是属于第二类的!怎么样?很神奇吧?再打show指令看看吧!"神经网络"已经形成了!你可以自己任意的设"模式"让这个"大脑"学习分辩哦!只要样本数据量充分(可含有误差的样本),如果能够在out数据上收敛地话,那它就能分辨地很准哦!有时不是绝对精确,因为它具有"模糊处理"的特性.看Process输出的值接近哪个Learning的值就是"大脑"作出的"模糊性"判别! 南搞小孩神经网络研究社区: 人工神经网络论坛 http://www.youngfan.com/forum/index.php http://www.youngfan.com/nn/index.html(旧版,枫舞推荐) 国际神经网络学会(INNS)(英文) http://www.inns.org/ 欧洲神经网络学会(ENNS)(英文) http://www.snn.kun.nl/enns/ 亚太神经网络学会(APNNA)(英文) http://www.cse.cuhk.e.hk/~apnna 日本神经网络学会(JNNS)(日文) http://www.jnns.org 国际电气工程师协会神经网络分会 http://www.ieee-nns.org/ 研学论坛神经网络 http://bbs.matwav.com/post/page?bid=8&sty=1&age=0 人工智能研究者俱乐部 http://www.souwu.com/ 2nsoft人工神经网络中文站 http://211.156.161.210:8888/2nsoft/index.jsp =南搞小孩推荐部分书籍: 人工神经网络技术入门讲稿(PDF) http://www.youngfan.com/nn/ann.pdf 神经网络FAQ(英文) http://www.youngfan.com/nn/FAQ/FAQ.html 数字神经网络系统(电子图书) http://www.youngfan.com/nn/nnbook/director.htm 神经网络导论(英文) http://www.shef.ac.uk/psychology/gurney/notes/contents.html =南搞小孩还找到一份很有参考价值的讲座 <前向网络的敏感性研究> http://www.youngfan.com/nn/mgx.ppt 是Powerpoint文件,比较大,如果网速不够最好用鼠标右键下载另存. 南搞小孩添言:很久之前,枫舞梦想智能机器人从自己手中诞生,SO在学专业的时候也有往这方面发展...考研的时候亦是朝着人工智能的方向发展..但是很不幸的是枫舞考研失败...SO 只好放弃这个美好的愿望,为生活奔波.希望你能够成为一个好的智能计算机工程师..枫舞已经努力的在给你提供条件资源哦~~
Ⅲ 神经网络能干什么
神经网络利用现有的数据找出输入与输出之间得权值关系(近似),然后利用这样的权值关系进行仿真,例如输入一组数据仿真出输出结果,当然你的输入要和训练时采用的数据集在一个范畴之内。
例如预报天气:
温度 湿度 气压等作为输入 天气情况作为输出
利用历史得输入输出关系训练出神经网络,然后利用这样的神经网络输入今天的温度 湿度 气压等 得出即将得天气情况
当然这样的例子不够精确,但是神经网络得典型应用了。
Ⅳ 新型神经网络芯片会对科技领域乃至整个世界产生什么巨大影响
一、与传统计算机的区别1946年美籍匈牙利科学家冯·诺依曼提出存储程序原理,把程序本身当作数据来对待。此后的半个多世纪以来,计算机的发展取得了巨大的进步,但“冯·诺依曼架构”中信息存储器和处理器的设计一直沿用至今,连接存储器和处理器的信息传递通道仍然通过总线来实现。随着处理的数据量海量地增长,总线有限的数据传输速率被称为“冯·诺依曼瓶颈”——尤其是移动互联网、社交网络、物联网、云计算、高通量测序等的兴起,使得‘冯·诺依曼瓶颈’日益突出,而计算机的自我纠错能力缺失的局限性也已成为发展障碍。
结构上的缺陷也导致功能上的局限。例如,从效率上看,计算机运算的功耗较高——尽管人脑处理的信息量不比计算机少,但显然而功耗低得多。为此,学习更多层的神经网络,让计算机能够更好地模拟人脑功能,成为上世纪后期以来研究的热点。
在这些研究中,核心的研究是“冯·诺依曼架构”与“人脑架构”的本质结构区别——与计算机相比,人脑的信息存储和处理,通过突触这一基本单元来实现,因而没有明显的界限。正是人脑中的千万亿个突触的可塑性——各种因素和各种条件经过一定的时间作用后引起的神经变化(可变性、可修饰性等),使得人脑的记忆和学习功能得以实现。
大脑有而计算机没有的三个特性:低功耗(人脑的能耗仅约20瓦,而目前用来尝试模拟人脑的超级计算机需要消耗数兆瓦的能量);容错性(坏掉一个晶体管就能毁掉一块微处理器,但是大脑的神经元每时每刻都在死亡);还有不需为其编制程序(大脑在与外界互动的同时也会进行学习和改变,而不是遵循预设算法的固定路径和分支运行。)
这段描述可以说是“电”脑的最终理想了吧。
注:最早的电脑也是模拟电路实现的,之后发展成现在的只有0、1的数字CPU。
今天的计算机用的都是所谓的冯诺依曼结构,在一个中央处理器和记忆芯片之间以线性计算序列来回传输数据。这种方式在处理数字和执行精确撰写的程序时非常好用,但在处理图片或声音并理解它们的意义时效果不佳。
有件事很说明问题:2012年,谷歌展示了它的人工智能软件在未被告知猫是什么东西的情况下,可以学会识别视频中的猫,而完成这个任务用到了1.6万台处理器。
要继续改善这类处理器的性能,生产商得在其中配备更多更快的晶体管、硅存储缓存和数据通路,但所有这些组件产生的热量限制了芯片的运作速度,尤其在电力有限的移动设备中。这可能会阻碍人们开发出有效处理图片、声音和其他感官信息的设备,以及将其应用于面部识别、机器人,或者交通设备航运等任务中。
神经形态芯片尝试在硅片中模仿人脑以大规模的平行方式处理信息:几十亿神经元和千万亿个突触对视觉和声音刺激物这类感官输入做出反应。
作为对图像、声音等内容的反应,这些神经元也会改变它们相互间连接的方式,我们把这个过程叫做学习。神经形态芯片纳入了受人脑启发的“神经网路”模式,因此能做同样的事。
人工智能的顶尖思想家杰夫·霍金斯(Jeff Hawkins)说,在传统处理器上用专门的软件尝试模拟人脑(谷歌在猫实验中所做的),以此作为不断提升的智能基础,这太过低效了。
霍金斯创造了掌上电脑(Palm Pilot),后来又联合创办了Numenta公司,后者制造从人脑中获得启发的软件。“你不可能只在软件中建造它,”他说到人工智能,“你必须在硅片中建造它。”
现有的计算机计算,程序的执行是一行一行执行的,而神经网络计算机则有所不同。
现行的人工智能程式,基本上都是将大大小小的各种知识写成一句一句的陈述句,再灌进系统之中。当输入问题进去智能程式时,它就会搜寻本身的资料库,再选择出最佳或最近解。2011年时,IBM 有名的 Watson 智能电脑,便是使用这样的技术,在美国的电视益智节目中打败的人类的最强卫冕者。
(神经网络计算机)以这种异步信号发送(因没有能使其同步的中央时钟而得名)处理数据的速度比同步信号发送更快,以为没有时间浪费在等待时钟发出信号上。异步信号发送消耗的能量也更少,这样便满足了迈耶博士理想的计算机的第一个特点。如果有一个处理器坏了,系统会从另一路线绕过它,这样便满足了迈耶博士理想的计算机的第二个特点。正是由于为异步信号发送编程并不容易,所以大多数计算机工程师都无视于此。然而其作为一种模仿大脑的方式堪称完美。功耗方面:
硬件方面,近年来主要是通过对大型神经网络进行仿真,如 Google 的深度学习系统Google Brain,微软的Adam等。但是这些网络需要大量传统计算机的集群。比方说 Google Brain 就采用了 1000 台各带 16 核处理器的计算机,这种架构尽管展现出了相当的能力,但是能耗依然巨大。而 IBM 则是在芯片上的模仿。4096 个内核,100 万个“神经元”、2.56 亿个“突触”集成在直径只有几厘米的方寸(是 2011 年原型大小的 1/16)之间,而且能耗只有不到 70 毫瓦。
IBM 研究小组曾经利用做过 DARPA 的NeoVision2 Tower数据集做过演示。它能够实时识别出用 30 帧每秒的正常速度拍摄自斯坦福大学胡佛塔的十字路口视频中的人、自行车、公交车、卡车等,准确率达到了 80%。相比之下,一台笔记本编程完成同样的任务用时要慢 100 倍,能耗却是 IBM 芯片的 1 万倍。
Ref: A million spiking-neuron integrated circuit with a scalable communication network and interface. Paul A. Merolla et al. Science 345, 668 (2014); DOI: 10.1126/science.1254642
因为需要拥有极多数据的Database 来做training以及需要极强大的计算能力来做prediction,现有的一些Deep learning如Andrew Ng的Google Brain、Apple的Siri等都需要连接网络到云端的服务器。
二、争议:
虽然深度学习已经被应用到尖端科学研究及日常生活当中,而 Google 已经实际搭载在核心的搜寻功能之中。但其他知名的人工智能实验室,对于深度学习技术的反应并不一致。例如艾伦人工智能中心的执行长 Oren Etzioni,就没有考虑将深度学习纳入当前开发中的人工智能系统中。该机构目前的研究是以小学程度的科学知识为目标,希望能开发出光是看学校的教科书,就能够轻松应付各类考试的智能程式。Oren Etzioni 以飞机为例,他表示,最成功的飞机设计都不是来自于模仿鸟的结构,所以脑神经的类比并无法保证人工智能的实现,因此他们暂不考虑借用深度学习技术来开发这个系统。
但是从短期来看,情况也许并没有那么乐观。
首先芯片的编程仍然是个大问题。芯片的编程要考虑选择哪一个神经元来连接,以及神经元之间相互影响的程度。比方说,为了识别上述视频中的汽车,编程人员首先要对芯片的仿真版进行必要的设置,然后再传给实际的芯片。这种芯片需要颠覆以往传统的编程思想,尽管 IBM 去年已经发布了一套工具,但是目前编程仍非常困难,IBM 团队正在编制令该过程简单一点的开发库。(当然,如果我们回顾过去编程语言从汇编一路走来的历史,这一点也许不会成为问题。)
其次,在部分专业人士看来,这种芯片的能力仍有待证实。
再者,真正的认知计算应该能从经验中学习,寻找关联,提出假设,记忆,并基于结果学习,而IBM 的演示里所有学习(training)都是在线下的冯诺依曼计算机上进行的。不过目前大多数的机器学习都是离线进行的,因为学习经常需要对算法进行调整,而 IBM 的硬件并不具备调整的灵活性,不擅长做这件事情。
三、人造神经元工作原理及电路实现
人工神经网络
人工神经网络(artificial neural network,缩写ANN),简称神经网络(neural network,缩写NN),是一种模仿生物神经网络的结构和功能的数学模型或计算模型。
神经网络是一种运算模型,由大量的节点(或称“神经元”,或“单元”)和之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重(weight),这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。Ref:Wikipedia: 人工神经网络
电路原理
神经递质的分泌反过来又是对动作电位刺激的反应。然而神经元在接收到这些神经递质信号中的一个后便不会再继续发出动作电位。当然,它们会逐渐累加至一个极限值。在神经元接受了一定数量的信号并超过极限值后----从根本上讲是一个模拟进程----然后它们会发出一个动作电位,并自行重置。Spikey的人造神经元也是这么做的,当它们每次受到激发时都会在电容中累积电荷,直至达到限值,电容再进行放电。具体电路结构和分析之后有机会的话再更新。
现阶段硬件的实现方式有数电(IBM、Qualcomm)、模电、数模混合(学界)、GPUs等等,还有各种不是基于硅半导体制程制作的神经元等的device方面的研究。
四、历史
Neuromorphic engineering由老祖宗Carver Mead提出
卡福·米德是加州理工学院的一名工程师,被公认为神经形态计算机之父(当然还发明了“神经形态学”这个词)
神经形态芯片的创意可以追溯到几十年前。加州理工大学的退休教授、集成电路设计的传奇人物卡弗·米德(Carver Mead)在1990年发表的一篇论文中首次提出了这个名称。
这篇论文介绍了模拟芯片如何能够模仿脑部神经元和突触的电活动。所谓模拟芯片,其输出是变化的,就像真实世界中发生的现象,这和数字芯片二进制、非开即关的性质不同。
后来这(大脑研究)成为我毕生的工作,我觉得我可以有所贡献,我尝试离开计算机行业而专注大脑研究。首先我去了MIT的人工智能研究院,我想,我也想设计和制作聪明的机器,但我的想法是先研究大脑怎么运作。而他们说,呃,你不需要这样做,我们只需要计算机编程。而我说,不,你应该先研究大脑。他们说,呃,你错了。而我说,不,你们错了。最后我没被录取。但我真的有点失望,那时候年轻,但我再尝试。几年后再加州的Berkley,这次我尝试去学习生物方面的研究。我开始攻读生物物理博士课程。我在学习大脑了,而我想学理论。而他们说,不,你不可以学大脑的理论,这是不可以的,你不会拿到研究经费,而作为研究生,没有经费是不可以的。我的天。
八卦:老师说neural network这个方向每20年火一次,之前有很长一段时间的沉寂期,甚至因为理论的不完善一度被认为是江湖术士的小把戏,申请研究经费都需要改课题名称才能成功。(这段为小弟的道听途说,请大家看过就忘。后来看相关的资料发现,这段历史可能与2006年Geoffrey E. Hinton提出深度学习的概念这一革命性工作改变了之前的状况有关。)
五、针对IBM这次的工作:
关于 SyNAPSE
美国国防部先进研究项目局的研究项目,由两个大的group组成:IBM team和HRL Team。
Synapse在英文中是突触的意思,而SyNAPSE是Systems of Neuromorphic Adaptive Plastic Scalable Electronics的简称。
Cognitive computing: Neurosynaptic chips
IBM proces first working chips modeled on the human brain
另一个SyNAPSE项目是由IBM阿尔马登实验室(位于圣何塞)的达尔门德拉·穆德哈负责。与四所美国大学(哥伦比亚大学,康奈尔大学,加州大学默塞德分校以及威斯康辛-麦迪逊大学)合作,穆德哈博士及其团队制造了一台神经形态学计算机的原型机,拥有256个“积分触发式”神经元,之所以这么叫是因为这些神经元将自己的输入累加(即积分)直至达到阈值,然后发出一个信号后再自行重置。它们在这一点上与Spikey中的神经元类似,但是电子方面的细节却有所不同,因为它们是由一个数字储存器而非许多电容来记录输入信号的。
Ref: A million spiking-neuron integrated circuit with a scalable communication network and interface. Paul A. Merolla et al. Science 345, 668 (2014); DOI: 10.1126/science.1254642
Ⅳ 人脑神经网络的优点
它们能够胜过几乎所有其他机器学习算法。
神经网络的主要优点在于它们能够胜过几乎所有其他机器学习算法,具有很强的鲁棒性和容错性,因为信息是分布贮于网络内的神经元中。
人脑神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术,人脑中的神经网络是一个非常复杂的组织,成人的大脑中估计有1000亿个神经元之多。
Ⅵ 网络信号对大脑有影响吗
网络信号对大脑有影响。
有很多科学研究表明WiFi对人体有害。它通过增加自由基的产生引起氧化应激。增加的氧化应激是细胞大分子氧化损伤的原因,如蛋白质、脂类和DNA。
一些关于2.45 GHz WiFi信号对人类和动物健康影响的研究表明,WiFi设备发出的射频电磁辐射会影响精子数量、活力和DNA完整性。
男性生殖系统的其他变化包括退化性损伤、睾丸素水平降低、细胞死亡升高和DNA损伤,这些主要是由睾丸温度和氧化应激水平升高引起的。
在女性生殖改变方面,WiFi暴露会减少雌激素和黄体酮的产生和分泌,导致生殖功效降低和生育能力受损。WiFi还会导致染色体突变,这是自然流产的原因之一。
大脑为神经系统最高级部分,由左、右两个大脑半球组成,两半球间有横行的神经纤维相联系。每个半球包括:大脑皮层(大脑皮质):是表面的一层灰质(神经细胞的细胞体集中部分)。
人的大脑表面有很多往下凹的沟(裂),沟(裂)之间有隆起的回,因而大大增加了大脑皮层的面积。人的大脑皮层最为发达,是思维的器官,主导机体内一切活动过程,并调节机体与周围环境的平衡,所以大脑皮层是高级神经活动的物质基础。
大脑主要包括左、右大脑半球,是中枢神经中最大和最复杂的结构,也是最高部位;是调节机体功能的器官,也是意识、精神、语言、学习、记忆和智能等高级神经活动的物质基础。
大脑半球表面呈现不同的沟或裂。沟、裂之间隆起的部分叫脑回。大脑半球借沟和裂分为5叶:即额叶、颞叶、顶叶、枕叶和脑岛。
Ⅶ 神经网络的发展趋势如何
神经网络的云集成模式还不是很成熟,应该有发展潜力,但神经网络有自己的硬伤,不知道能够达到怎样的效果,所以决策支持系统中并不是很热门,但是神经网络无视过程的优点也是无可替代的,云网络如果能够对神经网络提供一个互补的辅助决策以控制误差的话,也许就能使神经网络成熟起来
1 人工神经网络产生的背景
自古以来,关于人类智能本源的奥秘,一直吸引着无数哲学家和自然科学家的研究热情。生物学家、神经学家经过长期不懈的努力,通过对人脑的观察和认识,认为人脑的智能活动离不开脑的物质基础,包括它的实体结构和其中所发生的各种生物、化学、电学作用,并因此建立了神经元网络理论和神经系统结构理论,而神经元理论又是此后神经传导理论和大脑功能学说的基础。在这些理论基础之上,科学家们认为,可以从仿制人脑神经系统的结构和功能出发,研究人类智能活动和认识现象。另一方面,19世纪之前,无论是以欧氏几何和微积分为代表的经典数学,还是以牛顿力学为代表的经典物理学,从总体上说,这些经典科学都是线性科学。然而,客观世界是如此的纷繁复杂,非线性情况随处可见,人脑神经系统更是如此。复杂性和非线性是连接在一起的,因此,对非线性科学的研究也是我们认识复杂系统的关键。为了更好地认识客观世界,我们必须对非线性科学进行研究。人工神经网络作为一种非线性的、与大脑智能相似的网络模型,就这样应运而生了。所以,人工神经网络的创立不是偶然的,而是20世纪初科学技术充分发展的产物。
2 人工神经网络的发展
人工神经网络的研究始于40年代初。半个世纪以来,经历了兴起、高潮与萧条、高潮及稳步发展的远为曲折的道路。
1943年,心理学家W.S.Mcculloch和数理逻辑学家W.Pitts 提出了M—P模型,这是第一个用数理语言描述脑的信息处理过程的模型, 虽然神经元的功能比较弱,但它为以后的研究工作提供了依据。1949年,心理学家D.O.Hebb提出突触联系可变的假设,根据这一假设提出的学习规律为神经网络的学习算法奠定了基础。 1957 年, 计算机科学家Rosenblatt提出了着名的感知机模型,它的模型包含了现代计算机的一些原理,是第一个完整的人工神经网络,第一次把神经网络研究付诸工程实现。由于可应用于模式识别,联想记忆等方面,当时有上百家实验室投入此项研究,美国军方甚至认为神经网络工程应当比“原子弹工程”更重要而给予巨额资助,并在声纳信号识别等领域取得一定成绩。1960年,B.Windrow和E.Hoff提出了自适应线性单元, 它可用于自适应滤波、预测和模式识别。至此,人工神经网络的研究工作进入了第一个高潮。
1969年,美国着名人工智能学者M.Minsky和S.Papert编写了影响很大的Perceptron一书,从理论上证明单层感知机的能力有限,诸如不能解决异或问题,而且他们推测多层网络的感知机能力也不过如此,他们的分析恰似一瓢冷水,很多学者感到前途渺茫而纷纷改行,原先参与研究的实验室纷纷退出,在这之后近10年,神经网络研究进入了一个缓慢发展的萧条期。这期间,芬兰学者T.Kohonen 提出了自组织映射理论,反映了大脑神经细胞的自组织特性、记忆方式以及神经细胞兴奋刺激的规律;美国学者S.A.Grossberg的自适应共振理论(ART );日本学者K.Fukushima提出了认知机模型;ShunIchimari则致力于神经网络有关数学理论的研究等,这些研究成果对以后的神经网络的发展产生了重要影响。
美国生物物理学家J.J.Hopfield于1982年、1984年在美国科学院院刊发表的两篇文章,有力地推动了神经网络的研究,引起了研究神经网络的又一次热潮。 1982 年, 他提出了一个新的神经网络模型——hopfield网络模型。他在这种网络模型的研究中,首次引入了网络能量函数的概念,并给出了网络稳定性的判定依据。1984年,他又提出了网络模型实现的电子电路,为神经网络的工程实现指明了方向,他的研究成果开拓了神经网络用于联想记忆的优化计算的新途径,并为神经计算机研究奠定了基础。1984年Hinton等人将模拟退火算法引入到神经网络中,提出了Boltzmann机网络模型,BM 网络算法为神经网络优化计算提供了一个有效的方法。1986年,D.E.Rumelhart和J.LMcclelland提出了误差反向传播算法,成为至今为止影响很大的一种网络学习方法。1987年美国神经计算机专家R.Hecht—Nielsen提出了对向传播神经网络,该网络具有分类灵活,算法简练的优点,可用于模式分类、函数逼近、统计分析和数据压缩等领域。1988年L.Ochua 等人提出了细胞神经网络模型,它在视觉初级加工上得到了广泛应用。
为适应人工神经网络的发展,1987年成立了国际神经网络学会,并决定定期召开国际神经网络学术会议。1988年1月Neural Network 创刊。1990年3月IEEE Transaction on Neural Network问世。 我国于1990年12月在北京召开了首届神经网络学术大会,并决定以后每年召开一次。1991 年在南京成立了中国神经网络学会。 IEEE 与INNS 联合召开的IJCNN92已在北京召开。 这些为神经网络的研究和发展起了推波助澜的作用,人工神经网络步入了稳步发展的时期。
90年代初,诺贝尔奖获得者Edelman提出了Darwinism模型,建立了神经网络系统理论。同年,Aihara等在前人推导和实验的基础上,给出了一个混沌神经元模型,该模型已成为一种经典的混沌神经网络模型,该模型可用于联想记忆。 Wunsch 在90OSA 年会上提出了一种AnnualMeeting,用光电执行ART,学习过程有自适应滤波和推理功能,具有快速和稳定的学习特点。1991年,Hertz探讨了神经计算理论, 对神经网络的计算复杂性分析具有重要意义;Inoue 等提出用耦合的混沌振荡子作为某个神经元,构造混沌神经网络模型,为它的广泛应用前景指明了道路。1992年,Holland用模拟生物进化的方式提出了遗传算法, 用来求解复杂优化问题。1993年方建安等采用遗传算法学习,研究神经网络控制器获得了一些结果。1994年Angeline等在前人进化策略理论的基础上,提出一种进化算法来建立反馈神经网络,成功地应用到模式识别,自动控制等方面;廖晓昕对细胞神经网络建立了新的数学理论和方法,得到了一系列结果。HayashlY根据动物大脑中出现的振荡现象,提出了振荡神经网络。1995年Mitra把人工神经网络与模糊逻辑理论、 生物细胞学说以及概率论相结合提出了模糊神经网络,使得神经网络的研究取得了突破性进展。Jenkins等人研究光学神经网络, 建立了光学二维并行互连与电子学混合的光学神经网络,它能避免网络陷入局部最小值,并最后可达到或接近最理想的解;SoleRV等提出流体神经网络,用来研究昆虫社会,机器人集体免疫系统,启发人们用混沌理论分析社会大系统。1996年,ShuaiJW’等模拟人脑的自发展行为, 在讨论混沌神经网络的基础上提出了自发展神经网络。1997、1998年董聪等创立和完善了广义遗传算法,解决了多层前向网络的最简拓朴构造问题和全局最优逼近问题。
随着理论工作的发展,神经网络的应用研究也取得了突破性进展,涉及面非常广泛,就应用的技术领域而言有计算机视觉,语言的识别、理解与合成,优化计算,智能控制及复杂系统分析,模式识别,神经计算机研制,知识推理专家系统与人工智能。涉及的学科有神经生理学、认识科学、数理科学、心理学、信息科学、计算机科学、微电子学、光学、动力学、生物电子学等。美国、日本等国在神经网络计算机软硬件实现的开发方面也取得了显着的成绩,并逐步形成产品。在美国,神经计算机产业已获得军方的强有力支持,国防部高级研究计划局认为“神经网络是解决机器智能的唯一希望”,仅一项8 年神经计算机计划就投资4亿美元。在欧洲共同体的ESPRIT计划中, 就有一项特别项目:“神经网络在欧洲工业中的应用”,单是生产神经网络专用芯片这一项就投资2200万美元。据美国资料声称,日本在神经网络研究上的投资大约是美国的4倍。我国也不甘落后,自从1990 年批准了南开大学的光学神经计算机等3项课题以来, 国家自然科学基金与国防预研基金也都为神经网络的研究提供资助。另外,许多国际着名公司也纷纷卷入对神经网络的研究,如Intel、IBM、Siemens、HNC。神经计算机产品开始走向商用阶段,被国防、企业和科研部门选用。在举世瞩目的海湾战争中,美国空军采用了神经网络来进行决策与控制。在这种刺激和需求下,人工神经网络定会取得新的突破,迎来又一个高潮。自1958年第一个神经网络诞生以来,其理论与应用成果不胜枚举。人工神经网络是一个快速发展着的一门新兴学科,新的模型、新的理论、新的应用成果正在层出不穷地涌现出来。
3 人工神经网络的发展前景
针对神经网络存在的问题和社会需求,今后发展的主要方向可分为理论研究和应用研究两个方面。
(1)利用神经生理与认识科学研究大脑思维及智能的机理、 计算理论,带着问题研究理论。
人工神经网络提供了一种揭示智能和了解人脑工作方式的合理途径,但是由于人类起初对神经系统了解非常有限,对于自身脑结构及其活动机理的认识还十分肤浅,并且带有某种“先验”。例如, Boltzmann机引入随机扰动来避免局部极小,有其卓越之处,然而缺乏必要的脑生理学基础,毫无疑问,人工神经网络的完善与发展要结合神经科学的研究。而且,神经科学,心理学和认识科学等方面提出的一些重大问题,是向神经网络理论研究提出的新挑战,这些问题的解决有助于完善和发展神经网络理论。因此利用神经生理和认识科学研究大脑思维及智能的机理,如有新的突破,将会改变智能和机器关系的认识。
利用神经科学基础理论的研究成果,用数理方法探索智能水平更高的人工神经网络模型,深入研究网络的算法和性能,如神经计算、进化计算、稳定性、收敛性、计算复杂性、容错性、鲁棒性等,开发新的网络数理理论。由于神经网络的非线性,因此非线性问题的研究是神经网络理论发展的一个最大动力。特别是人们发现,脑中存在着混沌现象以来,用混沌动力学启发神经网络的研究或用神经网络产生混沌成为摆在人们面前的一个新课题,因为从生理本质角度出发是研究神经网络的根本手段。
(2)神经网络软件模拟, 硬件实现的研究以及神经网络在各个科学技术领域应用的研究。
由于人工神经网络可以用传统计算机模拟,也可以用集成电路芯片组成神经计算机,甚至还可以用光学的、生物芯片的方式实现,因此研制纯软件模拟,虚拟模拟和全硬件实现的电子神经网络计算机潜力巨大。如何使神经网络计算机与传统的计算机和人工智能技术相结合也是前沿课题;如何使神经网络计算机的功能向智能化发展,研制与人脑功能相似的智能计算机,如光学神经计算机,分子神经计算机,将具有十分诱人的前景。
4 哲理
(1)人工神经网络打开了认识论的新领域
认识与脑的问题,长期以来一直受到人们的关注,因为它不仅是有关人的心理、意识的心理学问题,也是有关人的思维活动机制的脑科学与思维科学问题,而且直接关系到对物质与意识的哲学基本问题的回答。人工神经网络的发展使我们能够更进一步地既唯物又辩证地理解认识与脑的关系,打开认识论的新领域。人脑是一个复杂的并行系统,它具有“认知、意识、情感”等高级脑功能,用人工进行模拟,有利于加深对思维及智能的认识,已对认知和智力的本质的研究产生了极大的推动作用。在研究大脑的整体功能和复杂性方面,人工神经网络给人们带来了新的启迪。由于人脑中存在混沌现象,混沌可用来理解脑中某些不规则的活动,从而混沌动力学模型能用作人对外部世界建模的工具,可用来描述人脑的信息处理过程。混沌和智能是有关的,神经网络中引入混沌学思想有助于提示人类形象思维等方面的奥秘。人工神经网络之所以再度兴起,关键在于它反映了事物的非线性,抓住了客观世界的本质,而且它在一定程度上正面回答了智能系统如何从环境中自主学习这一最关键的问题,从认知的角度讲,所谓学习,就是对未知现象或规律的发现和归纳。由于神经网络具有高度的并行性,高度的非线性全局作用,良好的容错性与联想记忆功能以及十分强的自适应、自学习功能,而使得它成为揭示智能和了解人脑工作方式的合理途径。但是,由于认知问题的复杂性,目前,我们对于脑神经网的运行和神经细胞的内部处理机制,如信息在人脑是如何传输、存贮、加工的?记忆、联想、判断是如何形成的?大脑是否存在一个操作系统?还没有太多的认识,因此要制造人工神经网络来模仿人脑各方面的功能,还有待于人们对大脑信息处理机理认识的深化。
(2)人工神经网络发展的推动力来源于实践、 理论和问题的相互作用
随着人们社会实践范围的不断扩大,社会实践层次的不断深入,人们所接触到的自然现象也越来越丰富多彩、纷繁复杂,这就促使人们用不同的原因加以解释不同种类的自然现象,当不同种类的自然现象可以用同样的原因加以解释,这样就出现了不同学科的相互交叉、综合,人工神经网络就这样产生了。在开始阶段,由于这些理论化的网络模型比较简单,还存在许多问题,而且这些模型几乎没有得到实践的检验,因而神经网络的发展比较缓慢。随着理论研究的深入,问题逐渐地解决特别是工程上得到实现以后,如声纳识别成功,才迎来了神经网络的第一个发展高潮。可Minisky认为感知器不能解决异或问题, 多层感知器也不过如此,神经网络的研究进入了低谷,这主要是因为非线性问题没得到解决。随着理论的不断丰富,实践的不断深入, 现在已证明Minisky的悲观论调是错误的。今天,高度发达的科学技术逐渐揭示了非线性问题是客观世界的本质。问题、理论、实践的相互作用又迎来了人工神经网络的第二次高潮。目前人工神经网络的问题是智能水平不高,还有其它理论和实现方面的问题,这就迫使人们不断地进行理论研究,不断实践,促使神经网络不断向前发展。总之,先前的原因遇到了解释不同的新现象,促使人们提出更加普遍和精确的原因来解释。理论是基础,实践是动力,但单纯的理论和实践的作用还不能推动人工神经网络的发展,还必须有问题提出,才能吸引科学家进入研究的特定范围,引导科学家从事相关研究,从而逼近科学发现,而后实践又提出新问题,新问题又引发新的思考,促使科学家不断思考,不断完善理论。人工神经网络的发展无不体现着问题、理论和实践的辩证统一关系。
(3 )人工神经网络发展的另一推动力来源于相关学科的贡献及不同学科专家的竞争与协同
人工神经网络本身就是一门边缘学科,它的发展有更广阔的科学背景,亦即是众多科研成果的综合产物,控制论创始人Wiener在其巨着《控制论》中就进行了人脑神经元的研究;计算机科学家Turing就提出过B网络的设想;Prigogine提出非平衡系统的自组织理论,获得诺贝尔奖;Haken研究大量元件联合行动而产生宏观效果, 非线性系统“混沌”态的提出及其研究等,都是研究如何通过元件间的相互作用建立复杂系统,类似于生物系统的自组织行为。脑科学与神经科学的进展迅速反映到人工神经网络的研究中,例如生物神经网络理论,视觉中发现的侧抑制原理,感受野概念等,为神经网络的发展起了重要的推动作用。从已提出的上百种人工神经网络模型中,涉及学科之多,令人目不暇接,其应用领域之广,令人叹为观止。不同学科专家为了在这一领域取得领先水平,存在着不同程度的竞争,所有这些有力地推动了人工神经网络的发展。人脑是一个功能十分强大、结构异常复杂的信息系统,随着信息论、控制论、生命科学,计算机科学的发展,人们越来越惊异于大脑的奇妙,至少到目前为止,人类大脑信号处理机制对人类自身来说,仍是一个黑盒子,要揭示人脑的奥秘需要神经学家、心理学家、计算机科学家、微电子学家、数学家等专家的共同努力,对人类智能行为不断深入研究,为人工神经网络发展提供丰富的理论源泉。另外,还要有哲学家的参与,通过哲学思想和自然科学多种学科的深层结合,逐步孕育出探索人类思维本质和规律的新方法,使思维科学从朦胧走向理性。而且,不同领域专家的竞争与协调同有利于问题清晰化和寻求最好的解决途径。纵观神经网络的发展历史,没有相关学科的贡献,不同学科专家的竞争与协同,神经网络就不会有今天。当然,人工神经网络在各个学科领域应用的研究反过来又推动其它学科的发展,推动自身的完善和发展。
Ⅷ 神经网络是什么
神经网络是一种以人脑为模型的机器学习,简单地说就是创造一个人工神经网络,通过一种算法允许计算机通过合并新的数据来学习。
神经网络简单说就是通过一种算法允许计算机通过合并新的数据来学习!
Ⅸ 什么是神经网络
隐层节点数在BP 网络中,隐层节点数的选择非常重要,它不仅对建立的神经网络模型的性能影响很大,而且是训练时出现“过拟合”的直接原因,但是目前理论上还没有一种科学的和普遍的确定方法。 目前多数文献中提出的确定隐层节点数的计算公式都是针对训练样本任意多的情况,而且多数是针对最不利的情况,一般工程实践中很难满足,不宜采用。事实上,各种计算公式得到的隐层节点数有时相差几倍甚至上百倍。为尽可能避免训练时出现“过拟合”现象,保证足够高的网络性能和泛化能力,确定隐层节点数的最基本原则是:在满足精度要求的前提下取尽可能紧凑的结构,即取尽可能少的隐层节点数。研究表明,隐层节点数不仅与输入/输出层的节点数有关,更与需解决的问题的复杂程度和转换函数的型式以及样本数据的特性等因素有关。在确定隐层节点数时必须满足下列条件:(1)隐层节点数必须小于N-1(其中N为训练样本数),否则,网络模型的系统误差与训练样本的特性无关而趋于零,即建立的网络模型没有泛化能力,也没有任何实用价值。同理可推得:输入层的节点数(变量数)必须小于N-1。(2) 训练样本数必须多于网络模型的连接权数,一般为2~10倍,否则,样本必须分成几部分并采用“轮流训练”的方法才可能得到可靠的神经网络模型。 总之,若隐层节点数太少,网络可能根本不能训练或网络性能很差;若隐层节点数太多,虽然可使网络的系统误差减小,但一方面使网络训练时间延长,另一方面,训练容易陷入局部极小点而得不到最优点,也是训练时出现“过拟合”的内在原因。因此,合理隐层节点数应在综合考虑网络结构复杂程度和误差大小的情况下用节点删除法和扩张法确定。
Ⅹ 人工神经网络的作用
人工神经网络(Artificial Neural Network,即ANN ),是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象, 建立某种简单模型,按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。
最近十多年来,人工神经网络的研究工作不断深入,已经取得了很大的进展,其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题,表现出了良好的智能特性。
中文名
人工神经网络
外文名
artificial neural network
别称
ANN
应用学科
人工智能
适用领域范围
模式分类
精品荐读
“蠢萌”的神经网络
作者:牛油果进化论
快速
导航
基本特征
发展历史
网络模型
学习类型
分析方法
特点优点
研究方向
发展趋势
应用分析
神经元
如图所示
a1~an为输入向量的各个分量
w1~wn为神经元各个突触的权值
b为偏置
f为传递函数,通常为非线性函数。以下默认为hardlim()
t为神经元输出
数学表示 t=f(WA'+b)
W为权向量
A为输入向量,A'为A向量的转置
b为偏置
f为传递函数
可见,一个神经元的功能是求得输入向量与权向量的内积后,经一个非线性传递函数得到一个标量结果。
单个神经元的作用:把一个n维向量空间用一个超平面分割成两部分(称之为判断边界),给定一个输入向量,神经元可以判断出这个向量位于超平面的哪一边。
该超平面的方程: Wp+b=0
W权向量
b偏置
p超平面上的向量
基本特征
人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的,试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。
人工神经网络具有四个基本特征:
(1)非线性 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态,这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能,可以提高容错性和存储容量。
人工神经网络
(2)非局限性 一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征,而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。
(3)非常定性 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化,而且在处理信息的同时,非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。
(4)非凸性 一个系统的演化方向,在一定条件下将取决于某个特定的状态函数。例如能量函数,它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值,故系统具有多个较稳定的平衡态,这将导致系统演化的多样性