神经网络由什么演化

A. 什么是神经网络

神经网络是机器学习的一个流派。这是现今最火的一个学派。我们在第一讲中，已经知道人学习知识是通过神经元的连接，科学家通过模仿人脑机理发明了人工神经元。技术的进一步发展，多层神经元的连接，就形成了神经网络。那么神经网络是怎么搭建起来的呢？神经元是构建神经网络的最基本单位， 这张图就是一个人工神经元的原理图，非常简单，一个神经元由一个加法器和一个门限器组成。加法器有一些输入，代表从其他神经元来的信号，这些信号分别被乘上一个系数后在加法器里相加，如果相加的结果大于某个值，就“激活”这个神经元，接通到下个神经元，否则就不激活。原理就这么简单，做起来也很简单。今天所有的神经网络的基本单元都是这个。输入信号乘上的系数，我们也叫“权重”，就是网络的参数，玩神经网路就是调整权重，让它做你想让它做的事。 一个神经元只能识别一个东西，比如，当你训练给感知器会“认”数字“8”，你给它看任何一个数字，它就会告诉你，这是“8”还不是“8”。为了让机器识别更多更复杂的图像，我们就需要用更多的神经元。人的大脑由 1000 亿个神经元构成，人脑神经元组成了一个很复杂的三维立体结构。

B. 如何用自动机器学习实现神经网络进化

如果想深入学习，那肯定得对每种神经网络都做了解，最好亲自对算法进行推导。但是如果仅仅是想使用神经网络，则参考一些案例、照着做就行。

人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

C. 神经网络从何而来

【嵌牛导读】神经网络从何而来？这里说的‘从何而来’，并不仅仅是从技术上去介绍一个方法的创造或发展，而更想探讨方法背后所蕴含的思想基础与演变之路。

【嵌牛鼻子】神经网络、深度学习

【嵌牛提问】神经网络的由来？

【嵌牛正文】深度学习与神经网络是近几年来计算机与人工智能领域最炙手可热的话题了。为了蹭这波热度，博主也打算分享一些自己的经验与思考。第一篇文章想探讨一个非常基础的问题：神经网络从何而来？这里说的‘从何而来’，并不仅仅是从技术上去介绍一个方法的创造或发展，而更想探讨方法背后所蕴含的思想基础与演变之路。

首先，需要为‘神经网络’正一下名。在人工智能领域，我们通常所说的神经网络（Neural Networks）全称是人工神经网络（Artificial Neural Network），与之对应的是我们用肉长成的生物神经网络（Biology Neural Network）。众所周知，人工神经网络受生物神经网络的启发而产生，并在几十年间不断进步演化。可要论人类对人工智能的探索历史，却远远长于这几十年。为了深刻了解神经网络出现的背景，我们有必要从更早的历史开始说起。

简单说，人工智能想做的事情就是去总结和提炼人类思考的过程，使之能够机械化、可重复。从各种神话、传说来看，我们的祖先在几千年前就对这件事儿充满了好奇与遐想。到两千多年前，一大批伟大的哲学家在希腊、中国和印度相继诞生，并将人类对这一问题的认识推向了新的高度。为避免本文成为枯燥的哲学史，这里不想举太多的例子。伟大的希腊哲学家亚里士多德在他的《前分析篇》中提出了着名的三段论（sollygism），类似于：

所有希腊人是人

所有人终有一死

因此所有希腊人终有一死

虽然这是我们现在已经无比熟悉的推理模式，但是要在2000年前从无到有系统总结出一系列这样的命题与推理模式，却着实不易。有了‘三段论’这种的武器，人们对问题的认识与决策就能从感性真正走向理性，做到可以重复。此外，我们熟悉的欧式几何也是当时这种逻辑推理学派的代表。欧式几何以一系列的公理为基础，基于一套严密的逻辑推理体系，最终得到结论的证明，现在仍然是每个学生需要反复训练的思维体操。

随着时间的演进，认知哲学与逻辑学也在不断的发展。在17世纪时，以笛卡尔、莱布尼茨为代表的哲学家进一步提出通过数学的方式对逻辑推演进行标准化，这也是对人脑推理与思考的再次抽象，为后续以后基于数字电路的人工智能打下了基础。之后，数理逻辑进一步发展，而到了20世纪中期，数理逻辑又一次取得了巨大的突破，哥德尔不完备理论、图灵机模型等的相继提出，科学家们既认识到了数理逻辑的局限性，也看到了将推理机械化的无限可能性，一种新的计算方式呼之欲出。

在图灵机的思想指导下，第一台电子计算机很快被设计出来，为人工智能的真正实现提供了物质上的基础。其实回望人工智能历史上的历次重大飞跃，硬件技术的发展无不扮演者重要的作用。很多看似有效的算法都苦于没有足够强大的计算平台支持无疾而终，而计算能力的提升也可以促进科学家们们摆脱束缚，在算法的研究道路上天马行空。深度学习这些年的迅猛发展，很大程度就是得益于大规模集群和图形处理器等技术的成熟，使得用复杂模型快速处理大规模数据成为可能。

1956年达特茅斯会议上，斯坦福大学科学家约翰·麦卡锡（John McCarthy）正式提出了‘人工智能’这一概念， 标志着一个学科的正式诞生，也标志着人工智能的发展开始进入了快车道。如果说逻辑符号操作是对人类思维的本质的抽象，那么利用电子计算机技术来模拟人类的符号推理计算也是一个自然而然的想法。在艾伦·纽威尔（Alan Newell）和赫伯特·西蒙（Herbert A.Simon）等大师的推动下，以逻辑推演为核心符号主义（symbolicism）流派很快占据了人工智能领域的重要地位。符号主义在很多领域取得了成功，比如在80年代风靡一时的专家系统，通过知识库和基于知识库的推理系统模拟专家进行决策，得到了广泛的应用。而本世纪初热炒的语义网络以及当下最流行的知识图谱，也可以看做这一流派的延续与发展。

符号主义最大的特点是知识的表示直观，推理的过程清晰，但是也存在着许多局限性。除去在计算能力方面的困扰，一个很大的问题就在于虽然我们可以通过逻辑推理解决一些复杂的问题，但是对一些看似简单的问题，比如人脸识别，却无能为力。当看到一张人脸的照片，我们可以毫不费力的识别出这个人是谁，可这个过程并不需要做什么复杂的推理，它在我们的大脑中瞬间完成，以至于我们对这个过程的细节却一无所知。看起来想通过挖掘一系列严密的推理规则解决这类问题是相对困难的，这也促使很多人去探索与人脑工作更加贴合的解决方案。实际上在符号主义出现的同时，人工智能的另一重要学派联结主义（Connectionism）也开始蓬勃发展，本文的‘主角’神经网络终于可以登场了。

在文章的一开始就提到，我们现在所说的人工神经网络是受生物神经网络启发而设计出来的。在1890年，实验心理学先驱William James在他的巨着《心理学原理》中第一次详细论述人脑结构及功能。其中提到神经细胞受到刺激激活后可以把刺激传播到另一个神经细胞，并且神经细胞激活是细胞所有输入叠加的结果。这一后来得到验证的假说也成为了人工神经网络设计的生物学基础。基于这一假说，一系列模拟人脑神经计算的模型被相继提出，具有代表性的有Hebbian Learning Rule, Oja's Rule和MCP Neural Model等，他们与现在通用的神经网络模型已经非常相似，例如在Hebbian Learning模型中，已经可以支持神经元之间权重的自动学习。而在1958年，Rosenblatt将这些模型付诸于实施，利用电子设备构建了真正意义上的第一个神经网络模型：感知机（Perceptron）。Rosenblatt现场演示了其学习识别简单图像的过程，在当时的社会引起了轰动，并带来了神经网络的第一次大繁荣。此后的几十年里，神经网络又经历了数次起起伏伏，既有春风得意一统天下的岁月，也有被打入冷宫无人问津的日子，当然，这些都是后话了。

本文更想讨论这样一个问题：神经网络产生的动机仅仅是对生物学中对神经机制的模仿吗？在神经网络产生的背后，还蕴含着一代代科学家怎么样的思想与情怀呢？事实上，在神经网络为代表的一类方法在人工智能中又被称为联结主义（Connectionism）。关于联结主义的历史，一般的文献介绍按照惯例会追溯到希腊时期哲学家们对关联性的定义与研究，例如我们的老朋友亚里士多德等等。然而当时哲学家研究的关联其实并不特指神经元之间的这种关联，比如前文提到的符号推理本身也是一种形式关联，在希腊哲学中并没有对这两者进行专门的区分。所以硬要把这些说成是连接主义的思想起源略微有一些牵强。

前文提到，在数理逻辑发展过程中，17世纪的欧陆理性主义起到了重要的作用。以笛卡尔、莱布尼茨等为代表的哲学家，主张在理性中存在着天赋观念，以此为原则并严格按照逻辑必然性进行推理就可以得到普遍必然的知识。与此同时，以洛克、休谟等哲学家为代表的英国经验主义，则强调人类的知识来自于对感知和经验归纳。这一定程度上是对绝对的真理的一种否定，人类的认识是存在主观的，随经验而变化的部分的。如果在这个思想的指导下，我们与其去寻找一套普世且完备的推理系统，不如去构造一套虽不完美但能够随着经验积累不断完善的学习系统。而休谟甚至提出了放弃揭示自然界的因果联系和必然规律，而是依据“习惯性联想”去描绘一连串的感觉印象。这其实和神经网络设计的初衷是非常类似的：重视经验的获得与归纳（通过样本进行学习），但对模型本身的严谨性与可解释行则没有那么关注，正如有时候我们愿意把神经网络模型看做是一个‘黑箱’。

然而单单一个‘黑箱’是不能成为经验的学习与整理的系统的，我们还需要去寻找构建‘黑箱’的一种方法论。现代哲学发展到20世纪初期时，在维特根斯坦和罗素等哲学家的倡导下，产生了逻辑经验主义学派。依托当时逻辑学的迅猛发展，这一主义既强调经验的作用，也重视通过严密的逻辑推理来得到结论，而非简单的归纳。在数理逻辑领域颇有建树的罗素有一位大名鼎鼎的学生诺伯特·维纳，他创立的控制论与系统论、信息论一道，为信息科学的发展提供了坚实的理论基础。而神经网络模型的创立也深受这‘三论’的影响。前文提到MCP神经元模型的两位创始人分别是罗素和维纳的学生。作为一个系统，神经网络接受外部的输入，得到输出，并根据环境进行反馈，对系统进行更新，直到达到稳定状态。这个过程，同样也是神经网络对环境信息传递的接受和重新编码的过程。如果如果把神经网络当做一个‘黑盒’，那么我们首先关心该是这个黑盒的输入与输出，以及如何根据环境给黑盒一个合理的反馈，使之能够进行调整。而黑盒内部的结构，则更多的成为了形式的问题。我们借鉴生物神经网络构造这个黑盒，恰好是一个好的解决方案，但这未必是唯一的解决方案或者说与人类大脑的神经元结构存在必然的联系。比如在统计学习领域中最着名的支持向量机（Support Vector Machines），最终是作为一种特殊的神经网络而提出的。可当其羽翼丰满之后，则和神经网络逐渐脱离关系，开启了机器学习的另一个门派。不同的模型形式之间可以互相转化，但是重视经验（样本），强调反馈的思想却一直保留下来。

前面说了这些，到底神经网络从何而来呢？总结下来就是三个方面吧：1.对理性逻辑的追求，对样本实证的重视，为神经网络的诞生提供了思想的基础。2.生物学与神经科学的发展为神经网络形式的出现提供了启发。3.计算机硬件的发展与计算能力的提升使神经网络从理想变成了现实。而这三方面的发展也催生着神经网络的进一步发展与深度学习的成熟：更大规模的数据，更完善的优化算法使网络能够学习到更多更准确的信息；对人脑的认识的提升启发设计出层次更深，结构更高效的网络结构；硬件存储与计算能力提升使海量数据的高效训练成为可能。而未来神经网络给我们带来的更多惊喜，也很大可能源自于这三个方面，让我们不妨多一些期待吧。

D. 人工智能和神经网络有什么联系与区别

联系：都是模仿人类行为的数学模型以及算法。神经网络的研究能促进或者加快人工智能的发展。

区别如下：

一、指代不同

1、人工智能：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

2、神经网络：是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。

二、方法不同

1、人工智能：企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

2、神经网络：依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

三、目的不同

1、人工智能：主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。

2、神经网络：具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。

E. 深度学习中什么是人工神经网络

人工神经网络（Artificial Neural Network，即ANN ）是从信息处理角度对人脑神经元网络进行抽象，是20世纪80年代以来人工智能领域兴起的研究热点，其本质是一种运算模型，由大量的节点（或称神经元）之间相互联接构成，在模式识别、智能机器人、自动控制、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。

人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统，它是在现代 神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。人工神经网络具有四个基本特征：

（1）非线性– 非线性关系是自然界的普遍特性，人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性

人工神经网络

由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。

总结:人工神经网络是一种非程序化、 适应性、大脑风格的信息处理 ，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。

F. 神经网络 的四个基本属性是什么

神经网络 的四个基本属性：

（1）非线性：非线性是自然界的普遍特征。脑智能是一种非线性现象。人工神经元处于两种不同的激活或抑制状态，它们在数学上是非线性的。由阈值神经元组成的网络具有更好的性能，可以提高网络的容错性和存储容量。

（2）无限制性：神经网络通常由多个连接广泛的神经元组成。一个系统的整体行为不仅取决于单个神经元的特性，而且还取决于单元之间的相互作用和互连。通过单元之间的大量连接来模拟大脑的非限制性。联想记忆是一个典型的无限制的例子。

（3）非常定性：人工神经网络具有自适应、自组织和自学习的能力。神经网络处理的信息不仅会发生变化，而且非线性动态系统本身也在发生变化。迭代过程通常用来描述动态系统的演化。

（4）非凸性：在一定条件下，系统的演化方向取决于特定的状态函数。例如，能量函数的极值对应于系统的相对稳定状态。非凸性是指函数具有多个极值，系统具有多个稳定平衡态，从而导致系统演化的多样性。

(6)神经网络由什么演化扩展阅读：

神经网络的特点优点：

人工神经网络的特点和优越性，主要表现在三个方面：

第一，具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。

第二，具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。

第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。

G. 人工神经网络的基础数学模型来自哪里

“纯意念控制”人工神经康复机器人系统2014年6月14日在天津大学和天津市人民医院共同举办的发表会上，由双方共同研制的人工神经康复机器人“神工一号”正式亮相。

人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。

基本特征：

（1）非线性非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。

（2）非局限性 一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。

（3）非常定性 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。

H. BP神经网络的起源学说

人工神经元的研究起源于脑神经元学说。19世纪末，在生物、生理学领域，Waldeger等人创建了神经元学说。人们认识到复杂的神经系统是由数目繁多的神经元组合而成。大脑皮层包括有100亿个以上的神经元，每立方毫米约有数万个，它们互相联结形成神经网络，通过感觉器官和神经接受来自身体内外的各种信息，传递至中枢神经系统内，经过对信息的分析和综合，再通过运动神经发出控制信息，以此来实现机体与内外环境的联系，协调全身的各种机能活动。 人工神经网络是由大量的简单基本元件——神经元相互联接而成的自适应非线性动态系统。每个神经元的结构和功能比较简单，但大量神经元组合产生的系统行为却非常复杂。
人工神经网络反映了人脑功能的若干基本特性，但并非生物系统的逼真描述，只是某种模仿、简化和抽象。与数字计算机比较，人工神经网络在构成原理和功能特点等方面更加接近人脑，它不是按给定的程序一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别或过程控制。神经元也和其他类型的细胞一样，包括有细胞膜、细胞质和细胞核。但是神经细胞的形态比较特殊，具有许多突起，因此又分为细胞体、轴突和树突三部分。细胞体内有细胞核，突起的作用是传递信息。树突是作为引入输入信号的突起，而轴突是作为输出端的突起，它只有一个。 若从速度的角度出发，人脑神经元之间传递信息的速度要远低于计算机，前者为毫秒量级，而后者的频率往往可达几百兆赫。但是，由于人脑是一个大规模并行与串行组合处理系统，因而，在许多问题上可以作出快速判断、决策和处理，其速度则远高于串行结构的普通计算机。人工神经网络的基本结构模仿人脑，具有并行处理特征，可以大大提高工作速度。
利用突触效能的变化来调整存贮内容
人脑存贮信息的特点为利用突触效能的变化来调整存贮内容，也即信息存贮在神经元之间连接强度的分布上，存贮区与计算机区合为一体。虽然人脑每日有大量神经细胞死亡 （平均每小时约一千个），但不影响大脑的正常思维活动。
普通计算机是具有相互独立的存贮器和运算器，知识存贮与数据运算互不相关，只有通过人编出的程序使之沟通，这种沟通不能超越程序编制者的预想。元器件的局部损坏及程序中的微小错误都可能引起严重的失常。
人类大脑有很强的自适应与自组织特性，后天的学习与训练可以开发许多各具特色的活动功能。如盲人的听觉和触觉非常灵敏；聋哑人善于运用手势；训练有素的运动员可以表现出非凡的运动技巧等等。
普通计算机的功能取决于程序中给出的知识和能力。显然，对于智能活动要通过总结编制程序将十分困难。

I. 人工神经网络的发展

现代意义上对神经网络（特指人工神经网络）的研究一般认为从1943年美国芝加哥大学的生理学家W.S. McCulloch和W.A. Pitts提出M-P神经元模型开始，到今年正好六十年。在这六十年中，神经网络的发展走过了一段曲折的道路。1965年M. Minsky和S. Papert在《感知机》一书中指出感知机的缺陷并表示出对这方面研究的悲观态度，使得神经网络的研究从兴起期进入了停滞期，这是神经网络发展史上的第一个转折。到了20世纪80年代初，J.J. Hopfield的工作和D. Rumelhart等人的PDP报告显示出神经网络的巨大潜力，使得该领域的研究从停滞期进入了繁荣期，这是神经网络发展史上的第二个转折。
到了20世纪90年代中后期，随着研究者们对神经网络的局限有了更清楚的认识，以及支持向量机等似乎更有前途的方法的出现，“神经网络”这个词不再象前些年那么“火爆”了。很多人认为神经网络的研究又开始陷入了低潮，并认为支持向量机将取代神经网络。有趣的是，着名学者C.-J. Lin于2003年1月在德国马克斯·普朗克研究所所做的报告中说，支持向量机虽然是一个非常热门的话题，但目前最主流的分类工具仍然是决策树和神经网络。由着名的支持向量机研究者说出这番话，显然有一种特殊的意味。
事实上，目前神经网络的境遇与1965年之后真正的低潮期相比有明显的不同。在1965年之后的很长一段时期里，美国和前苏联没有资助任何一项神经网络的研究课题，而今天世界各国对神经网络的研究仍然有大量的经费支持；1965年之后90%以上的神经网络研究者改变了研究方向，而今天无论是国际还是国内都有一支相对稳定的研究队伍。实际上，神经网络在1965年之后陷入低潮是因为当时该领域的研究在一定意义上遭到了否定，而今天的相对平静是因为该领域已经走向成熟，很多技术开始走进生产和生活，从而造成了原有研究空间的缩小。
在科学研究中通常有这么一个现象，当某个领域的论文大量涌现的时候，往往正是该领域很不成熟、研究空间很大的时候，而且由于这时候人们对该领域研究的局限缺乏清楚的认识，其热情往往具有很大的盲目性。从这个意义上说，过去若干年里各领域研究者一拥而上、各种专业刊物满眼“神经网络”的风光，其实是一种畸形繁荣的景象，而对神经网络的研究现在才进入了一个比较理智、正常的发展期。在这段时期中，通过对以往研究中存在的问题和局限进行反思，并适当借鉴相关领域的研究进展，将可望开拓新的研究空间，为该领域的进一步发展奠定基础。