人工神经网络如何解决灾难性遗忘

㈠ 人工神经网络综述

文章主要分为：
一、人工神经网络的概念；
二、人工神经网络的发展历史；
三、人工神经网络的特点；
四、人工神经网络的结构。
。。

人工神经网络（Artificial Neural Network，ANN）简称神经网络(NN)，是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。该模型以并行分布的处理能力、高容错性、智能化和自学习等能力为特征，将信息的加工和存储结合在一起，以其独特的知识表示方式和智能化的自适应学习能力，引起各学科领域的关注。它实际上是一个有大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。

神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激活函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重（weight），神经网络就是通过这种方式来模拟人类的记忆。网络的输出则取决于网络的结构、网络的连接方式、权重和激活函数。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。神经网络的构筑理念是受到生物的神经网络运作启发而产生的。人工神经网络则是把对生物神经网络的认识与数学统计模型相结合，借助数学统计工具来实现。另一方面在人工智能学的人工感知领域，我们通过数学统计学的方法，使神经网络能够具备类似于人的决定能力和简单的判断能力，这种方法是对传统逻辑学演算的进一步延伸。

人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。

神经网络，是一种应用类似于大脑神经突触连接结构进行信息处理的数学模型，它是在人类对自身大脑组织结合和思维机制的认识理解基础之上模拟出来的，它是根植于神经科学、数学、思维科学、人工智能、统计学、物理学、计算机科学以及工程科学的一门技术。

在介绍神经网络的发展历史之前，首先介绍一下神经网络的概念。神经网络主要是指一种仿造人脑设计的简化的计算模型，这种模型中包含了大量的用于计算的神经元，这些神经元之间会通过一些带有权重的连边以一种层次化的方式组织在一起。每一层的神经元之间可以进行大规模的并行计算，层与层之间进行消息的传递。

下图展示了整个神经网络的发展历程：

神经网络的发展有悠久的历史。其发展过程大致可以概括为如下4个阶段。

(1)、M-P神经网络模型：20世纪40年代，人们就开始了对神经网络的研究。1943 年，美国心理学家麦克洛奇（Mcculloch）和数学家皮兹（Pitts）提出了M-P模型，此模型比较简单，但是意义重大。在模型中，通过把神经元看作个功能逻辑器件来实现算法，从此开创了神经网络模型的理论研究。
(2)、Hebb规则：1949 年，心理学家赫布（Hebb）出版了《The Organization of Behavior》（行为组织学），他在书中提出了突触连接强度可变的假设。这个假设认为学习过程最终发生在神经元之间的突触部位，突触的连接强度随之突触前后神经元的活动而变化。这一假设发展成为后来神经网络中非常着名的Hebb规则。这一法则告诉人们，神经元之间突触的联系强度是可变的，这种可变性是学习和记忆的基础。Hebb法则为构造有学习功能的神经网络模型奠定了基础。
(3)、感知器模型：1957 年，罗森勃拉特（Rosenblatt）以M-P 模型为基础，提出了感知器（Perceptron）模型。感知器模型具有现代神经网络的基本原则，并且它的结构非常符合神经生理学。这是一个具有连续可调权值矢量的MP神经网络模型，经过训练可以达到对一定的输入矢量模式进行分类和识别的目的，它虽然比较简单，却是第一个真正意义上的神经网络。Rosenblatt 证明了两层感知器能够对输入进行分类，他还提出了带隐层处理元件的三层感知器这一重要的研究方向。Rosenblatt 的神经网络模型包含了一些现代神经计算机的基本原理，从而形成神经网络方法和技术的重大突破。
(4)、ADALINE网络模型： 1959年，美国着名工程师威德罗（B.Widrow）和霍夫（M.Hoff）等人提出了自适应线性元件(Adaptive linear element，简称Adaline)和Widrow-Hoff学习规则（又称最小均方差算法或称δ规则）的神经网络训练方法，并将其应用于实际工程，成为第一个用于解决实际问题的人工神经网络，促进了神经网络的研究应用和发展。ADALINE网络模型是一种连续取值的自适应线性神经元网络模型，可以用于自适应系统。

人工智能的创始人之一Minsky和Papert对以感知器为代表的网络系统的功能及局限性从数学上做了深入研究，于1969年发表了轰动一时《Perceptrons》一书，指出简单的线性感知器的功能是有限的，它无法解决线性不可分的两类样本的分类问题，如简单的线性感知器不可能实现“异或”的逻辑关系等。这一论断给当时人工神经元网络的研究带来沉重的打击。开始了神经网络发展史上长达10年的低潮期。
(1)、自组织神经网络SOM模型：1972年，芬兰的KohonenT.教授，提出了自组织神经网络SOM(Self-Organizing feature map)。后来的神经网络主要是根据KohonenT.的工作来实现的。SOM网络是一类无导师学习网络，主要用于模式识别﹑语音识别及分类问题。它采用一种“胜者为王”的竞争学习算法，与先前提出的感知器有很大的不同，同时它的学习训练方式是无指导训练，是一种自组织网络。这种学习训练方式往往是在不知道有哪些分类类型存在时，用作提取分类信息的一种训练。
(2)、自适应共振理论ART：1976年，美国Grossberg教授提出了着名的自适应共振理论ART(Adaptive Resonance Theory)，其学习过程具有自组织和自稳定的特征。

(1)、Hopfield模型：1982年，美国物理学家霍普菲尔德（Hopfield）提出了一种离散神经网络，即离散Hopfield网络，从而有力地推动了神经网络的研究。在网络中，它首次将李雅普诺夫（Lyapunov）函数引入其中，后来的研究学者也将Lyapunov函数称为能量函数。证明了网络的稳定性。1984年，Hopfield 又提出了一种连续神经网络，将网络中神经元的激活函数由离散型改为连续型。1985 年，Hopfield和Tank利用Hopfield神经网络解决了着名的旅行推销商问题（Travelling Salesman Problem）。Hopfield神经网络是一组非线性微分方程。Hopfield的模型不仅对人工神经网络信息存储和提取功能进行了非线性数学概括，提出了动力方程和学习方程，还对网络算法提供了重要公式和参数，使人工神经网络的构造和学习有了理论指导，在Hopfield模型的影响下，大量学者又激发起研究神经网络的热情，积极投身于这一学术领域中。因为Hopfield 神经网络在众多方面具有巨大潜力，所以人们对神经网络的研究十分地重视，更多的人开始了研究神经网络，极大地推动了神经网络的发展。
(2)、Boltzmann机模型：1983年，Kirkpatrick等人认识到模拟退火算法可用于NP完全组合优化问题的求解，这种模拟高温物体退火过程来找寻全局最优解的方法最早由Metropli等人1953年提出的。1984年，Hinton与年轻学者Sejnowski等合作提出了大规模并行网络学习机，并明确提出隐单元的概念，这种学习机后来被称为Boltzmann机。
Hinton和Sejnowsky利用统计物理学的感念和方法，首次提出的多层网络的学习算法，称为Boltzmann 机模型。
(3)、BP神经网络模型：1986年，儒默哈特（D.E.Ru melhart）等人在多层神经网络模型的基础上，提出了多层神经网络权值修正的反向传播学习算法----BP算法（Error Back-Propagation），解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习任务，解决许多实际问题。
(4)、并行分布处理理论：1986年，由Rumelhart和McCkekkand主编的《Parallel Distributed Processing：Exploration in the Microstructures of Cognition》，该书中，他们建立了并行分布处理理论，主要致力于认知的微观研究，同时对具有非线性连续转移函数的多层前馈网络的误差反向传播算法即BP算法进行了详尽的分析，解决了长期以来没有权值调整有效算法的难题。可以求解感知机所不能解决的问题，回答了《Perceptrons》一书中关于神经网络局限性的问题，从实践上证实了人工神经网络有很强的运算能力。
(5)、细胞神经网络模型：1988年，Chua和Yang提出了细胞神经网络（CNN）模型，它是一个细胞自动机特性的大规模非线性计算机仿真系统。Kosko建立了双向联想存储模型（BAM），它具有非监督学习能力。
(6)、Darwinism模型：Edelman提出的Darwinism模型在90年代初产生了很大的影响，他建立了一种神经网络系统理论。
(7)、1988年，Linsker对感知机网络提出了新的自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。
(8)、1988年，Broomhead和Lowe用径向基函数(Radialbasis function, RBF)提出分层网络的设计方法，从而将NN的设计与数值分析和线性适应滤波相挂钩。
(9)、1991年，Haken把协同引入神经网络，在他的理论框架中，他认为，认知过程是自发的，并断言模式识别过程即是模式形成过程。
(10)、1994年，廖晓昕关于细胞神经网络的数学理论与基础的提出，带来了这个领域新的进展。通过拓广神经网络的激活函数类，给出了更一般的时滞细胞神经网络(DCNN)、Hopfield神经网络（HNN）、双向联想记忆网络（BAM）模型。
(11)、90年代初，Vapnik等提出了支持向量机(Supportvector machines, SVM)和VC(Vapnik-Chervonenkis)维数的概念。
经过多年的发展，已有上百种的神经网络模型被提出。

深度学习(Deep Learning,DL)由Hinton等人于2006年提出，是机器学习的一个新领域。深度学习本质上是构建含有多隐层的机器学习架构模型，通过大规模数据进行训练，得到大量更具代表性的特征信息。深度学习算法打破了传统神经网络对层数的限制，可根据设计者需要选择网络层数。

突触是神经元之间相互连接的接口部分，即一个神经元的神经末梢与另一个神经元的树突相接触的交界面，位于神经元的神经末梢尾端。突触是轴突的终端。
大脑可视作为1000多亿神经元组成的神经网络。神经元的信息传递和处理是一种电化学活动．树突由于电化学作用接受外界的刺激，通过胞体内的活动体现为轴突电位，当轴突电位达到一定的值则形成神经脉冲或动作电位；再通过轴突末梢传递给其它的神经元．从控制论的观点来看；这一过程可以看作一个多输入单输出非线性系统的动态过程。
神经元的功能特性：（1）时空整合功能；（2）神经元的动态极化性；（3）兴奋与抑制状态；（4）结构的可塑性；（5）脉冲与电位信号的转换；（6）突触延期和不应期；（7）学习、遗忘和疲劳。

神经网络从两个方面模拟大脑：
(1)、神经网络获取的知识是从外界环境中学习得来的。
(2)、内部神经元的连接强度，即突触权值，用于储存获取的知识。
神经网络系统由能够处理人类大脑不同部分之间信息传递的由大量神经元连接形成的拓扑结构组成，依赖于这些庞大的神经元数目和它们之间的联系，人类的大脑能够收到输入的信息的刺激由分布式并行处理的神经元相互连接进行非线性映射处理，从而实现复杂的信息处理和推理任务。
对于某个处理单元（神经元）来说，假设来自其他处理单元（神经元）i的信息为Xi，它们与本处理单元的互相作用强度即连接权值为Wi, i=0,1,…,n-1,处理单元的内部阈值为θ。那么本处理单元（神经元）的输入为：

，而处理单元的输出为：

式中，xi为第i个元素的输入，wi为第i个处理单元与本处理单元的互联权重即神经元连接权值。f称为激活函数或作用函数，它决定节点（神经元）的输出。θ表示隐含层神经节点的阈值。

神经网络的主要工作是建立模型和确定权值，一般有前向型和反馈型两种网络结构。通常神经网络的学习和训练需要一组输入数据和输出数据对，选择网络模型和传递、训练函数后，神经网络计算得到输出结果，根据实际输出和期望输出之间的误差进行权值的修正，在网络进行判断的时候就只有输入数据而没有预期的输出结果。神经网络一个相当重要的能力是其网络能通过它的神经元权值和阈值的不断调整从环境中进行学习，直到网络的输出误差达到预期的结果，就认为网络训练结束。

对于这样一种多输入、单输出的基本单元可以进一步从生物化学、电生物学、数学等方面给出描述其功能的模型。利用大量神经元相互连接组成的人工神经网络，将显示出人脑的若干特征，人工神经网络也具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重wij值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以至超过设计者原有的知识水平。通常，它的学习(或训练)方式可分为两种，一种是有监督(supervised)或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督(unsupervised)学习或称无导师学习，这时，只规定学习方式或某些规则，而具体的学习内容随系统所处环境(即输入信号情况)而异，系统可以自动发现环境特征和规律性，具有更近似于人脑的功能。
在人工神经网络设计及应用研究中，通常需要考虑三个方面的内容，即神经元激活函数、神经元之间的连接形式和网络的学习(训练)。

㈡ 人工神经网络的作用

人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

最近十多年来，人工神经网络的研究工作不断深入，已经取得了很大的进展，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。

中文名
人工神经网络
外文名
artificial neural network
别称
ANN
应用学科
人工智能
适用领域范围
模式分类
精品荐读

“蠢萌”的神经网络
作者：牛油果进化论
快速
导航
基本特征

发展历史

网络模型

学习类型

分析方法

特点优点

研究方向

发展趋势

应用分析
神经元
如图所示
a1~an为输入向量的各个分量
w1~wn为神经元各个突触的权值
b为偏置
f为传递函数，通常为非线性函数。以下默认为hardlim()
t为神经元输出
数学表示 t=f(WA'+b)
W为权向量
A为输入向量，A'为A向量的转置
b为偏置
f为传递函数
可见，一个神经元的功能是求得输入向量与权向量的内积后，经一个非线性传递函数得到一个标量结果。
单个神经元的作用：把一个n维向量空间用一个超平面分割成两部分（称之为判断边界），给定一个输入向量，神经元可以判断出这个向量位于超平面的哪一边。
该超平面的方程: Wp+b=0
W权向量
b偏置
p超平面上的向量
基本特征
人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。
人工神经网络具有四个基本特征：
（1）非线性 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。
人工神经网络
（2）非局限性 一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。
（3）非常定性 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。
（4）非凸性 一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性

㈢ 机器学习之人工神经网络算法

机器学习中有一个重要的算法，那就是人工神经网络算法，听到这个名称相信大家能够想到人体中的神经。其实这种算法和人工神经有一点点相似。当然，这种算法能够解决很多的问题，因此在机器学习中有着很高的地位。下面我们就给大家介绍一下关于人工神经网络算法的知识。
1.神经网络的来源
我们听到神经网络的时候也时候近一段时间，其实神经网络出现有了一段时间了。神经网络的诞生起源于对大脑工作机理的研究。早期生物界学者们使用神经网络来模拟大脑。机器学习的学者们使用神经网络进行机器学习的实验，发现在视觉与语音的识别上效果都相当好。在BP算法诞生以后，神经网络的发展进入了一个热潮。
2.神经网络的原理
那么神经网络的学习机理是什么？简单来说，就是分解与整合。一个复杂的图像变成了大量的细节进入神经元，神经元处理以后再进行整合，最后得出了看到的是正确的结论。这就是大脑视觉识别的机理，也是神经网络工作的机理。所以可以看出神经网络有很明显的优点。
3.神经网络的逻辑架构
让我们看一个简单的神经网络的逻辑架构。在这个网络中，分成输入层，隐藏层，和输出层。输入层负责接收信号，隐藏层负责对数据的分解与处理，最后的结果被整合到输出层。每层中的一个圆代表一个处理单元，可以认为是模拟了一个神经元，若干个处理单元组成了一个层，若干个层再组成了一个网络，也就是”神经网络”。在神经网络中，每个处理单元事实上就是一个逻辑回归模型，逻辑回归模型接收上层的输入，把模型的预测结果作为输出传输到下一个层次。通过这样的过程，神经网络可以完成非常复杂的非线性分类。
4.神经网络的应用。
图像识别领域是神经网络中的一个着名应用，这个程序是一个基于多个隐层构建的神经网络。通过这个程序可以识别多种手写数字，并且达到很高的识别精度与拥有较好的鲁棒性。可以看出，随着层次的不断深入，越深的层次处理的细节越低。但是进入90年代，神经网络的发展进入了一个瓶颈期。其主要原因是尽管有BP算法的加速，神经网络的训练过程仍然很困难。因此90年代后期支持向量机算法取代了神经网络的地位。
在这篇文章中我们大家介绍了关于神经网络的相关知识，具体的内容就是神经网络的起源、神经网络的原理、神经网络的逻辑架构和神经网络的应用，相信大家看到这里对神经网络知识有了一定的了解，希望这篇文章能够帮助到大家。

㈣ 人工智能神经网络论文

随着科学技术的发展，人工神经网络技术得到了空前的发展，并且在诸多领域得到了广泛的应用，为人工智能化的发展提供了强大的动力。以下是我整理分享的人工智能神经网络论文的相关资料，欢迎阅读!

人工智能神经网络论文篇一

人工神经网络的发展及应用

摘要随着科学技术的发展，人工神经网络技术得到了空前的发展，并且在诸多领域得到了广泛的应用，为人工智能化的发展提供了强大的动力。人工神经网络的发展经历了不同的阶段，是人工智能的重要组成部分，并且在发展过程中形成了自身独特的特点。文章对人工神经网络的发展历程进行回顾，并对其在各个领域的应用情况进行探讨。

关键词人工神经网络;发展;应用

随着科学技术的发展，各个行业和领域都在进行人工智能化的研究工作，已经成为专家学者研究的热点。人工神经网络就是在人工智能基础上发展而来的重要分支，对人工智能的发展具有重要的促进作用。人工神经网络从形成之初发展至今，经历了不同的发展阶段，并且在经济、生物、医学等领域得到了广泛的应用，解决了许多技术上的难题。

1人工神经网络概述

关于人工神经网络，到目前为止还没有一个得到广泛认可的统一定义，综合各专家学者的观点可以将人工神经网络简单的概括为是模仿人脑的结构和功能的计算机信息处理系统[1]。人工神经网络具有自身的发展特性，其具有很强的并行结构以及并行处理的能力，在实时和动态控制时能够起到很好的作用;人工神经网络具有非线性映射的特性，对处理非线性控制的问题时能给予一定的帮助;人工神经网络可以通过训练掌握数据归纳和处理的能力，因此在数学模型等难以处理时对问题进行解决;人工神经网络的适应性和集成性很强，能够适应不同规模的信息处理和大规模集成数据的处理与控制;人工神经网络不但在软件技术上比较成熟，而且近年来在硬件方面也得到了较大发展，提高了人工神经网络系统的信息处理能力。

2人工神经网络的发展历程

2.1 萌芽时期

在20世纪40年代，生物学家McCulloch与数学家Pitts共同发表文章，第一次提出了关于神经元的模型M-P模型，这一理论的提出为神经网络模型的研究和开发奠定了基础，在此基础上人工神经网络研究逐渐展开。1951年，心理学家Hebb提出了关于连接权数值强化的法则，为神经网络的学习功能开发进行了铺垫。之后生物学家Eccles通过实验证实了突触的真实分流，为神经网络研究突触的模拟功能提供了真实的模型基础以及生物学的依据[2]。随后，出现了能够模拟行为以及条件反射的处理机和自适应线性网络模型，提高了人工神经网络的速度和精准度。这一系列研究成果的出现为人工神经网络的形成和发展提供了可能。

2.2 低谷时期

在人工神经网络形成的初期，人们只是热衷于对它的研究，却对其自身的局限进行了忽视。Minskyh和Papert通过多年对神经网络的研究，在1969年对之前所取得的研究成果提出了质疑，认为当前研究出的神经网络只合适处理比较简单的线性问题，对于非线性问题以及多层网络问题却无法解决。由于他们的质疑，使神经网络的发展进入了低谷时期，但是在这一时期，专家和学者也并没有停止对神经网络的研究，针对他们的质疑也得出一些相应的研究成果。

2.3 复兴时期

美国的物理学家Hopfield在1982年提出了新的神经网络模型，并通过实验证明在满足一定的条件时，神经网络是能够达到稳定的状态的。通过他的研究和带动，众多专家学者又重新开始了对人工神经网络方面的研究，推动了神经网络的再一次发展[3]。经过专家学者的不断努力，提出了各种不同的人工神经网络的模型，神经网络理论研究不断深化，新的理论和方法层出不穷，使神经网络的研究和应用进入了一个崭新的时期。

2.4 稳步发展时期

随着人工神经网络研究在世界范围内的再次兴起，我国也迎来了相关理论研究的热潮，在人工神经网络和计算机技术方面取得了突破性的进展。到20世纪90年代时，国内对于神经网络领域的研究得到了进一步的完善和发展，而且能够利用神经网络对非线性的系统控制问题进行解决，研究成果显着。随着各类人工神经网络的相关刊物的创建和相关学术会议的召开，我国人工神经网络的研究和应用条件逐步改善，得到了国际的关注。

随着人工神经网络的稳步发展，逐渐建立了光学神经网络系统，利用光学的强大功能，提高了人工神经网络的学习能力和自适应能力。对非线性动态系统的控制问题，采取有效措施，提高超平面的光滑性，对其精度进行改进。之后有专家提出了关于人工神经网络的抽取算法，虽然保证了精度，但也加大了消耗，在一定程度上降低了神经网络的效率，因此在此基础上又提出了改进算法FERNN。混沌神经网络的发展也得到了相应的进步，提高了神经网络的泛化能力。

3人工神经网络的应用

3.1 在信息领域中的应用

人工神经网络在信息领域中的应用主要体现在信息处理和模式识别两个方面。由于科技的发展，当代信息处理工作越来越复杂，利用人工神经网络系统可以对人的思维进行模仿甚至是替代，面对问题自动诊断和解决，能够轻松解决许多传统方法无法解决的问题，在军事信息处理中的应用极为广泛[4]。模式识别是对事物表象的各种信息进行整理和分析，对事物进行辨别和解释的一个过程，这样对信息进行处理的过程与人类大脑的思维方式很相像。模式识别的方法可以分为两种，一种是统计模式识别，还有一种是结构模式识别，在语音识别和指纹识别等方面得到了广泛的应用。

3.2 在医学领域的应用

人工神经网络对于非线性问题处理十分有效，而人体的构成和疾病形成的原因十分复杂，具有不可预测性，在生物信号的表现形式和变化规律上也很难掌握，信息检测和分析等诸多方面都存在着复杂的非线性联系，所以应用人工神经网络决解这些非线性问题具有特殊意义[5]。目前，在医学领域中的应用涉及到理论和临床的各个方面，最主要的是生物信号的检测和自动分析以及专家系统等方面的应用。

3.3 在经济领域中的应用

经济领域中的商品价格、供需关系、风险系数等方面的信息构成也十分复杂且变幻莫测，人工神经网络可以对不完整的信息以及模糊不确定的信息进行简单明了的处理，与传统的经济统计方法相比具有其无法比拟的优势，数据分析的稳定性和可靠性更强。

3.4 在其他领域的应用

人工神经网络在控制领域、交通领域、心理学领域等方面都有很广泛的应用，能够对高难度的非线性问题进行处理，对交通运输方面进行集成式的管理，以其高适应性和优秀的模拟性能解决了许多传统方法无法解决的问题，促进了各个领域的快速发展。

4总结

随着科技的发展，人工智能系统将进入更加高级的发展阶段，人工神经网络也将得到更快的发展和更加广泛的应用。人工神经网络也许无法完全对人脑进行取代，但是其特有的非线性信息处理能力解决了许多人工无法解决的问题，在智能系统的各个领域中得到成功应用，今后的发展趋势将向着更加智能和集成的方向发展。

参考文献

[1]徐用懋，冯恩波.人工神经网络的发展及其在控制中的应用[J].化工进展，1993(5)：8-12，20.

[2]汤素丽，罗宇锋.人工神经网络技术的发展与应用[J].电脑开发与应用，2009(10)：59-61.

[3]李会玲，柴秋燕.人工神经网络与神经网络控制的发展及展望[J].邢台职业技术学院学报，2009(5)：44-46.

[4]过效杰，祝彦知.人工神经网络的发展及其在岩土工程领域研究现状[J].河南水利，2004(1)：22-23.

[5]崔永华.基于人工神经网络的河流汇流预报模型及应用研究[D].郑州大学，2006.

下一页分享更优秀的<<<人工智能神经网络论文

㈤ 人工智能：什么是人工神经网络

许多 人工智能 计算机系统的核心技术是人工神经网络(ANN)，而这种网络的灵感来源于人类大脑中的生物结构。

通过使用连接的“神经元”结构，这些网络可以通过“学习”并在没有人类参与的情况下处理和评估某些数据。

这样的实际实例之一是使用人工神经网络(ANN)识别图像中的对象。在构建一个识别“猫“图像的一个系统中，将在包含标记为“猫”的图像的数据集上训练人工神经网络，该数据集可用作任何进行分析的参考点。正如人们可能学会根据尾巴或皮毛等独特特征来识别狗一样，人工神经网络(ANN)也可以通过将每个图像分解成不同的组成部分(如颜色和形状)进行识别。

实际上，神经网络提供了位于托管数据之上的排序和分类级别，可基于相似度来辅助数据的聚类和分组。可以使用人工神经网络(ANN)生成复杂的垃圾邮件过滤器，查找欺诈行为的算法以及可以精确了解情绪的客户关系工具。

人工神经网络如何工作

人工神经网络的灵感来自人脑的神经组织，使用类似于神经元的计算节点构造而成，这些节点沿着通道(如神经突触的工作方式)进行信息交互。这意味着一个计算节点的输出将影响另一个计算节点的处理。

神经网络标志着人工智能发展的巨大飞跃，在此之前，人工智能一直依赖于使用预定义的过程和定期的人工干预来产生所需的结果。人工神经网络可以使分析负载分布在多个互连层的网络中，每个互连层包含互连节点。在处理信息并对其进行场景处理之后，信息将传递到下一个节点，然后向下传递到各个层。这个想法是允许将其他场景信息接入网络，以通知每个阶段的处理。

单个“隐藏”层神经网络的基本结构

就像渔网的结构一样，神经网络的一个单层使用链将处理节点连接在一起。大量的连接使这些节点之间的通信得到增强，从而提高了准确性和数据处理吞吐量。

然后，人工神经网络将许多这样的层相互叠放以分析数据，从而创建从第一层到最后一层的输入和输出数据流。尽管其层数将根据人工神经网络的性质及其任务而变化，但其想法是将数据从一层传递到另一层，并随其添加附加的场景信息。

人脑是用3D矩阵连接起来的，而不是大量堆叠的图层。就像人类大脑一样，节点在接收到特定刺激时会在人工神经网络上“发射”信号，并将信号传递到另一个节点。但是，对于人工神经网络，输入信号定义为实数，输出为各种输入的总和。

这些输入的值取决于它们的权重，该权重用于增加或减少与正在执行的任务相对应的输入数据的重要性。其目标是采用任意数量的二进制数值输入并将其转换为单个二进制数值输出。

更复杂的神经网络提高了数据分析的复杂性

早期的神经网络模型使用浅层结构，其中只使用一个输入和输出层。而现代的系统由一个输入层和一个输出层组成，其中输入层首先将数据输入网络，多个“隐藏”层增加了数据分析的复杂性。

这就是“深度学习”一词的由来——“深度”部分专门指任何使用多个“隐藏”层的神经网络。

聚会的例子

为了说明人工神经网络在实际中是如何工作的，我们将其简化为一个实际示例。

想象一下你被邀请参加一个聚会，而你正在决定是否参加，这可能需要权衡利弊，并将各种因素纳入决策过程。在此示例中，只选择三个因素——“我的朋友会去吗?”、“聚会地点远吗?”、“天气会好吗?”

通过将这些考虑因素转换为二进制数值，可以使用人工神经网络对该过程进行建模。例如，我们可以为“天气”指定一个二进制数值，即‘1'代表晴天，‘0'代表恶劣天气。每个决定因素将重复相同的格式。

然而，仅仅赋值是不够的，因为这不能帮助你做出决定。为此需要定义一个阈值，即积极因素的数量超过消极因素的数量。根据二进制数值，合适的阈值可以是“2”。换句话说，在决定参加聚会之前，需要两个因素的阈值都是“1”，你才会决定去参加聚会。如果你的朋友要参加聚会(‘1')，并且天气很好(‘1')，那么这就表示你可以参加聚会。

如果天气不好(‘0')，并且聚会地点很远(‘0')，则达不到这一阈值，即使你的朋友参加(‘1')，你也不会参加聚会。

神经加权

诚然，这是神经网络基本原理的一个非常基本的例子，但希望它有助于突出二进制值和阈值的概念。然而，决策过程要比这个例子复杂得多，而且通常情况下，一个因素比另一个因素对决策过程的影响更大。

要创建这种变化，可以使用“神经加权”——-通过乘以因素的权重来确定因素的二进制值对其他因素的重要性。

尽管示例中的每个注意事项都可能使你难以决策，但你可能会更重视其中一个或两个因素。如果你不愿意在大雨中出行去聚会，那恶劣的天气将会超过其他两个考虑因素。在这一示例中，可以通过赋予更高的权重来更加重视天气因素的二进制值：

天气= w5

朋友= w2

距离= w2

如果假设阈值现在已设置为6，则恶劣的天气(值为0)将阻止其余输入达到所需的阈值，因此该节点将不会“触发”(这意味着你将决定不参加聚会)。

虽然这是一个简单的示例，但它提供了基于提供的权重做出决策的概述。如果要将其推断为图像识别系统，则是否参加聚会(输入)的各种考虑因素将是给定图像的折衷特征，即颜色、大小或形状。例如，对识别狗进行训练的系统可以对形状或颜色赋予更大的权重。

当神经网络处于训练状态时，权重和阈值将设置为随机值。然后，当训练数据通过网络传递时将不断进行调整，直到获得一致的输出为止。

神经网络的好处

神经网络可以有机地学习。也就是说，神经网络的输出结果并不受输入数据的完全限制。人工神经网络可以概括输入数据，使其在模式识别系统中具有价值。

他们还可以找到实现计算密集型答案的捷径。人工神经网络可以推断数据点之间的关系，而不是期望数据源中的记录是明确关联的。

它们也可以是容错的。当神经网络扩展到多个系统时，它们可以绕过无法通信的缺失节点。除了围绕网络中不再起作用的部分进行路由之外，人工神经网络还可以通过推理重新生成数据，并帮助确定不起作用的节点。这对于网络的自诊断和调试非常有用。

但是，深度神经网络提供的最大优势是能够处理和聚类非结构化数据，例如图片、音频文件、视频、文本、数字等数据。在分析层次结构中，每一层节点都在前一层的输出上进行训练，深层神经网络能够处理大量的这种非结构化数据，以便在人类处理分析之前找到相似之处。

神经网络的例子

神经网络应用还有许多示例，可以利用它从复杂或不精确数据中获得见解的能力。

图像识别人工神经网络可以解决诸如分析特定物体的照片等问题。这种算法可以用来区分狗和猫。更重要的是，神经网络已经被用于只使用细胞形状信息来诊断癌症。

近30年来，金融神经网络被用于汇率预测、股票表现和选择预测。神经网络也被用来确定贷款信用评分，学习正确识别良好的或糟糕的信用风险。而电信神经网络已被电信公司用于通过实时评估网络流量来优化路由和服务质量。

㈥ 人工神经网络的应用分析

经过几十年的发展，神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功。下面介绍神经网络在一些领域中的应用现状。 在处理许多问题中，信息来源既不完整，又包含假象，决策规则有时相互矛盾，有时无章可循，这给传统的信息处理方式带来了很大的困难，而神经网络却能很好的处理这些问题，并给出合理的识别与判断。
1.信息处理
现代信息处理要解决的问题是很复杂的，人工神经网络具有模仿或代替与人的思维有关的功能， 可以实现自动诊断、问题求解，解决传统方法所不能或难以解决的问题。人工神经网络系统具有很高的容错性、鲁棒性及自组织性，即使连接线遭到很高程度的破坏， 它仍能处在优化工作状态，这点在军事系统电子设备中得到广泛的应用。现有的智能信息系统有智能仪器、自动跟踪监测仪器系统、自动控制制导系统、自动故障诊断和报警系统等。
2. 模式识别
模式识别是对表征事物或现象的各种形式的信息进行处理和分析，来对事物或现象进行描述、辨认、分类和解释的过程。该技术以贝叶斯概率论和申农的信息论为理论基础，对信息的处理过程更接近人类大脑的逻辑思维过程。现在有两种基本的模式识别方法，即统计模式识别方法和结构模式识别方法。人工神经网络是模式识别中的常用方法，近年来发展起来的人工神经网络模式的识别方法逐渐取代传统的模式识别方法。经过多年的研究和发展，模式识别已成为当前比较先进的技术，被广泛应用到文字识别、语音识别、指纹识别、遥感图像识别、人脸识别、手写体字符的识别、工业故障检测、精确制导等方面。 由于人体和疾病的复杂性、不可预测性，在生物信号与信息的表现形式上、变化规律（自身变化与医学干预后变化）上，对其进行检测与信号表达，获取的数据及信息的分析、决策等诸多方面都存在非常复杂的非线性联系，适合人工神经网络的应用。目前的研究几乎涉及从基础医学到临床医学的各个方面，主要应用在生物信号的检测与自动分析，医学专家系统等。
1. 生物信号的检测与分析
大部分医学检测设备都是以连续波形的方式输出数据的，这些波形是诊断的依据。人工神经网络是由大量的简单处理单元连接而成的自适应动力学系统， 具有巨量并行性，分布式存贮，自适应学习的自组织等功能，可以用它来解决生物医学信号分析处理中常规法难以解决或无法解决的问题。神经网络在生物医学信号检测与处理中的应用主要集中在对脑电信号的分析，听觉诱发电位信号的提取、肌电和胃肠电等信号的识别，心电信号的压缩，医学图像的识别和处理等。
2. 医学专家系统
传统的专家系统，是把专家的经验和知识以规则的形式存储在计算机中，建立知识库，用逻辑推理的方式进行医疗诊断。但是在实际应用中，随着数据库规模的增大，将导致知识“爆炸”，在知识获取途径中也存在“瓶颈”问题，致使工作效率很低。以非线性并行处理为基础的神经网络为专家系统的研究指明了新的发展方向， 解决了专家系统的以上问题，并提高了知识的推理、自组织、自学习能力，从而神经网络在医学专家系统中得到广泛的应用和发展。在麻醉与危重医学等相关领域的研究中，涉及到多生理变量的分析与预测，在临床数据中存在着一些尚未发现或无确切证据的关系与现象，信号的处理，干扰信号的自动区分检测，各种临床状况的预测等，都可以应用到人工神经网络技术。 1. 市场价格预测
对商品价格变动的分析，可归结为对影响市场供求关系的诸多因素的综合分析。传统的统计经济学方法因其固有的局限性，难以对价格变动做出科学的预测，而人工神经网络容易处理不完整的、模糊不确定或规律性不明显的数据，所以用人工神经网络进行价格预测是有着传统方法无法相比的优势。从市场价格的确定机制出发，依据影响商品价格的家庭户数、人均可支配收入、贷款利率、城市化水平等复杂、多变的因素，建立较为准确可靠的模型。该模型可以对商品价格的变动趋势进行科学预测，并得到准确客观的评价结果。
2. 风险评估
风险是指在从事某项特定活动的过程中，因其存在的不确定性而产生的经济或财务的损失、自然破坏或损伤的可能性。防范风险的最佳办法就是事先对风险做出科学的预测和评估。应用人工神经网络的预测思想是根据具体现实的风险来源， 构造出适合实际情况的信用风险模型的结构和算法，得到风险评价系数，然后确定实际问题的解决方案。利用该模型进行实证分析能够弥补主观评估的不足，可以取得满意效果。 从神经网络模型的形成开始，它就与心理学就有着密不可分的联系。神经网络抽象于神经元的信息处理功能，神经网络的训练则反映了感觉、记忆、学习等认知过程。人们通过不断地研究， 变化着人工神经网络的结构模型和学习规则，从不同角度探讨着神经网络的认知功能，为其在心理学的研究中奠定了坚实的基础。近年来，人工神经网络模型已经成为探讨社会认知、记忆、学习等高级心理过程机制的不可或缺的工具。人工神经网络模型还可以对脑损伤病人的认知缺陷进行研究，对传统的认知定位机制提出了挑战。
虽然人工神经网络已经取得了一定的进步，但是还存在许多缺陷，例如：应用的面不够宽阔、结果不够精确；现有模型算法的训练速度不够高；算法的集成度不够高；同时我们希望在理论上寻找新的突破点， 建立新的通用模型和算法。需进一步对生物神经元系统进行研究，不断丰富人们对人脑神经的认识。

㈦ 记忆的目标是优化决策，记忆的短暂性和持久性一样重要

①记忆具有短暂性的最直观原因是为新记忆腾地方。②然而，大脑有很多的神经元和突触，似乎能存储的记忆比一个人实际能存储的要多很多。据估计，人类大脑中大约有800-900亿个神经元(Azevedo et al., 2009).，如果只为特定事件的记忆保留十分之一的容量，那么根据对自联想网络容量的计算估计，一个人可以可靠地存储大约10亿个人的记忆 (Amit et al., 1985)。 此外，当我们考虑稀疏编码的记忆时，这个数字可以增加几个数量级 (Amari, 1989)。③显然，记忆的容量比实际上要的多，那为什么进化却让人的大脑不能如实记忆信息？换言之，既然记忆的持久性有看似明显的好处，那记忆的短暂性是否有其他好处？

①我们认为，在这一个既变化又嘈杂的世界中，记忆短暂性是必需的。在不断变化的环境中，遗忘是适应性的，因为它允许更灵活的行为；在嘈杂的世界中，遗忘是适应性的，因为它防止了对特殊事件的过度拟合。②基于这一观点，记忆的永久性并不总是有用的，例如，对于世界上短暂或不常见的方面，记忆的持久性将是有害的，因为它可能导致不灵活的行为、不正确的预测；而只有在保持经验的那些相对稳定、预测新经验的方面时，持久性才是有用的。③因此，只有通过持久性和短暂性的相互作用，记忆才能表现出真正的目的：利用过去智能指导决策(Dudai and Carruthers,2005; Schacter et al., 2007).④下面，我们回顾了使用短暂性来增加行为灵活性和促进泛化的计算案例。此外，我们还确定了短暂性在计算上的使用方式和它在大脑中的实现方式之间的相似性。

神经网络：

对于使用分布式表示的神经网络，新的学习是一个重大的挑战(French,1999;Lewandowsky and Li, 1995; McCloskey and Cohen, 1989; Ratcliff,1990)。挑战有两个方面：新的学习可能会覆盖以前的记忆（即灾难性干扰）；新的学习又会受到已有记忆的阻碍（即积极主动的相互干扰） (Burgess et al., 1991; McCloskey and Cohen, 1989; Palm, 2013; Siegle and Hasselmo, 2002)。这是神经网络中的“稳定性与可塑性”困境(Abraham and Robins, 2005; Carpenter and Grossberg, 1987)。根据传统的观点，记忆的持久性与行为的灵活性是不相容的，因为一个善于保持持久记忆的网络将很难学习新的信息，特别是如果它与以前的经验相冲突的话。

然而，最近使用外部记忆设备或突触的神经网络模型在多个时间尺度上变化，挑战了这种困境的普遍性 (Graves et al., 2016; Kirkpatrick et al., 2017; Santoro et al., 2016)。此外，大脑可以用来解决这个难题的另一个策略是使用正交表示，对经验进行稀疏编码，这可能是由模式分离过程引起的(Yassa and Stark, 2011)。记忆的语境依赖性就是这种策略的一个例子：通过保持正交模式，在特定语境中编码的记忆更可能在该语境中表达，而不是在其他语境中 (Maren et al.,2013)。这种策略最大限度地增加了可以在不受干扰的情况下可以存储在神经网络中的模式数量(Amari, 1989).。

大脑：

然而，在动态环境中，无论容量有何限制，丢弃过时的信息也很重要 (Kraemer and Golding, 1997)。如果环境改变了，但我们的记忆没有改变，那么我们可能会坚持旧记忆，损害我们自己。因此，短暂性可以通过消除过时的信息来促进决策，从而使有机体能够更有效地应对其环境的变化。

最近的研究提供了证据，证明遗忘是动态环境中灵活行为所必需的(Dong et al., 2016; Epp et al., 2016; Shuai et al., 2010)。Shuai和他的同事训练苍蝇辨别两种气味（A和B），并发现抑制Rac1能减缓遗忘。抑制RAC1的苍蝇组表现出逆转学习（A-或B+）受损，说明保留的记忆影响了新的学习；激活RAC1的苍蝇组结果相反，旧记忆的遗忘促进了逆转学习。这种模式的结果扩展到五种不同的苍蝇，它们被设计来表达与自闭症谱系障碍相关的突变，而自闭症谱系障碍也会干扰Rac的活动，所有这些Rac功能受损的苍蝇都表现出遗忘受损，而这反过来又损害了反向学习(Shuai et al., 2010)

别的研究也表明了相同的结果。Epp and colleagues (2016)研究了遗忘（由神经发生介导）后的逆转学习，实验中，他们训练老鼠在水迷宫中找到位置固定的平台，随后在同一个迷宫中对小鼠进行再训练，但平台被移到相反的位置。结果是，海马神经发生水平增强的小鼠能更有效地找到新的平台位置（海马神经发生的增加将会导致最初位置的遗忘）；而海马神经发生水平降低的小鼠时，观察到相反的模式，因为神经发生的抑制维持了最初位置的记忆，干扰了新位置的学习。

在情境-气味配对任务中也观察到类似的结果 (Epp et al., 2016)。训练后，神经发生的增加会导致已学的成对关联的遗忘，但有助于随后的反向学习。但是，这种促进并不是在任何学习中都适用，只有在与原始学习有明显冲突的情况下，才能观察到新学习的益处，比如，神经发生增加的小鼠若接受的是一种新的环境-气味配对训练时，没有表现出益处。这些发现表明，成人海马神经发生促进遗忘，遗忘通过去除或削弱过时信息增强行为灵活性。研究神经发生和灵活性之间关系的相关论文有：Burghardt et al. (2012); Garthe et al. (2009), (2016); Luu et al. (2012); Swan et al. (2014); and Winocur et al. (2012).

引用文献：

Azevedo et al., 2009：我们发现成年男性大脑中平均含有861±81亿个神经细胞（神经元）和846±98亿个神经细胞（非神经元）。就神经元和非神经元细胞的数量而言，人类大脑是一个等距放大的灵长类大脑。

Amari, 1989：当要存储的编码模式的大部分组件是0，只有一小部分组件的比率是1时，编码方案被称为稀疏的。详细分析了稀疏编码联想存储器的存储容量和信息容量，证明了其与神经元数目n logn的比例关系，与一般的非稀疏编码方案（约0.15n）相比，该比例关系非常大。

Dudai and Carruthers,2005：研究表明记忆可能是过去的印记，对未来的认知过程至关重要。

Schacter et al., 2007：想象未来在很大程度上依赖于可以记忆过去的神经机制。这些发现引出了前瞻性大脑的概念，即大脑的一个关键功能是利用存储的信息来想象、模拟和预测未来可能发生的事件。根据这个想法，我们认为，像记忆这样的过程可以有效地重新概念化。

French,1999：本文研究了神经网络中灾难性遗忘问题的产生原因、后果及多种解决方法。这篇综述将考虑大脑是如何克服这个问题的，同时也将探讨这个解决方案对分布式连接网络的影响

McCloskey and Cohen, 1989：本文讨论连接主义网络中的灾难性干扰。当网络按顺序训练时，新的学习可能会对旧的学习产生灾难性的干扰。对干扰原因的分析表明，当新的学习可能改变表示旧学习所涉及的权值时，至少会发生一些干扰，仿真结果仅表明在某些特定的网络中，干扰是灾难性的。

Ratcliff,1990：利用反向传播学习规则对基于编码器模型的多层存储器连接模型进行了评价。这些模型被应用到标准的识别记忆过程中，在这些过程中，项目被依次研究，然后测试其保留率。这些模型中的顺序学习导致两个主要问题。首先，学得好的信息会随着新信息的学习而迅速被遗忘。第二，学习项目和新项目之间的区别要么随着学习的进行而减少，要么是非单调的。为了解决这些问题，我们研究了多层模型中的网络操作和多层模型的几种变体，包括一个带有预学习内存的模型和一个上下文模型，但是没有一个解决了这些问题。所讨论的问题对应用于人类记忆和任务的连接主义模型提供了限制，在这些任务中，要学习的信息在学习过程中并不全部可用。

Burgess et al., 1991：建立了一个神经网络模型，该模型能将人类记忆实验的结果记录在学习项目表上。综述了学习列表的心理学实验。Hopfield-Parisi型神经网络被用来模拟序列回忆中顺序效应的许多简单特征。用模拟的方法研究了项目的召回率与其数量、在列表中的位置和相似度的函数关系。更复杂的实验涉及不同类别的项目，使用相关的活动模式进行建模。通过考虑权重分布和信噪比参数，了解模型的工作原理。

Palm, 2013：介绍了近40年来神经联想记忆的理论、实践和技术发展。指出了关联记忆模式稀疏编码的重要性。文中还提到了联想记忆网络在大规模脑建模中的应用。

Siegle and Hasselmo, 2002：连接主义模型被认为是理解心理障碍的本质和指导其评估的有希望的工具。具体来说，连接主义模型可以指导评估过程的以下方面：了解哪些结构与评估相关，设计评估这些结构的方法，以及了解评估数据中的个体差异。

Abraham and Robins, 2005：记忆维持被广泛认为涉及在学习过程中在相关神经回路中设置的突触重量的长期保留。然而，尽管最近出现了令人兴奋的技术进步，但还无法通过实验证实这一直观的吸引人的假设。人工神经网络提供了一种可供选择的方法，因为它们允许在学习和保持过程中连续监测单个连接权重。在这种模型中，如果网络要在学习新信息的同时保留先前存储的材料，则需要不断改变连接权重。因此，突触变化的持续时间并不一定定义记忆的持久性；相反，很可能需要调节突触稳定性和突触可塑性的平衡，才能在真实的神经元回路中获得最佳的记忆保持。

Carpenter and Grossberg, 1987：自适应共振结构是一种神经网络，它能实时地自组织稳定的模式识别码，以响应任意的输入模式序列。本文介绍了ART2，一类自适应共振结构，ART2体系结构体现了许多设计原则的解决方案，例如稳定性-可塑性权衡、搜索-直接访问权衡和匹配-重置权衡。

Graves et al., 2016：人工神经网络在感觉处理、序列学习和强化学习方面有着显着的优势，但由于缺乏外部记忆，它在表示变量和数据结构以及长时间存储数据方面的能力有限。这里我们介绍了一个机器学习模型，称为可微神经计算机（DNC），它由一个可以读写外部存储器矩阵的神经网络组成，类似于传统计算机中的随机存取存储器。像传统的计算机一样，它可以使用内存来表示和操作复杂的数据结构，但是，像神经网络一样，它可以从数据中学习这样做。结果表明，DNC有能力解决没有外部读写存储器的神经网络无法完成的复杂、结构化任务。

Kirkpatrick et al., 2017：以顺序方式学习任务的能力对人工智能的发展至关重要。到目前为止，神经网络还不能做到这一点。我们表明，有可能克服这一限制，并培训网络，使其能够保持对长期没有经历的任务的专门知识，我们通过有选择地减缓对那些任务重要的权重的学习来记住旧任务结果，证明了我们的方法是可伸缩和有效的。

Santoro et al., 2016：在系统整合的过程中，有一个从依赖于详细的情节记忆到普遍的示意记忆的转变。这种转换有时被称为“记忆转换”，这里我们展示了记忆转换以前未被重视的优点，即它在动态环境中增强强化学习的能力。我们开发了一个神经网络，它被训练在奖赏地点不断变化的觅食任务中寻找奖赏。该网络可以使用特定位置的存储器（情节存储器）和位置的统计模式（示意存储器）来指导其搜索。我们的工作重新提出了为什么会发生记忆转换的理论问题，将焦点从避免记忆干扰转移到跨多个时间尺度加强强化学习

Yassa and Stark, 2011：区分相似经历的能力是情景记忆的一个重要特征。这种能力长期以来被假设需要海马体，计算模型表明它依赖于模式分离。然而，关于海马体在模式分离中的作用的经验数据直到最近才有，本文综述了几类数据。我们讨论了老化和成年神经发生对模式分离的影响，同时也强调了跨物种和跨途径连接的几个挑战，并提出了未来的研究方向。

Maren et al.,2013：语境围绕着事件并赋予事件以意义；它们对于回忆过去、解释现在和预测未来至关重要。事实上，大脑将信息语境化的能力允许巨大的认知和行为灵活性。对啮齿动物和人类的巴甫洛夫恐惧调节和消失的研究表明，包括海马体、杏仁核和内侧前额叶皮层在内的神经回路参与了学习和记忆过程，从而使情境依赖行为得以实现。

Kraemer and Golding, 1997：本文综述了人类适应性遗忘的研究现状，并提出了动物适应性遗忘的观点。讨论内容包括关于遗忘的理论预设，对动物适应性遗忘的选择性现象的回顾，对这种遗忘的可能机制（可恢复性）的描述，以及这一分析对记忆的心理和神经生物学方法的影响处理。

Dong et al., 2016：在这项研究中，我们使用反向学习任务来测量果蝇的行为灵活性，并确定果蝇中多个自闭症风险基因同源物功能缺失突变的影响。5个具有不同分子功能的孤独症危险基因的突变都导致了类似的行为不灵活表型，表现为逆转学习障碍。这些逆转学习缺陷是由于无法遗忘，或者更确切地说，是由于无法激活Rac1（Ras相关的C3肉毒毒素底物1）依赖性遗忘。因此，行为诱发的Rac1依赖性遗忘激活对孤独症风险基因具有聚合功能。

Epp et al., 2016：通过控制海马神经发生的水平，我们发现神经发生调节这种形式的主动干预。海马神经发生的增加削弱了现有的记忆，从而促进了新的、相互冲突的信息在小鼠中的编码。相反，神经发生的减少稳定了现有的记忆，并阻碍了新的、相互冲突的信息的编码。这些结果表明，减少主动干扰是神经发生诱发遗忘的适应性益处。

Shuai et al., 2010：最初获得的记忆如果不巩固就会迅速消失。这种记忆衰退被认为是由于新获得的记忆固有的不稳定性，或者是由于随后获得的信息的干扰。本文报道果蝇G蛋白Rac依赖性遗忘机制在被动记忆衰退和干扰性遗忘中的作用。Rac活性的抑制导致早期记忆衰退的减慢，从几个小时延长到一天以上，并阻断干扰引起的遗忘。相反，蘑菇体神经元Rac活性的升高会加速记忆衰退。这种遗忘机制不影响记忆获得，独立于Rutabaga腺苷酸环化酶介导的记忆形成机制。内源性Rac激活在不同时间尺度上被诱发，在被动衰退中逐渐丧失记忆，在逆转学习中急性记忆消失。我们认为Rac在肌动蛋白细胞骨架重塑中的作用可能与记忆丧失有关

Burghardt et al. (2012)：海马体参与分离记忆，这是一种利用模式分离的神经过程并允许认知灵活性的能力。我们使用主动回避任务的变体和两种独立的方法，即切除成年出生的神经元、海马局部X射线照射和胶质纤维酸性蛋白阳性神经前体细胞的基因消融，评估了成年海马神经发生在认知灵活性中的作用。结果证明，当成人的神经发生需要改变对刺激诱发记忆的学习反应时，它有助于认知灵活性

Garthe et al. (2009)：尽管在过去的几年里取得了巨大的进展，新生颗粒细胞对成年海马功能的具体贡献仍不清楚。我们假设为了解决这个问题，必须特别注意学习测试的具体设计、分析和解释。因此，我们设计了一个行为实验，根据计算模型得出的假设，预测新的神经元可能与学习条件特别相关，在学习条件中，新的方面在熟悉的情况下出现，从而对水迷宫的参考记忆版本中的（再）学习的质量方面提出了很高的要求替莫唑胺（TMZ）对成人神经发生的任务抑制引起高度特异性的学习障碍。小鼠在隐藏平台版的Morris水迷宫中进行测试（每天6次，持续5天，第4天平台位置反转）。在四个治疗周期结束后4周进行测试，以尽量减少测试时潜在可招募的新神经元数量。神经发生的减少并没有改变CA3和齿状回的长时程增强，但消除了齿状回LTP中属于新生神经元的部分。TMZ在测试时没有任何明显的副作用，并且治疗组和对照组都学会了寻找隐藏的平台。然而，对搜索策略的定性分析显示，治疗组小鼠并没有向空间精确的搜索策略前进，特别是在学习改变的目标位置（逆转）时。因此，齿状回中的新神经元似乎对于增加海马依赖性学习质量参数的灵活性是必要的。我们发现，缺乏成年颗粒细胞特别导致动物无法精确定位隐藏目标，这也与齿状回的特殊作用有关在生成一个度量而不仅仅是一个环境的结构图。由于成年海马神经发生受到抑制而发现高度特异性的行为缺陷，因此可以将细胞海马可塑性与理论模型中定义明确的假设联系起来。

Garthe et al. (2016)：我们在此证明，生活在刺激丰富的环境（ENR）中，可以改善水迷宫学习的特定关键指标，这些指标在先前的功能丧失实验中已被证明依赖于成人海马神经发生。通过分析小鼠在水迷宫中寻找隐藏平台的策略，发现ENR通过增加使用有效搜索策略的概率来促进任务的获取。当逃生平台移到新的位置时，ENR也增强了动物的行为灵活性。替莫唑胺可以减少成年神经发生，它可以消除ENR对获得性和灵活性的影响，同时不影响水迷宫学习的其他方面。这些特征性效应和相互依赖性在第二种神经源性行为刺激——自愿性车轮转动（RUN）的平行实验中没有发现。由于成人神经发生的组织学评估必然是一个终点测量，因此只能推断整个实验过程中的神经发生水平，本研究将行为参数作为分析终点。尽管体力活动与前体细胞增殖、学习和新神经元存活之间的关系已经很好地建立起来，但这里描述的特定功能效应与干细胞生态位的动态变化之间的关系仍有待解决。然而，我们的研究结果支持这样一个假设：成人神经发生是一个关键的机制，是领导一个积极生活、丰富经验的有益影响的基础

Luu et al. (2012：海马齿状回成体神经发生在学习记忆中起重要作用。然而，新神经元对海马功能的确切贡献仍然存在争议。新的证据表明，当相似的项目必须在不同的时间学习时，神经发生对于模式分离和减轻干扰是重要的。在本研究中，我们使用最近开发的具有这些特定特征的嗅觉记忆任务来直接测试这种预测。在这项任务中，老鼠学习两个高度干扰的气味对列表，一个接一个，在相同或不同的环境中。与我们的假设一致，局灶性颅骨照射导致齿状回内的神经发生选择性减少，显着削弱了学习第二个列表期间克服干扰的能力。学习单一气味清单的能力没有受到影响。我们还发现，在海马依赖性空间交替任务中，辐射对学习没有影响。尽管这两项任务都涉及到学习干扰反应，但学习干扰项目的时间过程有所不同。学习干扰气味列表是在几个会话过程中顺序进行的，而学习干扰空间位置是在每个会话中同时进行的。因此，新神经元的逐渐增加可能为嗅觉任务而不是迷宫任务提供了模式分离机制。这些发现证明了神经发生在解决干扰中的作用，并且它们与模型一致，表明神经发生在模式分离中的关键作用。

Winocur et al. (2012)：在高干扰或低干扰条件下，给予低剂量辐射抑制海马神经发生或假治疗的大鼠视觉辨别任务。一半的老鼠从事跑步活动，另一半没有。在非跑步者中，照射对学习没有影响，在低干扰条件下也没有记忆辨别反应，但照射治疗增加了他们对干扰的易感性，导致先前学习辨别的记忆丧失。参与跑步活动的受照大鼠表现出神经生长增强和对记忆损伤的保护。研究结果表明，成年期海马细胞在区分冲突性、语境依赖性记忆方面发挥了作用，进一步证明了神经发生在海马敏感记忆任务中的重要性。这一结果与海马功能的计算模型一致，海马功能的计算模型明确了神经发生在学习和记忆过程中干扰影响的调节中的中心作用