❶ 神经网络（Neural Network）
（1）结构：许多树突（dendrite）用于输入，一个轴突 （axon）用于输出。
（2）特性：兴奋性和传导性。兴奋性是指当信号量超过某个阈值时，细胞体就会被激活，产生电脉冲。传导性是指电脉冲沿着轴突并通过突触传递到其它神经元。
（3）有两种状态的机器：激活时为“是”，不激活时为“否”。神经细胞的状态取决于从其他神经细胞接收到的信号量，以及突触的性质（抑制或加强）。
（1）神经元——不重要
① 神经元是包含权重和偏置项的 函数 ：接收数据后，执行一些计算，然后使用激活函数将数据限制在一个范围内（多数情况下）。
② 单个神经元：线性可分的情况下，本质是一条直线， ，这条直线将数据划分为两类。而线性分类器本身就是一个单层神经网络。
③ 神经网络：非线性可分的情况下，神经网络通过多个隐层的方法来实现非线性的函数。
（2）权重/参数/连接（Weight）——最重要
每一个连接上都有一个权重。一个神经网络的训练算法就是让权重的值调整到最佳，以使得整个网络的预测效果最好。
（3）偏置项（Bias Units）——必须
① 如果没有偏置项，所有的函数都会经过原点。
② 正则化偏置会导致欠拟合：若对偏置正则化，会导致激活变得更加简单，偏差就会上升，学习的能力就会下降。
③ 偏置的大小度量了神经元产生激励（激活）的难易程度。
（1）定义：也称为转换函数，是一种将输入 (input) 转成输出 (output) 的函数。
（2）作用：一般直线拟合的精确度要比曲线差很多，引入激活函数能给神经网络 增加一些非线性 的特性。
（3）性质：
① 非线性：导数不是常数，否则就退化成直线。对于一些画一条直线仍然无法分开的问题，非线性可以把直线变弯，就能包罗万象；
② 可微性：当优化方法是基于梯度的时候，处处可导为后向传播算法提供了核心条件；
③ 输出范围：一般限定在[0,1]，使得神经元对一些比较大的输入会比较稳定；
④ 非饱和性：饱和就是指，当输入比较大的时候输出几乎没变化，会导致梯度消失；
⑤ 单调性：导数符号不变，输出不会上蹿下跳，让神经网络训练容易收敛。
（1）线性函数 (linear function)—— purelin()
（2）符号函数 (sign function)—— hardlim()
① 如果z值高于阈值，则激活设置为1或yes，神经元将被激活。
② 如果z值低于阈值，则激活设置为0或no，神经元不会被激活。
（3）对率函数 (sigmoid function)—— logsig()
① 优点：光滑S型曲线连续可导，函数阈值有上限。
② 缺点：❶ 函数饱和使梯度消失，两端梯度几乎为0，更新困难，做不深；
❷ 输出不是0中心，将影响梯度下降的运作，收敛异常慢；
❸ 幂运算相对来讲比较耗时
（4）双曲正切函数(hyperbolic tangent function)—— tansig()
① 优点：取值范围0中心化，防止了梯度偏差
② 缺点：梯度消失现象依然存在，但相对于sigmoid函数问题较轻
（5）整流线性单元 ReLU 函数(rectified linear unit)
① 优点：❶ 分段线性函数，它的非线性性很弱，因此网络做得很深；
❷ 由于它的线性、非饱和性， 对于随机梯度下降的收敛有巨大的加速作用；
② 缺点：❶ 当x<0，梯度都变成0，参数无法更新，也导致了数据多样化的丢失；
❷ 输出不是0中心
（6）渗漏型整流线性单元激活函数 Leaky ReLU 函数
① 优点：❶ 是为解决“ReLU死亡”问题的尝试，在计算导数时允许较小的梯度；
❷ 非饱和的公式，不包含指数运算，计算速度快。
② 缺点：❶ 无法避免梯度爆炸问题； （没有体现优于ReLU）
❷ 神经网络不学习 α 值。
（7）指数线性单元 ELU (Exponential Linear Units)
① 优点：❶ 能避免“死亡 ReLU” 问题；
❷ 能得到负值输出，这能帮助网络向正确的方向推动权重和偏置变化；
❸ 在计算梯度时能得到激活，而不是让它们等于 0。
② 缺点：❶ 由于包含指数运算，所以计算时间更长；
❷ 无法避免梯度爆炸问题； （没有体现优于ReLU）
❸ 神经网络不学习 α 值。
（8）Maxout（对 ReLU 和 Leaky ReLU的一般化归纳）
① 优点：❶ 拥有ReLU的所有优点（线性和不饱和）
❷ 没有ReLU的缺点（死亡的ReLU单元）
❸ 可以拟合任意凸函数
② 缺点 ：参数数量增加了一倍。难训练，容易过拟合
（9）Swish
① 优点：❶ 在负半轴也有一定的不饱和区，参数的利用率更大
❷ 无上界有下界、平滑、非单调
❸ 在深层模型上的效果优于 ReLU
每个层都包含一定数量的单元（units）。增加层可增加神经网络输出的非线性。
（1）输入层：就是接收原始数据，然后往隐层送
（2）输出层：神经网络的决策输出
（3）隐藏层：神经网络的关键。把前一层的向量变成新的向量，让数据变得线性可分。
（1）结构：仅包含输入层和输出层，直接相连。
（2）作用：仅能表示 线性可分 函数或决策，且一定可以在有限的迭代次数中收敛。
（3）局限：可以建立与门、或门、非门等，但无法建立更为复杂的异或门（XOR），即两个输入相同时输出1，否则输出0。 （“AI winter”）
（1）目的：拟合某个函数 （两层神经网络可以逼近任意连续函数）
（2）结构：包含输入层、隐藏层和输出层 ，由于从输入到输出的过程中不存在与模型自身的反馈连接，因此被称为“前馈”。 （层与层之间全连接）
（3）作用： 非线性 分类、聚类、预测等，通过训练，可以学习到数据中隐含的知识。
（4）局限：计算复杂、计算速度慢、容易陷入局部最优解，通常要将它们与其他网络结合形成新的网络。
（5）前向传播算法（Forward Propagation）
① 方法：从左至右逐级依赖的算法模型，即网络如何根据输入X得到输出Y，最终的输出值和样本值作比较， 计算出误差 。
② 目的：完成了一次正反向传播，就完成了一次神经网络的训练迭代。通过输出层的误差，快速求解对每个ω、b的偏导，利用梯度下降法，使Loss越来越小。
② 局限：为使最终的误差达到最小，要不断修改参数值，但神经网络的每条连接线上都有不同权重参数，修改这些参数变得棘手。
（6）误差反向传播（Back Propagation）
① 原理：梯度下降法求局部极值
② 方法：从后往前，从输出层开始计算 L 对当前层的微分，获得各层的误差信号，此误差信号即作为修正单元权值的依据。计算结束以后，所要的两个参数矩阵的 梯度 就都有了。
③ 局限：如果激活函数是饱和的，带来的缺陷就是系统迭代更新变慢，系统收敛就慢，当然这是可以有办法弥补的，一种方法是使用 交叉熵函数 作为损失函数。
（1）原理：随着网络的层数增加，每一层对于前一层次的抽象表示更深入。在神经网络中，每一层神经元学习到的是前一层神经元值的更抽象的表示。通过抽取更抽象的特征来对事物进行区分，从而获得更好的区分与分类能力。
（2）方法：ReLU函数在训练多层神经网络时，更容易收敛，并且预测性能更好。
（3）优点：① 易于构建，表达能力强，基本单元便可扩展为复杂的非线性函数
② 并行性号，有利于在分布是系统上应用
（4）局限：① 优化算法只能获得局部极值，性能与初始值相关
② 调参理论性缺乏
③ 不可解释，与实际任务关联性模糊
（1）原理：由手工设计卷积核变成自动学习卷积核
（2）卷积（Convolutional layer）： 输入与卷积核相乘再累加 （内积、加权叠加）
① 公式：
② 目的：提取输入的不同特征，得到维度很大的 特征图（feature map）
③ 卷积核：需要训练的参数。一般为奇数维，有中心像素点，便于定位卷积核
④ 特点：局部感知、参数变少、权重共享、分层提取
（3）池化（Pooling Layer）：用更高层的抽象表达来表示主要特征，又称“降采样”
① 分类： 最大 （出现与否）、平均（保留整体）、随机（避免过拟合）
② 目的：降维，不需要训练参数，得到新的、维度较小的特征
（4）步长（stride）：若假设输入大小是n∗n，卷积核的大小是f∗f，步长是s，则最后的feature map的大小为o∗o，其中
（5）填充（zero-padding）
① Full模式：即从卷积核（fileter）和输入刚相交开始做卷积，没有元素的部分做补0操作。
② Valid模式：卷积核和输入完全相交开始做卷积，这种模式不需要补0。
③ Same模式：当卷积核的中心C和输入开始相交时做卷积。没有元素的部分做补0操作。
（7）激活函数：加入非线性特征
（8）全连接层（Fully-connected layer）
如果说卷积层、池化层和激活函数层等是将原始数据映射到隐层特征空间（决定计算速度），全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用（决定参数个数）。
参考：
[1] 神经网络（入门最详细）_ruthy的博客-CSDN博客_神经网络算法入门
[2] 神经网络（容易被忽视的基础知识） - Evan的文章 - 知乎
[3] 人工神经网络——王的机器
[4] 如何简单形象又有趣地讲解神经网络是什么？ - 舒小曼的回答 - 知乎
[5] 神经网络15分钟入门！足够通俗易懂了吧 - Mr.括号的文章 - 知乎
[6] 神经网络——最易懂最清晰的一篇文章_illikang的博客-CSDN博客_神经网络
[7] 直觉化深度学习教程——什么是前向传播——CSDN
[8] “反向传播算法”过程及公式推导（超直观好懂的Backpropagation）_aift的专栏-CSDN
[9] 卷积、反卷积、池化、反池化——CSDN
[10] 浙大机器学习课程- bilibili.com
❷ 人工神经网络（ANN）简述
我们从下面四点认识人工神经网络（ANN: Artificial Neutral Network）：神经元结构、神经元的激活函数、神经网络拓扑结构、神经网络选择权值和学习算法。
1. 神经元：
我们先来看一组对比图就能了解是怎样从生物神经元建模为人工神经元。
下面分别讲述:
生物神经元的组成包括细胞体、树突、轴突、突触。树突可以看作输入端，接收从其他细胞传递过来的电信号；轴突可以看作输出端，传递电荷给其他细胞；突触可以看作I/O接口，连接神经元，单个神经元可以和上千个神经元连接。细胞体内有膜电位，从外界传递过来的电流使膜电位发生变化，并且不断累加，当膜电位升高到超过一个阈值时，神经元被激活，产生一个脉冲，传递到下一个神经元。
为了更形象理解神经元传递信号过程，把一个神经元比作一个水桶。水桶下侧连着多根水管（树突），水管既可以把桶里的水排出去（抑制性），又可以将其他水桶的水输进来（兴奋性），水管的粗细不同，对桶中水的影响程度不同（权重），水管对水桶水位（膜电位）的改变就是水桶内水位的改变，当桶中水达到一定高度时，就能通过另一条管道（轴突）排出去。
按照这个原理，科学家提出了M-P模型（取自两个提出者的姓名首字母），M-P模型是对生物神经元的建模，作为人工神经网络中的一个神经元。
由MP模型的示意图，我们可以看到与生物神经元的相似之处，x_i表示多个输入，W_ij表示每个输入的权值，其正负模拟了生物神经元中突出的兴奋和抑制；sigma表示将全部输入信号进行累加整合，f为激活函数，O为输出。下图可以看到生物神经元和MP模型的类比：
往后诞生的各种神经元模型都是由MP模型演变过来。
2. 激活函数
激活函数可以看作滤波器，接收外界各种各样的信号，通过调整函数，输出期望值。ANN通常采用三类激活函数:阈值函数、分段函数、双极性连续函数（sigmoid，tanh）：
3. 学习算法
神经网络的学习也称为训练，通过神经网络所在环境的刺激作用调整神经网络的自由参数（如连接权值），使神经网络以一种新的方式对外部环境做出反应的一个过程。每个神经网络都有一个激活函数y=f(x)，训练过程就是通过给定的海量x数据和y数据，拟合出激活函数f。学习过程分为有导师学习和无导师学习，有导师学习是给定期望输出，通过对权值的调整使实际输出逼近期望输出；无导师学习给定表示方法质量的测量尺度，根据该尺度来优化参数。常见的有Hebb学习、纠错学习、基于记忆学习、随机学习、竞争学习。
4. 神经网络拓扑结构
常见的拓扑结构有单层前向网络、多层前向网络、反馈网络，随机神经网络、竞争神经网络。
5. 神经网络的发展
（不能贴公式不好解释啊 -_-!）sigma是误差信号，yita是学习率，net是输入之和，V是输入层到隐含层的权重矩阵，W是隐含层到输出层的权重矩阵。
之后还有几种
随着计算机硬件计算能力越来越强，用来训练的数据越来越多，神经网络变得越来越复杂。在人工智能领域常听到DNN（深度神经网络）、CNN（卷积神经网络）、RNN（递归神经网络）。其中，DNN是总称，指层数非常多的网络，通常有二十几层，具体可以是CNN或RNN等网络结构。
参考资料 ：
❸ 人工神经网络
本文讨论的神经网络是从生物学领域引入计算机科学和工程领域的一个仿生学概念，又称人工神经网络（英语：artificial neural network，缩写ANN）。是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。参考 wiki定义 。
如图，一个神经元通常具有多个树突，主要用来接受传入信息；而轴突只有一条，轴突尾端有许多轴突末梢可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接，从而传递信号。这个连接的位置在生物学上叫做“突触”。
基于此，1943年，心理学家McCulloch和数学家Pitts参考了生物神经元的结构，发表了抽象的神经元模型MP，神经元模型是一个包含输入，输出与计算功能的模型。输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算则可以类比为细胞核。如下图：
图中X代表输入信号，W代表权重，∑代表将X和W的矩阵运算，ψ对运算结果应用sgn函数，最终得到输出y。
然而，改模型对权限W是通过指定好的，因此不存在在计算工程中动态调配权限W的能力，也就是不存在学习的能力。
1958年，计算科学家Rosenblatt提出了由两层神经元组成的神经网络：“感知器”（Perceptron）。
可以看到，一个感知器有如下组成部分：
输入权值： 一个感知器可以接收多个输入，每个输入上有一个权值，此外还有一个偏置项，就是上图中的。
激活函数： 感知器的激活函数可以有很多选择，比如我们可以选择Sigmoid函数来作为激活函数。
其中，因为生物学上，外接信号传导到神经元上，神经元不会立刻做出反应，而是会抑制输入，直到输入增强，强大到可以触发输出。也就是说，在产生输出之前，输入必须达到一个阈值。在数学上，这种随着变量值增大，函数值发生跳跃的函数成为激活函数。下图是一个常用的激活函数，Sigmoid函数曲线图：
上节我们看到，感知器其实是单层的神经网络，神经网络可以理解成多个感知器组合而成的一个结构，如下图：
神经网络的学习过程就是对权重矩阵的更新过程。所谓的训练过程就是比较当前网络的预测值和我们真正想要的目标值，再根据两者差异来更新每一层的权重矩阵。因此，必须先定义好如何比较预测值和目标值的差异，这便是损失函数（loss function）。损失函数输出值loss越高表示差异性越大，神经网络的训练就变成了尽可能的缩小loss的过程。
所谓梯度下降法，就是通过使loss值向当前点对应梯度点反方向不断移动，来降低loss。一次移动多少通过学习率（learning rate）控制。
通俗来讲，所谓梯度下降法，其实就如同漆黑的夜晚拿着手电筒站在山顶，每次只能看到眼前的一米远距离，想要下到山脚，我们采用每次都选择最陡峭的地方向下挪动，反复这一过程，最终到达山脚。
❹ 神经网络浅谈
人工智能技术是当前炙手可热的话题，而基于神经网络的深度学习技术更是热点中的热点。去年谷歌的Alpha Go 以4:1大比分的优势战胜韩国的李世石九段，展现了深度学习的强大威力，后续强化版的Alpha Master和无师自通的Alpha Zero更是在表现上完全碾压前者。不论你怎么看，以深度学习为代表的人工智能技术正在塑造未来。
下图为英伟达（NVIDIA）公司近年来的股价情况， 该公司的主要产品是“图形处理器”（GPU），而GPU被证明能大大加快神经网络的训练速度，是深度学习必不可少的计算组件。英伟达公司近年来股价的飞涨足以证明当前深度学习的井喷之势。
好，话不多说，下面简要介绍神经网络的基本原理、发展脉络和优势。
神经网络是一种人类由于受到生物神经细胞结构启发而研究出的一种算法体系，是机器学习算法大类中的一种。首先让我们来看人脑神经元细胞：
一个神经元通常具有多个树突 ，主要用来接受传入信息，而轴突只有一条，轴突尾端有许多轴突末梢，可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接，从而传递信号。
下图是一个经典的神经网络（Artificial Neural Network,ANN）：
乍一看跟传统互联网的拓扑图有点类似，这也是称其为网络的原因，不同的是节点之间通过有向线段连接，并且节点被分成三层。我们称图中的圆圈为神经元，左边三个神经元组成的一列为输入层，中间神经元列为隐藏层,右边神经元列为输出层，神经元之间的箭头为权重。
神经元是计算单元，相当于神经元细胞的细胞核，利用输入的数据进行计算，然后输出，一般由一个线性计算部分和一个非线性计算部分组成；输入层和输出层实现数据的输入输出，相当于细胞的树突和轴突末梢；隐藏层指既不是输入也不是输出的神经元层，一个神经网络可以有很多个隐藏层。
神经网络的关键不是圆圈代表的神经元，而是每条连接线对应的权重。每条连接线对应一个权重，也就是一个参数。权重具体的值需要通过神经网络的训练才能获得。我们实际生活中的学习体现在大脑中就是一系列神经网络回路的建立与强化，多次重复的学习能让回路变得更加粗壮，使得信号的传递速度加快，最后对外表现为“深刻”的记忆。人工神经网络的训练也借鉴于此，如果某种映射关系出现很多次，那么在训练过程中就相应调高其权重。
1943年，心理学家McCulloch和数学家Pitts参考了生物神经元的结构，发表了抽象的神经元模型MP：
符号化后的模型如下：
Sum函数计算各权重与输入乘积的线性组合，是神经元中的线性计算部分，而sgn是取符号函数，当输入大于0时，输出1，反之输出0，是神经元中的非线性部分。向量化后的公式为z=sgn(w^T a)（w^T=(w_1,w_2,w_3)，a=〖(a_1,a_2,a_3)〗^T）。
但是，MP模型中，权重的值都是预先设置的，因此不能学习。该模型虽然简单，并且作用有限，但已经建立了神经网络大厦的地基
1958年，计算科学家Rosenblatt提出了由两层神经元组成(一个输入层，一个输出层)的神经网络。他给它起了一个名字–“感知器”（Perceptron）
感知器是当时首个可以学习的人工神经网络。Rosenblatt现场演示了其学习识别简单图像的过程，在当时引起了轰动，掀起了第一波神经网络的研究热潮。
但感知器只能做简单的线性分类任务。1969年，人工智能领域的巨擘Minsky指出这点，并同时指出感知器对XOR（异或，即两个输入相同时输出0，不同时输出1）这样的简单逻辑都无法解决。所以，明斯基认为神经网络是没有价值的。
随后，神经网络的研究进入低谷，又称 AI Winter 。
Minsky说过单层神经网络无法解决异或问题，但是当增加一个计算层以后，两层神经网络不仅可以解决异或问题，而且具有非常好的非线性分类效果。
下图为两层神经网络（输入层一般不算在内）：
上图中，输出层的输入是上一层的输出。
向量化后的公式为：
注意：
每个神经元节点默认都有偏置变量b，加上偏置变量后的计算公式为：
同时，两层神经网络不再使用sgn函数作为激励函数，而采用平滑的sigmoid函数：
σ(z)=1/(1+e^(-z) )
其图像如下：
理论证明： 两层及以上的神经网络可以无限逼近真实的对应函数，从而模拟数据之间的真实关系 ，这是神经网络强大预测能力的根本。但两层神经网络的计算量太大，当时的计算机的计算能力完全跟不上，直到1986年，Rumelhar和Hinton等人提出了反向传播（Backpropagation，BP）算法，解决了两层神经网络所需要的复杂计算量问题，带动了业界使用两层神经网络研究的热潮。
但好景不长，算法的改进仅使得神经网络风光了几年，然而计算能力不够，局部最优解，调参等一系列问题一直困扰研究人员。90年代中期，由Vapnik等人发明的SVM（Support Vector Machines，支持向量机）算法诞生，很快就在若干个方面体现出了对比神经网络的优势：无需调参；高效；全局最优解。
由于以上原因，SVM迅速打败了神经网络算法成为主流。神经网络的研究再一次进入低谷， AI Winter again 。
多层神经网络一般指两层或两层以上的神经网络（不包括输入层），更多情况下指两层以上的神经网络。
2006年，Hinton提出使用 预训练 ”（pre-training）和“微调”(fine-tuning)技术能优化神经网络训练，大幅度减少训练多层神经网络的时间
并且，他给多层神经网络相关的学习方法赋予了一个新名词–“ 深度学习 ”，以此为起点，“深度学习”纪元开始了：）
“深度学习”一方面指神经网络的比较“深”，也就是层数较多；另一方面也可以指神经网络能学到很多深层次的东西。研究发现，在权重参数不变的情况下，增加神经网络的层数，能增强神经网络的表达能力。
但深度学习究竟有多强大呢？没人知道。2012年，Hinton与他的学生在ImageNet竞赛中，用多层的卷积神经网络成功地对包含一千类别的一百万张图片进行了训练，取得了分类错误率15%的好成绩，这个成绩比第二名高了近11个百分点，充分证明了多层神经网络识别效果的优越性。
同时，科研人员发现GPU的大规模并行矩阵运算模式完美地契合神经网络训练的需要，在同等情况下，GPU的速度要比CPU快50-200倍，这使得神经网络的训练时间大大减少，最终再一次掀起了神经网络研究的热潮，并且一直持续到现在。
2016年基于深度学习的Alpha Go在围棋比赛中以4:1的大比分优势战胜了李世石，深度学习的威力再一次震惊了世界。
神经网络的发展历史曲折荡漾，既有被捧上神坛的高潮，也有无人问津的低谷，中间经历了数次大起大落，我们姑且称之为“三起三落”吧，其背后则是算法的改进和计算能力的持续发展。
下图展示了神经网络自发明以来的发展情况及一些重大时间节点。
当然，对于神经网络我们也要保持清醒的头脑。由上图，每次神经网络研究的兴盛期持续10年左右，从最近2012年算起，或许10年后的2022年，神经网络的发展将再次遇到瓶颈。
神经网络作为机器学习的一种，其模型训练的目的，就是使得参数尽可能的与真实的模型逼近。理论证明，两层及以上的神经网络可以无限逼近真实的映射函数。因此，给定足够的训练数据和训练时间，总能通过神经网络找到无限逼近真实关系的模型。
具体做法：首先给所有权重参数赋上随机值，然后使用这些随机生成的参数值，来预测训练数据中的样本。假设样本的预测目标为yp ，真实目标为y，定义值loss，计算公式如下：
loss = (yp -y) ^2
这个值称之为 损失 （loss），我们的目标就是使对所有训练数据的损失和尽可能的小，这就转化为求loss函数极值的问题。
一个常用方法是高等数学中的求导，但由于参数不止一个，求导后计算导数等于0的运算量很大，所以常用梯度下降算法来解决这样的优化问题。梯度是一个向量，由函数的各自变量的偏导数组成。
比如对二元函数 f =(x,y)，则梯度∇f=(∂f/∂x,∂f/∂y)。梯度的方向是函数值上升最快的方向。梯度下降算法每次计算参数在当前的梯度，然后让参数向着梯度的反方向前进一段距离，不断重复，直到梯度接近零时截止。一般这个时候，所有的参数恰好达到使损失函数达到一个最低值的状态。下图为梯度下降的大致运行过程：
在神经网络模型中，由于结构复杂，每次计算梯度的代价很大。因此还需要使用 反向传播 （Back Propagation）算法。反向传播算法利用了神经网络的结构进行计算，不一次计算所有参数的梯度，而是从后往前。首先计算输出层的梯度，然后是第二个参数矩阵的梯度，接着是中间层的梯度，再然后是第一个参数矩阵的梯度，最后是输入层的梯度。计算结束以后，所要的两个参数矩阵的梯度就都有了。当然，梯度下降只是其中一个优化算法，其他的还有牛顿法、RMSprop等。
确定loss函数的最小值后，我们就确定了整个神经网络的权重，完成神经网络的训练。
在神经网络中一样的参数数量，可以用更深的层次去表达。
由上图，不算上偏置参数的话，共有三层神经元，33个权重参数。
由下图，保持权重参数不变，但增加了两层神经元。
在多层神经网络中，每一层的输入是前一层的输出，相当于在前一层的基础上学习，更深层次的神经网络意味着更深入的表示特征，以及更强的函数模拟能力。更深入的表示特征可以这样理解，随着网络的层数增加，每一层对于前一层次的抽象表示更深入。
如上图，第一个隐藏层学习到“边缘”的特征，第二个隐藏层学习到“边缘”组成的“形状”的特征，第三个隐藏层学习到由“形状”组成的“图案”的特征，最后的隐藏层学习到由“图案”组成的“目标”的特征。通过抽取更抽象的特征来对事物进行区分，从而获得更好的区分与分类能力。
前面提到， 明斯基认为Rosenblatt提出的感知器模型不能处理最简单的“异或”（XOR）非线性问题，所以神经网络的研究没有前途，但当增加一层神经元后，异或问题得到了很好地解决，原因何在？原来从输入层到隐藏层，数据发生了空间变换，坐标系发生了改变，因为矩阵运算本质上就是一种空间变换。
如下图，红色和蓝色的分界线是最终的分类结果，可以看到，该分界线是一条非常平滑的曲线。
但是，改变坐标系后，分界线却表现为直线，如下图：
同时，非线性激励函数的引入使得神经网络对非线性问题的表达能力大大加强。
对于传统的朴素贝叶斯、决策树、支持向量机SVM等分类器，提取特征是一个非常重要的前置工作。在正式训练之前，需要花费大量的时间在数据的清洗上，这样分类器才能清楚地知道数据的维度，要不然基于概率和空间距离的线性分类器是没办法进行工作的。然而在神经网络中，由于巨量的线性分类器的堆叠（并行和串行）以及卷积神经网络的使用，它对噪声的忍耐能力、对多通道数据上投射出来的不同特征偏向的敏感程度会自动重视或忽略，这样我们在处理的时候，就不需要使用太多的技巧用于数据的清洗了。有趣的是，业内大佬常感叹，“你可能知道SVM等机器学习的所有细节，但是效果并不好，而神经网络更像是一个黑盒，很难知道它究竟在做什么，但工作效果却很好”。
人类对机器学习的环节干预越少，就意味着距离人工智能的方向越近。神经网络的这个特性非常有吸引力。
1) 谷歌的TensorFlow开发了一个非常有意思的神经网络 入门教程 ，用户可以非常方便地在网页上更改神经网络的参数，并且能看到实时的学习效率和结果，非常适合初学者掌握神经网络的基本概念及神经网络的原理。网页截图如下：
2) 深度学习领域大佬吴恩达不久前发布的《 神经网络和深度学习 》MOOC，现在可以在网易云课堂上免费观看了，并且还有中文字幕。
3) 《神经网络于深度学习》（Michael Nielsen着）、《白话深度学习与TensorFlow》也是不错的入门书籍。