㈠ 残差网络(ResNet)
残差操作这一思想起源于论文《Deep Resial Learning for Image Recognition》。如果存在某个K层的网络f是当前最优的网络，那么可以构造一个更深的网络，其最后几层仅是该网络f第K层输出的恒等映射（IdentityMapping），就可以取得与f一致的结果；也许K还不是所谓“最佳层数”，那么更深的网络就可以取得更好的结果。 总而言之，与浅层网络相比，更深的网络的表现不应该更差。但是如下图所示，56层的神经网络表现明显要比20层的差。 证明更深的网络在训练过程中的难度更大，因此作者提出了残差网络的思想。+
ResNet 的作者将这些问题归结成了一个单一的假设：直接映射是难以学习的。而且他们提出了一种修正方法： 不再学习从 x 到 H(x) 的基本映射关系，而是学习这两者之间的差异，也就是“残差（resial）”。然后，为了计算 H(x)，我们只需要将这个残差加到输入上即可。假设残差为 F(x)=H(x)-x，那么现在我们的网络不会直接学习 H(x) 了，而是学习 F(x)+x。
这就带来了你可能已经见过的着名 ResNet（残差网络）模块：
ResNet 的每一个“模块（block）”都由一系列层和一个“捷径（shortcut）”连接组成，这个“捷径”将该模块的输入和输出连接到了一起。然后在元素层面上执行“加法（add）”运算，如果输入和输出的大小不同，那就可以使用零填充或投射（通过 1×1 卷积）来得到匹配的大小。
回到我们的思想实验，这能大大简化我们对恒等层的构建。直觉上就能知道，比起从头开始学习一个恒等变换，学会使 F(x) 为 0 并使输出仍为 x 要容易得多。一般来说，ResNet 会给层一个“参考”点 x，以 x 为基础开始学习。
在此之前，深度神经网络常常会有梯度消失问题的困扰，因为 ResNet 的梯度信号可以直接通过捷径连接回到更早的层，而且它们的表现依然良好。
ResNet本质上就干了一件事：降低数据中信息的冗余度具体说来，就是对非冗余信息采用了线性激活（通过skip connection获得无冗余的identity部分），然后对冗余信息采用了非线性激活（通过ReLU对identity之外的其余部分进行信息提取/过滤，提取出的有用信息即是残差）。
其中，提取identity这一步，就是ResNet思想的核心。 对ResNet本质的一些思考
一方面是残差网络更好的拟合分类函数以获得更高的分类精度，另一方面是残差网络如何解决网络在层数加深时优化训练上的难题。
首先从万能近似定理（Universal Approximation Theorem）入手。这个定理表明，一个前馈神经网络（feedforward neural network）如果具有线性输出层，同时至少存在一层具有任何一种“挤压”性质的激活函数（例如logistic sigmoid激活函数）的隐藏层，那么只要给予这个网络足够数量的隐藏单元，它就可以以任意的精度来近似任何从一个有限维空间到另一个有限维空间的波莱尔可测函数(Borel Measurable Function)。
万能近似定理意味着我们在构建网络来学习什么函数的时候，我们知道一定存在一个多层感知机（Multilayer Perceptron Model，MLP）能够表示这个函数。然而，我们不能保证训练算法能够学得这个函数。因为即使多层感知机能够表示该函数，学习也可能会失败，可能的原因有两种。
第二种过拟合情况不在我们的讨论范围之内，因此我们聚焦在前一种情况，为何残差网络相比简单的多层网络能更好的拟合分类函数，即找到期望函数的参数值。
对于普通的不带短连接的神经网络来说，存在这样一个命题。
事实上对于高维函数，这一特点依然适用。因此，当函数的输入维度非常高时，这一做法就变的非常有意义。尽管在高维空间这一特点很难被可视化，但是这个理论给了一个很合理的启发，就是原则上，带短连接的网络的拟合高维函数的能力比普通连接的网络更强。这部分我们讨论了残差网络有能力拟合更高维的函数，但是在实际的训练过程中仍然可能存在各种各样的问题使得学习到最优的参数非常困难，因此下一小节讨论残差在训练过程中的优越性。
这个部分我们讨论为什么残差能够缓解深层网络的训练问题，以及探讨可能的短连接方式和我们最终选择的残差的理由。正如本章第三部分讨论的一样，整个残差卷积神经网络是由以上的残差卷积子模块堆积而成。如上一小节所定义的，假设第 层的残差卷积字子模块的映射为
㈡ 旷视首席科学家孙剑博士去世，生前曾有过哪些成就
带队力压微软、谷歌、FB三大巨头夺得全球竞赛冠军，孙剑是着名的图像识别深度残差网络ResNet发明人之一，拥有超过40项专利，顶级学术会议和期刊上发表学术论文100余篇。
㈢ 一个残差网络的简介【MATLAB】
对于许多应用来说，使用由一个简单的层序列组成的网络就已足够。但是，某些应用要求网络具有更复杂的层次图结构，其中的层可接收来自多个层的输入，也可以输出到多个层。这些类型的网络通常称为有向无环图 (DAG) 网络。残差网络就是一种 DAG 网络，其中的残差（或快捷）连接会绕过主网络层。残差连接让参数梯度可以更轻松地从输出层传播到较浅的网络层，从而能够训练更深的网络。增加网络深度可在执行更困难的任务时获得更高的准确度。
主分支 - 顺序连接的卷积层、批量归一化层和 ReLU 层。
残差连接 - 绕过主分支的卷积单元。残差连接和卷积单元的输出按元素相加。当激活区域的大小变化时，残差连接也必须包含 1×1 卷积层。残差连接让参数梯度可以更轻松地从输出层流到较浅的网络层，从而能够训练更深的网络。
首先创建网络的主分支。主分支包含五部分。
初始部分 - 包含图像输入层和带激活函数的初始卷积层。
三个卷积层阶段 - 分别具有不同的特征大小（32×32、16×16 和 8×8）。每个阶段包含 N 个卷积单元。在示例的这一部分中，N = 2。每个卷积单元包含两个带激活函数的 3×3 卷积层。netWidth 参数是网络宽度，定义为网络第一卷积层阶段中的过滤器数目。第二阶段和第三阶段中的前几个卷积单元会将空间维度下采样二分之一。为了使整个网络中每个卷积层所需的计算量大致相同，每次执行空间下采样时，都将过滤器的数量增加一倍。
最后部分 - 包含全局平均池化层、全连接层、softmax 层和分类层。
使用 convolutionalUnit(numF,stride,tag) 创建一个卷积单元。numF 是每一层中卷积过滤器的数量，stride 是该单元第一个卷积层的步幅，tag 是添加在层名称前面的字符数组。convolutionalUnit 函数在示例末尾定义。
为所有层指定唯一名称。卷积单元中的层的名称以 'SjUk' 开头，其中 j 是阶段索引，k 是该阶段内卷积单元的索引。例如，'S2U1' 表示第 2 阶段第 1 单元。
㈣ 吴恩达 卷积神经网络 CNN
应用计算机视觉时要面临的一个挑战是数据的输入可能会非常大。例如一张 1000x1000x3 的图片，神经网络输入层的维度将高达三百万，使得网络权重 W 非常庞大。这样会造成两个后果：
神经网络结构复杂，数据量相对较少，容易出现过拟合；
所需内存和计算量巨大。
因此，一般的神经网络很难处理蕴含着大量数据的图像。解决这一问题的方法就是使用卷积神经网络
我们之前提到过，神经网络由浅层到深层，分别可以检测出图片的边缘特征、局部特征（例如眼睛、鼻子等），到最后面的一层就可以根据前面检测的特征来识别整体面部轮廓。这些工作都是依托卷积神经网络来实现的。
卷积运算（Convolutional Operation）是卷积神经网络最基本的组成部分。我们以边缘检测为例，来解释卷积是怎样运算的。
图片最常做的边缘检测有两类：垂直边缘（Vertical Edges）检测和水平边缘（Horizontal Edges）检测。
比如检测一张6x6像素的灰度图片的vertical edge，设计一个3x3的矩阵（称之为filter或kernel），让原始图片和filter矩阵做卷积运算（convolution），得到一个4x4的图片。 具体的做法是，将filter矩阵贴到原始矩阵上（从左到右从上到下），依次可以贴出4x4种情况。 让原始矩阵与filter重合的部分做element wise的乘积运算再求和 ，所得的值作为4x4矩阵对应元素的值。如下图是第一个元素的计算方法，以此类推。
可以看到，卷积运算的求解过程是从左到右，由上到下，每次在原始图片矩阵中取与滤波器同等大小的一部分，每一部分中的值与滤波器中的值对应相乘后求和，将结果组成一个矩阵。
下图对应一个垂直边缘检测的例子：
如果将最右边的矩阵当作图像，那么中间一段亮一些的区域对应最左边的图像中间的垂直边缘。
下图3x3滤波器，通常称为垂直 索伯滤波器 （Sobel filter）：
看看用它来处理知名的Lena照片会得到什么：
现在可以解释卷积操作的用处了：用输出图像中更亮的像素表示原始图像中存在的边缘。
你能看出为什么边缘检测图像可能比原始图像更有用吗？
回想一下MNIST手写数字分类问题。在MNIST上训练的CNN可以找到某个特定的数字。比如发现数字1，可以通过使用边缘检测发现图像上两个突出的垂直边缘。
通常，卷积有助于我们找到特定的局部图像特征（如边缘），用在后面的网络中。
假设输入图片的大小为 n×n，而滤波器的大小为 f×f，则卷积后的输出图片大小为 (n−f+1)×(n−f+1)。
这样就有两个问题：
为了解决这些问题，可以在进行卷积操作前，对原始图片在边界上进行填充（Padding），以增加矩阵的大小。通常将 0 作为填充值。
设每个方向扩展像素点数量为 p，则填充后原始图片的大小为 (n+2p)×(n+2p)，滤波器大小保持 f×f不变，则输出图片大小为 (n+2p−f+1)×(n+2p−f+1)。
因此，在进行卷积运算时，我们有两种选择：
在计算机视觉领域，f通常为奇数。原因包括 Same 卷积中 p=（f−1）/ 2 能得到自然数结果，并且滤波器有一个便于表示其所在位置的中心点。
卷积过程中，有时需要通过填充来避免信息损失，有时也需要通过设置 步长（Stride） 来压缩一部分信息。
步长表示滤波器在原始图片的水平方向和垂直方向上每次移动的距离。之前，步长被默认为 1。而如果我们设置步长为 2，则卷积过程如下图所示：
设步长为 s，填充长度为p, 输入图片大小为n x n, 滤波器大小为f x f, 则卷积后图片的尺寸为：
注意公式中有一个向下取整的符号，用于处理商不为整数的情况。向下取整反映着当取原始矩阵的图示蓝框完全包括在图像内部时，才对它进行运算。
如果我们想要对三通道的 RGB 图片进行卷积运算，那么其对应的滤波器组也同样是三通道的。过程是将每个单通道（R，G，B）与对应的滤波器进行卷积运算求和，然后再将三个通道的和相加，将 27 个乘积的和作为输出图片的一个像素值。
如果想同时检测垂直和水平边缘，或者更多的边缘检测，可以增加更多的滤波器组。例如设置第一个滤波器组实现垂直边缘检测，第二个滤波器组实现水平边缘检测。设输入图片的尺寸为 n×n×nc（nc为通道数），滤波器尺寸为 f×f×nc，则卷积后的输出图片尺寸为 (n−f+1)×(n−f+1)×n′c，n′c为滤波器组的个数。
与之前的卷积过程相比较，卷积神经网络的单层结构多了激活函数和偏移量；而与标准神经网络相比，滤波器的数值对应着权重 W[l]，卷积运算对应着 W[l]与 A[l−1]的乘积运算，所选的激活函数变为 ReLU。
对于一个 3x3x3 的滤波器，包括偏移量 b（27+1）在内共有 28 个参数。不论输入的图片有多大，用这一个滤波器来提取特征时，参数始终都是 28 个，固定不变。即选定滤波器组后，参数的数目与输入图片的尺寸无关。因此，卷积神经网络的参数相较于标准神经网络来说要少得多。这是 CNN 的优点之一。
图像中的相邻像素倾向于具有相似的值，因此通常卷积层相邻的输出像素也具有相似的值。这意味着，卷积层输出中包含的大部分信息都是冗余的。如果我们使用边缘检测滤波器并在某个位置找到强边缘，那么我们也可能会在距离这个像素1个偏移的位置找到相对较强的边缘。但是它们都一样是边缘，我们并没有找到任何新东西。池化层解决了这个问题。这个网络层所做的就是通过减小输入的大小降低输出值的数量。池化一般通过简单的最大值、最小值或平均值操作完成。以下是池大小为2的最大池层的示例:
在计算神经网络的层数时，通常只统计具有权重和参数的层，因此池化层通常和之前的卷积层共同计为一层。
图中的 FC3 和 FC4 为全连接层，与标准的神经网络结构一致。
个人推荐 一个直观感受卷积神经网络的网站 。
相比标准神经网络，对于大量的输入数据，卷积过程有效地减少了 CNN 的参数数量，原因有以下两点：
-参数共享（Parameter sharing）：特征检测如果适用于图片的某个区域，那么它也可能适用于图片的其他区域。即在卷积过程中，不管输入有多大，一个特征探测器（滤波器）就能对整个输入的某一特征进行探测。
-稀疏连接（Sparsity of connections）：在每一层中，由于滤波器的尺寸限制，输入和输出之间的连接是稀疏的，每个输出值只取决于输入在局部的一小部分值。
池化过程则在卷积后很好地聚合了特征，通过降维来减少运算量。
由于 CNN 参数数量较小，所需的训练样本就相对较少，因此在一定程度上不容易发生过拟合现象。并且 CNN 比较擅长捕捉区域位置偏移。即进行物体检测时，不太受物体在图片中位置的影响，增加检测的准确性和系统的健壮性。
在神经网络可以收敛的前提下，随着网络深度增加，网络的表现先是逐渐增加至饱和，然后迅速下降
需要注意，网络退化问题不是过拟合导致的，即便在模型训练过程中，同样的训练轮次下，退化的网络也比稍浅层的网络的训练错误更高，如下图所示。
这一点并不符合常理：如果存在某个 K层网络是当前F的最优的网络，我们构造更深的网络。那么K之后的层数可以拟合成恒等映射，就可以取得和F一直的结果。如果K不是最佳层数，那么我们比K深，可以训练出的一定会不差于K的。总而言之，与浅层网络相比，更深的网络的表现不应该更差。因此，一个合理的猜测就是， 对神经网络来说，恒等映射并不容易拟合。
也许我们可以对网络单元进行一定的改造，来改善退化问题？这也就引出了残差网络的基本思路
既然神经网络不容易拟合一个恒等映射，那么一种思路就是构造天然的恒等映射。
实验表明，残差网络 很好地解决了深度神经网络的退化问题 ，并在ImageNet和CIFAR-10等图像任务上取得了非常好的结果，同等层数的前提下残差网络也 收敛得更快 。这使得前馈神经网络可以采用更深的设计。除此之外， 去除个别神经网络层，残差网络的表现不会受到显着影响 ，这与传统的前馈神经网络大相径庭。
2018年的一篇论文，The Shattered Gradients Problem: If resnets are the answer, then what is the question，指出了一个新的观点，尽管残差网络提出是为了解决梯度弥散和网络退化的问题， 它解决的实际上是梯度破碎问题
作者通过可视化的小型实验(构建和训练一个神经网络发现，在浅层神经网络中，梯度呈现为棕色噪声(brown noise)，深层神经网络的梯度呈现为白噪声。在标准前馈神经网络中，随着深度增加， 神经元梯度的相关性(corelation)按指数级减少 (1 / 2^L) ；同时， 梯度的空间结构也随着深度增加被逐渐消除 。这也就是梯度破碎现象。
梯度破碎为什么是一个问题呢？这是因为许多优化方法假设梯度在相邻点上是相似的，破碎的梯度会大大减小这类优化方法的有效性。另外，如果梯度表现得像白噪声，那么某个神经元对网络输出的影响将会很不稳定。
相较标准前馈网络， 残差网络中梯度相关性减少的速度从指数级下降到亚线性级 ) (1 / sqrt(L)) ，深度残差网络中，神经元梯度介于棕色噪声与白噪声之间(参见上图中的c,d,e)；残差连接可以 极大地保留梯度的空间结构 。残差结构缓解了梯度破碎问题。
1x1 卷积指滤波器的尺寸为 1。当通道数为 1 时，1x1 卷积意味着卷积操作等同于乘积操作。
而当通道数更多时，1x1 卷积的作用实际上类似全连接层的神经网络结构，从而降低（或升高，取决于滤波器组数）数据的维度。
池化能压缩数据的高度（nH）及宽度（nW），而 1×1 卷积能压缩数据的通道数（nC）。在如下图所示的例子中，用 filters个大小为 1×1×32 的滤波器进行卷积，就能使原先数据包含的 32个通道压缩为 filters 个。
在这之前，网络大都是这样子的：
也就是卷积层和池化层的顺序连接。这样的话，要想提高精度，增加网络深度和宽度是一个有效途径，但也面临着参数量过多、过拟合等问题。（当然，改改超参数也可以提高性能）
有没有可能在同一层就可以提取不同（稀疏或不稀疏）的特征呢(使用不同尺寸的卷积核)？于是，2014年，在其他人都还在一味的增加网络深度时(比如vgg)，GoogleNet就率先提出了卷积核的并行合并（也称Bottleneck Layer），如下图。
和卷积层、池化层顺序连接的结构（如VGG网络）相比，这样的结构主要有以下改进：
按照这样的结构来增加网络的深度，虽然可以提升性能，但是还面临计算量大（参数多）的问题。为改善这种现象，GooLeNet借鉴Network-in-Network的思想，使用1x1的卷积核实现降维操作(也间接增加了网络的深度)，以此来减小网络的参数量(这里就不对两种结构的参数量进行定量比较了)，如图所示。
最后实现的inception v1网络是上图结构的顺序连接
由于卷积这门课的其他内容和计算机视觉关系比较密切。对我理解推荐系统帮助不大。所以这个系列就到这里。吴恩达的课还是很好的，作业和课和测验我都认真做啦。
㈤ 残差网络ResNet笔记
作者根据输入将层表示为学习 残差函数 。实验表明，残差网络更容易优化，并且能够通过增加相当的深度来提高准确率。
核心是解决了增加深度带来的副作用（退化问题），这样能够通过单纯地增加网络深度，来提高网络性能。
网络的深度为什么重要？
因为CNN能够提取low/mid/high-level的特征，网络的层数越多，意味着能够提取到不同level的特征越丰富。并且，越深的网络提取的特征越抽象，越具有语义信息。
为什么不能简单地增加网络层数？
怎么解决退化问题？
深度残差网络。如果深层网络的后面那些层是恒等映射，那么模型就退化为一个浅层网络。那现在要解决的就是学习恒等映射函数了。 但是直接让一些层去拟合一个潜在的恒等映射函数H(x) = x，比较困难，这可能就是深层网络难以训练的原因。但是，如果把网络设计为H(x) = F(x) + x,如下图。我们可以转换为学习一个残差函数F(x) = H(x) - x. 只要F(x)=0，就构成了一个恒等映射H(x) = x. 而且，拟合残差肯定更加容易。
其他的参考解释
这种残差学习结构可以通过前向神经网络+shortcut连接实现，如结构图所示。而且shortcut连接相当于简单执行了同等映射，不会产生额外的参数，也不会增加计算复杂度。 而且，整个网络可以依旧通过端到端的反向传播训练。
ImageNet上的实验证明了作者提出的加深的残差网络能够比简单叠加层生产的深度网络更容易优化，而且，因为深度的增加，结果得到了明显提升。另外在CIFAR-10数据集上相似的结果以及一系列大赛的第一名结果表明ResNet是一个通用的方法。
F(x)与x相加就是就是逐元素相加，但是如果两者维度不同，需要给x执行一个线性映射来匹配维度：
用来学习残差的网络层数应当大于1，否则退化为线性。文章实验了layers = 2或3，更多的层也是可行的。
用卷积层进行残差学习： 以上的公式表示为了简化，都是基于全连接层的，实际上当然可以用于卷积层。加法随之变为对应channel间的两个feature map逐元素相加。
key point：
key point：
㈥ 十分钟一起学会ResNet残差网络
深度卷积网络自然的整合了低中高不同层次的特征，特征的层次可以靠加深网络的层次来丰富。从而，在构建卷积网络时，网络的深度越高，可抽取的特征层次就越丰富。所以一般我们会倾向于使用更深层次的网络结构，以便取得更高层次的特征。但是在使用深层次的网络结构时我们会遇到两个问题，梯度消失，梯度爆炸问题和网络退化的问题。
但是当使用更深层的网络时，会发生梯度消失、爆炸问题，这个问题很大程度通过标准的初始化和正则化层来基本解决，这样可以确保几十层的网络能够收敛，但是随着网络层数的增加，梯度消失或者爆炸的问题仍然存在。
还有一个问题就是网络的退化，举个例子，假设已经有了一个最优化的网络结构，是18层。当我们设计网络结构的时候，我们并不知道具体多少层次的网络时最优化的网络结构，假设设计了34层网络结构。那么多出来的16层其实是冗余的，我们希望训练网络的过程中，模型能够自己训练这五层为恒等映射，也就是经过这层时的输入与输出完全一样。但是往往模型很难将这16层恒等映射的参数学习正确，那么就一定会不比最优化的18层网络结构性能好，这就是随着网络深度增加，模型会产生退化现象。它不是由过拟合产生的，而是由冗余的网络层学习了不是恒等映射的参数造成的。
ResNet是在2015年有何凯明，张翔宇，任少卿，孙剑共同提出的，ResNet使用了一个新的思想，ResNet的思想是假设我们涉及一个网络层，存在最优化的网络层次，那么往往我们设计的深层次网络是有很多网络层为冗余层的。那么我们希望这些冗余层能够完成恒等映射，保证经过该恒等层的输入和输出完全相同。具体哪些层是恒等层，这个会有网络训练的时候自己判断出来。将原网络的几层改成一个残差块，残差块的具体构造如下图所示：
可以看到X是这一层残差块的输入，也称作F(x)为残差，x为输入值，F（X）是经过第一层线性变化并激活后的输出，该图表示在残差网络中，第二层进行线性变化之后激活之前，F(x)加入了这一层输入值X，然后再进行激活后输出。在第二层输出值激活前加入X，这条路径称作shortcut连接。
我们发现，假设该层是冗余的，在引入ResNet之前，我们想让该层学习到的参数能够满足h(x)=x，即输入是x，经过该冗余层后，输出仍然为x。但是可以看见，要想学习h(x)=x恒等映射时的这层参数时比较困难的。ResNet想到避免去学习该层恒等映射的参数，使用了如上图的结构，让h(x)=F(x)+x;这里的F(x)我们称作残差项，我们发现，要想让该冗余层能够恒等映射，我们只需要学习F(x)=0。学习F(x)=0比学习h(x)=x要简单，因为一般每层网络中的参数初始化偏向于0，这样在相比于更新该网络层的参数来学习h(x)=x，该冗余层学习F(x)=0的更新参数能够更快收敛，如图所示：
假设该曾网络只经过线性变换，没有bias也没有激活函数。我们发现因为随机初始化权重一般偏向于0，那么经过该网络的输出值为[0.6 0.6]，很明显会更接近与[0 0]，而不是[2 1]，相比与学习h(x)=x，模型要更快到学习F(x)=0。
并且ReLU能够将负数激活为0，过滤了负数的线性变化，也能够更快的使得F(x)=0。这样当网络自己决定哪些网络层为冗余层时，使用ResNet的网络很大程度上解决了学习恒等映射的问题，用学习残差F(x)=0更新该冗余层的参数来代替学习h(x)=x更新冗余层的参数。
这样当网络自行决定了哪些层为冗余层后，通过学习残差F(x)=0来让该层网络恒等映射上一层的输入，使得有了这些冗余层的网络效果与没有这些冗余层的网络效果相同，这样很大程度上解决了网络的退化问题。
我们发现很深的网络层，由于参数初始化一般更靠近0，这样在训练的过程中更新浅层网络的参数时，很容易随着网络的深入而导致梯度消失，浅层的参数无法更新。
可以看到，假设现在需要更新 参数因为随机初始化偏向于0，通过链式求导我们会发现， 相乘会得到更加接近于0的数，那么所求的这个 的梯度就接近于0，也就产生了梯度消失的现象。
ResNet最终更新某一个节点的参数时，由于 ，由于链式求导后的结果如图所示，不管括号内右边部分的求导参数有多小，因为左边的1的存在，并且将原来的链式求导中的连乘变成了连加状态（正是 ），都能保证该节点参数更新不会发生梯度消失或梯度爆炸现象。
这样ResNet在解决了阻碍更深层次网络优化问题的两个重要问题后，ResNet就能训练更深层次几百层乃至几千层的网络并取得更高的精确度了。
这里是应用了ResNet的网络图，这里如果遇到了h(x)=F(x)+x中x的维度与F(x)不同的维度时，我们需要对identity加入Ws来保持Ws*x的维度与F(x)的维度一致。
x与F(x)维度相同时：
x与F(x)维度不同时：
下边是ResNet的网络结构图：
使用1*1卷积减少参数和计算量：
如果用了更深层次的网络时，考虑到计算量，会先用1 * 1的卷积将输入的256维降到64维，然后通过1*1恢复。这样做的目的是减少参数量和计算量。
左图是ResNet34，右图是ResNet50/101/152。这一个模块称作building block，右图称之为bottleneck design。在面对50，101,152层的深层次网络，意味着有很大的计算量，因此这里使用1 * 1卷积先将输入进行降维，然后再经过3 * 3卷积后再用 卷积进行升维。使用1*1卷积的好处是大大降低参数量计算量。
通过上述的学习，你应该知道了，现如今大家普遍认为更好的网络是建立在更宽更深的网络基础上，当你需要设计一个深度网络结构时，你永远不知道最优的网络层次结构是多少层，一旦你设计的很深入了，那势必会有很多冗余层，这些冗余层一旦没有成功学习恒等变换 ,那就会影响网络的预测性能，不会比浅层的网络学习效果好从而产生退化问题。
ResNet的过人之处，是他很大程度上解决了当今深度网络头疼的网络退化问题和梯度消失问题。使用残差网络结构 代替原来的没有shortcut连接的 ,这样更新冗余层的参数时需要学习 比学习 要容易得多。而shortcut连接的结构也保证了反向传播更新参数时，很难有梯度为0的现象发生，不会导致梯度消失。
这样，ResNet的构建，使我们更朝着符合我们的直觉走下去，即越深的网络对于高级抽象特征的提取和网络性能更好，不用在担心随着网络的加深发生退化问题了。
近段时间，准备持续发表一些CNN常见的网络模型讲解。好了，今天的十分钟就带你一起学会ResNet，下次的十分钟我们再见。
㈦ 残差网络
残差网络（Resial Network简称ResNet）是在2015年继Alexnet Googlenet VGG三个经典的CNN网络之后提出的，并在ImageNet比赛classification任务上拔得头筹，ResNet因其简单又实用的优点，现已在检测，分割，识别等领域被广泛的应用。
ResNet可以说是过去几年中计算机视觉和深度学习领域最具开创性的工作,有效的解决了随着网络的加深，出现了训练集准确率下降的问题，如下图所示：
做过深度学习的同学应该都知道，随着网络层数的增加而导致训练效果变差的一个原因是梯度弥散和梯度爆炸问题(vanishing/exploding gradients)，这个问题抑制了浅层网络参数的收敛。但是这个问题已经通过一些参数初始化的技术较好的解决了，有兴趣的同学可以看参考文献中的以下几篇文章：[2][3][4][5][6]。
但是即便如此，在网络深度较高的时候(例如图中的56层网络)任然会出现效果变差的问题，我们在先前的Alexnet Googlenet VGG三个模型中可以看出，网络的深度在图片的识别中有着至关重要的作用，深度越深能自动学习到的不同层次的特征可能就越多，那到底是什么原因导致了效果变差呢？
Fig. 3
左侧19层的VGG模型的计算量是 19.6 billion FLOPs 中间是34层的普通卷积网络计算量是3.6 billion FLOPs。
右边是34层的ResNet计算量是3.6billion FLOPs，图中实线的箭头是没有维度变化的直接映射，虚线是有维度变化的映射。通过对比可以看出VGG虽然层数不多但是计算量还是很大的，后面我们可以通过实验数据看到34层的ResNet的表现会比19层的更好。
从图中可以看出在效果上，34层的残差网络比VGG和GoogleNet都要好，A，B，C三种方案中C方案效果最好，但是B，C方案在计算量上比A方案要大很多，而效果提升的又很少，所以论文作者建议还是使用A方案较为实用。
下面我们介绍层数在50及以上的残差网络的结构: Deeper Bottleneck Architectures。这种结构是作者为了降低训练时间所设计的，结构对比如下图所示：
ResNet通过残差学习解决了深度网络的退化问题，让我们可以训练出更深的网络，这称得上是深度网络的一个历史大突破吧。也许不久会有更好的方式来训练更深的网络，让我们一起期待吧！
目前，您可以在 人工智能建模平台 Mo 找到基于tensorflow 的34层的残差网络（ResNet）实现样例，数据集是CIFAR-10 （CIFAR的十分类数据集），这个样例在测试集上的精度为90%，验证集上的精度为98%。主程序在ResNet_Operator.py中,网络的Block结构在ResNet_Block.py中，训练完的模型保存在results文件夹中。
项目源码地址： http://momodel.cn/explore/5d1b0a031afd944132a0797d?type=app
参考文献：
[1] _K. He, X. Zhang, S. Ren, and J. Sun. Deep resial learning for image recognition. arXiv preprint arXiv:1512.03385,2015.
[2] Y. LeCun, L. Bottou, G. B. Orr, and K.-R.M¨uller. Efficient backprop.In Neural Networks: Tricks of the Trade, pages 9–50. Springer, 1998.
[3] X. Glorot and Y. Bengio. Understanding the difficulty of training deep feedforward neural networks. In AISTATS, 2010.
[4] A. M. Saxe, J. L. McClelland, and S. Ganguli. Exact solutions to the nonlinear dynamics of learning in deep linear neural networks.arXiv:1312.6120, 2013.
[5] K. He, X. Zhang, S. Ren, and J. Sun. Delving deep into rectifiers:Surpassing human-level performance on imagenet classification. In ICCV, 2015.
[6] S. Ioffe and C. Szegedy. Batch normalization: Accelerating deep network training by recing internal covariate shift. In ICML, 2015.
Mo （网址： momodel.cn ）是一个支持 Python 的 人工智能在线建模平台 ，能帮助你快速开发、训练并部署模型。
Mo 人工智能俱乐部 是由网站的研发与产品设计团队发起、致力于降低人工智能开发与使用门槛的俱乐部。团队具备大数据处理分析、可视化与数据建模经验，已承担多领域智能项目，具备从底层到前端的全线设计开发能力。主要研究方向为大数据管理分析与人工智能技术，并以此来促进数据驱动的科学研究。