深度卷积网络进行声音信号分类

A. ie900降噪参数

降噪算法：基于深度学习的降噪算法，如深度卷积网络（DCNN）、深度稀疏编码（DSC）亮答和深度自编码（DAE）等。
降噪模型：基于深度学习的降噪模型，如深度卷积网络（DCNN）、深度稀疏编码（DSC）和深度自编码（DAE）等。
训练参数：学习率、批量大小、正则化参数、优化器类型、激活函数或念类型、损失函敬团慧数类型、网络结构等。
评估参数：噪声抑制比、峰值信噪比（PSNR）、结构相似性（SSIM）、熵值（Entropy）等。

B. 声音信号如何分类

1、败漏穗次声波，频率低于20HZ的声波，人耳听不见，但动物有的能够听见，因为察卜这种声音大多在地震时会在搜塌地下传出来。（如兔子等动物）

2、声波，频率在20HZ~20KHZ之间的声波，人耳听的见。

3、超声波，大于20KHZ的声波，人耳听不见，但有的飞行动物能够听见。（如蝙蝠等动物）

C. 卷积的语音信号实际应用有哪些

主要有以下凯御实际应用：
1.更加银拍深和复杂的网络，CNN一般作为网络的前几层，可以理解为用CNN提取特征，后面锋孙羡接LSTM或DNN。同时结合多种机制，如attention model、ResNet 的技术等。
2.End to End的识别系统，采用端到端技术CTC，LFR 等。
3.粗粒度的建模单元，趋势为从state到phone到character，建模单元越来越大。

D. cnn信号分类准确率可能达到100以上吗

是的，CNN信号分类准确率可以达到100以行慧饥上。档返CNN（卷积神经网络）是一种深度学习技术，它利用卷积运算来对输入信号进行分类。CNN通过对输入信号的卷积、池化以及全连接层，可以提取出输入信号的特征，从而进行准确的分类。因此，CNN在分类任务上具有很高的准确率，可以达到碧轿100以上。

E. 基于DeepConvLSTM的传感器信号分类

随机智能手机的普及，在日常生活中，大多数人在做任何事情的时候，都会随身携带手机。如果开启手机中的传感器，当用户运动时，就可以采集大量的用户信息，根据这些信息，就可以判断当前用户的运动模式，如行走、上楼梯、下楼梯、坐、站立、躺下等等。基于这些运动模式，设计不同的场景，为健身类或运动类应用（APP）增加一些有趣功能。

在智能手机中，常见的位置信息传感器就是 加速度传感器（Accelerometer） 和 陀螺仪（Gyroscope） 。

本文主要根据手机的传感器数据，训练深度学习模型，用于预测用户的运动模式。

技术方案：

本文源码： https://github.com/SpikeKing/MachineLearningDemos/tree/master/motion_detector

本例的数据来源于UCI（即UC Irvine，加州大学欧文分校）。数据由年龄在19-48岁之间的30位志愿者，智能手机固定于他们的腰部，执行六项动作，即行走、上楼梯、下楼梯、坐、站立、躺下，同时在手机中存储传感器（加速度传感器和陀螺仪）的三维（XYZ轴）数据。传感器的频率被设置为50HZ（即每秒50次记录）。对于所输出传感器的维度数据，进行噪声过滤（Noise Filter），以2.56秒的固定窗口滑动，同时窗口之间包含50%的重叠，即每个窗口的数据维度是128（2.56*50）维，根据不同的运动类别，将数据进行标注。传感器含有三类：身体（Body）的加速度传感器、整体（Total）的加速度传感器、陀螺仪。

以下是根据数据绘制的运动曲线，站立（红色）、坐（绿色）、躺下（橙色）的振幅较小，而行走（蓝色）、上楼梯（紫色）、下楼梯（黑色）的振幅较大。

以下是在行走（Walking）中，三类传感器的三个轴，共9维数据的运动曲线：

以下是在坐（Sitting）中的运动曲线：

通过观察可知，不同运动模式的传感器数据曲线拥有一定的差异性，但是有些运动模式的差异性并不明显，如行走、上楼梯、下楼梯之间纤州；相同运动模式的大竖敏传感器数据曲线也各不相同。

在数据源中，70%的数据作为训练数据，30%的数据作为测试数据，生成训练数据的志愿者与生成测试数据的不同，以保证数据的严谨性，符合在实际应用中预测未知用户动作的准则。

UCI数据源

模型是基于深度学习的DeepConvLSTM算法，算法融合了卷积（Convolution）和LSTM操作，既可以学习样本的空间属性，也可以学习时间属性。在卷积操作中，通过将信号与卷积核相乘，过滤波形信号，保留高层信息。在LSTM操作中，通过记忆或遗忘前序信息，发现信号之间的时序关系。

DeepConvLSTM算法的框架，如下：

将每类传感器（身体加速度、整体加速度、陀螺仪）的3个坐标轴（XYZ）数据，合并成一个数据矩阵，即 (128, 3) 维，作为输入数据，每类传感器均创建1个DeepConvLSTM模型，共3个模型。通过3次卷积操作和3次LSTM操作，将数据抽象为128维的LSTM输出向量。

在CNN的卷积单元中，通过卷积（1x1卷积核）、BN、MaxPooling（2维chihua）、Dropout的组合操作，连续3组，最后一组执行Dropout。通过MaxPooling的降维操作（ 2^3=8 ），将128维的数据转为为16维的高层特征。

在RNN的时序单元中，通过LSTM操作，隐含层神经元数设置为128个，连续三次，将16维的卷积特征转换为128维的时序特征，再执行滚枝Dropout操作。

最后，将3个传感器的3个模型输出，合并（Merge）为一个输入，即 128*3=384 ，再执行Dropout、全连接（Dense）、BN等操作，最后使用Softmax激活函数，输出6个类别的概率。

选择概率较大的类别，作为最终预测的运动模式。

在第48层中，即Concatenate层，将3个传感器的LSTM输出合并（Merge）成1个输入，不同类别的特征，效果也不同，如：

训练参数：

最终效果，在测试集中，准确率约为95%左右：

如果继续调整参数，还可以提升准确率。

通过深度学习算法训练的用户动作识别模型，可以应用于移动端进行场景检测，包含行走、上楼梯、下楼梯、坐、站立、躺下等六种动作。同时，95%的准确率已经满足大多数产品的需求。

By C. L. Wang @ 美图云

参考： Merge versus merge 、 visualization 、 DeepConvLSTM 、
multiclass one-hot

F. 一维信号分类需要用复杂的深度学习神经网络吗

一维信号分类需要用复杂的深度学习神经网络。
一维信号分类需要用复杂的深度学习神经网络来进行分类，同时深度学习算法（包括CNN）也肯定可以直接处理一维信号。举个例子，深度残差收缩网络，就是用于处理一维振动信号的一种深度学习方法，可以作为参考。深度残差收缩网络其实是深度残差网络（ResNet）的新型改进，将软阈值化作为非线性层引入ResNet的网络结构之中，其目的是提高深度学习方法在含噪声数据或复杂数据上的特征学习效果。
直接把多通道的一维信号合并成二维图像，然后直接按图像卷积的方法去做~~当然，如果像ECG这种只有单通道一维信号，也可以直接一维卷积，效果一般~~可以看看语音处理的相关Net，其中比较推荐的是用 dilated conv 来做

G. 深度卷积网络

LeNet网络的结构如下图所示，可以看出，LeNet网络并没有使用padding，每进行一次卷积，图像的高度和宽度都会缩小，而通道数会一直增加。在全连接层中有400个节点，每个极点都有120个神经元，有时还会从这400个节点抽取一部分节点构建一个全连接层，即有两个全连接层。在该网络中，最后一步就是利用84个特征得到最后的输出，该网络刚开始使用的是 sigmoid 函数 tanh 函数，而现在常常倾向于使用 softmax 函数。需要注意的是，LeNet-5网络进行图像分类时，输入的图像是单通道的灰度图像。

AlexNet是以论文第一作者的名字命名的，该网络的结构，如下图所示，该网络的输出层使用了 softmax 函数。AlexNet网络比LeNet网络规模更大，大约有6000万个参数，用于训练图像和数据集时，能够处理非常相似的基本构造模块，这些模块中包含着大量的隐藏单元，并且与LeNet网络不同的是，该网络使用了ReLu的激活函数。

VGG-16网络没有太多的超参数，这是一种专注于构建卷积层的简单网络。如下图所示，该网络首先利用64个过滤器进行了两次卷积，接着在池化层将输入图像压缩，接着又是128个过滤器进行两次卷积，接着载池化。继续用256个过滤器进行3次卷积，再池化，接着再利用512个过滤器卷积3次，再池化，将稍后得到的特征图进行全连接操作，再进 softmax 激活。

由于存在梯度消失和梯度爆炸的原因，深层次的神经网络是很难训练的，如果采用一种跳跃连接的方式，即从某一层网络层获取激活，然后迅速反馈给另外一层，甚至是神经网络的更深层。这种利用跳跃连接构建的深度神经网络ResNets，深度能够超过100层

一个简单的两层神经网络示例，如下图所示：

常规的输出和输出之间的关系可以用如下的公式表示：

如上公式所述，这是一条神经网络的主路径。如果将 的输入直接到深层的激活函数之前，此时，神经网络有了一条副路径，其对应输出将有公式（5）变成如下所示的公式（6）

此时的输入除了原先的输入 外，多了一个 项，即由于 产生了一个残差块。

构建一个ResNet网络就是将很多这样的残差块堆积在一起，形成一个深度神经网络，如下所示：

使用传统的标准优化算法训练一个网络，随着网络深度的增加，训练误差会先减小再增加，随着网络层数的增加，优化算法会越难以训练，训练误差也会越来越多。但是，使用ResNet网络，能够有效地避免这种情况。

如上所述，加入残差网络之后，其输出计算公式如公式（6）所示，展开这个公式，则有：

如果使用L2正则化或者权重衰减，则会压缩权重参数 的值，如果参数 和参数 等于0，其输出将由公式（7）变成 ，假定使用ReLU激活函数，则有：

由于残差网络存在的这种跳跃连接，很容易得出以上等式，这意味着，即使给神经网络增加两层，但是其效率并不逊色与更简单的神经网络。并且由于存在以上恒等式，使得网络学习隐藏层的单元的信息更加容易。而普通网络，随着网络层数的增加，学习参数会变得很困难。

此外，关于残差网络，如公式（6）所示，假设 与 具有相同的维度，由于ResNets使用了许多same卷积， 的维度等于输出层的维度。如果输入和输出具有不同的维度，可以再增加一个矩阵 ，使得 和 具有相同的维度。而 的维度可以通过0值填充调节。

在卷积网络的架构设计中，一种有趣的想法是会使用到1×1的过滤矩阵，实际上，对于单通道的图像而言，1×1的过滤矩阵，意义不大，但是，对于多通道的图像而言，1×1的过滤矩阵能够有效减少图像卷积之后的通道数量。

根据卷积和池化的基本知识，随着神经网络层数的增加，图像的通道数量会逐渐增加，采用1×1的过滤矩阵卷积之后，可以有效减少图像的通道数量，一个简单的示例，如下所示：

假设有一个6×6×32的图片，使用1×1×32的过滤矩阵进行卷积运算，整个运算过程将会遍历36个单元格，并计算过滤矩阵所覆盖区域的元素积之和，将其应用到ReLu非线性函数，会得到一个输出值。此计算过程中，可能会用到多个1×1×32的过滤器，那么，通过以上计算会得到一个 6×6×过滤器数量 的矩阵。

构建卷积神经网络时，有时会很难决定过滤器的大小，而Inception网络的引入，却能很好的解决这个问题。

Inception网络的作用就是代替人工确定选择卷积层的过滤器类型。如下图所示，对于一个多通道图像，可以使用不同的过滤矩阵或者池化层，得到不同的输出，将这些输出堆积起来。

有了如上图所示的Inception块，最终输出为32+32+64+128=256，而Inception模块的输入为28×28×192，其整个计算成本，以5×5的过滤矩阵为例，其乘法的计算次数为：28×28×32×5×5×192，整个计算次数超过了1.2亿次。而如果使用如下所示的优化计算方法，则可以有效减少计算量。

如果利用1×1的过滤器，将输入矩阵的通道减少至16，则可以有效减少计算量，如下所示：

如上图所示的价格中，整个网络的运算次数为：28×28×192×16+28×28×32×5×5×16=1240万，整个计算成本降低至原来的十分之一。而，通过1×1×192过滤器卷积得到的这个网络层被称之为瓶颈层。

如上，所示，可以给每一个非1×1的卷积层之前，加入一个1×1的瓶颈层，就可以构建一个基本的inception模块了，如下图所示：

而一个inception网络就是多个Inception模块连接起来，如下图所示：

事实上，以上网络中，还存在一些分支，如编号1所示，这些分支就是全连接层，而全连接层之后就是一个softmax层用于预测。又如分支2所示，包含一些隐藏层（编号3），通过全连接层和softmax进行预测。这些分支结构能够确保，即使是隐藏层和中间层也参与了特征计算，并且也能够预测图片的分类。这种做法能够有效避免网络过拟合。

对于计算机视觉领域而言，神经网络的训练可能需要大量的数据，但是当数据量有限时，可以通过数据增强来实现数据量的扩充，以提高系统的鲁棒性，具体的数据增强方法如下所示：

除了以上三种数据增强的方法外，更多的数据增强方法和实现可以参考 图像数据增强

数据增强可以利用计算机多线程实现，一个线程用来实现加载数据，实现数据增强，其他线程可以训练这些数据以加快整体的运算速度。

H. 用于量子计算机的深度卷积神经网络

量子计算机将用于什么用途？量子计算机有望在许多领域帮助解决难题，包括机器学习。

本文详细讲述 量子计算机 上 卷积神经网络 （CNN）的理论实现。我们将此算法称为 QCNN ，我们证明了它可以比CNN 更快 地运行，并且精度 很高 。

为此，我们必须提出 卷积积 的 量子形式 ，找到实现非线性和池化的方法，以及对 表示图像 的 量子态 进行层析成像的新方法，以 保留有意义的信息 。

简而言之，我们可以说 量子物理系统可以描述为 维度为2^n的某些希尔伯特空间中的 向量 ，其中n是粒子数。实际上，这些向量表示许多可能的观察结果的叠加。

另一方面，机器学习，尤其是神经网络，正在粗略地使用向量和矩阵来理解或处理数据。 量子机器学习（QML）旨在使用量子系统对向量进行编码，并使用新的量子算法对其进行学习 。一个关键的概念是在许多矢量上使用量子叠加，我们可以同时处理它们。

我不会更深入地介绍量子计算或QML。有关更多详细信息，可以参考NeurIPS 2019中有关 Quantum k-means的 一篇文章 ：

卷积神经网络（CNN）是一种流行且高效的神经网络，用于图像分类，信号处理等。在大多数层中，将 卷积积 应用于图像或张量的输入上。通常后面是 非线性层和池化层 。

3D张量输入X ^ 1（RGB图像）和4D张量内核K ^ 1之间的卷积。

在本章中，我将重点介绍一层，解释什么是量子CNN。

这里的核心思想是我们可以根据矩阵乘法来重新构造卷积积。

该算法首先以量子叠加方式加载矩阵的 所有行和列 。然后，我们使用先前开发的 Quantum Inner Proct Estimation估算 输出的每个像素。在实践中，这就像只计算一个输出像素（图中的红点），但是以 量子叠加的方式进行计算可以使罩山吵它们同时全部都具有 ！然后，我们可以同时对它们中的每一个应用非线性。

不幸的是，我们所拥有的只是一个量子状态，其中所有像素并行存在，并不意味着我们可以访问所有像素。如果我们打开"量子盒"并查看结果（一个度量），我们 每次都会随机地只看到一个输出像素 。在打开盒子之前，这里都有"四处漂浮"的东西，就像着名的薛定谔的死活猫。

为了解决这个问题，我们引入了唯铅一种 只检索最有意义的像素的方法 。实际上，量子叠加中的每个输出像素都有一个幅度，与我们测量系统时 被看到 的幅度有关。在我们的算法中，我们强制此幅度等于像素值。 因此，具有高值的输出像素更有可能被看到。

在CNN中，输出中的高值像素非常重要。它们代表输入中存在特定模式的区域。通过了解不同模式出现的位置，神经网络可以理解图像。因此，这些 高价值像素承载着有意义的信息 ，我们可以舍弃其他希望CNN适应的 像素 。

图像上量子效应（噪声，随机性，采样）的小示例。凭直觉，我们仅对高值像素采样后仍可以"理解"图像。

请注意，在对这些输出像素进行采样时，我们可以在存储它们时应用任何类型的 合并 （有关技术细节，请参见论文）。我们将这些像素存储在经典内存中，以便可以将它们重新加载为 下一层的 输入。

传统上，CNN层需要时间 Õ（ 输出大小 x 内核大小 ） 。这就是为什么例如使用许多大内核来训练这些网络变得昂贵的原因。我们的 量子CNN 需要时间 为O（ （ σ X 输出大小） X Q） ，其中 σ 是我们从输出（<1）绘制样品的比率，和 Q 表示量子精度参数和数据相关的参数一束。有 没有在内核大小更依赖 （数量和尺寸），这可能允许进行更深入物侍的CNN。

通过量子CNN的这种设计，我们现在也想用量子算法对其进行训练。训练包括遵循梯度下降规则更新内核参数。在这里也可以找到一种更快的量子算法，它几乎等同于具有某些额外误差的通常的梯度下降。

QCNN和量子反向传播看起来不错，但暗示了很多近似，噪声和随机性。尽管有这些伪像，CNN仍然可以学习吗？我们比较了小型经典CNN的训练和QCNN在学习对手写数字进行分类（MNIST数据集）的任务上的模拟。这表明 QCNN可以以相似的精度学习 。

量子和经典CNN训练曲线之间的比较。 σ 是从每一层后的输出提取的高值像素的比率。期望 σ 太小，QCNN可以很好地学习。请注意，此数值模拟很小，只能给出直觉，不是证明。

在这项工作中，我们设计了第一个量子算法，通过引入量子卷积乘积和检索有意义的信息的新方法，几乎​​可以重现任何经典的CNN体​​系结构。它可以允许使用更深，更大的输入或内核来大大加快CNN的速度。我们还开发了量子反向传播算法，并模拟了整个训练过程。

请读者思考的问题：我们可以在其他数据集使用大型架构上训练QCNN吗？

I. 卷积在实际生活中的应用例子

卷积在实际生活中有很多应用，以下是一些例子：

6. 医学影像处理：卷积可以用于医学影像处理，如CT扫描、MRI扫描等。

J. 深度学习之卷积神经网络经典模型

LeNet-5模型 在CNN的应用中，文字识别系统所用的LeNet-5模型是非常经典的模型。LeNet-5模型是1998年，Yann LeCun教授提出的，它是第一个成功大规模应用在手写数字识别问题的卷积神经网络，在MNIST数据集中的正确率可以高达99.2%。

下面详细介绍一下LeNet-5模型工作的原理。
LeNet-5模型一共有7层，每层包含众多参数，也就是卷积神经网络中的参数。虽然层数只有7层，这在如今庞大的神经网络中可是说是非常少的了，但是包含了卷积层，池化层，全连接层，可谓麻雀虽小五脏俱全了。为了方便，我们把卷积层称为C层，下采样层叫做下采样层。
首先，输入层输入原始图像，原始图像被处理成32×32个像素点的值。然后，后面的隐层计在卷积和子抽样之间交替进行。C1层是卷积层，包含了六个特征图。每个映射也就是28x28个神经元。卷积核可以是5x5的十字形，这28×28个神经元共享卷积核权值参数，通过卷积运算，原始信号特征增强，同时也降低了噪声，当卷积核不同时，提取到图像中的特征不同；C2层是一个池化层，池化层的功能在上文已经介绍过了，它将局部像素值平均化来实现子抽样。
池化层包含了六个特征映射，每个映射的像素值为14x14，这样的池化层非常重要，可以在一定程度上保证网络的特征被提取，同时运算量也大大降低，减少了网络结构过拟合的风险。因为卷积层与池化层是交替出现的，所以隐藏层的第三层又是一个卷积层，第二个卷积层由16个特征映射构成，每个特征映射用于加权和计算的卷积核为10x10的。第四个隐藏层，也就是第二个池化层同样包含16个特征映射，每个特征映射中所用的卷积核是5x5的。第五个隐藏层是用5x5的卷积核进行运算，包含了120个神经元，也是这个网络中卷积运算的最后一层。
之后的第六层便是全连接层，包含了84个特征图。全连接层中对输入进行点积之后加入偏置，然后经过一个激活函数传输给输出层的神经元。最后一层，也就是第七层，为了得到输出向量，设置了十个神经元来进行分类，相当于输出一个包含十个元素的一维数组，向量中的十个元素即0到9。
AlexNet模型
AlexNet简介
2012年Imagenet图像识别大赛中，Alext提出的alexnet网络模型一鸣惊人，引爆了神经网络的应用热潮，并且赢得了2012届图像识别大赛的冠军，这也使得卷积神经网络真正意义上成为图像处理上的核心算法。上文介绍的LeNet-5出现在上个世纪，虽然是经典，但是迫于种种复杂的现实场景限制，只能在一些领域应用。不过，随着SVM等手工设计的特征的飞速发展，LeNet-5并没有形成很大的应用状况。随着ReLU与dropout的提出，以及GPU带来算力突破和互联网时代大数据的爆发，卷积神经网络带来历史的突破，AlexNet的提出让深度学习走上人工智能的最前端。
图像预处理
AlexNet的训练数据采用ImageNet的子集中的ILSVRC2010数据集，包含了1000类，共1.2百万的训练图像，50000张验证集，150000张测试集。在进行网络训练之前我们要对数据集图片进行预处理。首先我们要将不同分辨率的图片全部变成256x256规格的图像，变换方法是将图片的短边缩放到 256像素值，然后截取长边的中间位置的256个像素值，得到256x256大小的图像。除了对图片大小进行预处理，还需要对图片减均值，一般图像均是由RGB三原色构成，均值按RGB三分量分别求得，由此可以更加突出图片的特征，更方便后面的计算。
此外，对了保证训练的效果，我们仍需对训练数据进行更为严苛的处理。在256x256大小的图像中，截取227x227大小的图像，在此之后对图片取镜像，这样就使得原始数据增加了（256-224）x（256-224）x2= 2048倍。最后对RGB空间做PCA，然后对主成分做（0,0.1）的高斯扰动，结果使错误率下降1%。对测试数据而言，抽取以图像4个角落的大小为224224的图像，中心的224224大小的图像以及它们的镜像翻转图像，这样便可以获得10张图像，我们便可以利用softmax进行预测，对所有预测取平均作为最终的分类结果。
ReLU激活函数
之前我们提到常用的非线性的激活函数是sigmoid，它能够把输入的连续实值全部确定在0和1之间。但是这带来一个问题，当一个负数的绝对值很大时，那么输出就是0；如果是绝对值非常大的正数，输出就是1。这就会出现饱和的现象，饱和现象中神经元的梯度会变得特别小，这样必然会使得网络的学习更加困难。此外，sigmoid的output的值并不是0为均值，因为这会导致上一层输出的非0均值信号会直接输入到后一层的神经元上。所以AlexNet模型提出了ReLU函数，公式：f(x)=max(0,x)f(x)=max(0,x)。

用ReLU代替了Sigmoid，发现使用 ReLU 得到的SGD的收敛速度会比 sigmoid快很多，这成了AlexNet模型的优势之一。
Dropout
AlexNet模型提出了一个有效的模型组合方式，相比于单模型，只需要多花费一倍的时间，这种方式就做Dropout。在整个神经网络中，随机选取一半的神经元将它们的输出变成0。这种方式使得网络关闭了部分神经元，减少了过拟合现象。同时训练的迭代次数也得以增加。当时一个GTX580 GPU只有3GB内存，这使得大规模的运算成为不可能。但是，随着硬件水平的发展，当时的GPU已经可以实现并行计算了，并行计算之后两块GPU可以互相通信传输数据，这样的方式充分利用了GPU资源，所以模型设计利用两个GPU并行运算，大大提高了运算效率。
模型分析

AlexNet模型共有8层结构，其中前5层为卷积层，其中前两个卷积层和第五个卷积层有池化层，其他卷积层没有。后面3层为全连接层，神经元约有六十五万个，所需要训练的参数约六千万个。
图片预处理过后，进过第一个卷积层C1之后，原始的图像也就变成了55x55的像素大小，此时一共有96个通道。模型分为上下两块是为了方便GPU运算，48作为通道数目更加适合GPU的并行运算。上图的模型里把48层直接变成了一个面，这使得模型看上去更像一个立方体，大小为55x55x48。在后面的第二个卷积层C2中，卷积核的尺寸为5x5x48，由此再次进行卷积运算。在C1，C2卷积层的卷积运算之后，都会有一个池化层，使得提取特征之后的特征图像素值大大减小，方便了运算，也使得特征更加明显。而第三层的卷积层C3又是更加特殊了。第三层卷积层做了通道的合并，将之前两个通道的数据再次合并起来，这是一种串接操作。第三层后，由于串接，通道数变成256。全卷积的卷积核尺寸也就变成了13×13×25613×13×256。一个有4096个这样尺寸的卷积核分别对输入图像做4096次的全卷积操作，最后的结果就是一个列向量，一共有4096个数。这也就是最后的输出，但是AlexNet最终是要分1000个类，所以通过第八层，也就是全连接的第三层，由此得到1000个类输出。
Alexnet网络中各个层发挥了不同的作用，ReLU，多个CPU是为了提高训练速度，重叠pool池化是为了提高精度，且不容易产生过拟合，局部归一化响应是为了提高精度，而数据增益与dropout是为了减少过拟合。
VGG net
在ILSVRC-2014中，牛津大学的视觉几何组提出的VGGNet模型在定位任务第一名和分类任务第一名[[i]]。如今在计算机视觉领域，卷积神经网络的良好效果深得广大开发者的喜欢，并且上文提到的AlexNet模型拥有更好的效果，所以广大从业者学习者试图将其改进以获得更好地效果。而后来很多人经过验证认为，AlexNet模型中所谓的局部归一化响应浪费了计算资源，但是对性能却没有很大的提升。VGG的实质是AlexNet结构的增强版，它侧重强调卷积神经网络设计中的深度。将卷积层的深度提升到了19层，并且在当年的ImageNet大赛中的定位问题中获得了第一名的好成绩。整个网络向人们证明了我们是可以用很小的卷积核取得很好地效果，前提是我们要把网络的层数加深，这也论证了我们要想提高整个神经网络的模型效果，一个较为有效的方法便是将它的深度加深，虽然计算量会大大提高，但是整个复杂度也上升了，更能解决复杂的问题。虽然VGG网络已经诞生好几年了，但是很多其他网络上效果并不是很好地情况下，VGG有时候还能够发挥它的优势，让人有意想不到的收获。

与AlexNet网络非常类似，VGG共有五个卷积层，并且每个卷积层之后都有一个池化层。当时在ImageNet大赛中，作者分别尝试了六种网络结构。这六种结构大致相同，只是层数不同，少则11层，多达19层。网络结构的输入是大小为224*224的RGB图像，最终将分类结果输出。当然，在输入网络时，图片要进行预处理。
VGG网络相比AlexNet网络，在网络的深度以及宽度上做了一定的拓展，具体的卷积运算还是与AlexNet网络类似。我们主要说明一下VGG网络所做的改进。第一点，由于很多研究者发现归一化层的效果并不是很好，而且占用了大量的计算资源，所以在VGG网络中作者取消了归一化层；第二点，VGG网络用了更小的3x3的卷积核，而两个连续的3x3的卷积核相当于5x5的感受野，由此类推，三个3x3的连续的卷积核也就相当于7x7的感受野。这样的变化使得参数量更小，节省了计算资源，将资源留给后面的更深层次的网络。第三点是VGG网络中的池化层特征池化核改为了2x2，而在AlexNet网络中池化核为3x3。这三点改进无疑是使得整个参数运算量下降，这样我们在有限的计算平台上能够获得更多的资源留给更深层的网络。由于层数较多，卷积核比较小，这样使得整个网络的特征提取效果很好。其实由于VGG的层数较多，所以计算量还是相当大的，卷积层比较多成了它最显着的特点。另外，VGG网络的拓展性能比较突出，结构比较简洁，所以它的迁移性能比较好，迁移到其他数据集的时候泛化性能好。到现在为止，VGG网络还经常被用来提出特征。所以当现在很多较新的模型效果不好时，使用VGG可能会解决这些问题。
GoogleNet
谷歌于2014年Imagenet挑战赛（ILSVRC14）凭借GoogleNet再次斩获第一名。这个通过增加了神经网络的深度和宽度获得了更好地效果，在此过程中保证了计算资源的不变。这个网络论证了加大深度，宽度以及训练数据的增加是现有深度学习获得更好效果的主要方式。但是增加尺寸可能会带来过拟合的问题，因为深度与宽度的加深必然会带来过量的参数。此外，增加网络尺寸也带来了对计算资源侵占过多的缺点。为了保证计算资源充分利用的前提下去提高整个模型的性能，作者使用了Inception模型，这个模型在下图中有展示，可以看出这个有点像金字塔的模型在宽度上使用并联的不同大小的卷积核，增加了卷积核的输出宽度。因为使用了较大尺度的卷积核增加了参数。使用了1*1的卷积核就是为了使得参数的数量最少。

Inception模块
上图表格为网络分析图，第一行为卷积层，输入为224×224×3 ，卷积核为7x7，步长为2，padding为3，输出的维度为112×112×64，这里面的7x7卷积使用了 7×1 然后 1×7 的方式，这样便有(7+7)×64×3=2,688个参数。第二行为池化层，卷积核为3×33×3，滑动步长为2，padding为 1 ，输出维度：56×56×64，计算方式：1/2×(112+2×1?3+1)=56。第三行，第四行与第一行，第二行类似。第 5 行 Inception mole中分为4条支线，输入均为上层产生的 28×28×192 结果：第 1 部分，1×1 卷积层，输出大小为28×28×64；第 2 部分，先1×1卷积层，输出大小为28×28×96，作为输入进行3×3卷积层，输出大小为28×28×128；第 3部分，先1×1卷积层，输出大小为28×28×32，作为输入进行3×3卷积层，输出大小为28×28×32；而第3 部分3×3的池化层，输出大小为输出大小为28×28×32。第5行的Inception mole会对上面是个结果的输出结果并联，由此增加网络宽度。
ResNet
2015年ImageNet大赛中，MSRA何凯明团队的ResialNetworks力压群雄，在ImageNet的诸多领域的比赛中上均获得了第一名的好成绩，而且这篇关于ResNet的论文Deep Resial Learning for Image Recognition也获得了CVPR2016的最佳论文，实至而名归。
上文介绍了的VGG以及GoogleNet都是增加了卷积神经网络的深度来获得更好效果，也让人们明白了网络的深度与广度决定了训练的效果。但是，与此同时，宽度与深度加深的同时，效果实际会慢慢变差。也就是说模型的层次加深，错误率提高了。模型的深度加深，以一定的错误率来换取学习能力的增强。但是深层的神经网络模型牺牲了大量的计算资源，学习能力提高的同时不应当产生比浅层神经网络更高的错误率。这个现象的产生主要是因为随着神经网络的层数增加，梯度消失的现象就越来越明显。所以为了解决这个问题，作者提出了一个深度残差网络的结构Resial：

上图就是残差网络的基本结构，可以看出其实是增加了一个恒等映射，将原本的变换函数H(x)转换成了F(x)+x。示意图中可以很明显看出来整个网络的变化，这样网络不再是简单的堆叠结构，这样的话便很好地解决了由于网络层数增加而带来的梯度原来越不明显的问题。所以这时候网络可以做得很深，到目前为止，网络的层数都可以上千层，而能够保证很好地效果。并且，这样的简单叠加并没有给网络增加额外的参数跟计算量，同时也提高了网络训练的效果与效率。
在比赛中，为了证明自己观点是正确的，作者控制变量地设计几个实验。首先作者构建了两个plain网络，这两个网络分别为18层跟34层，随后作者又设计了两个残差网络，层数也是分别为18层和34层。然后对这四个模型进行控制变量的实验观察数据量的变化。下图便是实验结果。实验中，在plain网络上观测到明显的退化现象。实验结果也表明，在残差网络上，34层的效果明显要好于18层的效果，足以证明残差网络随着层数增加性能也是增加的。不仅如此，残差网络的在更深层的结构上收敛性能也有明显的提升，整个实验大为成功。

除此之外，作者还做了关于shortcut方式的实验，如果残差网络模块的输入输出维度不一致，我们如果要使维度统一，必须要对维数较少的进行増维。而增维的最好效果是用0来填充。不过实验数据显示三者差距很小，所以线性投影并不是特别需要。使用0来填充维度同时也保证了模型的复杂度控制在比较低的情况下。
随着实验的深入，作者又提出了更深的残差模块。这种模型减少了各个层的参数量，将资源留给更深层数的模型，在保证复杂度很低的情况下，模型也没有出现梯度消失很明显的情况，因此目前模型最高可达1202层，错误率仍然控制得很低。但是层数如此之多也带来了过拟合的现象，不过诸多研究者仍在改进之中，毕竟此时的ResNet已经相对于其他模型在性能上遥遥领先了。
残差网络的精髓便是shortcut。从一个角度来看，也可以解读为多种路径组合的一个网络。如下图：

ResNet可以做到很深，但是从上图中可以体会到，当网络很深，也就是层数很多时，数据传输的路径其实相对比较固定。我们似乎也可以将其理解为一个多人投票系统，大多数梯度都分布在论文中所谓的effective path上。
DenseNet
在Resnet模型之后，有人试图对ResNet模型进行改进，由此便诞生了ResNeXt模型。

这是对上面介绍的ResNet模型结合了GoogleNet中的inception模块思想，相比于Resnet来说更加有效。随后，诞生了DenseNet模型，它直接将所有的模块连接起来，整个模型更加简单粗暴。稠密相连成了它的主要特点。

我们将DenseNet与ResNet相比较:

从上图中可以看出，相比于ResNet，DenseNet参数量明显减少很多，效果也更加优越，只是DenseNet需要消耗更多的内存。
总结
上面介绍了卷积神经网络发展史上比较着名的一些模型，这些模型非常经典，也各有优势。在算力不断增强的现在，各种新的网络训练的效率以及效果也在逐渐提高。从收敛速度上看，VGG>Inception>DenseNet>ResNet,从泛化能力来看，Inception>DenseNet=ResNet>VGG，从运算量看来，Inception<DenseNet< ResNet<VGG，从内存开销来看，Inception<ResNet< DenseNet<VGG。在本次研究中，我们对各个模型均进行了分析，但从效果来看，ResNet效果是最好的，优于Inception，优于VGG，所以我们第四章实验中主要采用谷歌的Inception模型，也就是GoogleNet。