1. 深度卷积网络
LeNet网络的结构如下图所示，可以看出，LeNet网络并没有使用padding，每进行一次卷积，图像的高度和宽度都会缩小，而通道数会一直增加。在全连接层中有400个节点，每个极点都有120个神经元，有时还会从这400个节点抽取一部分节点构建一个全连接层，即有两个全连接层。在该网络中，最后一步就是利用84个特征得到最后的输出，该网络刚开始使用的是 sigmoid 函数 tanh 函数，而现在常常倾向于使用 softmax 函数。需要注意的是，LeNet-5网络进行图像分类时，输入的图像是单通道的灰度图像。
AlexNet是以论文第一作者的名字命名的，该网络的结构，如下图所示，该网络的输出层使用了 softmax 函数。AlexNet网络比LeNet网络规模更大，大约有6000万个参数，用于训练图像和数据集时，能够处理非常相似的基本构造模块，这些模块中包含着大量的隐藏单元，并且与LeNet网络不同的是，该网络使用了ReLu的激活函数。
VGG-16网络没有太多的超参数，这是一种专注于构建卷积层的简单网络。如下图所示，该网络首先利用64个过滤器进行了两次卷积，接着在池化层将输入图像压缩，接着又是128个过滤器进行两次卷积，接着载池化。继续用256个过滤器进行3次卷积，再池化，接着再利用512个过滤器卷积3次，再池化，将稍后得到的特征图进行全连接操作，再进 softmax 激活。
由于存在梯度消失和梯度爆炸的原因，深层次的神经网络是很难训练的，如果采用一种跳跃连接的方式，即从某一层网络层获取激活，然后迅速反馈给另外一层，甚至是神经网络的更深层。这种利用跳跃连接构建的深度神经网络ResNets，深度能够超过100层
一个简单的两层神经网络示例，如下图所示：
常规的输出和输出之间的关系可以用如下的公式表示：
如上公式所述，这是一条神经网络的主路径。如果将 的输入直接到深层的激活函数之前，此时，神经网络有了一条副路径，其对应输出将有公式（5）变成如下所示的公式（6）
此时的输入除了原先的输入 外，多了一个 项，即由于 产生了一个残差块。
构建一个ResNet网络就是将很多这样的残差块堆积在一起，形成一个深度神经网络，如下所示：
使用传统的标准优化算法训练一个网络，随着网络深度的增加，训练误差会先减小再增加，随着网络层数的增加，优化算法会越难以训练，训练误差也会越来越多。但是，使用ResNet网络，能够有效地避免这种情况。
如上所述，加入残差网络之后，其输出计算公式如公式（6）所示，展开这个公式，则有：
如果使用L2正则化或者权重衰减，则会压缩权重参数 的值，如果参数 和参数 等于0，其输出将由公式（7）变成 ，假定使用ReLU激活函数，则有：
由于残差网络存在的这种跳跃连接，很容易得出以上等式，这意味着，即使给神经网络增加两层，但是其效率并不逊色与更简单的神经网络。并且由于存在以上恒等式，使得网络学习隐藏层的单元的信息更加容易。而普通网络，随着网络层数的增加，学习参数会变得很困难。
此外，关于残差网络，如公式（6）所示，假设 与 具有相同的维度，由于ResNets使用了许多same卷积， 的维度等于输出层的维度。如果输入和输出具有不同的维度，可以再增加一个矩阵 ，使得 和 具有相同的维度。而 的维度可以通过0值填充调节。
在卷积网络的架构设计中，一种有趣的想法是会使用到1×1的过滤矩阵，实际上，对于单通道的图像而言，1×1的过滤矩阵，意义不大，但是，对于多通道的图像而言，1×1的过滤矩阵能够有效减少图像卷积之后的通道数量。
根据卷积和池化的基本知识，随着神经网络层数的增加，图像的通道数量会逐渐增加，采用1×1的过滤矩阵卷积之后，可以有效减少图像的通道数量，一个简单的示例，如下所示：
假设有一个6×6×32的图片，使用1×1×32的过滤矩阵进行卷积运算，整个运算过程将会遍历36个单元格，并计算过滤矩阵所覆盖区域的元素积之和，将其应用到ReLu非线性函数，会得到一个输出值。此计算过程中，可能会用到多个1×1×32的过滤器，那么，通过以上计算会得到一个 6×6×过滤器数量 的矩阵。
构建卷积神经网络时，有时会很难决定过滤器的大小，而Inception网络的引入，却能很好的解决这个问题。
Inception网络的作用就是代替人工确定选择卷积层的过滤器类型。如下图所示，对于一个多通道图像，可以使用不同的过滤矩阵或者池化层，得到不同的输出，将这些输出堆积起来。
有了如上图所示的Inception块，最终输出为32+32+64+128=256，而Inception模块的输入为28×28×192，其整个计算成本，以5×5的过滤矩阵为例，其乘法的计算次数为：28×28×32×5×5×192，整个计算次数超过了1.2亿次。而如果使用如下所示的优化计算方法，则可以有效减少计算量。
如果利用1×1的过滤器，将输入矩阵的通道减少至16，则可以有效减少计算量，如下所示：
如上图所示的价格中，整个网络的运算次数为：28×28×192×16+28×28×32×5×5×16=1240万，整个计算成本降低至原来的十分之一。而，通过1×1×192过滤器卷积得到的这个网络层被称之为瓶颈层。
如上，所示，可以给每一个非1×1的卷积层之前，加入一个1×1的瓶颈层，就可以构建一个基本的inception模块了，如下图所示：
而一个inception网络就是多个Inception模块连接起来，如下图所示：
事实上，以上网络中，还存在一些分支，如编号1所示，这些分支就是全连接层，而全连接层之后就是一个softmax层用于预测。又如分支2所示，包含一些隐藏层（编号3），通过全连接层和softmax进行预测。这些分支结构能够确保，即使是隐藏层和中间层也参与了特征计算，并且也能够预测图片的分类。这种做法能够有效避免网络过拟合。
对于计算机视觉领域而言，神经网络的训练可能需要大量的数据，但是当数据量有限时，可以通过数据增强来实现数据量的扩充，以提高系统的鲁棒性，具体的数据增强方法如下所示：
除了以上三种数据增强的方法外，更多的数据增强方法和实现可以参考 图像数据增强
数据增强可以利用计算机多线程实现，一个线程用来实现加载数据，实现数据增强，其他线程可以训练这些数据以加快整体的运算速度。
2. 大多数的网络目录的层次深度是多少
从查询效率和科学类别的角度分析，网络目录的层次深度一般是5到7层。
3. 目前最常用的神经网络是多少层的
一般认为，增加隐层数可以降低网络误差（也有文献认为不一定能有效降低），提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合”的倾向。一般来讲应设计神经网络应优先考虑3层网络（即有1个隐层）。一般地，靠增加隐层节点数来获得较低的误差，其训练效果要比增加隐层数更容易实现。对于没有隐层的神经网络模型，实际上就是一个线性或非线性（取决于输出层采用线性或非线性转换函数型式）回归模型。因此，一般认为，应将不含隐层的网络模型归入回归分析中，技术已很成熟，没有必要在神经网络理论中再讨论之。
4. 网络分为几个层
分七层:
1、物 理 层(Physical Layer)
要传递信息要利用些物理媒体双纽线、同轴电缆等具体物理媒体并OSI7层之内有人把物理媒体当作第0层物理层任务上层提供物理连接及们机械、电气、功能和过程特性 规定使用电缆和接头 类型传送信号电压等层数据还没有被组织仅作原始位流或电气电压处理单位比特。
2、 数 据 链 路 层(Data Link Layer)
数据链路层负责两相邻结点间线路上无差错传送帧单位数据每帧包括定数量数据和些必要控制信息和物理层相似数据链路层要负责建立、维持和释放数据链路连接传送数据时接收点检测所传数据有差错要通知发方重发帧 。
3、 网 络 层(Network Layer)
计算机网络进行通信两计算机之间能会经过多数据链路也能还要经过多通信子网网络层任务选择合适网间路由和交换结点 确保数据及时传送网络层数据链路层提供帧组成数据包包封装有网络层包头其含有逻辑地址信息-，源站点和目站点地址网络地址 。
4、 传 输 层(Transport Layer)
该层任务时根据通信子网特性佳利用网络资源并靠和经济方式两端系统(也源站和目站)会层之间提供建立、维护和取消传输连接功能负责靠地传输数据层信息传送单位报文 。
5、 会 层(Session Layer)
层也称会晤层或对层会层及上高层次数据传送单位，再另外命名统称报文会层，参与具体传输提供，包括访问验证和会管理内建立和维护应用之间通信机制服务器，验证用户登录便由会层完成 。
6、 表 示 层(Presentation Layer)
层主要解决拥护信息语法表示问题欲交换数据，从适合于某用户抽象语法转换适合于OSI系统内部使用传送语法，即提供格式化表示和转换数据服务数据压缩和解压缩，加密和解密等工作都由表示层负责 。
7、 应 用 层(Application Layer)
应用层确定进程之间通信性质满足用户需要及提供网络与用户应用软件之间接口服务。
5. 目前最常用的神经网络是多少层的
理论情况下，三层的神经网络能完成任意的n维到m维的映射。 输入层神经单元数确定方法：根据需要求解的问题和数据表示方式确定。
6. OSI参考模型分为哪几层
OSI参考模型分为7层，分别是物理层，数据链路层，网络层，传输层，会话层，表示层和应用层。
各层的主要功能及其相应的数据单位如下：
· 物 理 层(Physical Layer)
我们知道，要传递信息就要利用一些物理媒体，如双纽线、同轴电缆等，但具体的物理媒体并不在OSI的7层之内，有人把物理媒体当作第0层，物理层的任务就是为它的上一层提供一个物理连接，以及它们的机械、电气、功能和过程特性。 如规定使用电缆和接头 的类型，传送信号的电压等。在这一层，数据还没有被组织，仅作为原始的位流或电气电压处理，单位是比特。
· 数 据 链 路 层(Data Link Layer)
数据链路层负责在两个相邻结点间的线路上，无差错的传送以帧为单位的数据。每一帧包括一定数量的数据和一些必要的控制信息。和物理层相似，数据链路层要负责建立、维持和释放数据链路的连接。在传送数据时，如果接收点检测到所传数据中有差错，就要通知发方重发这一帧。
· 网 络 层(Network Layer)
在计算机网络中进行通信的两个计算机之间可能会经过很多个数据链路，也可能还要经过很多通信子网。网络层的任务就是选择合适的网间路由和交换结点， 确保数据及时传送。网络层将数据链路层提供的帧组成数据包，包中封装有网络层包头，其中含有逻辑地址信息- -源站点和目的站点地址的网络地址。
· 传 输 层(Transport Layer)
该层的任务时根据通信子网的特性最佳的利用网络资源，并以可靠和经济的方式，为两个端系统（也就是源站和目的站）的会话层之间，提供建立、维护和取消传输连接的功能，负责可靠地传输数据。在这一层，信息的传送单位是报文。
· 会 话 层(Session Layer)
这一层也可以称为会晤层或对话层，在会话层及以上的高层次中，数据传送的单位不再另外命名，统称为报文。会话层不参与具体的传输，它提供包括访问验证和会话管理在内的建立和维护应用之间通信的机制。如服务器验证用户登录便是由会话层完成的。
· 表 示 层(Presentation Layer)
这一层主要解决拥护信息的语法表示问题。它将欲交换的数据从适合于某一用户的抽象语法，转换为适合于OSI系统内部使用的传送语法。即提供格式化的表示和转换数据服务。数据的压缩和解压缩， 加密和解密等工作都由表示层负责。
· 应 用 层(Application Layer)
应用层确定进程之间通信的性质以满足用户需要以及提供网络与用户应用软件之间的接口服务。
7. 深度神经网络 每层单元个数
深度神经网络每层单元个数是任意。
每层神经元个数决定你输入特征的多少，如果是28*28的图片，一下降低为10，那丢失的数据太多了.建议，神经元对半开，就是每层减半。或者三分之一，四分之一开，毕竟后面可能防止过拟合，还会扔神经元。
8. 网络一共有几层
国际标准是OSI标准，共有七层
应用层
表示层
会话层
运输层
网络层
数据链路层
物理层 （顺序从下往上数，第一层是物理层，第七层是应用层）
还有就是现在通用的标准TCP/IP标准共有五层
应用层
运输层
网络层
数据链路层
物理层 （同理第一层是物理层）
9. 深度神经网络与传统神经网络有什么区别
从名字就可以看出来，一个字，深
目前深度网络已经达到几千层甚至上万的深度，随之而来的的就是数以亿计的模型参数
你所谓的传统神经网络大概是指MLP，RBF这些深度在几层的上古网络
10. 谁能科普一下“深度学习”网络和以前那种“多层神经网络”的区别
多层神经网络又叫全连接神经网络。当输入图像为1000*1000的分辨率时，神经网络一层的系数就达到10^12。系数过多引起收敛问题导致训练无法达到最优，并且容易过拟合。让它不具有实现意义。深度学习采用权值共享和局部连接等技术，大大降低了系数的个数和各种避免过拟合的方法，使得网络层数可以达到数百，使得深层网络成为可能。感兴趣可以搜搜我的课程，用Python做深度学习1——数学基础