深度网络层数应该怎么设置

‘壹’ 深度学习 caffe flatten层怎么配置

flatten层用来扁平参数用，一般用在卷积层与全链接层之间，可以从vgg16网络中可以看出，但是在后来的网络中用GlobalAveragePooling2D代替了flatten层，可以从vgg16与inceptionV3网络对比看出。从参数的对比可以看出，显然这种改进大大的减少了参数的使用量，避免了过拟合现象。

from keras.models import Sequential

from keras.layers.core import Flatten

from keras.layers.convolutional import Convolution2D

from keras.utils.vis_utils import plot_model

model = Sequential()

model.add(Convolution2D(64,3,3,border_mode="same",input_shape=(3,32,32)))

# now：model.output_shape==(None,64,32,32)

model.add(Flatten())

# now: model.output_shape==(None,65536)

plot_model(model, to_file='Flatten.png', show_shapes=True)

(1)深度网络层数应该怎么设置扩展阅读

应用

计算机视觉

香港中文大学的多媒体实验室是最早应用深度学习进行计算机视觉研究的华人团队。在世界级人工智能竞赛LFW（大规模人脸识别竞赛）上，该实验室曾力压FaceBook夺得冠军，使得人工智能在该领域的识别能力首次超越真人。

语音识别

微软研究人员通过与hinton合作，首先将RBM和DBN引入到语音识别声学模型训练中，并且在大词汇量语音识别系统中获得巨大成功，使得语音识别的错误率相对减低30%。但是，DNN还没有有效的并行快速算法，很多研究机构都是在利用大规模数据语料通过GPU平台提高DNN声学模型的训练效率。

在国际上，IBM、google等公司都快速进行了DNN语音识别的研究，并且速度飞快。

国内方面，阿里巴巴、科大讯飞、网络、中科院自动化所等公司或研究单位，也在进行深度学习在语音识别上的研究。

参考资料来源：网络-深度学习

‘贰’ 深度神经网络dnn怎么调节参数

深度神经网络（DNN）目前是许多现代AI应用的基础。
自从DNN在语音识别和图像识别任务中展现出突破性的成果，使用DNN的应用数量呈爆炸式增加。这些DNN方法被大量应用在无人驾驶汽车，癌症检测，游戏AI等方面。
在许多领域中，DNN目前的准确性已经超过人类。与早期的专家手动提取特征或制定规则不同，DNN的优越性能来自于在大量数据上使用统计学习方法，从原始数据中提取高级特征的能力，从而对输入空间进行有效的表示。

然而，DNN超高的准确性是以超高的计算复杂度为代价的。
通常意义下的计算引擎，尤其是GPU，是DNN的基础。因此，能够在不牺牲准确性和增加硬件成本的前提下，提高深度神经网络的能量效率和吞吐量的方法，对于DNN在AI系统中更广泛的应用是至关重要的。研究人员目前已经更多的将关注点放在针对DNN计算开发专用的加速方法。
鉴于篇幅，本文主要针对论文中的如下几部分详细介绍：
DNN的背景，历史和应用
DNN的组成部分，以及常见的DNN模型
简介如何使用硬件加速DNN运算
DNN的背景
人工智能与深度神经网络

深度神经网络，也被称为深度学习，是人工智能领域的重要分支，根据麦卡锡（人工智能之父）的定义，人工智能是创造像人一样的智能机械的科学工程。深度学习与人工智能的关系如图1所示：

图1：深度神经网络与人工智能的关系
人工智能领域内，一个大的子领域是机器学习，由Arthur Samuel在1959年定义为：让计算机拥有不需要明确编程即可学习的能力。
这意味着创建一个程序，这个程序可以被训练去学习如何去做一些智能的行为，然后这个程序就可以自己完成任务。而传统的人工启发式方法，需要对每个新问题重新设计程序。
高效的机器学习算法的优点是显而易见的。一个机器学习算法，只需通过训练，就可以解决某一领域中每一个新问题，而不是对每个新问题特定地进行编程。
在机器学习领域，有一个部分被称作brain-inspired computation。因为人类大脑是目前学习和解决问题最好的“机器”，很自然的，人们会从中寻找机器学习的方法。
尽管科学家们仍在探索大脑工作的细节，但是有一点被公认的是：神经元是大脑的主要计算单元。
人类大脑平均有860亿个神经元。神经元相互连接，通过树突接受其他神经元的信号，对这些信号进行计算之后，通过轴突将信号传递给下一个神经元。一个神经元的轴突分支出来并连接到许多其他神经元的树突上，轴突分支和树突之间的连接被称为突触。据估计，人类大脑平均有1014-1015个突触。
突触的一个关键特性是它可以缩放通过它的信号大小。这个比例因子可以被称为权重（weight），普遍认为，大脑学习的方式是通过改变突触的权重实现的。因此，不同的权重导致对输入产生不同的响应。注意，学习过程是学习刺激导致的权重调整，而大脑组织（可以被认为是程序）并不改变。
大脑的这个特征对机器学习算法有很好的启示。
神经网络与深度神经网络

神经元的计算是输入值的加权和这个概念启发了神经网络的研究。这些加权和对应于突触的缩放值以及神经元所接收的值的组合。此外，神经元并不仅仅是输入信号的加权和，如果是这样的话，级联的神经元的计算将是一种简单的线性代数运算。
相反的是，神经元组合输入的操作似乎是一种非线性函数，只有输入达到某个阈值的时候，神经元才会生成输出。因此，通过类比，我们可以知道神经网络在输入值的加权和的基础上应用了非线性函数。
图2（a）展示了计算神经网络的示意图，图的最左边是接受数值的“输入层”。这些值被传播到中间层神经元，通常也叫做网络的“隐藏层”。通过一个或更多隐藏层的加权和最终被传播到“输出层”，将神经网络的最终结果输出给用户。

图2：神经网络示意图

在神经网络领域，一个子领域被称为深度学习。最初的神经网络通常只有几层的网络。而深度网络通常有更多的层数，今天的网络一般在五层以上，甚至达到一千多层。
目前在视觉应用中使用深度神经网络的解释是：将图像所有像素输入到网络的第一层之后，该层的加权和可以被解释为表示图像不同的低阶特征。随着层数的加深，这些特征被组合，从而代表更高阶的图像特征。
例如，线可以被组合成形状，再进一步，可以被组合成一系列形状的集合。最后，再训练好这些信息之后，针对各个图像类别，网络给出由这些高阶特征组成各个对象的概率，即分类结果。
推理（Inference）与训练（Training）
既然DNN是机器学习算法中的一员，那么它的基本编程思想仍然是学习。DNN的学习即确定网络的权重值。通常，学习过程被称为训练网络（training）。一旦训练完成，程序可以使用由训练确定的权值进行计算，这个使用网络完成任务的操作被被称为推断（inference）。
接下来，如图3所示，我们用图像分类作为例子来展示如何训练一个深度神经网络。当我们使用一个DNN的时候，我们输入一幅图片，DNN输出一个得分向量，每一个分数对应一个物体分类；得到最高分数的分类意味着这幅图片最有可能属于这个分类。
训练DNN的首要目标就是确定如何设置权重，使得正确分类的得分最高（图片所对应的正确分类在训练数据集中标出），而使其他不正确分类的得分尽可能低。理想的正确分类得分与目前的权重所计算出的得分之间的差距被称为损失函数（loss）。
因此训练DNN的目标即找到一组权重，使得对一个较大规模数据集的loss最小。

图3：图像分类

权重（weight）的优化过程类似爬山的过程，这种方法被称为梯度下降（gradient decent）。损失函数对每个权值的梯度，即损失函数对每个权值求偏导数，被用来更新权值（例：第t到t+1次迭代：，其中α被称为学习率（Learning rate）。梯度值表明权值应该如何变化以减小loss。这个减小loss值的过程是重复迭代进行的。
梯度可以通过反向传播（Back-Propagation）过程很高效地进行计算，loss的影响反向通过网络来计算loss是如何被每个权重影响的。
训练权重有很多种方法。前面提到的是最常见的方法，被称为监督学习，其中所有的训练样本是有标签的。
无监督学习是另一种方法，其中所有训练样本都没有标签，最终目标是在数据中查找结构或聚类。半监督学习结合了两种方法，只有训练数据的一小部分被标记（例如，使用未标记的数据来定义集群边界，并使用少量的标记数据来标记集群）。
最后，强化学习可以用来训练一个DNN作为一个策略网络，对策略网络给出一个输入，它可以做出一个决定，使得下一步的行动得到相应的奖励;训练这个网络的过程是使网络能够做出使奖励（即奖励函数）最大化的决策，并且训练过程必须平衡尝试新行为（Exploration）和使用已知能给予高回报的行为（Exploitation）两种方法。

用于确定权重的另一种常用方法是fine-tune，使用预先训练好的模型的权重用作初始化，然后针对新的数据集（例如，传递学习）或新的约束（例如，降低的精度）调整权重。与从随机初始化开始相比，能够更快的训练，并且有时会有更好的准确性。

‘叁’ 深度神经网络 每层单元个数

深度神经网络每层单元个数是任意。
每层神经元个数决定你输入特征的多少，如果是28*28的图片，一下降低为10，那丢失的数据太多了.建议，神经元对半开，就是每层减半。或者三分之一，四分之一开，毕竟后面可能防止过拟合，还会扔神经元。

‘肆’ 神经网络的隐含层节点数怎么设置啊比如要设置18层隐含节点数！跪求，工作急用！

隐层一般是一层或两层，很少会采用三层以上，至少隐层的节点数确定，一般有以下几种方法：1、有经验的人员根据以往的经验凑试出节点个数。2、某些学术研究出固定的求节点方法，如2m+1个隐层节点，m为输入个数。3、修剪法。刚开始建立足够多的节点数，在训练过程中，根据节点数的相关程度，删除重复的节点。

‘伍’ 怎样修改深度学习的网络结构

加入新型模块，调整网络层数

‘陆’ 如何优化深度信念网络的隐含层个数

我自己总结的：
1、神经网络算法隐含层的选取
1.1 构造法
首先运用三种确定隐含层层数的方法得到三个隐含层层数，找到最小值和最大值，然后从最小值开始逐个验证模型预测误差，直到达到最大值。最后选取模型误差最小的那个隐含层层数。该方法适用于双隐含层网络。
1.2 删除法
单隐含层网络非线性映射能力较弱，相同问题，为达到预定映射关系，隐层节点要多一些，以增加网络的可调参数，故适合运用删除法。
1.3黄金分割法
算法的主要思想：首先在[a,b]内寻找理想的隐含层节点数，这样就充分保证了网络的逼近能力和泛化能力。为满足高精度逼近的要求，再按照黄金分割原理拓展搜索区间，即得到区间[b,c]（其中b=0.619*（c-a）+a），在区间[b,c]中搜索最优，则得到逼近能力更强的隐含层节点数，在实际应用根据要求，从中选取其一即可。

‘柒’ 神经网络的隐层数，节点数设置。

我自己总结的：
1、神经网络算法隐含层的选取
1.1 构造法
首先运用三种确定隐含层层数的方法得到三个隐含层层数，找到最小值和最大值，然后从最小值开始逐个验证模型预测误差，直到达到最大值。最后选取模型误差最小的那个隐含层层数。该方法适用于双隐含层网络。
1.2 删除法
单隐含层网络非线性映射能力较弱，相同问题，为达到预定映射关系，隐层节点要多一些，以增加网络的可调参数，故适合运用删除法。
1.3黄金分割法
算法的主要思想：首先在[a,b]内寻找理想的隐含层节点数，这样就充分保证了网络的逼近能力和泛化能力。为满足高精度逼近的要求，再按照黄金分割原理拓展搜索区间，即得到区间[b,c]（其中b=0.619*（c-a）+a），在区间[b,c]中搜索最优，则得到逼近能力更强的隐含层节点数，在实际应用根据要求，从中选取其一即可。

‘捌’ 用matlab中gui设计的神经网络，如何把网络设计成3层及更多层，如图，我把层数写为3，可是，只能设置1和2

一般而言，2层的网络足够了。

‘玖’ 深度网络目前最高有多少层

目前ResNet最多可以达到152层，但是不要纠结这个问题，神经网络并不是层越多越好，目前优秀的设计主要是优化网络的基本结构以达到更高的准确率，同时还要在精度和算力之间妥协 。

‘拾’ matlab GUI中神经网络层数设置的问题

神经网络的GUI是可以设置多个隐含层的！
只需注意下：在你输入完number of layers以后，需要按一下回车键。