神经网络要训练多少epoch

㈠ 神经网络中的Epoch、Iteration、Batchsize

神经网络中epoch与iteration是不相等的

1）batchsize：中文翻译为批大小（批尺寸）。在深度学习中，一般采用SGD训练，即每次训练在 训练集中取batchsize个样本训练 ；

2）iteration：中文翻译为迭代， 1个iteration等于使用batchsize个样本训练一次 ；一个迭代 = 一个正向通过+一个反向通过

3）epoch：迭代次数， 1个epoch等于使用训练集中的全部样本训练一次 ；一个epoch = 所有训练样本的一个正向传递和一个反向传递

举个例子，训练集有1000个样本，batchsize=10，那么：训练完整个样本集需要：100次iteration，1次epoch。

㈡ 神经网络中的训练次数，是指的什么

训练次数是指最大迭代次数，如果达到此次数，即使达不到误差要求，也终止计算，77次是实际迭代次数。

㈢ 神经网络 专业术语解释（Step， Batch Size， Iteration，Epoch）

1. 名词解释

Step: 训练模型的步数

Batch Size（批尺寸）： 计算梯度所需的样本数量，太小会导致效率低下，无法收敛。太大会导致内存撑不住，Batch Size增大到一定程度后，其下降方向变化很小了，所以Batch Size是一个很重要的参数。

为什么需要有 Batch_Size :

batchsize 的正确选择是为了在内存效率和内存容量之间寻找最佳平衡。 

Epoch（回合）：代表样本集内所有的数据经过了一次训练。  

每个 epoch 都会进行shuffle，对要输入的数据进行重新排序，分成不同的batch。

Iteration（迭代）：

理解迭代，只需要知道乘法表或者一个计算器就可以了。迭代是 batch 需要完成一个 epoch 的次数。记住：在一个 epoch 中，batch 数和迭代数是相等的。

比如对于一个有 2000 个训练样本的数据集。将 2000 个样本分成大小为 500 的 batch，那么完成一个 epoch 需要 4 个 iteration。

2. 换算关系

实际上，梯度下降的几种方式的根本区别就在于上面公式中的 Batch Size不同。

*注：上表中 Mini-Batch 的 Batch 个数为 N / B + 1 是针对未整除的情况。整除则是 N / B。

3. 例子

CIFAR10 数据集有 50000 张训练图片，10000 张测试图片。现在选择 Batch Size = 256 对模型进行训练。

每个 Epoch 要训练的图片数量： 50000

训练集具有的 Batch 个数： 50000/256 = 195 +1 = 196

每个 Epoch 需要完成的 Batch 个数： 196

每个 Epoch 具有的 Iteration 个数： 196

每个 Epoch 中发生模型权重更新的次数： 196

训练 10 代后，模型权重更新的次数： 196 * 10

不同代的训练，其实用的是同一个训练集的数据。第  代和第  代虽然用的都是训练集的五万张图片，但是对模型的权重更新值却是完全不同的。因为不同代的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。

㈣ 怎么选取训练神经网络时的Batch size

选取训练神经网络时先选好batch size，再调其他的超参数。并且实践上来说，就两个原则——batch size别太小，也别太大，其他都行。

因为合适的batch size范围和训练数据规模、神经网络层数、单元数都没有显着的关系。合适的batch size范围主要和收敛速度、随机梯度噪音有关。

为什么batch size别太小。别太小的限制在于，batch size太小，会来不及收敛。

所以batch size下限主要受收敛的影响。所以在常见的setting（～100 epochs），batch size一般不会低于16。如果你要选更小的batch size，你需要给自己找到很好的理由。

为什么batch size别太大：

batch size别太大的限制在于两个点。

1、batch size太大，memory容易不够用。这个很显然，就不多说了。

2、batch size太大，深度学习的优化training loss降不下去和泛化generalization gap都会出问题。

随机梯度噪音的magnitude在深度学习的continuous-time dynamics里是正比于learning rate/batch size。batch size太大，噪音就太小了。

而大家已经知道，随机梯度噪音对于逃离saddle points[2]和sharp minima [3]都必不可少的作用。前者可以解释为什么优化出问题，后者则可以解释为什么泛化出问题。

㈤ 神经网络中的训练次数是指什么

神经网络中的训练次数是训练时，1个batch训练图像通过网络训练一次（一次前向传播+一次后向传播），每迭代一次权重更新一次；测试时，1个batch测试图像通过网络一次（一次前向传播）的次数。

在机器学习和相关领域，人工神经网络（人工神经网络）的计算模型灵感来自动物的中枢神经系统（尤其是脑），并且被用于估计或可以依赖于大量的输入和一般的未知近似函数。人工神经网络通常呈现为相互连接的“神经元”，它可以从输入的计算值，并且能够机器学习以及模式识别由于它们的自适应性质的系统。

例如，用于手写体识别的神经网络是由一组可能被输入图像的像素激活的输入神经元来限定。后进过加权，并通过一个函数（由网络的设计者确定的）转化，这些神经元的致动被上到其他神经元然后被传递。重复此过程，直到最后，一输出神经元被激活。这决定了哪些字符被读取。

(5)神经网络要训练多少epoch扩展阅读

神经网络分类：

1、选择模式：这将取决于数据的表示和应用。过于复杂的模型往往会导致问题的学习。

2、学习算法：在学习算法之间有无数的权衡。几乎所有的算法为了一个特定的数据集训练将会很好地与正确的超参数合作。然而，选择和调整的算法上看不见的数据训练需要显着量的实验。

3、稳健性：如果该模型中，成本函数和学习算法，适当地选择所得到的神经网络可以是非常健壮的。有了正确的实施，人工神经网络，可以自然地应用于在线学习和大型数据集的应用程序。其简单的实现和表现在结构上主要依赖本地的存在，使得在硬件快速，并行实现。

㈥ 跑一个神经网络需要多久

神经网络训练需要根据样本量来判断时间，一般情况下6个小时左右
人工神经网络（ArtificialNeuralNetworks，简写为ANNs）是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型