神經網路要訓練多少epoch

㈠ 神經網路中的Epoch、Iteration、Batchsize

神經網路中epoch與iteration是不相等的

1）batchsize：中文翻譯為批大小（批尺寸）。在深度學習中，一般採用SGD訓練，即每次訓練在 訓練集中取batchsize個樣本訓練 ；

2）iteration：中文翻譯為迭代， 1個iteration等於使用batchsize個樣本訓練一次 ；一個迭代 = 一個正向通過+一個反向通過

3）epoch：迭代次數， 1個epoch等於使用訓練集中的全部樣本訓練一次 ；一個epoch = 所有訓練樣本的一個正向傳遞和一個反向傳遞

舉個例子，訓練集有1000個樣本，batchsize=10，那麼：訓練完整個樣本集需要：100次iteration，1次epoch。

㈡ 神經網路中的訓練次數，是指的什麼

訓練次數是指最大迭代次數，如果達到此次數，即使達不到誤差要求，也終止計算，77次是實際迭代次數。

㈢ 神經網路 專業術語解釋（Step， Batch Size， Iteration，Epoch）

1. 名詞解釋

Step: 訓練模型的步數

Batch Size（批尺寸）： 計算梯度所需的樣本數量，太小會導致效率低下，無法收斂。太大會導致內存撐不住，Batch Size增大到一定程度後，其下降方向變化很小了，所以Batch Size是一個很重要的參數。

為什麼需要有 Batch_Size :

batchsize 的正確選擇是為了在內存效率和內存容量之間尋找最佳平衡。 

Epoch（回合）：代表樣本集內所有的數據經過了一次訓練。  

每個 epoch 都會進行shuffle，對要輸入的數據進行重新排序，分成不同的batch。

Iteration（迭代）：

理解迭代，只需要知道乘法表或者一個計算器就可以了。迭代是 batch 需要完成一個 epoch 的次數。記住：在一個 epoch 中，batch 數和迭代數是相等的。

比如對於一個有 2000 個訓練樣本的數據集。將 2000 個樣本分成大小為 500 的 batch，那麼完成一個 epoch 需要 4 個 iteration。

2. 換算關系

實際上，梯度下降的幾種方式的根本區別就在於上面公式中的 Batch Size不同。

*註：上表中 Mini-Batch 的 Batch 個數為 N / B + 1 是針對未整除的情況。整除則是 N / B。

3. 例子

CIFAR10 數據集有 50000 張訓練圖片，10000 張測試圖片。現在選擇 Batch Size = 256 對模型進行訓練。

每個 Epoch 要訓練的圖片數量： 50000

訓練集具有的 Batch 個數： 50000/256 = 195 +1 = 196

每個 Epoch 需要完成的 Batch 個數： 196

每個 Epoch 具有的 Iteration 個數： 196

每個 Epoch 中發生模型權重更新的次數： 196

訓練 10 代後，模型權重更新的次數： 196 * 10

不同代的訓練，其實用的是同一個訓練集的數據。第  代和第  代雖然用的都是訓練集的五萬張圖片，但是對模型的權重更新值卻是完全不同的。因為不同代的模型處於代價函數空間上的不同位置，模型的訓練代越靠後，越接近谷底，其代價越小。

㈣ 怎麼選取訓練神經網路時的Batch size

選取訓練神經網路時先選好batch size，再調其他的超參數。並且實踐上來說，就兩個原則——batch size別太小，也別太大，其他都行。

因為合適的batch size范圍和訓練數據規模、神經網路層數、單元數都沒有顯著的關系。合適的batch size范圍主要和收斂速度、隨機梯度噪音有關。

為什麼batch size別太小。別太小的限制在於，batch size太小，會來不及收斂。

所以batch size下限主要受收斂的影響。所以在常見的setting（～100 epochs），batch size一般不會低於16。如果你要選更小的batch size，你需要給自己找到很好的理由。

為什麼batch size別太大：

batch size別太大的限制在於兩個點。

1、batch size太大，memory容易不夠用。這個很顯然，就不多說了。

2、batch size太大，深度學習的優化training loss降不下去和泛化generalization gap都會出問題。

隨機梯度噪音的magnitude在深度學習的continuous-time dynamics里是正比於learning rate/batch size。batch size太大，噪音就太小了。

而大家已經知道，隨機梯度噪音對於逃離saddle points[2]和sharp minima [3]都必不可少的作用。前者可以解釋為什麼優化出問題，後者則可以解釋為什麼泛化出問題。

㈤ 神經網路中的訓練次數是指什麼

神經網路中的訓練次數是訓練時，1個batch訓練圖像通過網路訓練一次（一次前向傳播+一次後向傳播），每迭代一次權重更新一次；測試時，1個batch測試圖像通過網路一次（一次前向傳播）的次數。

在機器學習和相關領域，人工神經網路（人工神經網路）的計算模型靈感來自動物的中樞神經系統（尤其是腦），並且被用於估計或可以依賴於大量的輸入和一般的未知近似函數。人工神經網路通常呈現為相互連接的「神經元」，它可以從輸入的計算值，並且能夠機器學習以及模式識別由於它們的自適應性質的系統。

例如，用於手寫體識別的神經網路是由一組可能被輸入圖像的像素激活的輸入神經元來限定。後進過加權，並通過一個函數（由網路的設計者確定的）轉化，這些神經元的致動被上到其他神經元然後被傳遞。重復此過程，直到最後，一輸出神經元被激活。這決定了哪些字元被讀取。

(5)神經網路要訓練多少epoch擴展閱讀

神經網路分類：

1、選擇模式：這將取決於數據的表示和應用。過於復雜的模型往往會導致問題的學習。

2、學習演算法：在學習演算法之間有無數的權衡。幾乎所有的演算法為了一個特定的數據集訓練將會很好地與正確的超參數合作。然而，選擇和調整的演算法上看不見的數據訓練需要顯著量的實驗。

3、穩健性：如果該模型中，成本函數和學習演算法，適當地選擇所得到的神經網路可以是非常健壯的。有了正確的實施，人工神經網路，可以自然地應用於在線學習和大型數據集的應用程序。其簡單的實現和表現在結構上主要依賴本地的存在，使得在硬體快速，並行實現。

㈥ 跑一個神經網路需要多久

神經網路訓練需要根據樣本量來判斷時間，一般情況下6個小時左右
人工神經網路（ArtificialNeuralNetworks，簡寫為ANNs）是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型