❶ 如何訓練神經網路
1、先別著急寫代碼
訓練神經網路前，別管代碼，先從預處理數據集開始。我們先花幾個小時的時間，了解數據的分布並找出其中的規律。
Andrej有一次在整理數據時發現了重復的樣本，還有一次發現了圖像和標簽中的錯誤。所以先看一眼數據能避免我們走很多彎路。
由於神經網路實際上是數據集的壓縮版本，因此您將能夠查看網路（錯誤）預測並了解它們的來源。如果你的網路給你的預測看起來與你在數據中看到的內容不一致，那麼就會有所收獲。
一旦從數據中發現規律，可以編寫一些代碼對他們進行搜索、過濾、排序。把數據可視化能幫助我們發現異常值，而異常值總能揭示數據的質量或預處理中的一些錯誤。
2、設置端到端的訓練評估框架
處理完數據集，接下來就能開始訓練模型了嗎？並不能！下一步是建立一個完整的訓練+評估框架。
在這個階段，我們選擇一個簡單又不至於搞砸的模型，比如線性分類器、CNN，可視化損失。獲得准確度等衡量模型的標准，用模型進行預測。
這個階段的技巧有：
· 固定隨機種子
使用固定的隨機種子，來保證運行代碼兩次都獲得相同的結果，消除差異因素。
· 簡單化
在此階段不要有任何幻想，不要擴增數據。擴增數據後面會用到，但是在這里不要使用，現在引入只會導致錯誤。
· 在評估中添加有效數字
在繪制測試集損失時，對整個測試集進行評估，不要只繪制批次測試損失圖像，然後用Tensorboard對它們進行平滑處理。
· 在初始階段驗證損失函數
驗證函數是否從正確的損失值開始。例如，如果正確初始化最後一層，則應在softmax初始化時測量-log(1/n_classes)。
· 初始化
正確初始化最後一層的權重。如果回歸一些平均值為50的值，則將最終偏差初始化為50。如果有一個比例為1:10的不平衡數據集，請設置對數的偏差，使網路預測概率在初始化時為0.1。正確設置這些可以加速模型的收斂。
· 人類基線
監控除人為可解釋和可檢查的損失之外的指標。盡可能評估人的准確性並與之進行比較。或者對測試數據進行兩次注釋，並且對於每個示例，將一個注釋視為預測，將第二個注釋視為事實。
· 設置一個獨立於輸入的基線
最簡單的方法是將所有輸入設置為零，看看模型是否學會從輸入中提取任何信息。
· 過擬合一個batch
增加了模型的容量並驗證我們可以達到的最低損失。
· 驗證減少訓練損失
嘗試稍微增加數據容量。
❷ BP神經網路如何設置初始權值
初始權值、閾值的確定是靠經驗的。
一般修改神經網路，不改閾值，改動其中間層神經元、轉移函數、特徵向量等。
❸ 神經網路weight參數怎麼初始化
還需下載一個軟體，framework2.0 下載安裝了就可以運行了
❹ matlab中BP神經網路如何設置初始權重
因為初始值（初始權值和閥值）都在x這個向量中，x（n，1）的長度n為：n=inputnum*hiddennum+hiddennum+hiddennum*outputnum+outputnum
其中inputnum*hiddennum是輸入層到隱含層的權值數量，hiddennum是隱含層神經元個數（即隱含層閥值個數），hiddennum*outputnum是隱含層到輸出層權值個數，outputnum是輸出層神經元個數（即輸出層閥值個數）；
❺ 神經網路中權值初始化的方法
神經網路中權值初始化的方法
權值初始化的方法主要有：常量初始化（constant）、高斯分布初始化（gaussian）、positive_unitball初始化、均勻分布初始化（uniform）、xavier初始化、msra初始化、雙線性初始化（bilinear）
常量初始化(constant)
把權值或者偏置初始化為一個常數，具體是什麼常數，可以自己定義
高斯分布初始化（gaussian）
需要給定高斯函數的均值與標准差
positive_unitball初始化
讓每一個神經元的輸入的權值和為 1，例如：一個神經元有100個輸入，讓這100個輸入的權值和為1. 首先給這100個權值賦值為在（0，1）之間的均勻分布，然後，每一個權值再除以它們的和就可以啦。這么做，可以有助於防止權值初始化過大，從而防止激活函數（sigmoid函數）進入飽和區。所以，它應該比較適合simgmoid形的激活函數
均勻分布初始化（uniform）
將權值與偏置進行均勻分布的初始化，用min 與 max 來控制它們的的上下限，默認為（0，1）
xavier初始化
對於權值的分布：均值為0，方差為（1 / 輸入的個數） 的 均勻分布。如果我們更注重前向傳播的話，我們可以選擇 fan_in，即正向傳播的輸入個數；如果更注重後向傳播的話，我們選擇 fan_out, 因為在反向傳播的時候，fan_out就是神經元的輸入個數；如果兩者都考慮的話，就選 average = (fan_in + fan_out) /2。對於ReLU激活函數來說，XavierFiller初始化也是很適合。關於該初始化方法，具體可以參考文章1、文章2，該方法假定激活函數是線性的。
msra初始化
對於權值的分布：基於均值為0，方差為( 2/輸入的個數)的高斯分布；它特別適合 ReLU激活函數，該方法主要是基於Relu函數提出的，推導過程類似於xavier。
雙線性初始化（bilinear）
常用在反卷積神經網路里的權值初始化
❻ MATLAB中SOM神經網路的權值是怎樣實現初始化的
SOM神經網路的初始權值是自動完成的，用隨機數設定輸入層和映射層之間的權值的初始值。這種方式有一個問題，就是有悔明時一個神經元的初始權值輸入向量太遠，以至於它從未碧悉告在競爭中獲勝，因而也從未得到學習，這將形成毫無用處的「陸薯死」神經元。
net=newsom(PR,[D1,D2,^],TFCN,DFCN,OLR,OSTEPS,TLR,TND)
PR:R個輸入元素的最大值和最小值的設定值，R*2維矩陣
Di：第I層的維數，默認為[5 8]
TFCN：拓撲函數，默認為hextop
DFCN:距離函數，默認為linkdist
OLR：分類階段學習速率，默認為0.9
OSTEPS：分類階段的步長，默認為1000
TLR：調諧階段的學習速率，默認為0.02
TNS:調諧階段的領域距離，默認為1.
❼ 神經網路初始化
初始化會對深斗旅度神經網路模型的訓練時間和收斂性產生重大影響。簡單的初始化方法可以加速訓練，但使用這些方法需要注意小心常見的陷阱。本文做銷伏將解釋如何有效地對神經網路參數進行初始化。
要構建機器學習演算法，通常要定義一個體系結構（例如邏輯回歸、支持向量機、神經網路）並對其進行訓練學習參數。
在優化循環的每次迭代（前向，成本，後向，更新）中，觀察到當從輸出層向輸入層移動時，反向傳播的梯度要麼被放大，要麼被最小化。
假設所有的激活參數都是線性的（恆等函數）。則輸出激活為：
假設 ，那麼輸出預測為：
總而言之，使用大小不合適的值對權重進行將導致神經網路的發散或訓練速度下降。 雖然我們用的是簡單的對稱權重矩陣來說明梯度爆炸/消失的問題，但這一現象可以推廣到任何不合適的初始化值。
經驗原則
在上述兩個經驗原則下，反向傳播的梯度信號不應該在任何層中乘以太小或太大的值。梯度應該可以移動到輸入層，而不會爆炸或消失。
更具體地說，對於層l，其前向傳播是：
想要下式成立
確保均值為零，並保持每層輸入方差值不變，可以保證信號不會爆炸或消失。該方法既適用於前向傳播（用於激活），也適用於向後傳播（用於關於激活的成本梯度）。這里建議使用Xavier初始化（或其派生初始化方法），對於每個層l，有：
層l中的所有權重均自正態分布中隨機挑選，其中均值 ，方差 ，其中 是第 層網路中的神經元數量。偏差已初始化為零。
使用 簡化為
將在方差之外提取求和
將乘積的方純攜差轉換為方差的乘積並使用 and
帶入假設
第一個假設導致
第二個假設導致
同樣的想法
整合上述，得到
希望方差不變( )需要
根據我們如何初始化權重，我們的輸出和輸入的方差之間的關系會有很大的不同。 請注意以下三種情況。
在實踐中，使用Xavier初始化的機器學習工程師會將權重初始化為 或 ,其中後一個分布的方差是 和 的調和平均。
Xavier初始化可以與tanh激活一起使用。此外，還有大量其他初始化方法。 例如，如果你正在使用ReLU，則通常的初始化是 He初始化 ，其初始化權重通過乘以Xavier初始化的方差2來初始化。 雖然這種初始化證明稍微復雜一些，但其思路與tanh是相同的。
❽ 神經網路 初始權重如何選取
最初是隨機選擇的，後來發展了很多混旅辯合演算法山螞，比如GABP是用遺傳拆唯缺演算法先獲得最優的初始權值，然後再迭代調整的
❾ 第五章 神經網路
神經網路 ：神經網路是由具有適應性的簡單單元組成的廣泛並行互連的網路，它的組織能夠模擬生物神經系統對真實世界物體所作出的交互反應。
神經網路中最基本的成分便是 神經元模型 。
M-P神經元模型：
感知機由兩層神經元組成，分別為輸入層、輸出層。
以下是具體過程：
多層神經網路的拓撲結構如圖：
如上圖可知，多層網路由輸入層、隱含層和輸出層組成，頂層是輸出層，底層是輸入層，中間的便是隱含層。隱含層與輸出層都具有功能神經元。
多層前饋神經網路的結構需要滿足：
1、每層神經元必須與下一層完全互連
2、神經元之間不存在同層連接
3、神經元不可跨層連接
只需包含一個足夠多神經元的隱層，就能以任意精度逼近任意復雜度的連續函數
BP神經網路由於學習能力太強大比較榮譽造成過擬合問題，故有兩種策略來減緩過擬合的問題：
1、早停：將數據分成訓練集和驗證集，訓練集學習，驗證集評估性能，在訓練過程中，若訓練集的累積誤差降低，而驗證集的累積誤差提高，則終止訓練；
2、引入正則化：其基本思想是在誤差目標函數中增加一個用於描述網路復雜程度的部分，有如連接權和閾值的平方和：
其中λ∈（0,1）用於對累積經驗誤差與網路復雜度這兩項進行折中，常通過交叉驗證法來估計。
神經網路的訓練過程可看作一個參數尋優的過程，即尋找到適當的參數使得E最小。於是我們時常會談及「全局最小」和「局部最小」。
1、全局最小：即全局最小解，在參數空間中，所有其他點的誤差函數值均大於該點；
2、局部最小：即局部最小解，在參數空間中，其鄰近的點的誤差函數值均大於該點。
我們要達到局部極小點，很容易，只要滿足梯度為零的點便是了，局部極小點可以有多個，但全局最小點只有一個。顯然，我們追求的是全局最小，而非局部極小，於是人們通常採用以下策略來試圖「跳出」局部極小，使其接近全局最小：
1、以多組不同參數值初始化多個神經網路，按標准方法訓練，在迭代停止後，取其中誤差最小的解作為最終參數；
2、使用隨機梯度下降（在計算梯度時加入了隨機因素），使得在局部最小時，計算的梯度仍可能不為0，從而可能跳出局部極小，繼續進行迭代；
3、「模擬退火」技術，在每一步都以一定的概率接受比當前解更差的結果，但接受「次優解」的概率要隨著迭代進行，時間推移而逐漸減低以確保演算法的穩定。
1、RBF網路
單隱層前饋神經網路 ，使用徑向基函數作為隱層神經元激活函數，輸出層是對隱層神經元輸出的線性組合。RBF網路可表示為：
2、ART網路
競爭型學習 （神經網路中一種常用的 無監督學習 策略）,由 比較層、識別層、識別閾值和重置模塊 組成。接收到比較層的輸入信號後，識別層神經元相互競爭以產生獲勝神經元，最簡單的方式就是計算輸入向量與每個識別層神經元所對應的模式類代表向量間的距離，距離小者獲勝。若獲勝神經元對應的代表向量與輸入向量間 相似度大於識別閾值 ，則將輸入樣本歸為該代表向量所屬類別，網路 連接權 也會進行 更新 以保證後面接收到相似的輸入樣本時該模式類會計算出更大的相似度，使得這樣的樣本能夠歸於一類；如果 相似度不大於識別閾值 ，則 重置模塊 會在 識別層 加一個神經元，其 代表向量 就 設置 為當前 輸入向量 。
3、SOM網路
競爭型學習的無監督神經網路 ，將高維輸入數據映射到低維空間（通常是二維），且保持輸入數據在高維空間的拓撲結構。
4、級聯相關網路
結構自適應網路 。
5、Elman網路
遞歸神經網路 。
6、Boltzmann機
基於能量的模型，其神經元分為顯層與隱層，顯層用於數據輸入輸出，隱層被理解為數據的內在表達。其神經元皆為布爾型，1為激活，0為抑制。
理論上，參數越多的模型其復雜程度越高，能完成更加復雜的學習任務。但是復雜模型的訓練效率低下，容易過擬合。但由於大數據時代、雲計算，計算能力大幅提升緩解了訓練效率低下，而訓練數據的增加則可以降低過擬合風險。
於是如何增加模型的復雜程度呢？
1、增加隱層數；
2、增加隱層神經元數.
如何有效訓練多隱層神經網路？
1、無監督逐層訓練：每次訓練一層隱節點，把上一層隱節點的輸出當作輸入來訓練，本層隱結點訓練好後，輸出再作為下一層的輸入來訓練，這稱為預訓練，全部預訓練完成後，再對整個網路進行微調。「預訓練+微調」即把大量的參數進行分組，先找出每組較好的設置，再基於這些局部最優的結果來訓練全局最優；
2、權共享：令同一層神經元使用完全相同的連接權，典型的例子是卷積神經網路。這樣做可以大大減少需要訓練的參數數目。
深度學習 可理解為一種特徵學習或者表示學習，是通過 多層處理 ，逐漸將初始的 低層特徵表示 轉化為 高層特徵表示 後，用 簡單模型 即可完成復雜的分類等 學習任務 。