神經網路的損失函數怎麼設置

❶ 在神經網路使用elu激活函數時怎麼使用交叉熵作為損失函數

P、T矩陣均為一列為一個樣本，因此P、T的列數必須相等，否則報錯。你參考下別人的程序，我建議使用newff函數，不要弄得這么復雜。還有P、T的生成不需要那麼復雜，只需要：P(i,:)=YY(i:i+2);附上newff函數的格式為：net=newff(PR,[S1S2SN],{TF1TF2TFN},BTF,BLF,PF），函數newff建立一個可訓練的前饋網路。輸入參數說明：PR：Rx2的矩陣以定義R個輸入向量的最小值和最大值；Si：第i層神經元個數；TFi：第i層的傳遞函數，默認函數為tansig函數；BTF：訓練函數，默認函數為trainlm函數；BLF：權值/閥值學習函數，默認函數為learngdm函數；PF：性能函數，默認函數為mse函數。

❷ 神經網路中如果訓練數據識別率遠高於測試數據的識別率,說明了什麼問題

您好，出現這種情況的可能原因為：
1.訓練是使用GPU訓練，而測試時沒有使用
2.model.predict在預測時會對數據進行shuffle 導致輸出的預測值與原始數據的順序不匹配，從而導致結果不一致
3.這里進行的是多分類，而訓練時損失函數設置為binary_crossentropy(二分類的損失函數）顯示的是二進制精度，不是分類精度，修改為categorical_crossentropy後，兩者結果一致。

❸ 神經網路中的各種損失函數介紹

不同的損失函數可用於不同的目標。在這篇文章中，我將帶你通過一些示例介紹一些非常常用的損失函數。這篇文章提到的一些參數細節都屬於tensorflow或者keras的實現細節。

損失函數的簡要介紹

損失函數有助於優化神經網路的參數。我們的目標是通過優化神經網路的參數(權重)來最大程度地減少神經網路的損失。通過神經網路將目標(實際)值與預測值進行匹配，再經過損失函數就可以計算出損失。然後，我們使用梯度下降法來優化網路權重，以使損失最小化。這就是我們訓練神經網路的方式。

均方誤差

當你執行回歸任務時，可以選擇該損失函數。顧名思義，這種損失是通過計算實際(目標)值和預測值之間的平方差的平均值來計算的。

例如，你有一個神經網路，通過該網路可以獲取一些與房屋有關的數據並預測其價格。在這種情況下，你可以使用MSE(均方誤差)損失。基本上，在輸出為實數的情況下，應使用此損失函數。

二元交叉熵

當你執行二元分類任務時，可以選擇該損失函數。如果你使用BCE(二元交叉熵)損失函數，則只需一個輸出節點即可將數據分為兩類。輸出值應通過sigmoid激活函數，以便輸出在(0-1)范圍內。

例如，你有一個神經網路，該網路獲取與大氣有關的數據並預測是否會下雨。如果輸出大於0.5，則網路將其分類為會下雨；如果輸出小於0.5，則網路將其分類為不會下雨。即概率得分值越大，下雨的機會越大。

訓練網路時，如果標簽是下雨，則輸入網路的目標值應為1，否則為0。

重要的一點是，如果你使用BCE損失函數，則節點的輸出應介於(0-1)之間。這意味著你必須在最終輸出中使用sigmoid激活函數。因為sigmoid函數可以把任何實數值轉換(0–1)的范圍。(也就是輸出概率值)

如果你不想在最後一層上顯示使用sigmoid激活函數，你可以在損失函數的參數上設置from logits為true，它會在內部調用Sigmoid函數應用到輸出值。

多分類交叉熵

當你執行多類分類任務時，可以選擇該損失函數。如果使用CCE(多分類交叉熵)損失函數，則輸出節點的數量必須與這些類相同。最後一層的輸出應該通過softmax激活函數，以便每個節點輸出介於(0-1)之間的概率值。

例如，你有一個神經網路，它讀取圖像並將其分類為貓或狗。如果貓節點具有高概率得分，則將圖像分類為貓，否則分類為狗。基本上，如果某個類別節點具有最高的概率得分，圖像都將被分類為該類別。

為了在訓練時提供目標值，你必須對它們進行一次one-hot編碼。如果圖像是貓，則目標向量將為(1，0)，如果圖像是狗，則目標向量將為(0，1)。基本上，目標向量的大小將與類的數目相同，並且對應於實際類的索引位置將為1，所有其他的位置都為零。

如果你不想在最後一層上顯示使用softmax激活函數，你可以在損失函數的參數上設置from logits為true，它會在內部調用softmax函數應用到輸出值。與上述情況相同。

稀疏多分類交叉熵

該損失函數幾乎與多分類交叉熵相同，只是有一點小更改。

使用SCCE(稀疏多分類交叉熵)損失函數時，不需要one-hot形式的目標向量。例如如果目標圖像是貓，則只需傳遞0，否則傳遞1。基本上，無論哪個類，你都只需傳遞該類的索引。

這些是最重要的損失函數。訓練神經網路時，可能會使用這些損失函數之一。

下面的鏈接是Keras中所有可用損失函數的源代碼。

(https://github.com/keras-team/keras/blob//keras/backend/numpy_backend.py)

❹ sklearn 神經網路 MLPClassifier簡單應用與參數說明

MLPClassifier是一個監督學習演算法，下圖是只有1個隱藏層的MLP模型 ，左側是輸入層，右側是輸出層。

上圖的整體結構可以簡單的理解為下圖所示：

MLP又名多層感知機，也叫人工神經網路（ANN，Artificial Neural Network），除了輸入輸出層，它中間可以有多個隱藏層，如果沒有隱藏層即可解決線性可劃分的數據問題。最簡單的MLP模型只包含一個隱藏層，即三層的結構，如上圖。

從上圖可以看到，多層感知機的層與層之間是全連接的（全連接的意思就是：上一層的任何一個神經元與下一層的所有神經元都有連接）。多層感知機最底層是輸入層，中間是隱藏層，最後是輸出層。

輸入層沒什麼好說，你輸入什麼就是什麼，比如輸入是一個n維向量，就有n個神經元。

隱藏層的神經元怎麼得來？首先它與輸入層是全連接的，假設輸入層用向量X表示，則隱藏層的輸出就是

f(W1X+b1)，W1是權重（也叫連接系數），b1是偏置，函數f 可以是常用的sigmoid函數或者tanh函數：

最後就是輸出層，輸出層與隱藏層是什麼關系？其實隱藏層到輸出層可以看成是一個多類別的邏輯回歸，也即softmax回歸，所以輸出層的輸出就是softmax(W2X1+b2)，X1表示隱藏層的輸出f(W1X+b1)。

MLP整個模型就是這樣子的，上面說的這個三層的MLP用公式總結起來就是，函數G是softmax

因此，MLP所有的參數就是各個層之間的連接權重以及偏置，包括W1、b1、W2、b2。對於一個具體的問題，怎麼確定這些參數？求解最佳的參數是一個最優化問題，解決最優化問題，最簡單的就是梯度下降法了（sgd）：首先隨機初始化所有參數，然後迭代地訓練，不斷地計算梯度和更新參數，直到滿足某個條件為止（比如誤差足夠小、迭代次數足夠多時）。這個過程涉及到代價函數、規則化（Regularization）、學習速率（learning rate）、梯度計算等。

下面寫了一個超級簡單的實例，訓練和測試數據是mnist手寫識別數據集：

from sklearn.neural_network import MLPClassifier

import gzip

import pickle

with gzip.open('./mnist.pkl.gz') as f_gz:

    train_data,valid_data,test_data = pickle.load(f_gz)

clf = MLPClassifier(solver='sgd',activation = 'identity',max_iter = 10,alpha = 1e-5,hidden_layer_sizes = (100,50),random_state = 1,verbose = True)

clf.fit(train_data[0][:10000],train_data[1][:10000])

print clf.predict(test_data[0][:10])

print(clf.score(test_data[0][:100],test_data[1][:100]))

print(clf.predict_proba(test_data[0][:10]))

參數說明：

參數說明: 

1. hidden_layer_sizes :例如hidden_layer_sizes=(50, 50)，表示有兩層隱藏層，第一層隱藏層有50個神經元，第二層也有50個神經元。 

2. activation :激活函數,{『identity』, 『logistic』, 『tanh』, 『relu』}, 默認relu 

- identity：f(x) = x 

- logistic：其實就是sigmod,f(x) = 1 / (1 + exp(-x)). 

- tanh：f(x) = tanh(x). 

- relu：f(x) = max(0, x) 

3. solver： {『lbfgs』, 『sgd』, 『adam』}, 默認adam，用來優化權重 

- lbfgs：quasi-Newton方法的優化器 

- sgd：隨機梯度下降 

- adam： Kingma, Diederik, and Jimmy Ba提出的機遇隨機梯度的優化器 

注意：默認solver 『adam』在相對較大的數據集上效果比較好（幾千個樣本或者更多），對小數據集來說，lbfgs收斂更快效果也更好。 

4. alpha :float,可選的，默認0.0001,正則化項參數 

5. batch_size : int , 可選的，默認』auto』,隨機優化的minibatches的大小batch_size=min(200,n_samples)，如果solver是』lbfgs』，分類器將不使用minibatch 

6. learning_rate :學習率,用於權重更新,只有當solver為』sgd』時使用，{『constant』，』invscaling』, 『adaptive』},默認constant 

- 『constant』: 有』learning_rate_init』給定的恆定學習率 

- 『incscaling』：隨著時間t使用』power_t』的逆標度指數不斷降低學習率learning_rate_ ，effective_learning_rate = learning_rate_init / pow(t, power_t) 

- 『adaptive』：只要訓練損耗在下降，就保持學習率為』learning_rate_init』不變，當連續兩次不能降低訓練損耗或驗證分數停止升高至少tol時，將當前學習率除以5. 

7. power_t: double, 可選, default 0.5，只有solver=』sgd』時使用，是逆擴展學習率的指數.當learning_rate=』invscaling』，用來更新有效學習率。 

8. max_iter: int，可選，默認200，最大迭代次數。 

9. random_state:int 或RandomState，可選，默認None，隨機數生成器的狀態或種子。 

10. shuffle: bool，可選，默認True,只有當solver=』sgd』或者『adam』時使用，判斷是否在每次迭代時對樣本進行清洗。 

11. tol：float, 可選，默認1e-4，優化的容忍度 

12. learning_rate_int:double,可選，默認0.001，初始學習率，控制更新權重的補償，只有當solver=』sgd』 或』adam』時使用。 

14. verbose : bool, 可選, 默認False,是否將過程列印到stdout 

15. warm_start : bool, 可選, 默認False,當設置成True，使用之前的解決方法作為初始擬合，否則釋放之前的解決方法。 

16. momentum : float, 默認 0.9,動量梯度下降更新，設置的范圍應該0.0-1.0. 只有solver=』sgd』時使用. 

17. nesterovs_momentum : boolean, 默認True, Whether to use Nesterov』s momentum. 只有solver=』sgd』並且momentum > 0使用. 

18. early_stopping : bool, 默認False,只有solver=』sgd』或者』adam』時有效,判斷當驗證效果不再改善的時候是否終止訓練，當為True時，自動選出10%的訓練數據用於驗證並在兩步連續迭代改善，低於tol時終止訓練。 

19. validation_fraction : float, 可選, 默認 0.1,用作早期停止驗證的預留訓練數據集的比例，早0-1之間，只當early_stopping=True有用 

20. beta_1 : float, 可選, 默認0.9，只有solver=』adam』時使用，估計一階矩向量的指數衰減速率，[0,1)之間 

21. beta_2 : float, 可選, 默認0.999,只有solver=』adam』時使用估計二階矩向量的指數衰減速率[0,1)之間 

22. epsilon : float, 可選, 默認1e-8,只有solver=』adam』時使用數值穩定值。 

屬性說明： 

- classes_:每個輸出的類標簽 

- loss_:損失函數計算出來的當前損失值 

- coefs_:列表中的第i個元素表示i層的權重矩陣 

- intercepts_:列表中第i個元素代表i+1層的偏差向量 

- n_iter_ ：迭代次數 

- n_layers_:層數 

- n_outputs_:輸出的個數 

- out_activation_:輸出激活函數的名稱。 

方法說明： 

- fit(X,y):擬合 

- get_params([deep]):獲取參數 

- predict(X):使用MLP進行預測 

- predic_log_proba(X):返回對數概率估計 

- predic_proba(X)：概率估計 

- score(X,y[,sample_weight]):返回給定測試數據和標簽上的平均准確度 

-set_params(**params):設置參數。

❺ 深度神經網路dnn怎麼調節參數

深度神經網路（DNN）目前是許多現代AI應用的基礎。
自從DNN在語音識別和圖像識別任務中展現出突破性的成果，使用DNN的應用數量呈爆炸式增加。這些DNN方法被大量應用在無人駕駛汽車，癌症檢測，游戲AI等方面。
在許多領域中，DNN目前的准確性已經超過人類。與早期的專家手動提取特徵或制定規則不同，DNN的優越性能來自於在大量數據上使用統計學習方法，從原始數據中提取高級特徵的能力，從而對輸入空間進行有效的表示。

然而，DNN超高的准確性是以超高的計算復雜度為代價的。
通常意義下的計算引擎，尤其是GPU，是DNN的基礎。因此，能夠在不犧牲准確性和增加硬體成本的前提下，提高深度神經網路的能量效率和吞吐量的方法，對於DNN在AI系統中更廣泛的應用是至關重要的。研究人員目前已經更多的將關注點放在針對DNN計算開發專用的加速方法。
鑒於篇幅，本文主要針對論文中的如下幾部分詳細介紹：
DNN的背景，歷史和應用
DNN的組成部分，以及常見的DNN模型
簡介如何使用硬體加速DNN運算
DNN的背景
人工智慧與深度神經網路

深度神經網路，也被稱為深度學習，是人工智慧領域的重要分支，根據麥卡錫（人工智慧之父）的定義，人工智慧是創造像人一樣的智能機械的科學工程。深度學習與人工智慧的關系如圖1所示：

圖1：深度神經網路與人工智慧的關系
人工智慧領域內，一個大的子領域是機器學習，由Arthur Samuel在1959年定義為：讓計算機擁有不需要明確編程即可學習的能力。
這意味著創建一個程序，這個程序可以被訓練去學習如何去做一些智能的行為，然後這個程序就可以自己完成任務。而傳統的人工啟發式方法，需要對每個新問題重新設計程序。
高效的機器學習演算法的優點是顯而易見的。一個機器學習演算法，只需通過訓練，就可以解決某一領域中每一個新問題，而不是對每個新問題特定地進行編程。
在機器學習領域，有一個部分被稱作brain-inspired computation。因為人類大腦是目前學習和解決問題最好的「機器」，很自然的，人們會從中尋找機器學習的方法。
盡管科學家們仍在探索大腦工作的細節，但是有一點被公認的是：神經元是大腦的主要計算單元。
人類大腦平均有860億個神經元。神經元相互連接，通過樹突接受其他神經元的信號，對這些信號進行計算之後，通過軸突將信號傳遞給下一個神經元。一個神經元的軸突分支出來並連接到許多其他神經元的樹突上，軸突分支和樹突之間的連接被稱為突觸。據估計，人類大腦平均有1014-1015個突觸。
突觸的一個關鍵特性是它可以縮放通過它的信號大小。這個比例因子可以被稱為權重（weight），普遍認為，大腦學習的方式是通過改變突觸的權重實現的。因此，不同的權重導致對輸入產生不同的響應。注意，學習過程是學習刺激導致的權重調整，而大腦組織（可以被認為是程序）並不改變。
大腦的這個特徵對機器學習演算法有很好的啟示。
神經網路與深度神經網路

神經元的計算是輸入值的加權和這個概念啟發了神經網路的研究。這些加權和對應於突觸的縮放值以及神經元所接收的值的組合。此外，神經元並不僅僅是輸入信號的加權和，如果是這樣的話，級聯的神經元的計算將是一種簡單的線性代數運算。
相反的是，神經元組合輸入的操作似乎是一種非線性函數，只有輸入達到某個閾值的時候，神經元才會生成輸出。因此，通過類比，我們可以知道神經網路在輸入值的加權和的基礎上應用了非線性函數。
圖2（a）展示了計算神經網路的示意圖，圖的最左邊是接受數值的「輸入層」。這些值被傳播到中間層神經元，通常也叫做網路的「隱藏層」。通過一個或更多隱藏層的加權和最終被傳播到「輸出層」，將神經網路的最終結果輸出給用戶。

圖2：神經網路示意圖

在神經網路領域，一個子領域被稱為深度學習。最初的神經網路通常只有幾層的網路。而深度網路通常有更多的層數，今天的網路一般在五層以上，甚至達到一千多層。
目前在視覺應用中使用深度神經網路的解釋是：將圖像所有像素輸入到網路的第一層之後，該層的加權和可以被解釋為表示圖像不同的低階特徵。隨著層數的加深，這些特徵被組合，從而代表更高階的圖像特徵。
例如，線可以被組合成形狀，再進一步，可以被組合成一系列形狀的集合。最後，再訓練好這些信息之後，針對各個圖像類別，網路給出由這些高階特徵組成各個對象的概率，即分類結果。
推理（Inference）與訓練（Training）
既然DNN是機器學習演算法中的一員，那麼它的基本編程思想仍然是學習。DNN的學習即確定網路的權重值。通常，學習過程被稱為訓練網路（training）。一旦訓練完成，程序可以使用由訓練確定的權值進行計算，這個使用網路完成任務的操作被被稱為推斷（inference）。
接下來，如圖3所示，我們用圖像分類作為例子來展示如何訓練一個深度神經網路。當我們使用一個DNN的時候，我們輸入一幅圖片，DNN輸出一個得分向量，每一個分數對應一個物體分類；得到最高分數的分類意味著這幅圖片最有可能屬於這個分類。
訓練DNN的首要目標就是確定如何設置權重，使得正確分類的得分最高（圖片所對應的正確分類在訓練數據集中標出），而使其他不正確分類的得分盡可能低。理想的正確分類得分與目前的權重所計算出的得分之間的差距被稱為損失函數（loss）。
因此訓練DNN的目標即找到一組權重，使得對一個較大規模數據集的loss最小。

圖3：圖像分類

權重（weight）的優化過程類似爬山的過程，這種方法被稱為梯度下降（gradient decent）。損失函數對每個權值的梯度，即損失函數對每個權值求偏導數，被用來更新權值（例：第t到t+1次迭代：，其中α被稱為學習率（Learning rate）。梯度值表明權值應該如何變化以減小loss。這個減小loss值的過程是重復迭代進行的。
梯度可以通過反向傳播（Back-Propagation）過程很高效地進行計算，loss的影響反向通過網路來計算loss是如何被每個權重影響的。
訓練權重有很多種方法。前面提到的是最常見的方法，被稱為監督學習，其中所有的訓練樣本是有標簽的。
無監督學習是另一種方法，其中所有訓練樣本都沒有標簽，最終目標是在數據中查找結構或聚類。半監督學習結合了兩種方法，只有訓練數據的一小部分被標記（例如，使用未標記的數據來定義集群邊界，並使用少量的標記數據來標記集群）。
最後，強化學習可以用來訓練一個DNN作為一個策略網路，對策略網路給出一個輸入，它可以做出一個決定，使得下一步的行動得到相應的獎勵;訓練這個網路的過程是使網路能夠做出使獎勵（即獎勵函數）最大化的決策，並且訓練過程必須平衡嘗試新行為（Exploration）和使用已知能給予高回報的行為（Exploitation）兩種方法。

用於確定權重的另一種常用方法是fine-tune，使用預先訓練好的模型的權重用作初始化，然後針對新的數據集（例如，傳遞學習）或新的約束（例如，降低的精度）調整權重。與從隨機初始化開始相比，能夠更快的訓練，並且有時會有更好的准確性。

❻ 神經網路超參數選擇

深度學習模型通常由隨機梯度下降演算法進行訓練。隨機梯度下降演算法有許多變形：例如 Adam、RMSProp、Adagrad 等等。這些演算法都需要你設置學習率。學習率決定了在一個小批量（mini-batch）中權重在梯度方向要移動多遠。

如果學習率很低，訓練會變得更加可靠，但是優化會耗費較長的時間，因為朝向損失函數最小值的每個步長很小。
如果學習率很高，訓練可能根本不會收斂，損失函數一直處於波動中，甚至會發散。權重的改變數可能非常大，使得優化越過最小值，使得損失函數變得更糟。

訓練應當從相對較大的學習率開始。這是因為在開始時，初始的隨機權重遠離最優值。在訓練過程中，學習率應當下降，以允許細粒度的權重更新。

參考： https://www.jiqixin.com/articles/2017-11-17-2

批次大小是每一次訓練神經網路送入模型的樣本數。在 合理的范圍之內 ，越大的 batch size 使下降方向越准確，震盪越小，通常取值為[16,32,64,128]。

Batch_Size=全部數據集 缺點：
1) 隨著數據集的海量增長和內存限制，一次性載入所有的數據進來變得越來越不可行。
2) 以 Rprop 的方式迭代，會由於各個 Batch 之間的采樣差異性，各次梯度修正值相互抵消，無法修正。
Batch_Size = 1 缺點：
使用在線學習，每次修正方向以各自樣本的梯度方向修正，橫沖直撞各自為政，難以達到收斂。

在合理范圍內，增大 Batch_Size 有何好處？
1) 內存利用率提高了，大矩陣乘法的並行化效率提高。
2) 跑完一次 epoch（全數據集）所需的迭代次數減少，對於相同數據量的處理速度進一步加快。
3) 在一定范圍內，一般來說 Batch_Size 越大，其確定的下降方向越准，引起訓練震盪越小。

盲目增大 Batch_Size 有何壞處？
1) 內存利用率提高了，但是內存容量可能撐不住了。
2) 跑完一次 epoch（全數據集）所需的迭代次數減少，要想達到相同的精度，其所花費的時間大大增加了，從而對參數的修正也就顯得更加緩慢。
3) Batch_Size 增大到一定程度，其確定的下降方向已經基本不再變化。

參考： https://blog.csdn.net/juronghui/article/details/78612653

迭代次數是指整個訓練集輸入到神經網路進行訓練的次數，當測試錯誤率和訓練錯誤率相差較小，且測試准確率趨於穩定時（達到最優），可認為當前迭代次數合適；當測試錯誤率先變小後變大時則說明迭代次數過大了，需要減小迭代次數，否則容易出現過擬合。

用激活函數給神經網路加入一些非線性因素，使得網路可以更好地解決較為復雜的問題。參考： https://blog.csdn.net/tyhj_sf/article/details/79932893

它能夠把輸入的連續實值變換為0和1之間的輸出。
缺點：
1) 在深度神經網路中梯度反向傳遞時導致梯度爆炸和梯度消失，其中梯度爆炸發生的概率非常小，而梯度消失發生的概率比較大。
2) Sigmoid 的 output 不是0均值，使得收斂緩慢。batch的輸入能緩解這個問題。

它解決了Sigmoid函數的不是zero-centered輸出問題，然而梯度消失的問題和冪運算的問題仍然存在。
tanh函數具有中心對稱性，適合於有對稱性的二分類

雖然簡單，但卻是近幾年的重要成果，有以下幾大優點：
1） 解決了梯度消散問題 (在正區間)
2）計算速度非常快，只需要判斷輸入是否大於0
3）收斂速度遠快於sigmoid和tanh
ReLU也有幾個需要特別注意的問題：
1）ReLU的輸出不是zero-centered
2）Dead ReLU Problem，指的是某些神經元可能永遠不會被激活，導致相應的參數永遠不能被更新。有兩個主要原因可能導致這種情況產生: (1) 非常不幸的參數初始化，這種情況比較少見 (2) learning rate太高導致在訓練過程中參數更新太大，不幸使網路進入這種狀態。解決方法是可以採用Xavier初始化方法，以及避免將learning rate設置太大或使用adagrad等自動調節learning rate的演算法。

為了解決Dead ReLU Problem，提出了將ReLU的前半段設為 αx 而非 0 ，如 PReLU 。

1）深度學習往往需要大量時間來處理大量數據，模型的收斂速度是尤為重要的。所以，總體上來講，訓練深度學習網路盡量使用zero-centered數據 (可以經過數據預處理實現) 和zero-centered輸出。所以要盡量選擇輸出具有zero-centered特點的激活函數以加快模型的收斂速度。
2）如果使用 ReLU，那麼一定要小心設置 learning rate，而且要注意不要讓網路出現很多 「dead」 神經元，如果這個問題不好解決，那麼可以試試 Leaky ReLU、PReLU 或者 Maxout.
3）最好不要用 sigmoid，你可以試試 tanh，不過可以預期它的效果會比不上 ReLU 和 Maxout.

公式： https://www.cnblogs.com/xiaobingqianrui/p/10756046.html
優化器比較： https://blog.csdn.net/weixin_40170902/article/details/80092628

❼ 卷及神經網路中loss怎麼計算

這個問題比較泛，因為網路的損失函數是由自己設計的，如果不特殊說明一般是有均方誤差和交叉熵兩種損失函數的。其中均方誤差當然就是指的輸出與標簽的差的平方和的平均，計算方式如下：

❽ BP神經網路損失函數居高不下

1、模型結構和特徵工程存在問題。
2、權重初始化方案有問題。
3、正則化過度。
4、選擇合適的激活函數、損失函數。
5、選擇合適的優化器和學習速率。
6、訓練時間不足，模型訓練遇到瓶頸。