如何挑選出最優網路模型

1. 神經網路模型的選擇 比如我要做預測我是選擇bp 呀還是rbf 還是競爭網路呀 如果做分類又該怎樣選擇

具體不是很懂，但是每個神經網路有自己的優缺點，根據問題的需要靈活選擇

2. 網路模型的分類

1．以物質為流量的網路模型
當網路模型中的流量內容是液體、氣體，固體等物質實體時，就構成了以物質為流量的網路模型，其優化目標一般是最大流量或最小費用流量。交通運輸(公路、 鐵路，航空、航海)，資源調配，工業流程裝置等許多實際問題，都可抽象為這類網路模型。
在圖4—1的示例中，若沿連線的數字井非距離，而是相應公路能夠通過的最大流量，則其就成為一種以物質為流量的網路模型。
2．以信息為流量的網路模型
以信號，數據等信息為流量的網路模型的例子，除了廣播，通訊網路外，還包括有在控制過程中所採用的方框圖或信流圖，社會組織系統圖、管理信息系統網路等。
圖4-2給出了建築企業經營預測的控制系統圖。企業首先要根據生產經營的實際需要，確定預測目標和要求，據此收集有關資料，選擇適宜的預測方法進行預瀾，接著要分析預測結論是否合理，若不合理，或修訂預捐0目標和要求，或重新選擇預測方法，反之則可進入預測實施，將預測結論用於指導企業的生產經營活動，實施中可能又會遇到新的生產經營預測問題，盡而開始一個新的循環。
3．以能量為流量的網路模型
最典型的以能量為流量的網路系統，是城市電力系統和集中供熱系統。圖4—3給出了某城市電力網路的示意圖。
4．以時間、費用、距離等為流量的網路模型
以時間為流量的網路模型，最典型的是PERT(計劃評審技術)。圖4·4為一表示裝配式房屋施工順序的網路圖，圖中，每一根箭線表示一項工作，並標明了估計的工時數。利用該網路圖，可以找出整個施工過程中的最優方案，合理解決勞力安排、資金周轉，縮短工期等問題。本例中的最短可能時間為66h。
圖4—5所示是以費用為期望值的方案決策樹，它所描述的是這樣一個問題：某建築公司在河邊窪地進行某項工程的施工，工程地點過去曾受過河流漲水的影響，還遇到過破壞性的洪水泛濫。因這項工程有四個月的時間不使用設備，故需決定設備的存放方案。有三種可供選擇的方案：一是運走設備，用時再運回來，總共要花費1800元，二是將設備留在工地，建造一個平台加以保護，建造平台的費用為500元。該平台可以防禦大水， 但不能防禦破壞性的洪水泛濫，三是將設備留在工地而不採取保護措施。

3. 網路模型的三個要素

一是表徵系統組成元素的節點。
二是體現各組成元素之間關系的箭線(有時是邊)。
三是在網路中流動的流量，它一方面反映了元素間的量化關系，同時也決定著網路模型優化的目標與方向。
例如，某區域的公路網路地圖如圖4-1(a)所示。若以節點表示城鎮，節點間的連線表示公路，沿連線的數字表示距離，則可繪出圖4，2(b)所示的網路模型。根據流量的性質該模型的優化方向是尋求特定城鎮間的最短路徑。

4. 知識蒸餾綜述:網路結構搜索應用

【GiantPandaCV導語】知識蒸餾將教師網路中的知識遷移到學生網路，而NAS中天然的存在大量的網路，使用KD有助於提升超網整體性能。兩者結合出現了許多工作，本文收集了部分代表性工作，並進行總結。

知識蒸餾可以看做教師網路通過提供soft label的方式將知識傳遞到學生網路中，可以被視為一種更高級的label smooth方法。soft label與hard label相比具有以下優點：

那麼知識蒸餾在網路結構搜索中有什麼作用呢？總結如下：

知識蒸餾在很多工作中作為訓練技巧來使用，比如OFA中使用漸進收縮訓練策略，使用最大的網路指導小網路的學習，採用inplace distillation進行蒸餾。BigNAS中則使用三明治法則，讓最大的網路指導剩下網路的蒸餾。

目標：解決教師網路和學生網路的匹配問題（知識蒸餾中教師網路和學生網路匹配的情況下效果更好）。

在知識蒸餾中，選擇不同的教師網路、不同的學生網路的情況下，最終學生網路的性能千差萬別。如果學生網路和教師網路的容量相差過多，會導致學生難以學習的情況。Cream這篇文章就是為了解決兩者匹配問題。

普通的SPOS方法如左圖所示，通過采樣單路徑子網路進行訓練。右圖則是結合了知識蒸餾的方法，Cream提出了兩個模塊：

Cream中心思想是，子網路可以在整個訓練過程中協作學習並相互教導，目的是提高單個模型的收斂性。

消融實驗如下：

目標：通過教師引導各個block特徵層的學習，根據loss大小評判各子網的性能。

這是一篇將NAS和KD融合的非常深的一個工作，被CVPR20接收。之前寫過一篇文章進行講解，這里簡單回顧一下。

DNA是兩階段的one-shot NAS方法，因此其引入蒸餾也是為了取代普通的acc指標，提出了使用子網路與教師網路接近程度作為衡量子網性能的指標。

在訓練的過程中，進行了分塊蒸餾，學生網路某一層的輸入來自教師網路上一層的輸出，並強制學生網路這一層的輸出與教師網路輸出一致（使用MSELoss)。在搜索過程結束後，通過計算各子網路與教師網路的接近程度來衡量子網路。

目標：通過改進KL divergence防止學生over estimate或者under estimate教師網路。

上圖展示了OFA,BigNAS等搜索演算法中常用到的蒸餾方法，子網使用的是KL divergence進行衡量，文中分析了KL 散度存在的局限性：即避零性以及零強制性。如下公式所示，p是教師的邏輯層輸出，q是學生邏輯層輸出。

AlphaNet提出了一個新的散度衡量損失函數，防止出現過估計或者低估的問題。如下所示，引入了 。

其中 不為0或者1，這樣如下圖所示：

藍色線對應example 2表示，當 為負值，如果q過估計了p中的不確定性， 的值會變大。

紫色線對應example 1表示，當 為正數，如果q低估了p中的不確定性， 的值會變大

同時考慮兩種情況，取兩者中最大值作為散度：

目標：提出了衡量學生網路和教師網路 內部激活相似度 衡量指標，通過表徵匹配可以用來加速網路結構搜索。

這部分其實是屬於知識蒸餾分類中基於關系的知識，構建的知識由不同樣本之間的互作用構成。

具體的指標構成如上圖所示，是一個bsxbs大小的矩陣，這個在文中被稱為Representational Dissmilarity Matrix，其功能是構建了激活層內部的表徵，可以通過評估RDM的相似度通過計算上三角矩陣的關系系數，比如皮爾遜系數。

該文章實際上也是構建了一個指標P+TG來衡量子網的性能，挑選出最優子網路。

如上圖所示，RDM的計算是通過衡量教師網路的feature以及學生網路的feature的相似度，並選擇選取其中最高的RDM相似度。通過構建了一組指標，隨著epoch的進行，排序一致性很快就可以提高。

目標：固定教師網路，搜索最合適的學生網路。

對於相同的教師網路來說，不同的架構的學生網路，即便具有相同的flops或者參數，其泛化能力也有所區別。在這個工作中選擇固定教師網路，通過網路搜索的方法找到最優的學生網路，使用L1 Norm優化基礎上，選擇出與教師網路KL散度差距最小的學生網路。

目標：在給定教師網路情況下，搜索最合適的學生網路。

神經網路中的知識不僅蘊含於參數，還受到網路結構影響。KD普遍方法是將教師網路知識提煉到學生網路中，本文提出了一種架構感知的知識蒸餾方法Architecture-Aware KD （AKD），能夠找到最合適提煉給特定教師模型的學生網路。

Motivation: 先做了一組實驗，發現不同的教師網路會傾向於不同的學生網路，因此在NAS中，使用不同的教師網路會導致模型傾向於選擇不同的網路結構。

AKD做法是選擇使用強化學習的方法指導搜索過程， 使用的是ENAS那種通過RNN采樣的方法。

目標：從集成的教師網路中學習，並使用NAS調整學生網路模型的容量。NAS+KD+集成。

這篇文章之前也進行了講解，是網路結構搜索，知識蒸餾，模型集成的大雜燴。

詳見： https://blog.csdn.net/DD_PP_JJ/article/details/121268840

這篇文章比較有意思，使用上一步中得到的多個子網路進行集成，可以得到教師網路，然後使用知識蒸餾的方法來引導新的子網路的學習。關注重點在於：

AdaNAS受Born Again Network（BAN）啟發, 提出Adaptive Knowledge Distillation（AKD)的方法以輔助子網路的訓練。

集成模型選擇 ：

從左到右代表四次迭代，每個迭代中從搜索空間中選擇三個模型。綠色線框出的模型代表每個迭代中最優的模型，AdaNAS選擇將每個迭代中最優subnet作為集成的對象。

最終集成的時候還添加了額外的weight參數w1-w4：

最終輸出邏輯層如下所示：（這個w權重也會被訓練，此時各個集成網路的權重是固定的，只優化w）

Knowledge Distillation

目標：解決知識蒸餾的效率和有效性，通過使用特徵聚合來引導教師網路與學生網路的學習，網路結構搜索則是體現在特徵聚合的過程，使用了類似darts的方法進行自適應調整放縮系數。ECCV20

文章總結了幾種蒸餾範式：

最後一種是本文提出的方法，普通的特徵蒸餾都是每個block的最後feature map進行互相蒸餾，本文認為可以讓教師網路的整個block都引導學生網路。

具體如何將教師網路整個block中所有feature map進行聚合，本文使用的是darts的方法進行動態聚合信息。(a) 圖展示的是對group i進行的可微分搜索過程。(b)表示從教師到學生的路徑loss構建，使用的是CE loss。(c)表示從學生到教師網路的路徑loss構建，使用的是L2 Loss。其中connector實際上是一個1x1 卷積層。

（ps: connector讓人想到VID這個工作）

5. BP神經網路模型各個參數的選取問題

樣本變數不需要那麼多，因為神經網路的信息存儲能力有限，過多的樣本會造成一些有用的信息被丟棄。如果樣本數量過多，應增加隱層節點數或隱層數目，才能增強學習能力。

一、隱層數
一般認為，增加隱層數可以降低網路誤差（也有文獻認為不一定能有效降低），提高精度，但也使網路復雜化，從而增加了網路的訓練時間和出現「過擬合」的傾向。一般來講應設計神經網路應優先考慮3層網路（即有1個隱層）。一般地，靠增加隱層節點數來獲得較低的誤差，其訓練效果要比增加隱層數更容易實現。對於沒有隱層的神經網路模型，實際上就是一個線性或非線性（取決於輸出層採用線性或非線性轉換函數型式）回歸模型。因此，一般認為，應將不含隱層的網路模型歸入回歸分析中，技術已很成熟，沒有必要在神經網路理論中再討論之。
二、隱層節點數
在BP 網路中，隱層節點數的選擇非常重要，它不僅對建立的神經網路模型的性能影響很大，而且是訓練時出現「過擬合」的直接原因，但是目前理論上還沒有一種科學的和普遍的確定方法。 目前多數文獻中提出的確定隱層節點數的計算公式都是針對訓練樣本任意多的情況，而且多數是針對最不利的情況，一般工程實踐中很難滿足，不宜採用。事實上，各種計算公式得到的隱層節點數有時相差幾倍甚至上百倍。為盡可能避免訓練時出現「過擬合」現象，保證足夠高的網路性能和泛化能力，確定隱層節點數的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結構，即取盡可能少的隱層節點數。研究表明，隱層節點數不僅與輸入/輸出層的節點數有關，更與需解決的問題的復雜程度和轉換函數的型式以及樣本數據的特性等因素有關。

6. 什麼是網路模型

【概念】
計算機網路是指由通信線路互相連接的許多自主工作的計算機構成的集合體，各個部件之間以何種規則進行通信，就是網路模型研究的問題。網路模型一般是指OSI七層參考模型和TCP/IP四層參考模型。這兩個模型在網路中應用最為廣泛。
【要素】

一是表徵系統組成元素的節點。
二是體現各組成元素之間關系的箭線(有時是邊)。
三是在網路中流動的流量，它一方面反映了元素間的量化關系，同時也決定著網路模型優化的目標與方向。
【分類】

1．以物質為流量的網路模型
2．以信息為流量的網路模型
3．以能量為流量的網路模型
4．以時間、費用、距離等為流量的網路模型
{參考資料}http://ke..com/view/2814233.htm

7. (SAS中)選擇最優回歸模型有哪些方法

倍長中線。
其實靈活運用最好，多做題。
把截長補短想成翻折（比如有角平分線不要光想做垂直）
見到正方形、正三角形就旋轉。
開闊思路，不要怕碰壁。多試試就能出來

8. 對於一個准確率不高的神經網路模型，應該從哪些方面去優化

首先你要看這是什麼任務的網路，還有你數據集和任務的難度。

如果是一個簡單的分類網路，你可以看一下你的損失函數用得是否正確，你的網路結構是否合適，容量太小或者太大？

樣本可分性如何？樣本的特徵提取是否有問題，本身就不分？測試集和訓練集的分布是否相似？你的標簽是否正確？

然後針對這些問題來解決。

9. 神經網路:欠擬合和過擬合

以我們前面講述的線性回歸為例，比如我們在訓練集上訓練出最優的模型，但是當我們將其使用到測試集時，測試的誤差很大，我們該怎麼辦？ 

我們一般採取的措施主要包括以下6種：

增加訓練樣本的數目（該方法適用於過擬合現象時，解決高方差。一般都是有效的，但是代價較大，如果下面的方法有效，可以優先採用下面的方式）；

嘗試減少特徵的數量（該方法適用於過擬合現象時，解決高方差）；

嘗試獲得更多的特徵（該方法適用於欠擬合現象時，解決高偏差）；

嘗試增加多項式特徵（該方法適用於欠擬合現象時，解決高偏差）；

嘗試減小正則化程度λ（該方法適用於欠擬合現象時，解決高偏差）；

嘗試增加正則化程度λ（該方法適用於過擬合現象時，解決高方差）；

上面的方法不是隨機選擇，是在合適的情況下（過擬合和欠擬合）選擇合適的方法，對於怎麼判斷一個模型是過擬合還是欠擬合，我們會在下面給出一些機器學習診斷法。

如何對一個假設進行評估？  

我們前面在講述線性回歸和邏輯回歸時，只是注重針對訓練數據集訓練出一個最優的參數，但是我們訓練處的模型對於測試集的性能好壞我們沒有進行判斷，我們只是訓練的模型使得損失函數最小，我們前面也討論過，在訓練數據集上損失函數最小並不能代表對於給定的測試數據，測試數據的評估非常准確，比如過擬合現象發生時，那我們如何評價一個假設的好壞呢？ 

主要的方法包括兩種： 

1.對於簡答的模型，我們可以採用將hθ(x)的圖像畫出，來判斷模型的好壞，但是這種方法對於特徵變數不是一個時，這種方法很難實現或者不可能實現。例如我們曾經看到過這樣的圖像，可以通過hθ(x)的圖像明顯可以看出，該假設存在著過擬合現象。 

2.另一種評估假設的方法為：將原來的數據集分為訓練集和測試集，一般我們是從原來的數據集中隨機選取（保證訓練集和測試集中都含有各種類型的數據）70%的數據作為訓練集，剩下的30%的樣本作為測試集。同時這種將原來數據集劃分為訓練集和測試集的方法可以用於幫助特徵選擇、多項式次數的選擇以及正則化參數的選擇等。數據集劃分的過程如下： 

以上面數據集為例，選取前7個為訓練集，後3個為測試集。用前7個數據集做訓練訓練出一個最優的模型，評價這個訓練出的模型的好壞可以使用測試集來進行判斷，判斷的標准可以使用測試集的損失函數來進行定量的衡量。 

對於回歸問題，測試集的損失函數計算公式如下： 

Jtest(θ)=12mtest∑i=1mtest(hθ(x(i)test)−y(i)test)2

而對於分類問題，測試集的損失函數計算公式如下： 

這種測量方式，如果測試樣本損失函數很大，則代表訓練出的模型泛化能力不好。 

對於分類問題，還有另外一種測量的方式，稱為誤分類率，它對於每一個測試樣本進行計算，計算的公式如下： 

error=1mtest∑i=1mtesterr(hθ(x(i)test),y(i)))

其中， 

模型的選擇和交叉驗證集：  

上述我們是在模型選擇好了之後進行訓練的，也就是上述我們都是確定了假設進行訓練的，但是我們怎麼對模型進行選擇呢，這一節我們來討論一下模型的選擇，以及和交叉驗證集的關系。 

模型選擇主要包括以下內容：1.怎樣選擇正確的特徵來構造學習演算法？2.怎樣選擇學習演算法中正則化參數λ?等問題。 

首先我們結合一個例子來引出模型的選擇和驗證集： 

例如我們有上面十個模型，我們對於給定的數據集選擇哪種模型呢？按照我們上面討論的將數據集劃分為訓練集和測試集，使用訓練集對上述模型進行訓練，然後使用測試集來進行選擇最佳的模型，比如最優的為第五個模型，但是這並不能衡量這個模型的泛化能力，因為測試集已經用於選擇最優的模型，這個模型對於其他未知數據的泛化能力還是未知的。 

所以針對上述問題我們可以將數據集劃分為訓練集、交叉驗證集和測試集。一般情況下，訓練集占總樣本的60%，交叉驗證集佔20%，測試集佔20%。其中訓練集用於訓練，交叉驗證集用於選擇最優的模型，測試集用於測試模型的泛化能力。 

模型選擇方法為： 

1. 使用訓練集訓練10個模型； 

2. 用10個模型分別對交叉驗證集計算出交叉驗證誤差（代價函數的值），其中計算公式為： 

3. 選取交叉驗證誤差最小的模型作為選擇的模型； 

4. 用測試集對選擇出的模型計算泛化能力（測試樣本的損失函數），計算公式如上文中討論的一樣。

假設對診斷偏差和方差（即過擬合還是欠擬合）的影響  

利用上述方法學習到的演算法性能不好一般會有兩種情況： 

1.會出現過擬合，也就是所謂的方差很大； 

2.會出現欠擬合，也就是所謂的偏差很大； 

首先應該確定演算法性能的不好，是由哪種原因造成的，然後針對不同的情況採取不同的改進策略，可以有效的改進當前的演算法。下面我們來講述一下怎麼判斷是過擬合還是欠擬合。 

以下面例子為例，來進行討論： 

我們可以通過繪制出訓練集的代價函數和交叉驗證驗證集的代價函數與方次d的關系來進行判斷是上述哪種情況的一種： 

對於訓練集，當d較小時，模型的擬合程度不是很好，所以訓練樣本集的代價函數比較大；隨著d的增加，模型的擬合程度不斷提高，代價函數不斷的減小； 

對於交叉驗證集，由於d比較小時，模型的擬合程度不是很好，對於新來的樣本預測結果會偏差很大，所以交叉驗證集的代價函數在初始階段會很大，而隨著d的增加會出現一個比較好的方次d，使得模型的擬合程度最佳，同時對於新來的樣本泛化能力很強，所以會有一個代價函數最小的點出現（該轉折點即是模型開始由欠擬合轉向過擬合的點），隨後隨著d的增加，由於過擬合，會存在對新的樣本預測結果不良的現象，所以代價函數會逐漸增大。 

當我們繪制出上述曲線時，我們就可以判斷出什麼時候是過擬合什麼時候欠擬合，判斷的標准如下： 

1. 當訓練誤差與交叉驗證集誤差接近時，並且都很大時，該模型高偏差（欠擬合）； 

2. 當訓練誤差遠小於驗證集誤差時，並且訓練誤差很小時，該模型高方差（過擬合）。 

判斷出該模型是過擬合或者欠擬合之後，然後使用上述提到的過擬合和欠擬合的解決方法，對演算法進行改進。

正則化對偏差和方差的影響  

我們前面講述過正則化可以有效的處理過擬合現象，但是我們上述所說的處理過擬合是在合適的λ情況下，那麼λ值的大小對模型的性能是怎樣影響的呢？我們採用上述與方次d對性能的影響相同的方式來分析λ的值對性能的影響。 

我們首先選擇一系列的λ值，通常λ的選擇是0~10之間呈現二倍關系的值（如：0，0.01，0.02，0.04，0.08，0.15，0.32，0.64，1.28，5.26，5.12，10） 

構建方式如下： 

選擇λ的方法如下： 

1.使用訓練集訓練處12個不同程度正則化模型； 

2.用12個模型分別對交叉驗證集計算出交叉驗證誤差； 

3.選擇得出交叉驗證誤差最小的模型； 

4.運用步驟3選出的模型對測試集計算得出推廣誤差

我們同樣可以將訓練集和交叉驗證集模型的代價函數與λ的值繪制在一張圖上。對於訓練集、驗證集和測試集的代價函數計算公式為： 

需要注意的是，當計算訓練集、交叉驗證集和測試集誤差時，不計算正則項，然後繪制出訓練集和交叉驗證集代價函數與λ值的關系，如下圖所示： 

1. 當λ較小時，訓練誤差較小（過擬合）而交叉驗證集誤差較大； 

2. 隨著λ的增加（從過擬合到欠擬合的過程），訓練集誤差逐漸增大（欠擬合），而交叉驗證集誤差則是先減小後增大。

學習曲線  

學習曲線也是一種可以判斷演算法是否處於過擬合還是欠擬合的情況，學習曲線是將訓練集誤差和交叉驗證集誤差作為訓練集實例數量（m）的函數繪制的圖像。學習曲先不僅可以幫助我們是不是處於過擬合或者欠擬合，它還可以幫助我們判斷是否為了提高演算法的性能需要我們收集多的數據。 

假設我們有100行數據，我們從第一行數據開始，逐漸增加數據進行訓練，得到每次訓練數據的代價函數值。當數據很少時，訓練模型能夠非常完美的擬合很少的數據，但是訓練出的模型卻不能泛化其他的數據，所以當數據很少時，訓練集的代價函數很小，但是交叉驗證集的代價函數很大，隨著樣本的增加，訓練集的代價函數逐漸增大，交叉驗證集的代價函數逐漸減小。繪制的曲線如下圖所示： 

1. 如何用學習曲線識別欠擬合： 

假設我們的模型處於欠擬合的情況下，擬合曲線如下圖所示： 

我們可以看出，無論我們怎樣增加樣本數據，誤差都不會有很大改觀。同時在欠擬合的情況下，會出現隨著樣本的增加，訓練集代價函數和交叉驗證集代價函數都很大的情況，在這種情況下，就沒有必要花費時間在收集數據上了，同時這也是一種判斷模型是過擬合還是欠擬合的方法。 

2. 如何使用學習曲線識別過擬合： 

假設我們有一個非常高次的多項式模型（比如最高次項達到100次），並且正則化非常小時，從下圖可以看出，當交叉驗證集誤差遠大於訓練集誤差時，往訓練集增加更多數據可以提高模型的效果。 

對於過擬合現象時，會出現訓練集代價函數一直都很小（雖然是增加的趨勢），但是驗證集的損失函數會很大（雖然是減小的趨勢），同時訓練集代價函數和驗證集代價函數相差會很大，可以使用這種方法來判斷該模型處於過擬合階段。

對於神經網路我們在討論一下過擬合和欠擬合現象：  

使用較小的神經網路，類似於參數較少的情況，容易導致高偏差和欠擬合，但是計算代價小；使用較大的神經網路，類似於參數較多的情況，容易導致高方差和過擬合，雖然計算代價比較大，但是可以通過正則化手段來調整而更加適應數據。 

對於 神經網路的模型選擇 ：我們一般選擇較大的神經網路並採用正則化處理，而不會選擇較小的神經網路。 

對於 神經網路隱藏層的層數選擇 ，一般我們從一層開始逐漸增加層數，為了更好的選擇出最佳的層數，可以針對不同隱藏層層數的神經網路進行訓練，然後選擇交叉驗證集代價函數最小的神經網路。

10. 如何建立某一問題的網路優化模型么

運籌學我不懂，但是目前的gsm和wcdma等無限接入網的絡優化我了解一點。
是指通過對正在運行的網路進行數據的採集，然後分析數據。根據數據找出問題，然後調整網路設備（基站或msc/sgsn）和參數使網路性能和收益達到最佳，也就是說性價比最高。
准備測試工具-----確定優化網路的區域-----指定測試路線----測試數據---分析數據---寫報告---調整參數和設備
通信網路優化大概是這樣的。希望對你有幫助