深度網路層數應該怎麼設置

『壹』 深度學習 caffe flatten層怎麼配置

flatten層用來扁平參數用，一般用在卷積層與全鏈接層之間，可以從vgg16網路中可以看出，但是在後來的網路中用GlobalAveragePooling2D代替了flatten層，可以從vgg16與inceptionV3網路對比看出。從參數的對比可以看出，顯然這種改進大大的減少了參數的使用量，避免了過擬合現象。

from keras.models import Sequential

from keras.layers.core import Flatten

from keras.layers.convolutional import Convolution2D

from keras.utils.vis_utils import plot_model

model = Sequential()

model.add(Convolution2D(64,3,3,border_mode="same",input_shape=(3,32,32)))

# now：model.output_shape==(None,64,32,32)

model.add(Flatten())

# now: model.output_shape==(None,65536)

plot_model(model, to_file='Flatten.png', show_shapes=True)

(1)深度網路層數應該怎麼設置擴展閱讀

應用

計算機視覺

香港中文大學的多媒體實驗室是最早應用深度學習進行計算機視覺研究的華人團隊。在世界級人工智慧競賽LFW（大規模人臉識別競賽）上，該實驗室曾力壓FaceBook奪得冠軍，使得人工智慧在該領域的識別能力首次超越真人。

語音識別

微軟研究人員通過與hinton合作，首先將RBM和DBN引入到語音識別聲學模型訓練中，並且在大詞彙量語音識別系統中獲得巨大成功，使得語音識別的錯誤率相對減低30%。但是，DNN還沒有有效的並行快速演算法，很多研究機構都是在利用大規模數據語料通過GPU平台提高DNN聲學模型的訓練效率。

在國際上，IBM、google等公司都快速進行了DNN語音識別的研究，並且速度飛快。

國內方面，阿里巴巴、科大訊飛、網路、中科院自動化所等公司或研究單位，也在進行深度學習在語音識別上的研究。

參考資料來源：網路-深度學習

『貳』 深度神經網路dnn怎麼調節參數

深度神經網路（DNN）目前是許多現代AI應用的基礎。
自從DNN在語音識別和圖像識別任務中展現出突破性的成果，使用DNN的應用數量呈爆炸式增加。這些DNN方法被大量應用在無人駕駛汽車，癌症檢測，游戲AI等方面。
在許多領域中，DNN目前的准確性已經超過人類。與早期的專家手動提取特徵或制定規則不同，DNN的優越性能來自於在大量數據上使用統計學習方法，從原始數據中提取高級特徵的能力，從而對輸入空間進行有效的表示。

然而，DNN超高的准確性是以超高的計算復雜度為代價的。
通常意義下的計算引擎，尤其是GPU，是DNN的基礎。因此，能夠在不犧牲准確性和增加硬體成本的前提下，提高深度神經網路的能量效率和吞吐量的方法，對於DNN在AI系統中更廣泛的應用是至關重要的。研究人員目前已經更多的將關注點放在針對DNN計算開發專用的加速方法。
鑒於篇幅，本文主要針對論文中的如下幾部分詳細介紹：
DNN的背景，歷史和應用
DNN的組成部分，以及常見的DNN模型
簡介如何使用硬體加速DNN運算
DNN的背景
人工智慧與深度神經網路

深度神經網路，也被稱為深度學習，是人工智慧領域的重要分支，根據麥卡錫（人工智慧之父）的定義，人工智慧是創造像人一樣的智能機械的科學工程。深度學習與人工智慧的關系如圖1所示：

圖1：深度神經網路與人工智慧的關系
人工智慧領域內，一個大的子領域是機器學習，由Arthur Samuel在1959年定義為：讓計算機擁有不需要明確編程即可學習的能力。
這意味著創建一個程序，這個程序可以被訓練去學習如何去做一些智能的行為，然後這個程序就可以自己完成任務。而傳統的人工啟發式方法，需要對每個新問題重新設計程序。
高效的機器學習演算法的優點是顯而易見的。一個機器學習演算法，只需通過訓練，就可以解決某一領域中每一個新問題，而不是對每個新問題特定地進行編程。
在機器學習領域，有一個部分被稱作brain-inspired computation。因為人類大腦是目前學習和解決問題最好的「機器」，很自然的，人們會從中尋找機器學習的方法。
盡管科學家們仍在探索大腦工作的細節，但是有一點被公認的是：神經元是大腦的主要計算單元。
人類大腦平均有860億個神經元。神經元相互連接，通過樹突接受其他神經元的信號，對這些信號進行計算之後，通過軸突將信號傳遞給下一個神經元。一個神經元的軸突分支出來並連接到許多其他神經元的樹突上，軸突分支和樹突之間的連接被稱為突觸。據估計，人類大腦平均有1014-1015個突觸。
突觸的一個關鍵特性是它可以縮放通過它的信號大小。這個比例因子可以被稱為權重（weight），普遍認為，大腦學習的方式是通過改變突觸的權重實現的。因此，不同的權重導致對輸入產生不同的響應。注意，學習過程是學習刺激導致的權重調整，而大腦組織（可以被認為是程序）並不改變。
大腦的這個特徵對機器學習演算法有很好的啟示。
神經網路與深度神經網路

神經元的計算是輸入值的加權和這個概念啟發了神經網路的研究。這些加權和對應於突觸的縮放值以及神經元所接收的值的組合。此外，神經元並不僅僅是輸入信號的加權和，如果是這樣的話，級聯的神經元的計算將是一種簡單的線性代數運算。
相反的是，神經元組合輸入的操作似乎是一種非線性函數，只有輸入達到某個閾值的時候，神經元才會生成輸出。因此，通過類比，我們可以知道神經網路在輸入值的加權和的基礎上應用了非線性函數。
圖2（a）展示了計算神經網路的示意圖，圖的最左邊是接受數值的「輸入層」。這些值被傳播到中間層神經元，通常也叫做網路的「隱藏層」。通過一個或更多隱藏層的加權和最終被傳播到「輸出層」，將神經網路的最終結果輸出給用戶。

圖2：神經網路示意圖

在神經網路領域，一個子領域被稱為深度學習。最初的神經網路通常只有幾層的網路。而深度網路通常有更多的層數，今天的網路一般在五層以上，甚至達到一千多層。
目前在視覺應用中使用深度神經網路的解釋是：將圖像所有像素輸入到網路的第一層之後，該層的加權和可以被解釋為表示圖像不同的低階特徵。隨著層數的加深，這些特徵被組合，從而代表更高階的圖像特徵。
例如，線可以被組合成形狀，再進一步，可以被組合成一系列形狀的集合。最後，再訓練好這些信息之後，針對各個圖像類別，網路給出由這些高階特徵組成各個對象的概率，即分類結果。
推理（Inference）與訓練（Training）
既然DNN是機器學習演算法中的一員，那麼它的基本編程思想仍然是學習。DNN的學習即確定網路的權重值。通常，學習過程被稱為訓練網路（training）。一旦訓練完成，程序可以使用由訓練確定的權值進行計算，這個使用網路完成任務的操作被被稱為推斷（inference）。
接下來，如圖3所示，我們用圖像分類作為例子來展示如何訓練一個深度神經網路。當我們使用一個DNN的時候，我們輸入一幅圖片，DNN輸出一個得分向量，每一個分數對應一個物體分類；得到最高分數的分類意味著這幅圖片最有可能屬於這個分類。
訓練DNN的首要目標就是確定如何設置權重，使得正確分類的得分最高（圖片所對應的正確分類在訓練數據集中標出），而使其他不正確分類的得分盡可能低。理想的正確分類得分與目前的權重所計算出的得分之間的差距被稱為損失函數（loss）。
因此訓練DNN的目標即找到一組權重，使得對一個較大規模數據集的loss最小。

圖3：圖像分類

權重（weight）的優化過程類似爬山的過程，這種方法被稱為梯度下降（gradient decent）。損失函數對每個權值的梯度，即損失函數對每個權值求偏導數，被用來更新權值（例：第t到t+1次迭代：，其中α被稱為學習率（Learning rate）。梯度值表明權值應該如何變化以減小loss。這個減小loss值的過程是重復迭代進行的。
梯度可以通過反向傳播（Back-Propagation）過程很高效地進行計算，loss的影響反向通過網路來計算loss是如何被每個權重影響的。
訓練權重有很多種方法。前面提到的是最常見的方法，被稱為監督學習，其中所有的訓練樣本是有標簽的。
無監督學習是另一種方法，其中所有訓練樣本都沒有標簽，最終目標是在數據中查找結構或聚類。半監督學習結合了兩種方法，只有訓練數據的一小部分被標記（例如，使用未標記的數據來定義集群邊界，並使用少量的標記數據來標記集群）。
最後，強化學習可以用來訓練一個DNN作為一個策略網路，對策略網路給出一個輸入，它可以做出一個決定，使得下一步的行動得到相應的獎勵;訓練這個網路的過程是使網路能夠做出使獎勵（即獎勵函數）最大化的決策，並且訓練過程必須平衡嘗試新行為（Exploration）和使用已知能給予高回報的行為（Exploitation）兩種方法。

用於確定權重的另一種常用方法是fine-tune，使用預先訓練好的模型的權重用作初始化，然後針對新的數據集（例如，傳遞學習）或新的約束（例如，降低的精度）調整權重。與從隨機初始化開始相比，能夠更快的訓練，並且有時會有更好的准確性。

『叄』 深度神經網路 每層單元個數

深度神經網路每層單元個數是任意。
每層神經元個數決定你輸入特徵的多少，如果是28*28的圖片，一下降低為10，那丟失的數據太多了.建議，神經元對半開，就是每層減半。或者三分之一，四分之一開，畢竟後面可能防止過擬合，還會扔神經元。

『肆』 神經網路的隱含層節點數怎麼設置啊比如要設置18層隱含節點數！跪求，工作急用！

隱層一般是一層或兩層，很少會採用三層以上，至少隱層的節點數確定，一般有以下幾種方法：1、有經驗的人員根據以往的經驗湊試出節點個數。2、某些學術研究出固定的求節點方法，如2m+1個隱層節點，m為輸入個數。3、修剪法。剛開始建立足夠多的節點數，在訓練過程中，根據節點數的相關程度，刪除重復的節點。

『伍』 怎樣修改深度學習的網路結構

加入新型模塊，調整網路層數

『陸』 如何優化深度信念網路的隱含層個數

我自己總結的：
1、神經網路演算法隱含層的選取
1.1 構造法
首先運用三種確定隱含層層數的方法得到三個隱含層層數，找到最小值和最大值，然後從最小值開始逐個驗證模型預測誤差，直到達到最大值。最後選取模型誤差最小的那個隱含層層數。該方法適用於雙隱含層網路。
1.2 刪除法
單隱含層網路非線性映射能力較弱，相同問題，為達到預定映射關系，隱層節點要多一些，以增加網路的可調參數，故適合運用刪除法。
1.3黃金分割法
演算法的主要思想：首先在[a,b]內尋找理想的隱含層節點數，這樣就充分保證了網路的逼近能力和泛化能力。為滿足高精度逼近的要求，再按照黃金分割原理拓展搜索區間，即得到區間[b,c]（其中b=0.619*（c-a）+a），在區間[b,c]中搜索最優，則得到逼近能力更強的隱含層節點數，在實際應用根據要求，從中選取其一即可。

『柒』 神經網路的隱層數，節點數設置。

我自己總結的：
1、神經網路演算法隱含層的選取
1.1 構造法
首先運用三種確定隱含層層數的方法得到三個隱含層層數，找到最小值和最大值，然後從最小值開始逐個驗證模型預測誤差，直到達到最大值。最後選取模型誤差最小的那個隱含層層數。該方法適用於雙隱含層網路。
1.2 刪除法
單隱含層網路非線性映射能力較弱，相同問題，為達到預定映射關系，隱層節點要多一些，以增加網路的可調參數，故適合運用刪除法。
1.3黃金分割法
演算法的主要思想：首先在[a,b]內尋找理想的隱含層節點數，這樣就充分保證了網路的逼近能力和泛化能力。為滿足高精度逼近的要求，再按照黃金分割原理拓展搜索區間，即得到區間[b,c]（其中b=0.619*（c-a）+a），在區間[b,c]中搜索最優，則得到逼近能力更強的隱含層節點數，在實際應用根據要求，從中選取其一即可。

『捌』 用matlab中gui設計的神經網路，如何把網路設計成3層及更多層，如圖，我把層數寫為3，可是，只能設置1和2

一般而言，2層的網路足夠了。

『玖』 深度網路目前最高有多少層

目前ResNet最多可以達到152層，但是不要糾結這個問題，神經網路並不是層越多越好，目前優秀的設計主要是優化網路的基本結構以達到更高的准確率，同時還要在精度和算力之間妥協 。

『拾』 matlab GUI中神經網路層數設置的問題

神經網路的GUI是可以設置多個隱含層的！
只需注意下：在你輸入完number of layers以後，需要按一下回車鍵。