深度神經網路共享參數

⑴ 卷積神經網路和深度神經網路的區別是什麼

作者：楊延生
鏈接：
來源：知乎
著作權歸作者所有，轉載請聯系作者獲得授權。

"深度學習"是為了讓層數較多的多層神經網路可以訓練，能夠work而演化出來的一系列的 新的結構和新的方法。

新的網路結構中最著名的就是CNN，它解決了傳統較深的網路參數太多，很難訓練的問題，使用了逗局部感受野地和逗權植共享地的概念，大大減少了網路參數的數量。關鍵是這種結構確實很符合視覺類任務在人腦上的工作原理。
新的結構還包括了：LSTM，ResNet等。

新的方法就多了：新的激活函數：ReLU，新的權重初始化方法（逐層初始化，XAVIER等），新的損失函數，新的防止過擬合方法（Dropout, BN等）。這些方面主要都是為了解決傳統的多層神經網路的一些不足：梯度消失，過擬合等。

---------------------- 下面是原答案 ------------------------

從廣義上說深度學習的網路結構也是多層神經網路的一種。

傳統意義上的多層神經網路是只有輸入層、隱藏層、輸出層。其中隱藏層的層數根據需要而定，沒有明確的理論推導來說明到底多少層合適。
而深度學習中最著名的卷積神經網路CNN，在原來多層神經網路的基礎上，加入了特徵學習部分，這部分是模仿人腦對信號處理上的分級的。具體操作就是在原來的全連接的層前面加入了部分連接的卷積層與降維層，而且加入的是一個層級。
輸入層 - 卷積層 -降維層 -卷積層 - 降維層 -- . -- 隱藏層 -輸出層
簡單來說，原來多層神經網路做的步驟是：特徵映射到值。特徵是人工挑選。
深度學習做的步驟是 信號->特徵->值。 特徵是由網路自己選擇。

⑵ 深度神經網路dnn怎麼調節參數

這兩個概念實際上是互相交叉的，例如，卷積神經網路（Convolutionalneuralnetworks，簡稱CNNs）就是一種深度的監督學習下的機器學習模型，而深度置信網（DeepBeliefNets，簡稱DBNs）就是一種無監督學習下的機器學習模型。深度學習的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現數據的分布式特徵表示。深度學習的概念由Hinton等人於2006年提出。基於深信度網(DBN)提出非監督貪心逐層訓練演算法，為解決深層結構相關的優化難題帶來希望，隨後提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網路是第一個真正多層結構學習演算法，它利用空間相對關系減少參數數目以提高訓練性能。

⑶ 神經網路與深度神經網路有什麼區別

深度學習的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現數據的分布式特徵表示。
多層神經網路是指單計算層感知器只能解決線性可分問題，而大量的分類問題是線性不可分的。克服單計算層感知器這一局限性的有效辦法是，在輸入層與輸出層之間引入隱層（隱層個數可以大於或等於1）作為輸入模式「的內部表示」，單計算層感知器變成多（計算）層感知器。
補充：
深度學習的概念由Hinton等人於2006年提出。基於深信度網(DBN)提出非監督貪心逐層訓練演算法，為解決深層結構相關的優化難題帶來希望，隨後提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網路是第一個真正多層結構學習演算法，它利用空間相對關系減少參數數目以提高訓練性能。
深度學習是機器學習研究中的一個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網路，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。

⑷ 深度神經網路為什麼依賴大量數據

因為深度神經網路的參數特別多（可以達到上億，目前已經可以支持到萬億參數）。
參數多，表示模型的搜索空間就越大，必須有足夠的數據才能更好地刻畫出模型在空間上的分布

⑸ 深度神經網路的工作

多層的好處是可以用較少的參數表示復雜的函數。
在監督學習中，以前的多層神經網路的問題是容易陷入局部極值點。如果訓練樣本足夠充分覆蓋未來的樣本，那麼學到的多層權重可以很好的用來預測新的測試樣本。但是很多任務難以得到足夠多的標記樣本，在這種情況下，簡單的模型，比如線性回歸或者決策樹往往能得到比多層神經網路更好的結果（更好的泛化性，更差的訓練誤差）。
非監督學習中，以往沒有有效的方法構造多層網路。多層神經網路的頂層是底層特徵的高級表示，比如底層是像素點，上一層的結點可能表示橫線，三角； 而頂層可能有一個結點表示人臉。一個成功的演算法應該能讓生成的頂層特徵最大化的代表底層的樣例。如果對所有層同時訓練，時間復雜度會太高； 如果每次訓練一層，偏差就會逐層傳遞。這會面臨跟上面監督學習中相反的問題，會嚴重欠擬合。
2006年，hinton提出了在非監督數據上建立多層神經網路的一個有效方法，簡單的說，分為兩步，一是每次訓練一層網路，二是調優使原始表示x向上生成的高級表示r和該高級表示r向下生成的x'盡可能一致。方法是
1，首先逐層構建單層神經元，這樣每次都是訓練一個單層網路。
2，當所有層訓練完後，hinton使用wake-sleep演算法進行調優。將除最頂層的其它層間的權重變為雙向的，這樣最頂層仍然是一個單層神經網路，而其它層則變為了圖模型。向上的權重用於」認知「，向下的權重用於」生成「。然後使用Wake-Sleep演算法調整所有的權重。讓認知和生成達成一致，也就是保證生成的最頂層表示能夠盡可能正確的復原底層的結點。比如頂層的一個結點表示人臉，那麼所有人臉的圖像應該激活這個結點，並且這個結果向下生成的圖像應該能夠表現為一個大概的人臉圖像。Wake-Sleep演算法分為醒(wake)和睡(sleep)兩個部分。
2.1，wake階段，認知過程，通過外界的特徵和向上的權重（認知權重）產生每一層的抽象表示（結點狀態），並且使用梯度下降修改層間的下行權重（生成權重）。也就是「如果現實跟我想像的不一樣，改變我的權重使得我想像的東西就是這樣的「。
2.2，sleep階段，生成過程，通過頂層表示（醒時學得的概念）和向下權重，生成底層的狀態，同時修改層間向上的權重。也就是「如果夢中的景象不是我腦中的相應概念，改變我的認知權重使得這種景象在我看來就是這個概念「。
由於自動編碼器（auto-encoder，即上面說的神經網路。廣義上的自動編碼器指所有的從低級表示得到高級表示，並能從高級表示生成低級表示的近似的結構，狹義上指的是其中的一種，谷歌的人臉識別用的）有聯想功能，也就是缺失部分輸入也能得到正確的編碼，所以上面說的演算法也可以用於有監督學習，訓練時y做為頂層網路輸入的補充，應用時頂層網路生成y'。

⑹ 深度神經網路的介紹

這種新型語音識別軟體採用了名為「深度神經網路」的技術，使得該軟體處理人類語音的過程與人腦相似。

⑺ 深度神經網路是什麼意思

深度神經網路是機器學習(ML, Machine Learning)領域中一種技術。

在監督學習中，以前的多層神經網路的問題是容易陷入局部極值點。如果訓練樣本足夠充分覆蓋未來的樣本，那麼學到的多層權重可以很好的用來預測新的測試樣本。但是很多任務難以得到足夠多的標記樣本，在這種情況下，簡單的模型，比如線性回歸或者決策樹往往能得到比多層神經網路更好的結果（更好的泛化性，更差的訓練誤差）。

(7)深度神經網路共享參數擴展閱讀：

非監督學習中，以往沒有有效的方法構造多層網路。多層神經網路的頂層是底層特徵的高級表示，比如底層是像素點，上一層的結點可能表示橫線，三角。

而頂層可能有一個結點表示人臉。一個成功的演算法應該能讓生成的頂層特徵最大化的代表底層的樣例。如果對所有層同時訓練，時間復雜度會太高； 如果每次訓練一層，偏差就會逐層傳遞。這會面臨跟上面監督學習中相反的問題，會嚴重欠擬合。

⑻ 深度神經網路具體的工作流程是什麼樣的

所謂神經網路演算法，就是對人類學習能力的一種模擬演算法。理論認為人的認知模式，處事方式是存儲在神經元與神經元之間的連接上的，稱為「神經元連接權重」，人腦神經布局類似網狀結構，神經元是網的交叉點，權重就是網的連線，這些連線有粗有細，也就是權重的大小不同。而人類的學習能力就是去不斷改變權重的值，從而改變自己的認知模式和處事方式，簡單的說，不同人對同一個外部事物有不同看法，就是因為同樣的初始信號，在不同粗細的神經元連線放大或縮小後，變成了側重點不同的最終信號。最開始的「感知機"只用了2層神經元，即輸入層和輸出層，發現很多問題無法模擬，最著名的就是「異或」問題。 後來聰明的人在輸入層和輸出層之間加了一層神經元叫做隱藏層，3層的神經網路已經可以模擬二維上的任意函數曲線。只不過此時對「連接權重」的訓練過程就變得非常復雜，通常使用一種叫「誤差反傳」的計算方法。參考人腦，人腦大概有億級層數的神經元（當然，人腦是多任務處理器集合，某些特定的任務如人臉識別，只需用到大腦的某個局部）。於是人們會猜想，更多的隱藏層是否會有更高的學習效果。事實證明的確如此，隨著隱藏層數的增加，一些圖片，語音的識別率越來越高。因此，就有了深度神經網路這一概念。但隱藏層數越多訓練過程也越復雜，且誤差會在多層傳遞的時候衰減，導致GradientVanish問題，最終導致訓練結果收斂在局部最優或者難以收斂。後來又有聰明的人不斷改進誤差訓練演算法，神經網路的層數深度越來越大，現在最NB的是微軟的「殘差神經網路」，已經將隱藏層提高至152層。

⑼ 深度神經網路與傳統神經網路有什麼區別

從名字就可以看出來，一個字，深
目前深度網路已經達到幾千層甚至上萬的深度，隨之而來的的就是數以億計的模型參數
你所謂的傳統神經網路大概是指MLP，RBF這些深度在幾層的上古網路

⑽ 深度學習中的神經網路參數怎麼調整

根據前一次運行的情況做調整，例如出現梯度爆炸則要調低學習速率，出現過擬合則要調高正則化參數的系數。