㈠ 循環神經網路（RNN）簡介
循環神經網路英文名稱為 ( Recurrent Neural Network, RNN )，其通過使用帶自反饋的神經元，能夠處理任意長度的 時序 數據。
給定輸入時序序列
式中， 表示一段時序數據， 為時間長度
以一段英文段落為例，其時序數據可以表示為：
若是一段視頻，將其每一幀通過CNN網路處理得到相應的編碼向量
循環神經網路通過以下公式更新隱藏層的活性值
循環神經網路圖示
RNN的基本模型如下圖所示，為便於理解，圖中將RNN的模型展開，按照時序方向對其前向傳播流程進行介紹
RNN的基本模型
利用數學表達式整個過程可以變得更加清晰，RNN的前向傳播公式如下：
將上述過程整合到一個RNN cell中，可以表示為如下圖所示的過程：
RNN的前向傳播示意圖
缺陷:
沒有利用到模型後續的信息，可以通過雙向RNN網路進行優化
RNN主要有兩種計算梯度的方式：隨時間反向傳播（BPTT）和實時循環學習法（RTRL）演算法
本文中主要介紹隨時間反向傳播的方法 （ BackPropagation Through Time ）
RNN的損失函數與任務有關，對於同步的序列對序列任務，其loss可以用交叉熵公式表示
然後通過BPTT演算法便可以進行梯度的反向傳播計算
梯度爆炸的解決方法：梯度修剪
梯度消失的解決方法：增加長程依賴 LSTM,GRU
GRU的基本思路：增加相關門（Relate Gate）和更新門（Update Gate），進而使得RNN單元具有記憶能力
首先從數學角度對GRU的前向傳播過程進行介紹，具體公式如下：
公式中各變數的含義：
將上述數學公式轉化為圖像，可得
GRU Cell的前向傳播流程
LSTM意為長短時記憶網路 （Long Short-Term Memory Network，LSTM） ，可以有效地解決簡單神經網路的梯度消失和爆炸問題
在LSTM中，與GRU主要有兩點不同
同樣，先從數學公式入手，對LSTM的前向傳播過程進行了解
基於數學公式的過程，可將LSTM CELL的前向傳播過程總結為（圖片借用於nndl）：
LSTM Cell的前向傳播示意圖
從上圖中可以看出，LSTM在前向傳播的過程中傳輸了兩個狀態：內部狀態 以及外部狀態 ，在整個傳播過程中 外部狀態（隱狀態） 每個時刻都會被重寫，因此可以看作一種 短時記憶 ，而 內部狀態 可以在某個時刻捕捉一些關鍵信息，並將此信息保存一段時間間隔，可以看作一種 長時記憶 （長的短時記憶）
此外，在LSTM網路初始化訓練的時候，需要手動將遺忘門的數值設置的大一些，否則在參數初始化的時候，遺忘門的數據會被初始化為一個很小的值，前一時刻的內部狀態 大部分都會丟失，這樣網路很難獲取到長距離的依賴信息，並且相鄰時間間隔的梯度會非常小，導致 梯度彌散 問題，因此遺忘門的 偏置變數 的初始值 一般很大，取 1或2
將 設置為1即可，但是長度非常的大的時候會造成記憶單元的飽和，降低性能
三個門不僅依賴於 和 ，也依賴於
將兩者合並為一個門，即：
首先，我們要理解什麼是深層的RNN，對於單個的RNN cell，若將其在時間維度上展開，其深度與時間維度的長度成正比，但若將一個RNN cell看作為單個從 的映射函數，則單個cell實際上是很淺顯的一層，因此深層循環神經網路要做的就是把多個RNN cell組合起來，換句話說，就是增加從輸入 到輸出 的路徑，使得網路的深度更深。
如何增加從輸入 到輸出 的路徑呢？兩種途徑：
堆疊循環神經網路示意圖
將網路帶入到實際應用場景中：假如我們要翻譯一段句子
在這里，is和are實際上是由後面的Lucy和they所決定的，而這種單向的按照時序進行傳播的方式沒有利用到後面的信息。因此誕生了雙向循環網路
雙向循環神經網路示意圖
雙向循環神經網路實際上就是簡單的雙層循環神經網路，只不過第二層網路的傳播方式為按時序的逆向傳播，其傳播公式為：
㈡ 機器學習演算法之神經網路
在學習了機器學習的相關知識以後，我們知道其中的演算法有很多種，比如回歸演算法、K近鄰演算法等等，這些都是需要大家掌握的演算法，而神經網路演算法是一個十分實用的演算法，在這篇文章中我們就給大家介紹一下機器學習演算法中的神經網路演算法知識。
那麼什麼是神經網路演算法呢？其實神經網路也稱之為人工神經網路，簡單就是ANN，而演算法是80年代機器學習界非常流行的演算法，不過在90年代中途衰落。現在，隨著深度學習的發展，神經網路再次出現在大家的視野中，重新成為最強大的機器學習演算法之一。而神經網路的誕生起源於對大腦工作機理的研究。早期生物界學者們使用神經網路來模擬大腦。機器學習的學者們使用神經網路進行機器學習的實驗，發現在視覺與語音的識別上效果都相當好。
那麼神經網路的學習機理是什麼呢？簡單來說，就是分解與整合。我們可以通過一個例子進行解答這個問題，比如說，我們可以把一個正方形分解為四個折線進入視覺處理的下一層中。四個神經元分別處理一個折線。每個折線再繼續被分解為兩條直線，每條直線再被分解為黑白兩個面。於是，一個復雜的圖像變成了大量的細節進入神經元，神經元處理以後再進行整合，最後得出了看到的是正方形的結論。這就是大腦視覺識別的機理，也是神經網路工作的機理。
那麼神經網路的邏輯架構是什麼呢？其實一個簡單的神經網路的邏輯架構分成輸入層，隱藏層，和輸出層。輸入層負責接收信號，隱藏層負責對數據的分解與處理，最後的結果被整合到輸出層。每層中的一個圓代表一個處理單元，可以認為是模擬了一個神經元，若干個處理單元組成了一個層，若干個層再組成了一個網路，這就是所謂的神經網路知識。
當然，在神經網路中，其實每一個處理單元事實上就是一個邏輯回歸模型，邏輯回歸模型接收上層的輸入，這樣，把模型的預測結果作為輸出傳輸到下一個層次。這些過程，神經網路可以完成非常復雜的非線性分類。在神經網路在圖像識別領域的一個著名應用，而這個程序叫做LeNet，是一個基於多個隱層構建的神經網路。通過LeNet可以識別多種手寫數字，並且達到很高的識別精度與擁有較好的魯棒性。這也是神經網路中最著名的應用。
在這篇文章中我們給大家介紹了很多關於神經網路的相關知識，通過這些知識我們可以更好地了解神經網路演算法。當然，我們要想了解機器學習還需要掌握更多的演算法。
㈢ 一文看懂卷積神經網路-CNN（基本原理+獨特價值+實際應用）
在 CNN 出現之前，圖像對於人工智慧來說是一個難題，有2個原因：
圖像需要處理的數據量太大，導致成本很高，效率很低
圖像在數字化的過程中很難保留原有的特徵，導致圖像處理的准確率不高
下面就詳細說明一下這2個問題：
圖像是由像素構成的，每個像素又是由顏色構成的。
現在隨隨便便一張圖片都是 1000×1000 像素以上的， 每個像素都有RGB 3個參數來表示顏色信息。
假如我們處理一張 1000×1000 像素的圖片，我們就需要處理3百萬個參數！
1000×1000×3=3,000,000
這么大量的數據處理起來是非常消耗資源的，而且這只是一張不算太大的圖片！
卷積神經網路 – CNN 解決的第一個問題就是「將復雜問題簡化」，把大量參數降維成少量參數，再做處理。
更重要的是：我們在大部分場景下，降維並不會影響結果。比如1000像素的圖片縮小成200像素，並不影響肉眼認出來圖片中是一隻貓還是一隻狗，機器也是如此。
圖片數字化的傳統方式我們簡化一下，就類似下圖的過程：
假如有圓形是1，沒有圓形是0，那麼圓形的位置不同就會產生完全不同的數據表達。但是從視覺的角度來看， 圖像的內容（本質）並沒有發生變化，只是位置發生了變化 。
所以當我們移動圖像中的物體，用傳統的方式的得出來的參數會差異很大！這是不符合圖像處理的要求的。
而 CNN 解決了這個問題，他用類似視覺的方式保留了圖像的特徵，當圖像做翻轉，旋轉或者變換位置時，它也能有效的識別出來是類似的圖像。
那麼卷積神經網路是如何實現的呢？在我們了解 CNN 原理之前，先來看看人類的視覺原理是什麼？
深度學習的許多研究成果，離不開對大腦認知原理的研究，尤其是視覺原理的研究。
1981 年的諾貝爾醫學獎，頒發給了 David Hubel（出生於加拿大的美國神經生物學家） 和TorstenWiesel，以及 Roger Sperry。前兩位的主要貢獻，是「 發現了視覺系統的信息處理 」，可視皮層是分級的。
人類的視覺原理如下：從原始信號攝入開始（瞳孔攝入像素 Pixels），接著做初步處理（大腦皮層某些細胞發現邊緣和方向），然後抽象（大腦判定，眼前的物體的形狀，是圓形的），然後進一步抽象（大腦進一步判定該物體是只氣球）。下面是人腦進行人臉識別的一個示例：
對於不同的物體，人類視覺也是通過這樣逐層分級，來進行認知的：
我們可以看到，在最底層特徵基本上是類似的，就是各種邊緣，越往上，越能提取出此類物體的一些特徵（輪子、眼睛、軀乾等），到最上層，不同的高級特徵最終組合成相應的圖像，從而能夠讓人類准確的區分不同的物體。
那麼我們可以很自然的想到：可以不可以模仿人類大腦的這個特點，構造多層的神經網路，較低層的識別初級的圖像特徵，若干底層特徵組成更上一層特徵，最終通過多個層級的組合，最終在頂層做出分類呢？
答案是肯定的，這也是許多深度學習演算法（包括CNN）的靈感來源。
典型的 CNN 由3個部分構成：
卷積層
池化層
全連接層
如果簡單來描述的話：
卷積層負責提取圖像中的局部特徵；池化層用來大幅降低參數量級(降維)；全連接層類似傳統神經網路的部分，用來輸出想要的結果。
下面的原理解釋為了通俗易懂，忽略了很多技術細節，如果大家對詳細的原理感興趣，可以看這個視頻《 卷積神經網路基礎 》。
卷積層的運算過程如下圖，用一個卷積核掃完整張圖片：
這個過程我們可以理解為我們使用一個過濾器（卷積核）來過濾圖像的各個小區域，從而得到這些小區域的特徵值。
在具體應用中，往往有多個卷積核，可以認為，每個卷積核代表了一種圖像模式，如果某個圖像塊與此卷積核卷積出的值大，則認為此圖像塊十分接近於此卷積核。如果我們設計了6個卷積核，可以理解：我們認為這個圖像上有6種底層紋理模式，也就是我們用6中基礎模式就能描繪出一副圖像。以下就是25種不同的卷積核的示例：
總結：卷積層的通過卷積核的過濾提取出圖片中局部的特徵，跟上面提到的人類視覺的特徵提取類似。
池化層簡單說就是下采樣，他可以大大降低數據的維度。其過程如下：
上圖中，我們可以看到，原始圖片是20×20的，我們對其進行下采樣，采樣窗口為10×10，最終將其下采樣成為一個2×2大小的特徵圖。
之所以這么做的原因，是因為即使做完了卷積，圖像仍然很大（因為卷積核比較小），所以為了降低數據維度，就進行下采樣。
總結：池化層相比卷積層可以更有效的降低數據維度，這么做不但可以大大減少運算量，還可以有效的避免過擬合。
這個部分就是最後一步了，經過卷積層和池化層處理過的數據輸入到全連接層，得到最終想要的結果。
經過卷積層和池化層降維過的數據，全連接層才能」跑得動」，不然數據量太大，計算成本高，效率低下。
典型的 CNN 並非只是上面提到的3層結構，而是多層結構，例如 LeNet-5 的結構就如下圖所示：
卷積層 – 池化層- 卷積層 – 池化層 – 卷積層 – 全連接層
在了解了 CNN 的基本原理後，我們重點說一下 CNN 的實際應用有哪些。
卷積神經網路 – CNN 很擅長處理圖像。而視頻是圖像的疊加，所以同樣擅長處理視頻內容。下面給大家列一些比較成熟的應用�：
圖像分類、檢索
圖像分類是比較基礎的應用，他可以節省大量的人工成本，將圖像進行有效的分類。對於一些特定領域的圖片，分類的准確率可以達到 95%+，已經算是一個可用性很高的應用了。
典型場景：圖像搜索…
目標定位檢測
可以在圖像中定位目標，並確定目標的位置及大小。
典型場景：自動駕駛、安防、醫療…
目標分割
簡單理解就是一個像素級的分類。
他可以對前景和背景進行像素級的區分、再高級一點還可以識別出目標並且對目標進行分類。
典型場景：美圖秀秀、視頻後期加工、圖像生成…
人臉識別
人臉識別已經是一個非常普及的應用了，在很多領域都有廣泛的應用。
典型場景：安防、金融、生活…
骨骼識別
骨骼識別是可以識別身體的關鍵骨骼，以及追蹤骨骼的動作。
典型場景：安防、電影、圖像視頻生成、游戲…
今天我們介紹了 CNN 的價值、基本原理和應用場景，簡單總結如下：
CNN 的價值：
能夠將大數據量的圖片有效的降維成小數據量(並不影響結果)
能夠保留圖片的特徵，類似人類的視覺原理
CNN 的基本原理：
卷積層 – 主要作用是保留圖片的特徵
池化層 – 主要作用是把數據降維，可以有效的避免過擬合
全連接層 – 根據不同任務輸出我們想要的結果
CNN 的實際應用：
圖片分類、檢索
目標定位檢測
目標分割
人臉識別
骨骼識別
本文首發在 easyAI - 人工智慧知識庫
《 一文看懂卷積神經網路-CNN（基本原理+獨特價值+實際應用） 》
㈣ 一文看懂四種基本的神經網路架構
原文鏈接：
http://blackblog.tech/2018/02/23/Eight-Neural-Network/
更多干貨就在我的個人博客 http://blackblog.tech 歡迎關注
剛剛入門神經網路，往往會對眾多的神經網路架構感到困惑，神經網路看起來復雜多樣，但是這么多架構無非也就是三類，前饋神經網路，循環網路，對稱連接網路，本文將介紹四種常見的神經網路，分別是CNN，RNN，DBN，GAN。通過這四種基本的神經網路架構，我們來對神經網路進行一定的了解。
神經網路是機器學習中的一種模型，是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
一般來說，神經網路的架構可以分為三類：
前饋神經網路：
這是實際應用中最常見的神經網路類型。第一層是輸入，最後一層是輸出。如果有多個隱藏層，我們稱之為「深度」神經網路。他們計算出一系列改變樣本相似性的變換。各層神經元的活動是前一層活動的非線性函數。
循環網路：
循環網路在他們的連接圖中定向了循環，這意味著你可以按照箭頭回到你開始的地方。他們可以有復雜的動態，使其很難訓練。他們更具有生物真實性。
循環網路的目的使用來處理序列數據。在傳統的神經網路模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節點是無連接的。但是這種普通的神經網路對於很多問題卻無能無力。例如，你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。
循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。
對稱連接網路：
對稱連接網路有點像循環網路，但是單元之間的連接是對稱的（它們在兩個方向上權重相同）。比起循環網路，對稱連接網路更容易分析。這個網路中有更多的限制，因為它們遵守能量函數定律。沒有隱藏單元的對稱連接網路被稱為「Hopfield 網路」。有隱藏單元的對稱連接的網路被稱為玻爾茲曼機。
其實之前的帖子講過一些關於感知機的內容，這里再復述一下。
首先還是這張圖
這是一個M-P神經元
一個神經元有n個輸入，每一個輸入對應一個權值w，神經元內會對輸入與權重做乘法後求和，求和的結果與偏置做差，最終將結果放入激活函數中，由激活函數給出最後的輸出，輸出往往是二進制的，0 狀態代表抑制，1 狀態代表激活。
可以把感知機看作是 n 維實例空間中的超平面決策面，對於超平面一側的樣本，感知器輸出 1，對於另一側的實例輸出 0，這個決策超平面方程是 w⋅x=0。 那些可以被某一個超平面分割的正反樣例集合稱為線性可分(linearly separable)樣例集合，它們就可以使用圖中的感知機表示。
與、或、非問題都是線性可分的問題，使用一個有兩輸入的感知機能容易地表示，而異或並不是一個線性可分的問題，所以使用單層感知機是不行的，這時候就要使用多層感知機來解決疑惑問題了。
如果我們要訓練一個感知機，應該怎麼辦呢？
我們會從隨機的權值開始，反復地應用這個感知機到每個訓練樣例，只要它誤分類樣例就修改感知機的權值。重復這個過程，直到感知機正確分類所有的樣例。每一步根據感知機訓練法則來修改權值，也就是修改與輸入 xi 對應的權 wi，法則如下：
這里 t 是當前訓練樣例的目標輸出，o 是感知機的輸出，η 是一個正的常數稱為學習速率。學習速率的作用是緩和每一步調整權的程度，它通常被設為一個小的數值（例如 0.1），而且有時會使其隨著權調整次數的增加而衰減。
多層感知機，或者說是多層神經網路無非就是在輸入層與輸出層之間加了多個隱藏層而已，後續的CNN，DBN等神經網路只不過是將重新設計了每一層的類型。感知機可以說是神經網路的基礎，後續更為復雜的神經網路都離不開最簡單的感知機的模型，
談到機器學習，我們往往還會跟上一個詞語，叫做模式識別，但是真實環境中的模式識別往往會出現各種問題。比如：
圖像分割：真實場景中總是摻雜著其它物體。很難判斷哪些部分屬於同一個對象。對象的某些部分可以隱藏在其他對象的後面。
物體光照：像素的強度被光照強烈影響。
圖像變形：物體可以以各種非仿射方式變形。例如，手寫也可以有一個大的圓圈或只是一個尖頭。
情景支持：物體所屬類別通常由它們的使用方式來定義。例如，椅子是為了讓人們坐在上面而設計的，因此它們具有各種各樣的物理形狀。
卷積神經網路與普通神經網路的區別在於，卷積神經網路包含了一個由卷積層和子采樣層構成的特徵抽取器。在卷積神經網路的卷積層中，一個神經元只與部分鄰層神經元連接。在CNN的一個卷積層中，通常包含若干個特徵平面(featureMap)，每個特徵平面由一些矩形排列的的神經元組成，同一特徵平面的神經元共享權值，這里共享的權值就是卷積核。卷積核一般以隨機小數矩陣的形式初始化，在網路的訓練過程中卷積核將學習得到合理的權值。共享權值（卷積核）帶來的直接好處是減少網路各層之間的連接，同時又降低了過擬合的風險。子采樣也叫做池化（pooling），通常有均值子采樣（mean pooling）和最大值子采樣（max pooling）兩種形式。子采樣可以看作一種特殊的卷積過程。卷積和子采樣大大簡化了模型復雜度，減少了模型的參數。
卷積神經網路由三部分構成。第一部分是輸入層。第二部分由n個卷積層和池化層的組合組成。第三部分由一個全連結的多層感知機分類器構成。
這里舉AlexNet為例：
·輸入：224×224大小的圖片，3通道
·第一層卷積：11×11大小的卷積核96個，每個GPU上48個。
·第一層max-pooling：2×2的核。
·第二層卷積：5×5卷積核256個，每個GPU上128個。
·第二層max-pooling：2×2的核。
·第三層卷積：與上一層是全連接，3*3的卷積核384個。分到兩個GPU上個192個。
·第四層卷積：3×3的卷積核384個，兩個GPU各192個。該層與上一層連接沒有經過pooling層。
·第五層卷積：3×3的卷積核256個，兩個GPU上個128個。
·第五層max-pooling：2×2的核。
·第一層全連接：4096維，將第五層max-pooling的輸出連接成為一個一維向量，作為該層的輸入。
·第二層全連接：4096維
·Softmax層：輸出為1000，輸出的每一維都是圖片屬於該類別的概率。
卷積神經網路在模式識別領域有著重要應用，當然這里只是對卷積神經網路做了最簡單的講解，卷積神經網路中仍然有很多知識，比如局部感受野，權值共享，多卷積核等內容，後續有機會再進行講解。
傳統的神經網路對於很多問題難以處理，比如你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。RNN之所以稱為循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。理論上，RNN能夠對任何長度的序列數據進行處理。
這是一個簡單的RNN的結構，可以看到隱藏層自己是可以跟自己進行連接的。
那麼RNN為什麼隱藏層能夠看到上一刻的隱藏層的輸出呢，其實我們把這個網路展開來開就很清晰了。
從上面的公式我們可以看出，循環層和全連接層的區別就是循環層多了一個權重矩陣 W。
如果反復把式2帶入到式1，我們將得到：
在講DBN之前，我們需要對DBN的基本組成單位有一定的了解，那就是RBM，受限玻爾茲曼機。
首先什麼是玻爾茲曼機？
[圖片上傳失敗...(image-d36b31-1519636788074)]
如圖所示為一個玻爾茲曼機，其藍色節點為隱層，白色節點為輸入層。
玻爾茲曼機和遞歸神經網路相比，區別體現在以下幾點：
1、遞歸神經網路本質是學習一個函數，因此有輸入和輸出層的概念，而玻爾茲曼機的用處在於學習一組數據的「內在表示」，因此其沒有輸出層的概念。
2、遞歸神經網路各節點鏈接為有向環，而玻爾茲曼機各節點連接成無向完全圖。
而受限玻爾茲曼機是什麼呢？
最簡單的來說就是加入了限制，這個限制就是將完全圖變成了二分圖。即由一個顯層和一個隱層構成，顯層與隱層的神經元之間為雙向全連接。
h表示隱藏層，v表示顯層
在RBM中，任意兩個相連的神經元之間有一個權值w表示其連接強度，每個神經元自身有一個偏置系數b（對顯層神經元）和c（對隱層神經元）來表示其自身權重。
具體的公式推導在這里就不展示了
DBN是一個概率生成模型，與傳統的判別模型的神經網路相對，生成模型是建立一個觀察數據和標簽之間的聯合分布，對P(Observation|Label)和 P(Label|Observation)都做了評估，而判別模型僅僅而已評估了後者，也就是P(Label|Observation)。
DBN由多個限制玻爾茲曼機（Restricted Boltzmann Machines）層組成，一個典型的神經網路類型如圖所示。這些網路被「限制」為一個可視層和一個隱層，層間存在連接，但層內的單元間不存在連接。隱層單元被訓練去捕捉在可視層表現出來的高階數據的相關性。
生成對抗網路其實在之前的帖子中做過講解，這里在說明一下。
生成對抗網路的目標在於生成，我們傳統的網路結構往往都是判別模型，即判斷一個樣本的真實性。而生成模型能夠根據所提供的樣本生成類似的新樣本，注意這些樣本是由計算機學習而來的。
GAN一般由兩個網路組成，生成模型網路，判別模型網路。
生成模型 G 捕捉樣本數據的分布，用服從某一分布（均勻分布，高斯分布等）的雜訊 z 生成一個類似真實訓練數據的樣本，追求效果是越像真實樣本越好；判別模型 D 是一個二分類器，估計一個樣本來自於訓練數據（而非生成數據）的概率，如果樣本來自於真實的訓練數據，D 輸出大概率，否則，D 輸出小概率。
舉個例子：生成網路 G 好比假幣製造團伙，專門製造假幣，判別網路 D 好比警察，專門檢測使用的貨幣是真幣還是假幣，G 的目標是想方設法生成和真幣一樣的貨幣，使得 D 判別不出來，D 的目標是想方設法檢測出來 G 生成的假幣。
傳統的判別網路：
生成對抗網路：
下面展示一個cDCGAN的例子（前面帖子中寫過的）
生成網路
判別網路
最終結果，使用MNIST作為初始樣本，通過學習後生成的數字，可以看到學習的效果還是不錯的。
本文非常簡單的介紹了四種神經網路的架構，CNN，RNN，DBN，GAN。當然也僅僅是簡單的介紹，並沒有深層次講解其內涵。這四種神經網路的架構十分常見，應用也十分廣泛。當然關於神經網路的知識，不可能幾篇帖子就講解完，這里知識講解一些基礎知識，幫助大家快速入（zhuang）門（bi）。後面的帖子將對深度自動編碼器，Hopfield 網路長短期記憶網路（LSTM）進行講解。
㈤ 人工神經網路（ANN）簡述
我們從下面四點認識人工神經網路（ANN: Artificial Neutral Network）：神經元結構、神經元的激活函數、神經網路拓撲結構、神經網路選擇權值和學習演算法。
1. 神經元：
我們先來看一組對比圖就能了解是怎樣從生物神經元建模為人工神經元。
下面分別講述:
生物神經元的組成包括細胞體、樹突、軸突、突觸。樹突可以看作輸入端，接收從其他細胞傳遞過來的電信號；軸突可以看作輸出端，傳遞電荷給其他細胞；突觸可以看作I/O介面，連接神經元，單個神經元可以和上千個神經元連接。細胞體內有膜電位，從外界傳遞過來的電流使膜電位發生變化，並且不斷累加，當膜電位升高到超過一個閾值時，神經元被激活，產生一個脈沖，傳遞到下一個神經元。
為了更形象理解神經元傳遞信號過程，把一個神經元比作一個水桶。水桶下側連著多根水管（樹突），水管既可以把桶里的水排出去（抑制性），又可以將其他水桶的水輸進來（興奮性），水管的粗細不同，對桶中水的影響程度不同（權重），水管對水桶水位（膜電位）的改變就是水桶內水位的改變，當桶中水達到一定高度時，就能通過另一條管道（軸突）排出去。
按照這個原理，科學家提出了M-P模型（取自兩個提出者的姓名首字母），M-P模型是對生物神經元的建模，作為人工神經網路中的一個神經元。
由MP模型的示意圖，我們可以看到與生物神經元的相似之處，x_i表示多個輸入，W_ij表示每個輸入的權值，其正負模擬了生物神經元中突出的興奮和抑制；sigma表示將全部輸入信號進行累加整合，f為激活函數，O為輸出。下圖可以看到生物神經元和MP模型的類比：
往後誕生的各種神經元模型都是由MP模型演變過來。
2. 激活函數
激活函數可以看作濾波器，接收外界各種各樣的信號，通過調整函數，輸出期望值。ANN通常採用三類激活函數:閾值函數、分段函數、雙極性連續函數（sigmoid，tanh）：
3. 學習演算法
神經網路的學習也稱為訓練，通過神經網路所在環境的刺激作用調整神經網路的自由參數（如連接權值），使神經網路以一種新的方式對外部環境做出反應的一個過程。每個神經網路都有一個激活函數y=f(x)，訓練過程就是通過給定的海量x數據和y數據，擬合出激活函數f。學習過程分為有導師學習和無導師學習，有導師學習是給定期望輸出，通過對權值的調整使實際輸出逼近期望輸出；無導師學習給定表示方法質量的測量尺度，根據該尺度來優化參數。常見的有Hebb學習、糾錯學習、基於記憶學習、隨機學習、競爭學習。
4. 神經網路拓撲結構
常見的拓撲結構有單層前向網路、多層前向網路、反饋網路，隨機神經網路、競爭神經網路。
5. 神經網路的發展
（不能貼公式不好解釋啊 -_-!）sigma是誤差信號，yita是學習率，net是輸入之和，V是輸入層到隱含層的權重矩陣，W是隱含層到輸出層的權重矩陣。
之後還有幾種
隨著計算機硬體計算能力越來越強，用來訓練的數據越來越多，神經網路變得越來越復雜。在人工智慧領域常聽到DNN（深度神經網路）、CNN（卷積神經網路）、RNN（遞歸神經網路）。其中，DNN是總稱，指層數非常多的網路，通常有二十幾層，具體可以是CNN或RNN等網路結構。
參考資料 ：