1. 一文看懂四種基本的神經網路架構
原文鏈接：
http://blackblog.tech/2018/02/23/Eight-Neural-Network/
更多干貨就在我的個人博客 http://blackblog.tech 歡迎關注
剛剛入門神經網路，往往會對眾多的神經網路架構感到困惑，神經網路看起來復雜多樣，但是這么多架構無非也就是三類，前饋神經網路，循環網路，對稱連接網路，本文將介紹四種常見的神經網路，分別是CNN，RNN，DBN，GAN。通過這四種基本的神經網路架構，我們來對神經網路進行一定的了解。
神經網路是機器學習中的一種模型，是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
一般來說，神經網路的架構可以分為三類：
前饋神經網路：
這是實際應用中最常見的神經網路類型。第一層是輸入，最後一層是輸出。如果有多個隱藏層，我們稱之為「深度」神經網路。他們計算出一系列改變樣本相似性的變換。各層神經元的活動是前一層活動的非線性函數。
循環網路：
循環網路在他們的連接圖中定向了循環，這意味著你可以按照箭頭回到你開始的地方。他們可以有復雜的動態，使其很難訓練。他們更具有生物真實性。
循環網路的目的使用來處理序列數據。在傳統的神經網路模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節點是無連接的。但是這種普通的神經網路對於很多問題卻無能無力。例如，你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。
循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。
對稱連接網路：
對稱連接網路有點像循環網路，但是單元之間的連接是對稱的（它們在兩個方向上權重相同）。比起循環網路，對稱連接網路更容易分析。這個網路中有更多的限制，因為它們遵守能量函數定律。沒有隱藏單元的對稱連接網路被稱為「Hopfield 網路」。有隱藏單元的對稱連接的網路被稱為玻爾茲曼機。
其實之前的帖子講過一些關於感知機的內容，這里再復述一下。
首先還是這張圖
這是一個M-P神經元
一個神經元有n個輸入，每一個輸入對應一個權值w，神經元內會對輸入與權重做乘法後求和，求和的結果與偏置做差，最終將結果放入激活函數中，由激活函數給出最後的輸出，輸出往往是二進制的，0 狀態代表抑制，1 狀態代表激活。
可以把感知機看作是 n 維實例空間中的超平面決策面，對於超平面一側的樣本，感知器輸出 1，對於另一側的實例輸出 0，這個決策超平面方程是 w⋅x=0。 那些可以被某一個超平面分割的正反樣例集合稱為線性可分(linearly separable)樣例集合，它們就可以使用圖中的感知機表示。
與、或、非問題都是線性可分的問題，使用一個有兩輸入的感知機能容易地表示，而異或並不是一個線性可分的問題，所以使用單層感知機是不行的，這時候就要使用多層感知機來解決疑惑問題了。
如果我們要訓練一個感知機，應該怎麼辦呢？
我們會從隨機的權值開始，反復地應用這個感知機到每個訓練樣例，只要它誤分類樣例就修改感知機的權值。重復這個過程，直到感知機正確分類所有的樣例。每一步根據感知機訓練法則來修改權值，也就是修改與輸入 xi 對應的權 wi，法則如下：
這里 t 是當前訓練樣例的目標輸出，o 是感知機的輸出，η 是一個正的常數稱為學習速率。學習速率的作用是緩和每一步調整權的程度，它通常被設為一個小的數值（例如 0.1），而且有時會使其隨著權調整次數的增加而衰減。
多層感知機，或者說是多層神經網路無非就是在輸入層與輸出層之間加了多個隱藏層而已，後續的CNN，DBN等神經網路只不過是將重新設計了每一層的類型。感知機可以說是神經網路的基礎，後續更為復雜的神經網路都離不開最簡單的感知機的模型，
談到機器學習，我們往往還會跟上一個詞語，叫做模式識別，但是真實環境中的模式識別往往會出現各種問題。比如：
圖像分割：真實場景中總是摻雜著其它物體。很難判斷哪些部分屬於同一個對象。對象的某些部分可以隱藏在其他對象的後面。
物體光照：像素的強度被光照強烈影響。
圖像變形：物體可以以各種非仿射方式變形。例如，手寫也可以有一個大的圓圈或只是一個尖頭。
情景支持：物體所屬類別通常由它們的使用方式來定義。例如，椅子是為了讓人們坐在上面而設計的，因此它們具有各種各樣的物理形狀。
卷積神經網路與普通神經網路的區別在於，卷積神經網路包含了一個由卷積層和子采樣層構成的特徵抽取器。在卷積神經網路的卷積層中，一個神經元只與部分鄰層神經元連接。在CNN的一個卷積層中，通常包含若干個特徵平面(featureMap)，每個特徵平面由一些矩形排列的的神經元組成，同一特徵平面的神經元共享權值，這里共享的權值就是卷積核。卷積核一般以隨機小數矩陣的形式初始化，在網路的訓練過程中卷積核將學習得到合理的權值。共享權值（卷積核）帶來的直接好處是減少網路各層之間的連接，同時又降低了過擬合的風險。子采樣也叫做池化（pooling），通常有均值子采樣（mean pooling）和最大值子采樣（max pooling）兩種形式。子采樣可以看作一種特殊的卷積過程。卷積和子采樣大大簡化了模型復雜度，減少了模型的參數。
卷積神經網路由三部分構成。第一部分是輸入層。第二部分由n個卷積層和池化層的組合組成。第三部分由一個全連結的多層感知機分類器構成。
這里舉AlexNet為例：
·輸入：224×224大小的圖片，3通道
·第一層卷積：11×11大小的卷積核96個，每個GPU上48個。
·第一層max-pooling：2×2的核。
·第二層卷積：5×5卷積核256個，每個GPU上128個。
·第二層max-pooling：2×2的核。
·第三層卷積：與上一層是全連接，3*3的卷積核384個。分到兩個GPU上個192個。
·第四層卷積：3×3的卷積核384個，兩個GPU各192個。該層與上一層連接沒有經過pooling層。
·第五層卷積：3×3的卷積核256個，兩個GPU上個128個。
·第五層max-pooling：2×2的核。
·第一層全連接：4096維，將第五層max-pooling的輸出連接成為一個一維向量，作為該層的輸入。
·第二層全連接：4096維
·Softmax層：輸出為1000，輸出的每一維都是圖片屬於該類別的概率。
卷積神經網路在模式識別領域有著重要應用，當然這里只是對卷積神經網路做了最簡單的講解，卷積神經網路中仍然有很多知識，比如局部感受野，權值共享，多卷積核等內容，後續有機會再進行講解。
傳統的神經網路對於很多問題難以處理，比如你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。RNN之所以稱為循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。理論上，RNN能夠對任何長度的序列數據進行處理。
這是一個簡單的RNN的結構，可以看到隱藏層自己是可以跟自己進行連接的。
那麼RNN為什麼隱藏層能夠看到上一刻的隱藏層的輸出呢，其實我們把這個網路展開來開就很清晰了。
從上面的公式我們可以看出，循環層和全連接層的區別就是循環層多了一個權重矩陣 W。
如果反復把式2帶入到式1，我們將得到：
在講DBN之前，我們需要對DBN的基本組成單位有一定的了解，那就是RBM，受限玻爾茲曼機。
首先什麼是玻爾茲曼機？
[圖片上傳失敗...(image-d36b31-1519636788074)]
如圖所示為一個玻爾茲曼機，其藍色節點為隱層，白色節點為輸入層。
玻爾茲曼機和遞歸神經網路相比，區別體現在以下幾點：
1、遞歸神經網路本質是學習一個函數，因此有輸入和輸出層的概念，而玻爾茲曼機的用處在於學習一組數據的「內在表示」，因此其沒有輸出層的概念。
2、遞歸神經網路各節點鏈接為有向環，而玻爾茲曼機各節點連接成無向完全圖。
而受限玻爾茲曼機是什麼呢？
最簡單的來說就是加入了限制，這個限制就是將完全圖變成了二分圖。即由一個顯層和一個隱層構成，顯層與隱層的神經元之間為雙向全連接。
h表示隱藏層，v表示顯層
在RBM中，任意兩個相連的神經元之間有一個權值w表示其連接強度，每個神經元自身有一個偏置系數b（對顯層神經元）和c（對隱層神經元）來表示其自身權重。
具體的公式推導在這里就不展示了
DBN是一個概率生成模型，與傳統的判別模型的神經網路相對，生成模型是建立一個觀察數據和標簽之間的聯合分布，對P(Observation|Label)和 P(Label|Observation)都做了評估，而判別模型僅僅而已評估了後者，也就是P(Label|Observation)。
DBN由多個限制玻爾茲曼機（Restricted Boltzmann Machines）層組成，一個典型的神經網路類型如圖所示。這些網路被「限制」為一個可視層和一個隱層，層間存在連接，但層內的單元間不存在連接。隱層單元被訓練去捕捉在可視層表現出來的高階數據的相關性。
生成對抗網路其實在之前的帖子中做過講解，這里在說明一下。
生成對抗網路的目標在於生成，我們傳統的網路結構往往都是判別模型，即判斷一個樣本的真實性。而生成模型能夠根據所提供的樣本生成類似的新樣本，注意這些樣本是由計算機學習而來的。
GAN一般由兩個網路組成，生成模型網路，判別模型網路。
生成模型 G 捕捉樣本數據的分布，用服從某一分布（均勻分布，高斯分布等）的雜訊 z 生成一個類似真實訓練數據的樣本，追求效果是越像真實樣本越好；判別模型 D 是一個二分類器，估計一個樣本來自於訓練數據（而非生成數據）的概率，如果樣本來自於真實的訓練數據，D 輸出大概率，否則，D 輸出小概率。
舉個例子：生成網路 G 好比假幣製造團伙，專門製造假幣，判別網路 D 好比警察，專門檢測使用的貨幣是真幣還是假幣，G 的目標是想方設法生成和真幣一樣的貨幣，使得 D 判別不出來，D 的目標是想方設法檢測出來 G 生成的假幣。
傳統的判別網路：
生成對抗網路：
下面展示一個cDCGAN的例子（前面帖子中寫過的）
生成網路
判別網路
最終結果，使用MNIST作為初始樣本，通過學習後生成的數字，可以看到學習的效果還是不錯的。
本文非常簡單的介紹了四種神經網路的架構，CNN，RNN，DBN，GAN。當然也僅僅是簡單的介紹，並沒有深層次講解其內涵。這四種神經網路的架構十分常見，應用也十分廣泛。當然關於神經網路的知識，不可能幾篇帖子就講解完，這里知識講解一些基礎知識，幫助大家快速入（zhuang）門（bi）。後面的帖子將對深度自動編碼器，Hopfield 網路長短期記憶網路（LSTM）進行講解。
2. 簡述IP協議如何實現互聯網上任意兩台計算機的通信
字型大小： 大大 中中 小小 TCP/IP協議與IP地址
什麼是TCP/IP協議
TCP/IP是Transmission Control Protocol/Internet Protocol的簡寫，中文譯名為傳輸控制協議/互聯網路協議）協議是Internet最基本的協議，簡單地說，就是由底層的IP協議和TCP協議組成的。 在Internet沒有形成之前，各個地方已經建立了很多小型的網路，稱為區域網。Internet的中文意義是"網際網"，它實際上就是將全球各地的區域網連接起來而形成的一個"網之間的網（即網際網）"。然而，在連接之前的各式各樣的區域網卻存在不同的網路結構和數據傳輸規則，將這些小網連接起來後各網之間要通過什麼樣的規則來傳輸數據呢？這就象世界上有很多個國家，各個國家的人說各自的語言，世界上任意兩個人要怎樣才能互相溝通呢？如果全世界的人都能夠說同一種語言（即世界語），這個問題不就解決了嗎？TCP/IP協議正是Internet上的"世界語"。
TCP/IP的參考模型
要理解Internet，並不是一件非常容易的事，TCP/IP協議的開發研製人員將Internet分為五個層次，以便於理解，它也稱為互聯網分層模型或互聯網分層參考模型，
如下表：
應用層 （第五層）
傳輸層 （第四層）
互聯網層 （第三層）
網路介面層 （第二層）
物理層 （第一層） OSI體系結構
應用層
表示層
會話層
傳輸層
網路層
數據鏈路層
物理層
TCP/IP協議集
應用層 TELNET、FTP、HTTP、SMTP、DNS等
傳輸層 TCP、UDP
網路層 IP、ICMP、ARP、RARP
網路介面層 各種物理通信網路介面
下面對這五個層次作一些講解，初學者對這些概念有一個感性的認識就可以了，如果想深入學習這些內容，可以參考有關計算機網路底層知識方面的書籍。
·物理層：對應於網路的基本硬體，這也是Internet物理構成，即我們可以看得見的硬體設備，如PC機、互連網伺服器、網路設備等，必須對這些硬體設備的電氣特性作一個規范，使這些設備都能夠互相連接並兼容使用。
·網路介面層：它定義了將數據組成正確幀的規程和在網路中傳輸幀的規程，幀是指一串數據，它是數據在網路中傳輸的單位。
·互聯網層：本層定義了互聯網中傳輸的"信息包"格式，以及從一個用戶通過一個或多個路由器到最終目標的"信息包"轉發機制。
·傳輸層：為兩個用戶進程之間建立、管理和拆除可靠而又有效的端到端連接。
·應用層：它定義了應用程序使用互聯網的規程。
TCP/IP 通信協議1--網際協議IP
Internet 上使用的一個關鍵的低層協議是網際協議，通常稱IP協議。我們利用一個共同遵守的通信協議，從而使 Internet 成為一個允許連接不同類型的計算機和不同操作系統的網路。要使兩台計算機彼此之間進行通信，必須使兩台計算機使用同一種"語言"。通信協議正像兩台計算機交換信息所使用的共同語言，它規定了通信雙方在通信中所應共同遵守的約定。 計算機的通信協議精確地定義了計算機在彼此通信過程的所有細節。例如，每台計算機發送的信息格式和含義，在什麼情況下應發送規定的特殊信息，以及接收方的計算機應做出哪些應答等等。 網際協議IP協議提供了能適應各種各樣網路硬體的靈活性，對底層網路硬體幾乎沒有任何要求，任何一個網路只要可以從一個地點向另一個地點傳送二進制數據，就可以使用IP協議加入 Internet 了。
如果希望能在 Internet 上進行交流和通信，則每台連上 Internet 的計算機都必須遵守IP協議。為此使用 Internet 的每台計算機都必須運行IP軟體，以便時刻准備發送或接收信息。
IP協議對於網路通信有著重要的意義：網路中的計算機通過安裝IP軟體，使許許多多的區域網絡構成了一個龐大而又嚴密的通信系統。從而使 Internet 看起來好像是真實存在的，但實際上它是一種並不存在的虛擬網路，只不過是利用IP協議把全世界上所有願意接入 Internet 的計算機局域網路連接起來，使得它們彼此之間都能夠通信。
TCP/IP通信協議2--傳輸控制協議TCP
盡管計算機通過安裝IP軟體，從而保證了計算機之間可以發送和接收數據，但IP協議還不能解決數據分組在傳輸過程中可能出現的問題。因此，若要解決可能出現的問題，連上 Internet 的計算機還需要安裝TCP協議來提供可靠的並且無差錯的通信服務。
TCP協議被稱作一種端對端協議。這是因為它為兩台計算機之間的連接起了重要作用：當一台計算機需要與另一台遠程計算機連接時，TCP協議會讓它們建立一個連接、發送和接收數據以及終止連接。 傳輸控制協議TCP協議利用重發技術和擁塞控制機制，向應用程序提供可靠的通信連接，使它能夠自動適應網上的各種變化。即使在 Internet 暫時出現堵塞的情況下，TCP也能夠保證通信的可靠。
眾所周知， Internet 是一個龐大的國際性網路，網路上的擁擠和空閑時間總是交替不定的，加上傳送的距離也遠近不同，所以傳輸數據所用時間也會變化不定。TCP協議具有自動調整"超時值"的功能，能很好地適應 Internet 上各種各樣的變化，確保傳輸數值的正確。 因此，從上面我們可以了解到：IP協議只保證計算機能發送和接收分組數據，而TCP協議則可提供一個可靠的、可流控的、全雙工的信息流傳輸服務。
綜上所述，雖然IP和TCP這兩個協議的功能不盡相同，也可以分開單獨使用，但它們是在同一時期作為一個協議來設計的，並且在功能上也是互補的。只有兩者的結合，才能保證 Internet 在復雜的環境下正常運行。凡是要連接到 Internet 的計算機，都必須同時安裝和使用這兩個協議，因此在實際中常把這兩個協議統稱作TCP/IP協議。
IP地址
在Internet上連接的所有計算機，從大型機到微型計算機都是以獨立的身份出現，我們稱它為主機。為了實現各主機間的通信，每台主機都必須有一個唯一的網路地址。就好像每一個住宅都有唯一的門牌一樣，才不至於在傳輸數據時出現混亂。
Internet的網路地址是指連入Internet網路的計算機的地址編號。所以，在Internet網路中，網路地址唯一地標識一台計算機。
我們都已經知道，Internet是由幾千萬台計算機互相連接而成的。而我們要確認網路上的每一台計算機，靠的就是能唯一標識該計算機的網路地址，這個地址就叫做IP（Internet Protocol的簡寫）地址，即用Internet協議語言表示的地址。
目前，在Internet里，IP地址是一個32位的二進制地址，為了便於記憶，將它們分為4組，每組8位，由小數點分開，用四個位元組來表示，而且，用點分開的每個位元組的數值范圍是0~255，如202.116.0.1，這種書寫方法叫做點數表示法。
IP地址可確認網路中的任何一個網路和計算機，而要識別其他網路或其中的計算機，則是根據這些IP地址的分類來確定的。一般將IP地址按節點計算機所在網路規模的大小分為A，B，C三類，默認的網路掩碼是根據IP地址中的第一個欄位確定的。
1. A類地址
A類地址的表示範圍為：0.0.0.0~126.255.255.255，默認網路掩碼為：255.0.0.0；A類地址分配給規模特別大的網路使用。A類網路用第一組數字表示網路本身的地址，後面三組數字作為連接於網路上的主機的地址。分配給具有大量主機（直接個人用戶）而區域網絡個數較少的大型網路。例如IBM公司的網路。
2. B類地址
B類地址的表示範圍為：128.0.0.0~191.255.255.255，默認網路掩碼為：255.255.0.0；B類地址分配給一般的中型網路。B類網路用第一、二組數字表示網路的地址，後面兩組數字代表網路上的主機地址。
3. C類地址
C類地址的表示範圍為：192.0.0.0~223.255.255.255，默認網路掩碼為：255.255.255.0；C類地址分配給小型網路，如一般的區域網和校園網，它可連接的主機數量是最少的，採用把所屬的用戶分為若乾的網段進行管理。C類網路用前三組數字表示網路的地址，最後一組數字作為網路上的主機地址。
實際上，還存在著D類地址和E類地址。但這兩類地址用途比較特殊，在這里只是簡單介紹一下：D類地址稱為廣播地址，供特殊協議向選定的節點發送信息時用。E類地址保留給將來使用。
從上兩節的知識可以知道，連接到Internet上的每台計算機，不論其IP地址屬於哪類都與網路中的其他計算機處於平等地位，因為只有IP地址才是區別計算機的唯一標識。所以，以上IP地址的分類只適用於網路分類。
在Internet中，一台計算機可以有一個或多個IP地址，就像一個人可以有多個通信地址一樣，但兩台或多台計算機卻不能共用一個IP地址。如果有兩台計算機的IP地址相同，則會引起異常現象，無論哪台計算機都將無法正常工作。
3. GAN生成對抗網路(一)
GAN(Generative Adversarial Networks)是兩個網路的的組合， 一個網路生成模擬數據， 另一個網路判斷生成的數據是真實的還是模擬的。生成模擬數據的網路要不斷優化自己讓判別的網路判斷不出來， 判別的網路也要優化自己讓自己判斷得更准確。 二者關系形成對抗博弈，因此叫 對抗神經網路 （生成對抗網路）。實驗證明， 利用這種網路間的對抗關系所形成的網路， 在無監督及半監督領域取得了很好的效果， 可以算是用網路來監督網路的一個自學習過程。在GAN發明之前，變分自編碼器被認為是理論完美、實現簡單，使用神經網路訓練起來很穩定， 生成的圖片逼近度也較高， 但是人類還是可以很輕易地分辨出真實圖片與機器生成的圖片。
生成對抗網路包含了 2 個子網路： 生成網路(Generator， G)和判別網路(Discriminator，D)， 其中生成網路負責學習樣本的真實分布，判別網路負責將生成網路采樣的樣本與真實樣本區分開來。
生成網路 G(𝐳) 生成網路 G 和自編碼器的 Decoder 功能類似， 從先驗分布 中采樣隱藏變數 ，通過生成網路 G 參數化的 分布， 獲得生成樣本 ，如下圖所示。 其中隱藏變數𝒛的先驗分布 可以假設屬於某中已知的分布，比如多元均勻分布 。
可以用深度神經網路來參數化， 如下圖所示， 從均勻分布 中采樣出隱藏變數𝒛， 經過多層轉置卷積層網路參數化的 分布中采樣出樣本 。
判別網路 D(𝒙) 判別網路和普通的二分類網路功能類似，它接受輸入樣本𝒙，包含了采樣自真實數據分布 的樣本 ，也包含了采樣自生成網路的假樣本 ， 和 共同組成了判別網路的訓練數據集。判別網路輸出為𝒙屬於真實樣本的概率 ，我們把所有真實樣本 的標簽標注為1，所有生成網路產生的樣本 標注為0， 通過最小化判別網路預測值與標簽之間的誤差來優化判別網路參數。
我們的目標很明確， 既要不斷提升判斷器辨別真假圖像樣本的能力， 又要不斷提升生成器生成更加逼真的圖像，使判別器越來越難判別。
對於判別網路 D ，它的目標是能夠很好地分辨出真樣本 與假樣本 。即最小化圖片的預測值和真實值之間的交叉熵損失函數：
其中 代表真實樣本 在判別網路 的輸出， 為判別網路的參數集， 為生成樣本 在判別網路的輸出， 為 的標簽，由於真實樣本標注為真，故 ， 為生成樣本的 的標簽，由於生成樣本標注為假，故 。 根據二分類問題的交叉熵損失函數定義:
因此判別網路的優化目標是:
去掉 中的負號，把 問題轉換為 問題，並寫為期望形式：
對於生成網路G(𝒛) ，我們希望 能夠很好地騙過判別網路 ， 假樣本 在判別網路的輸出越接近真實的標簽越好。也就是說，在訓練生成網路時， 希望判別網路的輸出 越逼近 1 越好，此時的交叉熵損失函數：
把 問題轉換為 問題，並寫為期望形式：
再等價轉化為：
GAN的優化過程不像通常的求損失函數的最小值， 而是保持生成與判別兩股力量的動態平衡。 因此， 其訓練過程要比一般神經網路難很多。
把判別網路的目標和生成網路的目標合並，寫成min-max形式：
原GAN論文中：
這里為了好理解，把各個符號梳理的更清晰了，注意符號和網路參數的對應。
理想情況下 ， 會有更精確的鑒別真偽數據的能力，經過大量次數的迭代訓練會使 盡可能模擬出以假亂真的樣本， 最終整個GAN會達到所謂的納什均衡， 即 對於生成樣本和真實樣本鑒別結果為正確率和錯誤率各佔50%。下面具體從理論層面來推導。
現在從理論層面進行分析， 通過博弈學習的訓練方式，生成器 G 和判別器 D 分別會達到什麼狀態。 具體地，來看以下 2 個問題：
首先我們通過 一維正態分布的例子給出一個直觀的解釋，如下圖所示，黑色虛線曲線代表了真實數據的分布 ， 為某正態分布 ， 綠色實線代表了生成網路學習到的分布 ， 藍色虛線代表了判別器的決策邊界曲線， 圖中(a)(b)(c)(d)分別代表了生成網路的學習軌跡。在初始狀態，如圖 (a)所示， 分布與 差異較大，判別器可以很輕松地學習到決策邊界，即圖(a)中的藍色虛線，將來自 的采樣點判定為 0， 中的采樣點判定為 1。 隨著生成網路的分布 越來越逼近真實分布 ，判別器越來越困難將真假樣本區分開，如圖 (b)(c)所示。 最後，生成網路性能達到最佳，學習到的分布 ，此時從生成網路中采樣的樣本非常逼真， 判別器無法區分，即判定為真假樣本的概率均等，如圖(d)所示。
固定生成器G的參數 ，判別器D最佳能達到的狀態：
證明： 對於給定的生成器G，要讓判別器D達到最優，我們的目標是最大化損失函數，其積分形式為：
對於給定的 ，真實分布始終是固定的，所以 和 都是定值，於是對於判別器D，要找出
的最大值，其中 是判別器網路參數，對於函數 ，不難得到 在 處取得極大值且是最大值。因此可得 的極值點也為
故判別器 能達到的最佳狀態為定理中給出的式子。
現在考慮第二個問題。
JS 散度(Jensen–Shannon divergence)
對於KL散度， ，是不對稱的。但JS散度是對稱的。
當 達到 時，考慮此時 和 的 散度：
考慮到判別網路到達 時，此時的損失函數為：
於是我們可以得到：
對於生成網路 而言，目標是最小化損失函數，由於 ，因此 取得最小值僅在 時(此時 )， 取得最小值:
此時生成網路達到 狀態是：
即 的學到的分布 與真實分布 一致，網路達到納什均衡點，此時：
即對於生成器生成的圖像有0.5的概率被判定為真，也有0.5的概率被判定為假。