crnn是什麼網路名稱

A. 一文看懂四種基本的神經網路架構

原文鏈接：
http://blackblog.tech/2018/02/23/Eight-Neural-Network/

更多干貨就在我的個人博客 http://blackblog.tech 歡迎關注

剛剛入門神經網路，往往會對眾多的神經網路架構感到困惑，神經網路看起來復雜多樣，但是這么多架構無非也就是三類，前饋神經網路，循環網路，對稱連接網路，本文將介紹四種常見的神經網路，分別是CNN，RNN，DBN，GAN。通過這四種基本的神經網路架構，我們來對神經網路進行一定的了解。

神經網路是機器學習中的一種模型，是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
一般來說，神經網路的架構可以分為三類：

前饋神經網路：
這是實際應用中最常見的神經網路類型。第一層是輸入，最後一層是輸出。如果有多個隱藏層，我們稱之為「深度」神經網路。他們計算出一系列改變樣本相似性的變換。各層神經元的活動是前一層活動的非線性函數。

循環網路：
循環網路在他們的連接圖中定向了循環，這意味著你可以按照箭頭回到你開始的地方。他們可以有復雜的動態，使其很難訓練。他們更具有生物真實性。
循環網路的目的使用來處理序列數據。在傳統的神經網路模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節點是無連接的。但是這種普通的神經網路對於很多問題卻無能無力。例如，你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。
循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。

對稱連接網路：
對稱連接網路有點像循環網路，但是單元之間的連接是對稱的（它們在兩個方向上權重相同）。比起循環網路，對稱連接網路更容易分析。這個網路中有更多的限制，因為它們遵守能量函數定律。沒有隱藏單元的對稱連接網路被稱為「Hopfield 網路」。有隱藏單元的對稱連接的網路被稱為玻爾茲曼機。

其實之前的帖子講過一些關於感知機的內容，這里再復述一下。
首先還是這張圖
這是一個M-P神經元

一個神經元有n個輸入，每一個輸入對應一個權值w，神經元內會對輸入與權重做乘法後求和，求和的結果與偏置做差，最終將結果放入激活函數中，由激活函數給出最後的輸出，輸出往往是二進制的，0 狀態代表抑制，1 狀態代表激活。

可以把感知機看作是 n 維實例空間中的超平面決策面，對於超平面一側的樣本，感知器輸出 1，對於另一側的實例輸出 0，這個決策超平面方程是 w⋅x=0。 那些可以被某一個超平面分割的正反樣例集合稱為線性可分(linearly separable)樣例集合，它們就可以使用圖中的感知機表示。
與、或、非問題都是線性可分的問題，使用一個有兩輸入的感知機能容易地表示，而異或並不是一個線性可分的問題，所以使用單層感知機是不行的，這時候就要使用多層感知機來解決疑惑問題了。

如果我們要訓練一個感知機，應該怎麼辦呢？
我們會從隨機的權值開始，反復地應用這個感知機到每個訓練樣例，只要它誤分類樣例就修改感知機的權值。重復這個過程，直到感知機正確分類所有的樣例。每一步根據感知機訓練法則來修改權值，也就是修改與輸入 xi 對應的權 wi，法則如下：

這里 t 是當前訓練樣例的目標輸出，o 是感知機的輸出，η 是一個正的常數稱為學習速率。學習速率的作用是緩和每一步調整權的程度，它通常被設為一個小的數值（例如 0.1），而且有時會使其隨著權調整次數的增加而衰減。

多層感知機，或者說是多層神經網路無非就是在輸入層與輸出層之間加了多個隱藏層而已，後續的CNN，DBN等神經網路只不過是將重新設計了每一層的類型。感知機可以說是神經網路的基礎，後續更為復雜的神經網路都離不開最簡單的感知機的模型，

談到機器學習，我們往往還會跟上一個詞語，叫做模式識別，但是真實環境中的模式識別往往會出現各種問題。比如：
圖像分割：真實場景中總是摻雜著其它物體。很難判斷哪些部分屬於同一個對象。對象的某些部分可以隱藏在其他對象的後面。
物體光照：像素的強度被光照強烈影響。
圖像變形：物體可以以各種非仿射方式變形。例如，手寫也可以有一個大的圓圈或只是一個尖頭。
情景支持：物體所屬類別通常由它們的使用方式來定義。例如，椅子是為了讓人們坐在上面而設計的，因此它們具有各種各樣的物理形狀。
卷積神經網路與普通神經網路的區別在於，卷積神經網路包含了一個由卷積層和子采樣層構成的特徵抽取器。在卷積神經網路的卷積層中，一個神經元只與部分鄰層神經元連接。在CNN的一個卷積層中，通常包含若干個特徵平面(featureMap)，每個特徵平面由一些矩形排列的的神經元組成，同一特徵平面的神經元共享權值，這里共享的權值就是卷積核。卷積核一般以隨機小數矩陣的形式初始化，在網路的訓練過程中卷積核將學習得到合理的權值。共享權值（卷積核）帶來的直接好處是減少網路各層之間的連接，同時又降低了過擬合的風險。子采樣也叫做池化（pooling），通常有均值子采樣（mean pooling）和最大值子采樣（max pooling）兩種形式。子采樣可以看作一種特殊的卷積過程。卷積和子采樣大大簡化了模型復雜度，減少了模型的參數。
卷積神經網路由三部分構成。第一部分是輸入層。第二部分由n個卷積層和池化層的組合組成。第三部分由一個全連結的多層感知機分類器構成。
這里舉AlexNet為例：

·輸入：224×224大小的圖片，3通道
·第一層卷積：11×11大小的卷積核96個，每個GPU上48個。
·第一層max-pooling：2×2的核。
·第二層卷積：5×5卷積核256個，每個GPU上128個。
·第二層max-pooling：2×2的核。
·第三層卷積：與上一層是全連接，3*3的卷積核384個。分到兩個GPU上個192個。
·第四層卷積：3×3的卷積核384個，兩個GPU各192個。該層與上一層連接沒有經過pooling層。
·第五層卷積：3×3的卷積核256個，兩個GPU上個128個。
·第五層max-pooling：2×2的核。
·第一層全連接：4096維，將第五層max-pooling的輸出連接成為一個一維向量，作為該層的輸入。
·第二層全連接：4096維
·Softmax層：輸出為1000，輸出的每一維都是圖片屬於該類別的概率。

卷積神經網路在模式識別領域有著重要應用，當然這里只是對卷積神經網路做了最簡單的講解，卷積神經網路中仍然有很多知識，比如局部感受野，權值共享，多卷積核等內容，後續有機會再進行講解。

傳統的神經網路對於很多問題難以處理，比如你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。RNN之所以稱為循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。理論上，RNN能夠對任何長度的序列數據進行處理。
這是一個簡單的RNN的結構，可以看到隱藏層自己是可以跟自己進行連接的。

那麼RNN為什麼隱藏層能夠看到上一刻的隱藏層的輸出呢，其實我們把這個網路展開來開就很清晰了。

從上面的公式我們可以看出，循環層和全連接層的區別就是循環層多了一個權重矩陣 W。
如果反復把式2帶入到式1，我們將得到：

在講DBN之前，我們需要對DBN的基本組成單位有一定的了解，那就是RBM，受限玻爾茲曼機。
首先什麼是玻爾茲曼機？
[圖片上傳失敗...(image-d36b31-1519636788074)]
如圖所示為一個玻爾茲曼機，其藍色節點為隱層，白色節點為輸入層。
玻爾茲曼機和遞歸神經網路相比，區別體現在以下幾點：
1、遞歸神經網路本質是學習一個函數，因此有輸入和輸出層的概念，而玻爾茲曼機的用處在於學習一組數據的「內在表示」，因此其沒有輸出層的概念。
2、遞歸神經網路各節點鏈接為有向環，而玻爾茲曼機各節點連接成無向完全圖。

而受限玻爾茲曼機是什麼呢？
最簡單的來說就是加入了限制，這個限制就是將完全圖變成了二分圖。即由一個顯層和一個隱層構成，顯層與隱層的神經元之間為雙向全連接。

h表示隱藏層，v表示顯層
在RBM中，任意兩個相連的神經元之間有一個權值w表示其連接強度，每個神經元自身有一個偏置系數b（對顯層神經元）和c（對隱層神經元）來表示其自身權重。
具體的公式推導在這里就不展示了

DBN是一個概率生成模型，與傳統的判別模型的神經網路相對，生成模型是建立一個觀察數據和標簽之間的聯合分布，對P(Observation|Label)和 P(Label|Observation)都做了評估，而判別模型僅僅而已評估了後者，也就是P(Label|Observation)。
DBN由多個限制玻爾茲曼機（Restricted Boltzmann Machines）層組成，一個典型的神經網路類型如圖所示。這些網路被「限制」為一個可視層和一個隱層，層間存在連接，但層內的單元間不存在連接。隱層單元被訓練去捕捉在可視層表現出來的高階數據的相關性。

生成對抗網路其實在之前的帖子中做過講解，這里在說明一下。
生成對抗網路的目標在於生成，我們傳統的網路結構往往都是判別模型，即判斷一個樣本的真實性。而生成模型能夠根據所提供的樣本生成類似的新樣本，注意這些樣本是由計算機學習而來的。
GAN一般由兩個網路組成，生成模型網路，判別模型網路。
生成模型 G 捕捉樣本數據的分布，用服從某一分布（均勻分布，高斯分布等）的雜訊 z 生成一個類似真實訓練數據的樣本，追求效果是越像真實樣本越好；判別模型 D 是一個二分類器，估計一個樣本來自於訓練數據（而非生成數據）的概率，如果樣本來自於真實的訓練數據，D 輸出大概率，否則，D 輸出小概率。
舉個例子：生成網路 G 好比假幣製造團伙，專門製造假幣，判別網路 D 好比警察，專門檢測使用的貨幣是真幣還是假幣，G 的目標是想方設法生成和真幣一樣的貨幣，使得 D 判別不出來，D 的目標是想方設法檢測出來 G 生成的假幣。
傳統的判別網路：

生成對抗網路：

下面展示一個cDCGAN的例子（前面帖子中寫過的）
生成網路

判別網路

最終結果，使用MNIST作為初始樣本，通過學習後生成的數字，可以看到學習的效果還是不錯的。

本文非常簡單的介紹了四種神經網路的架構，CNN，RNN，DBN，GAN。當然也僅僅是簡單的介紹，並沒有深層次講解其內涵。這四種神經網路的架構十分常見，應用也十分廣泛。當然關於神經網路的知識，不可能幾篇帖子就講解完，這里知識講解一些基礎知識，幫助大家快速入（zhuang）門（bi）。後面的帖子將對深度自動編碼器，Hopfield 網路長短期記憶網路（LSTM）進行講解。

B. 卷積神經網路CNN在圖像識別問題應用綜述（20191219）

   這兩天在公司做PM實習，主要是自學一些CV的知識，以了解產品在解決一些在圖像識別、圖像搜索方面的問題，學習的主要方式是在知網檢索了6.7篇國內近3年計算機視覺和物體識別的碩博士論文。由於時間關系，後面還會繼續更新圖片相似度計算（以圖搜圖）等方面的學習成果
   將這兩天的學習成果在這里總結一下。你將會看到計算機視覺在解決特定物體識別問題（主要是卷積神經網路CNNs）的基礎過程和原理，但這里不會深入到技術的實現層面。

  計算機視覺（Computer vision）是一門研究如何使機器「看」的科學，更進一步的說，就是指用攝影機和計算機代替人眼對目標進行識別、跟蹤和測量等機器視覺，並進一步做圖像處理，用計算機處理成為更適合人眼觀察或傳送給儀器檢測的圖像。
                                         ————維基網路
  通常而言，計算機視覺的研究包括三個層次：
（1）底層特徵的研究：
  這一層次的研究主要聚焦如何高效提取出圖像對象具有判別性能的特徵，具體的研究內容通常包括：物體識別、字元識別等
（2）中層語義特徵的研究：
   該層次的研究在於在識別出對象的基礎上，對其位置、邊緣等信息能夠准確區分。現在比較熱門的：圖像分割；語義分割；場景標注等，都屬於該領域的范疇
（3）高層語義理解：
  這一層次建立在前兩層的基礎上，其核心在於「理解」一詞。 目標在於對復雜圖像中的各個對象完成語義級別的理解。這一層次的研究常常應用於：場景識別、圖像摘要生成及圖像語義回答等。
  而我研究的問題主要隸屬於底層特徵和中層語義特徵研究中的物體識別和場景標注問題。

人類的視覺工作模式是這樣的：
   首先，我們大腦中的神經元接收到大量的信息微粒，但我們的大腦還並不能處理它們。
   於是接著神經元與神經元之間交互將大量的微粒信息整合成一條又一條的線。
   接著，無數條線又整合成一個個輪廓。
   最後多個輪廓累加終於聚合我們現在眼前看到的樣子。
  計算機科學受到神經科學的啟發，也採用了類似的工作方式。具體而言，圖像識別問題一般都遵循下面幾個流程

  （1）獲取底層信息。獲取充分且清潔的高質量數據往往是圖像識別工作能否成功的關鍵所在
  （2）數據預處理工作，在圖像識別領域主要包括四個方面的技術：去噪處理（提升信噪比）、圖像增強和圖像修復（主要針對不夠清晰或有破損缺失的圖像）；歸一化處理（一方面是為了減少開銷、提高演算法的性能，另一方面則是為了能成功使用深度學習等演算法，這類演算法必須使用歸一化數據）。
  （3）特徵提取，這一點是該領域的核心，也是本文的核心。圖像識別的基礎是能夠提取出足夠高質量，能體現圖像獨特性和區分度的特徵。
  過去在10年代之前我們主要還是更多的使用傳統的人工特徵提取方法，如PCALCA等來提取一些人工設計的特徵，主要的方法有（HOG、LBP以及十分著名的SIFT演算法）。但是這些方法普遍存在（a）一般基於圖像的一些提層特徵信息（如色彩、紋理等）難以表達復雜的圖像高層語義，故泛化能力普遍比較弱。（b）這些方法一般都針對特定領域的特定應用設計，泛化能力和遷移的能力大多比較弱。
  另外一種思路是使用BP方法，但是畢竟BP方法是一個全連接的神經網路。這以為這我們非常容易發生過擬合問題（每個元素都要負責底層的所有參數），另外也不能根據樣本對訓練過程進行優化，實在是費時又費力。
  因此，一些研究者開始嘗試把諸如神經網路、深度學習等方法運用到特徵提取的過程中，以十幾年前深度學習方法在業界最重要的比賽ImageNet中第一次戰勝了SIFT演算法為分界線，由於其使用權重共享和特徵降采樣，充分利用了數據的特徵。幾乎每次比賽的冠軍和主流都被深度學習演算法及其各自改進型所佔領。其中，目前使用較多又最為主流的是CNN演算法，在第四部分主要也研究CNN方法的機理。

  上圖是一個簡易的神經網路，只有一層隱含層，而且是全連接的（如圖，上一層的每個節點都要對下一層的每個節點負責。）具體神經元與神經元的作用過程可見下圖。

  在諸多傳統的神經網路中，BP演算法可能是性能最好、應用最廣泛的演算法之一了。其核心思想是：導入訓練樣本、計算期望值和實際值之間的差值，不斷地調整權重，使得誤差減少的規定值的范圍內。其具體過程如下圖：

  一般來說，機器學習又分成淺層學習和深度學習。傳統的機器學習演算法，如SVM、貝葉斯、神經網路等都屬於淺層模型，其特點是只有一個隱含層。邏輯簡單易懂、但是其存在理論上缺乏深度、訓練時間較長、參數很大程度上依賴經驗和運氣等問題。
  如果是有多個隱含層的多層神經網路（一般定義為大於5層），那麼我們將把這個模型稱為深度學習，其往往也和分層訓練配套使用。這也是目前AI最火的領域之一了。如果是淺層模型的問題在於對一個復雜函數的表示能力不夠，特別是在復雜問題分類情況上容易出現分類不足的弊端，深度網路的優勢則在於其多層的架構可以分層表示邏輯，這樣就可以用簡單的方法表示出復雜的問題，一個簡單的例子是：
  如果我們想計算sin(cos(log(exp(x))))，
  那麼深度學習則可分層表示為exp(x)—>log(x)—>cos(x)—>sin(x)

  圖像識別問題是物體識別的一個子問題，其魯棒性往往是解決該類問題一個非常重要的指標，該指標是指分類結果對於傳入數據中的一些轉化和扭曲具有保持不變的特性。這些轉化和扭曲具體主要包括了：
（1）噪音（2）尺度變化（3）旋轉（4）光線變化（5）位移

  該部分具體的內容，想要快速理解原理的話推薦看[知乎相關文章] ( https://www.hu.com/search?type=content&q=CNN )，
  特別是其中有些高贊回答中都有很多動圖和動畫，非常有助於理解。
  但核心而言，CNN的核心優勢在於 共享權重 以及 感受野 ，減少了網路的參數，實現了更快的訓練速度和同樣預測結果下更少的訓練樣本，而且相對於人工方法，一般使用深度學習實現的CNN演算法使用無監督學習，其也不需要手工提取特徵。

CNN演算法的過程給我的感覺，個人很像一個「擦玻璃」的過程。其技術主要包括了三個特性：局部感知、權重共享和池化。

  CNN中的神經元主要分成了兩種：
（a）用於特徵提取的S元，它們一起組成了卷積層，用於對於圖片中的每一個特徵首先局部感知。其又包含很關鍵的閾值參數（控制輸出對輸入的反映敏感度）和感受野參數（決定了從輸入層中提取多大的空間進行輸入，可以簡單理解為擦玻璃的抹布有多大）
（b）抗形變的C元，它們一起組成了池化層，也被稱為欠采樣或下采樣。主要用於特徵降維，壓縮數據和參數的數量，減小過擬合，同時提高模型的容錯性。
（c*）激活函數，及卷積層輸出的結果要經過一次激勵函數才會映射到池化層中，主要的激活函數有Sigmoid函數、Tanh函數、ReLU、Leaky ReLU、ELU、Maxout等。

  也許你會抱有疑問，CNN演算法和傳統的BP演算法等究竟有什麼區別呢。這就會引出區域感受野的概念。在前面我們提到，一個全連接中，較高一層的每個神經元要對低層的每一個神經元負責，從而導致了過擬合和維度災難的問題。但是有了區域感受野和，每個神經元只需要記錄一個小區域，而高層會把這些信息綜合起來，從而解決了全連接的問題。

  了解區域感受野後，你也許會想，區域感受野的底層神經元具體是怎麼聚合信息映射到上一層的神經元呢，這就要提到重要的卷積核的概念。這個過程非常像上面曾提到的「神經元與神經元的聯系」一圖，下面給大家一個很直觀的理解。

  上面的這個過程就被稱為一個卷積核。在實際應用中，單特徵不足以被系統學習分類，因此我們往往會使用多個濾波器，每個濾波器對應1個卷積核，也對應了一個不同的特徵。比如：我們現在有一個人臉識別應用，我們使用一個卷積核提取出眼睛的特徵，然後使用另一個卷積核提取出鼻子的特徵，再用一個卷積核提取出嘴巴的特徵，最後高層把這些信息聚合起來，就形成了分辨一個人與另一個人不同的判斷特徵。

  現在我們已經有了區域感受野，也已經了解了卷積核的概念。但你會發現在實際應用中還是有問題：
  給一個100 100的參數空間，假設我們的感受野大小是10 10，那麼一共有squar（1000-10+1）個，即10的六次方個感受野。每個感受野中就有100個參數特徵，及時每個感受野只對應一個卷積核，那麼空間內也會有10的八次方個次數，，更何況我們常常使用很多個卷積核。巨大的參數要求我們還需要進一步減少權重參數，這就引出了權重共享的概念。
   用一句話概括就是，對同一個特徵圖，每個感受野的卷積核是一樣的，如這樣操作後上例只需要100個參數。

  池化是CNN技術的最後一個特性，其基本思想是： 一塊區域有用的圖像特徵，在另一塊相似的區域中很可能仍然有用。即我們通過卷積得到了大量的邊緣EDGE數據，但往往相鄰的邊緣具有相似的特性，就好像我們已經得到了一個強邊緣，再擁有大量相似的次邊緣特徵其實是沒有太大增量價值的，因為這樣會使得系統里充斥大量冗餘信息消耗計算資源。 具體而言，池化層把語義上相似的特徵合並起來，通過池化操作減少卷積層輸出的特徵向量，減少了參數，緩解了過擬合問題。常見的池化操作主要包括3種：
分別是最大值池化（保留了圖像的紋理特徵）、均值池化（保留了圖像的整體特徵）和隨機值池化。該技術的弊端是容易過快減小數據尺寸，目前趨勢是用其他方法代替池化的作用,比如膠囊網路推薦採用動態路由來代替傳統池化方法，原因是池化會帶來一定程度上表徵的位移不變性，傳統觀點認為這是一個優勢，但是膠囊網路的作者Hinton et al.認為圖像中位置信息是應該保留的有價值信息，利用特別的聚類評分演算法和動態路由的方式可以學習到更高級且靈活的表徵，有望沖破目前卷積網路構架的瓶頸。

  CNN總體來說是一種結構，其包含了多種網路模型結構，數目繁多的的網路模型結構決定了數據擬合能力和泛化能力的差異。其中的復雜性對用戶的技術能力有較高的要求。此外，CNN仍然沒有很好的解決過擬合問題和計算速度較慢的問題。

   該部分的核心參考文獻：
《深度學習在圖像識別中的應用研究綜述》鄭遠攀,李廣陽,李曄.[J].計算機工程與應用,2019,55(12):20-36.
  深度學習技術在計算機圖像識別方面的領域應用研究是目前以及可預見的未來的主流趨勢，在這里首先對深度學習的基本概念作一簡介，其次對深度學習常用的結構模型進行概述說明，主要簡述了深度信念網路（DBN）、卷積神經網路（CNN）、循環神經網路（RNN）、生成式對抗網路（GAN）、膠囊網路（CapsNet）以及對各個深度模型的改進模型做一對比分析。

  深度學習按照學習架構可分為生成架構、判別架構及混合架構。
其生成架構模型主要包括：
  受限波爾茲曼機、自編碼器、深層信念網路等。判別架構模型主要包括：深層前饋網路、卷積神經網路等。混合架構模型則是這兩種架構的集合。深度學習按數據是否具有標簽可分為非監督學習與監督學習。非監督學習方法主要包括：受限玻爾茲曼機、自動編碼器、深層信念網路、深層玻爾茲曼機等。
  監督學習方法主要包括：深層感知器、深層前饋網路、卷積神經網路、深層堆疊網路、循環神經網路等。大量實驗研究表明，監督學習與非監督學習之間無明確的界限，如：深度信念網路在訓練過程中既用到監督學習方法又涉及非監督學習方法。

[1]周彬. 多視圖視覺檢測關鍵技術及其應用研究[D].浙江大學,2019.
[2]鄭遠攀,李廣陽,李曄.深度學習在圖像識別中的應用研究綜述[J].計算機工程與應用,2019,55(12):20-36.
[3]逄淑超. 深度學習在計算機視覺領域的若干關鍵技術研究[D].吉林大學,2017.
[4]段萌. 基於卷積神經網路的圖像識別方法研究[D].鄭州大學,2017.
[5]李彥冬. 基於卷積神經網路的計算機視覺關鍵技術研究[D].電子科技大學,2017.
[6]李衛. 深度學習在圖像識別中的研究及應用[D].武漢理工大學,2014.
[7]許可. 卷積神經網路在圖像識別上的應用的研究[D].浙江大學,2012.
[8]CSDN、知乎、機器之心、維基網路

C. CNN（卷積神經網路）、RNN（循環神經網路）、DNN（深度神經網路）的內部網路結構有什麼區別

如下：

1、DNN：存在著一個問題——無法對時間序列上的變化進行建模。然而，樣本出現的時間順序對於自然語言處理、語音識別、手寫體識別等應用非常重要。對了適應這種需求，就出現了另一種神經網路結構——循環神經網路RNN。

2、CNN：每層神經元的信號只能向上一層傳播，樣本的處理在各個時刻獨立，因此又被稱為前向神經網路。

3、RNN：神經元的輸出可以在下一個時間戳直接作用到自身，即第i層神經元在m時刻的輸入，除了（i-1）層神經元在該時刻的輸出外，還包括其自身在（m-1）時刻的輸出！

介紹

神經網路技術起源於上世紀五、六十年代，當時叫感知機（perceptron），擁有輸入層、輸出層和一個隱含層。輸入的特徵向量通過隱含層變換達到輸出層，在輸出層得到分類結果。早期感知機的推動者是Rosenblatt。

在實際應用中，所謂的深度神經網路DNN，往往融合了多種已知的結構，包括卷積層或是LSTM單元。

D. 卷積神經網路（CNN）和循環神經網路(RNN)有什麼區別

簡單來說，卷積神經網路和循環神經網路都是深度學習的重要框架。區別在哪裡呢？區別就在循環層上。卷積神經網路沒有時序性的概念，輸入直接和輸出掛鉤；循環神經網路具有時序性，當前決策跟前一次決策有關。舉個例子，進行手寫數字識別的時候，我們並不在意前一個決策結果是什麼，需要用卷積神經網路；而自然語言生成時，上一個詞很大程度影響了下一個詞，需要用循環神經網路。