卷積神經網路全連接

1. 線性層和全連接層的區別

線性層和全連接層沒有區別。線性層即全連接層。

全連接層，是每一個結點都與上一層的所有結點相連，用來把前邊提取到的特徵綜合起來。由於其全相連的特性，一般全連接層的參數也是最多的。

例如在VGG16中，第一個全連接層FC1有4096個節點，上一層POOL2是7*7*512 = 25088個節點，則該傳輸需要4096*25088個權值，需要耗很大的內存。

卷積神經網路的全連接層

在 CNN 結構中，經多個卷積層和池化層後，連接著1個或1個以上的全連接層。與 MLP 類似，全連接層中的每個神經元與其前一層的所有神經元進行全連接。全連接層可以整合卷積層或者池化層中具有類別區分性的局部信息。為了提升 CNN 網路性能，全連接層每個神經元的激勵函數一般採用 ReLU 函數。

最後一層全連接層的輸出值被傳遞給一個輸出，可以採用 softmax 邏輯回歸（softmax regression）進行分類，該層也可稱為 softmax 層（softmax layer）。對於一個具體的分類任務，選擇一個合適的損失函數是十分重要的，CNN 有幾種常用的損失函數，各自都有不同的特點。通常，CNN 的全連接層與 MLP 結構一樣，CNN 的訓練演算法也多採用BP演算法。

2. 為什麼全連接神經網路在圖像識別中不如卷積神經網路

輸入數據是n*n的像素矩陣，再使用全連接神經網路，那麼參數的個數會是指數級的增長，需要訓練的數據太多。
而CNN的話，可以通過共享同一個參數，來提取特定方向上的特徵，所以訓練量將比全連接神經網路小了很多。

3. 卷積神經網路 連接表是怎麼定義的

卷積神經網路就是將圖像處理中的二維離散卷積運算和人工神經網路相結合。這種卷積運算可以用於自動提取特徵，而卷積神經網路也主要應用於二維圖像的識別。「深」的問題是一個不確定的概念，多少算深？有人認為除了輸入層和輸出層以外只包含一個隱層的神經網路就是淺層的，多個隱層的就是深層的。按照這樣的說法，一個卷積神經網路如果包含一個輸入層，一個卷積層，一個輸出層，那它就是淺層的。但一般不這樣用，何以然啊？使用卷積神經網路不斷地去提取特徵，特徵越抽象，越有利於識別（分類）。那我就一定要將卷積神經網路設計成深層的啊！而且通常卷積神經網路也包含池化層、全連接層，最後再接輸出層。我更傾向於叫它：深度卷積神經網路（Deep Convolutional Neural Network）。所以，DCNN和DNN的區別主要就在於DCNN有卷積、池化層，多個卷積-池化單元構成特徵表達，主要應用於二維圖像識別。最粗淺的理解就是：DCNN是帶有二維離散卷積操作的DNN。

4. 前饋神經網路、BP神經網路、卷積神經網路的區別與聯系

一、計算方法不同

1、前饋神經網路：一種最簡單的神經網路，各神經元分層排列。每個神經元只與前一層的神經元相連。接收前一層的輸出，並輸出給下一層．各層間沒有反饋。

2、BP神經網路：是一種按照誤差逆向傳播演算法訓練的多層前饋神經網路。

3、卷積神經網路：包含卷積計算且具有深度結構的前饋神經網路。

二、用途不同

1、前饋神經網路：主要應用包括感知器網路、BP網路和RBF網路。

2、BP神經網路：

（1）函數逼近：用輸入向量和相應的輸出向量訓練一個網路逼近一個函數；

（2）模式識別：用一個待定的輸出向量將它與輸入向量聯系起來；

（3）分類：把輸入向量所定義的合適方式進行分類；

（4）數據壓縮：減少輸出向量維數以便於傳輸或存儲。

3、卷積神經網路：可應用於圖像識別、物體識別等計算機視覺、自然語言處理、物理學和遙感科學等領域。

聯系：

BP神經網路和卷積神經網路都屬於前饋神經網路，三者都屬於人工神經網路。因此，三者原理和結構相同。

三、作用不同

1、前饋神經網路：結構簡單，應用廣泛，能夠以任意精度逼近任意連續函數及平方可積函數．而且可以精確實現任意有限訓練樣本集。

2、BP神經網路：具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。

3、卷積神經網路：具有表徵學習能力，能夠按其階層結構對輸入信息進行平移不變分類。

(4)卷積神經網路全連接擴展閱讀：

1、BP神經網路優劣勢

BP神經網路無論在網路理論還是在性能方面已比較成熟。其突出優點就是具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。但是BP神經網路也存在以下的一些主要缺陷。

①學習速度慢，即使是一個簡單的問題，一般也需要幾百次甚至上千次的學習才能收斂。

②容易陷入局部極小值。

③網路層數、神經元個數的選擇沒有相應的理論指導。

④網路推廣能力有限。

2、人工神經網路的特點和優越性，主要表現在以下三個方面

①具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網路，網路就會通過自學習功能，慢慢學會識別類似的圖像。自學習功能對於預測有特別重要的意義。預期未來的人工神經網路計算機將為人類提供經濟預測、效益預測，其應用前途是很遠大的。

②具有聯想存儲功能。用人工神經網路的反饋網路就可以實現這種聯想。

③具有高速尋找優化解的能力。尋找一個復雜問題的優化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經網路，發揮計算機的高速運算能力，可能很快找到優化解。

5. 為什麼在卷積神經網路中全連接層4096維特徵向量

通常為了計算的優化等緣故，維度一般取2的指數。
全連接層後續計算loss，總共類別應該會有上千類，所以之前的layer最好也是1000這種規模，所以一般取1024,2048,4096等。

通過在數據集上進行測試，可以跑出來一個結果比較好的網路結構

6. 描述計算機視覺問題中卷積神經網路（CNN）的基本概念，並描述CNN如何實現這些概念。

摘要 你好，卷積是CNN的核心，是用卷積核掃描圖像，得到相應的特徵。卷積核可以理解成過濾器（或圖像掃描器、特徵掃描器、局部感受野）。這里先不涉及到卷積的具體操作，只介紹卷積的簡單概念。在BPNN中，前後層神經元的連接是「全連接」，即每個神經元都與前一層所有神經元相連，而卷積是每個神經元只與上一層的一部分神經元相連希望我的回答能幫到你

7. 卷積神經網路用全連接層的參數是怎麼確定的

卷積神經網路用全連接層的參數確定：卷積神經網路與傳統的人臉檢測方法不同，它是通過直接作用於輸入樣本，用樣本來訓練網路並最終實現檢測任務的。

它是非參數型的人臉檢測方法，可以省去傳統方法中建模、參數估計以及參數檢驗、重建模型等的一系列復雜過程。本文針對圖像中任意大小、位置、姿勢、方向、膚色、面部表情和光照條件的人臉。

輸入層

卷積神經網路的輸入層可以處理多維數據，常見地，一維卷積神經網路的輸入層接收一維或二維數組，其中一維數組通常為時間或頻譜采樣；二維數組可能包含多個通道；二維卷積神經網路的輸入層接收二維或三維數組；三維卷積神經網路的輸入層接收四維數組。

由於卷積神經網路在計算機視覺領域應用較廣，因此許多研究在介紹其結構時預先假設了三維輸入數據，即平面上的二維像素點和RGB通道。

8. 卷積神經網路演算法是什麼

一維構築、二維構築、全卷積構築。

卷積神經網路（Convolutional Neural Networks, CNN）是一類包含卷積計算且具有深度結構的前饋神經網路（Feedforward Neural Networks），是深度學習（deep learning）的代表演算法之一。

卷積神經網路具有表徵學習（representation learning）能力，能夠按其階層結構對輸入信息進行平移不變分類（shift-invariant classification），因此也被稱為「平移不變人工神經網路（Shift-Invariant Artificial Neural Networks, SIANN）」。

卷積神經網路的連接性：

卷積神經網路中卷積層間的連接被稱為稀疏連接（sparse connection），即相比於前饋神經網路中的全連接，卷積層中的神經元僅與其相鄰層的部分，而非全部神經元相連。具體地，卷積神經網路第l層特徵圖中的任意一個像素（神經元）都僅是l-1層中卷積核所定義的感受野內的像素的線性組合。

卷積神經網路的稀疏連接具有正則化的效果，提高了網路結構的穩定性和泛化能力，避免過度擬合，同時，稀疏連接減少了權重參數的總量，有利於神經網路的快速學習，和在計算時減少內存開銷。

卷積神經網路中特徵圖同一通道內的所有像素共享一組卷積核權重系數，該性質被稱為權重共享（weight sharing）。權重共享將卷積神經網路和其它包含局部連接結構的神經網路相區分，後者雖然使用了稀疏連接，但不同連接的權重是不同的。權重共享和稀疏連接一樣，減少了卷積神經網路的參數總量，並具有正則化的效果。

在全連接網路視角下，卷積神經網路的稀疏連接和權重共享可以被視為兩個無限強的先驗（pirior），即一個隱含層神經元在其感受野之外的所有權重系數恆為0（但感受野可以在空間移動）；且在一個通道內，所有神經元的權重系數相同。

9. 全卷積神經網路可以通過什麼提高圖像分割精度

全卷積神經網路可以通過神經網路的模型提高圖像分割精度。

全卷積神經網路解決方案也有很多。網路/谷歌搜索過擬合 overfitting，個人會優先嘗試減小網路規模，比如層數、卷積濾波器個數、全連接層的單元數這些。其他的比如Dropout，數據增強/擴充，正則，earlystop，batchnorm也都可以嘗試。

全卷積神經網路隱含層：

全卷積神經網路卷積神經網路的隱含層包含卷積層、池化層和全連接層3類常見構築，在一些更為現代的演算法中可能有Inception模塊、殘差塊（resial block）等復雜構築。在常見構築中，卷積層和池化層為卷積神經網路特有。卷積層中的卷積核包含權重系數。

全卷積神經網路而池化層不包含權重系數，因此在文獻中，池化層可能不被認為是獨立的層。以LeNet-5為例，3類常見構築在隱含層中的順序通常為：輸入-卷積層-池化層-全連接層-輸出。

10. 卷積神經網路為什麼最後接一個全連接層

在常見的卷積神經網路的最後往往會出現一兩層全連接層，全連接一般會把卷積輸出的二維特徵圖（feature map）轉化成（N*1）一維的一個向量
全連接的目的是什麼呢？因為傳統的端到到的卷積神經網路的輸出都是分類（一般都是一個概率值），也就是幾個類別的概率甚至就是一個數--類別號，那麼全連接層就是高度提純的特徵了，方便交給最後的分類器或者回歸。

但是全連接的參數實在是太多了，你想這張圖里就有20*12*12*100個參數，前面隨便一層卷積，假設卷積核是7*7的，厚度是64，那也才7*7*64，所以現在的趨勢是盡量避免全連接，目前主流的一個方法是全局平均值。也就是最後那一層的feature map（最後一層卷積的輸出結果），直接求平均值。有多少種分類就訓練多少層，這十個數字就是對應的概率或者叫置信度。