模糊神經網路進行信號特徵提取

1. 哪些神經網路可以用在圖像特徵提取上

BP神經網路、離散Hopfield網路、LVQ神經網路等等都可以。

1.BP（Back Propagation）神經網路是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。BP網路能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。BP神經網路模型拓撲結構包括輸入層（input）、隱層(hidden layer)和輸出層(output layer)。
2.Hopfiled神經網路是一種遞歸神經網路，由約翰·霍普菲爾德在1982年發明。Hopfield網路是一種結合存儲系統和二元系統的神經網路。它保證了向局部極小的收斂，但收斂到錯誤的局部極小值（local minimum），而非全局極小（global minimum）的情況也可能發生。Hopfiled網路也提供了模擬人類記憶的模型。
3.LVQ神經網路由三層組成，即輸入層、隱含層和輸出層，網路在輸入層與隱含層間為完全連接，而在隱含層與輸出層間為部分連接，每個輸出層神經元與隱含層神經元的不同組相連接。隱含層和輸出層神經元之間的連接權值固定為1。輸入層和隱含層神經元間連接的權值建立參考矢量的分量（對每個隱含神經元指定一個參考矢量）。在網路訓練過程中，這些權值被修改。隱含層神經元（又稱為Kohnen神經元）和輸出神經元都具有二進制輸出值。當某個輸入模式被送至網路時，參考矢量最接近輸入模式的隱含神經元因獲得激發而贏得競爭，因而允許它產生一個「1」，而其它隱含層神經元都被迫產生「0」。與包含獲勝神經元的隱含層神經元組相連接的輸出神經元也發出「1」，而其它輸出神經元均發出「0」。產生「1」的輸出神經元給出輸入模式的類，由此可見，每個輸出神經元被用於表示不同的類。

2. 用卷積神經網路提取圖像特徵

前面講到的都是基於知識的圖像特徵提取方法，除此之外還有另一條技術路線——基於深度學習的圖像特徵提取。

人在認知圖像時是分層抽象的，首先理解的是顏色和亮度，然後是邊緣、角點、直線等局部細節特徵，接下來是紋理、幾何形狀等更復雜的信息和結構，最後形成整個物體的概念。
視覺神經科學（Visual Neuroscience）對於視覺機理的研究驗證了這一結論，動物大腦的視覺皮層具有分層結構。眼睛將看到的景象成像在視網膜上，視網膜把光學信號轉換成電信號，傳遞到大腦的視覺皮層（Visual cortex），視覺皮層是大腦中負責處理視覺信號的部分。1959年，David和Wiesel進行了一次實驗，他們在貓的大腦初級視覺皮層內插入電極，在貓的眼前展示各種形狀、空間位置、角度的光帶，然後測量貓大腦神經元放出的電信號。實驗發現，不同的宏盯神經元對各種空間位置和方向偏好不同。這一成果後來讓他們獲得了諾貝爾獎。
目前已經證明，視覺皮層具有層次結構。從視網膜傳來的信號首先到達初級視覺皮層（primary visual cortex），即V1皮層。V1皮層簡單神經元對一些細節、特定方向的圖像信號敏感。V1皮層處理之後，將信號傳導到V2皮層。V2皮層將邊緣和輪廓信息表示成簡單形狀，然後由V4皮層中的神經元進行處理，它顏色信息敏感。復雜物體最終在IT皮層（inferior temporal cortex）被表示出來。

卷積神經網路可以看成是上面這種機制的簡單模仿。它由多個卷積層構成，每個卷積層包含多個卷積核，用這些卷積核從左向右、從上往下依次掃描整個圖像，得到稱為特徵圖（feature map）的輸出數據。網路前面的卷積層捕捉圖像局部、細節信息，有小的感受野，即輸出圖像的每個像素只利用輸入圖像很小的一個范圍。後面的卷積層感受野逐層加大，用於捕獲圖猜絕岩像更復雜，更抽象的信息。經過多個卷積層的運算，最後得到圖像在各個不同尺度的抽象表示。

顧名思義，卷積層由一組卷積單元（又稱"卷積核"）組成，可以把這些卷積單元理解為過濾器，每個過濾器都會提取一種特定的特徵，方法參見 圖像卷積 。

卷積層的過濾器負責從圖像中查找規律，過濾器越多則參數越多，這意味著卷積層的維度可能很穗御龐大。我們需要一種方法來降低維數，這就是卷積網路中的池化層（又名"下采樣層"）所扮的角色。

池化主要有3種形式：一般池化，重疊池化和金字塔池化。

池化窗口的尺寸為n*n，一般情況下池化窗口都是正方形的。步長（stride）等於n。此時池化窗口之間是沒有重疊的。對於超出數字矩陣范圍的，只計算范圍內的或者范圍外的用0填充再計算。又可以分為最大值池化，均值池化。

池化窗口范圍內的最大值作為采樣的輸出值。
假如輸入是一個4×4矩陣，執行最大池化是一個2×2矩陣，每次滑動2步。執行過程非常簡單，把4×4的輸入拆分成不同的區域，把這些區域用不同顏色來標記。對於2×2的輸出，輸出的每個元素都是其對應顏色區域中的最大元素值。

普通均值池化就是將池化窗口范圍內的平均值作為采樣的輸出值。這種池化不如最大池化常用。

池化窗口之間有重疊。也就是步長大於等於1小於n，計算和一般池化是一樣的。

空間金字塔池化（Spatial Pyramid Pooling，簡稱SPP）可以將尺寸大小不一樣的圖片轉換為同樣的尺寸。
SPP首先把圖片看成1塊，對這1塊進行最大值池化，得到1個值，分成4塊，對這4塊分別進行最大值池化，得到4個值；分成16塊，對這16塊分別進行最大值池化，得到16個值，以此類推。這樣就可以保證對於不同尺寸的圖片而言，最終得到的值的個數是一樣的。因為是最大值池化，超出范圍的用不用0填充不會影響結果。

直接對原始圖像做卷積，會存在兩個問題。一是每次卷積後圖像（特徵圖）都會縮小，這樣卷不了幾次就沒了； 二是相比於圖片中間的點，圖片邊緣的點在卷積中被計算的次數很少，導致邊緣的信息易於丟失。
為了解決這個問題，我們可以採用填充的方法。我們每次卷積前，先給圖片周圍都補一圈空白，讓卷積之後圖片跟原來一樣大，同時，原來的邊緣也被計算了更多次。

比如，我們把(8,8)的圖片給補成(10,10)，那麼經過(3,3)的filter之後，就是(8,8)，沒有變。
能夠保證輸入的數據和輸出的數據具有相同的空間尺寸，假設零填充個數為p，卷積核為f * f，卷積核滑動步長為s，則p應設置為

假設原始輸入圖像為m * m，輸出圖像為n * n，零填充個數為p，卷積核為f * f，卷積核滑動步長為s，則輸出尺寸為

假設輸入圖像為(m,m,d)，其中d為圖像深度（通道數），卷積核為f * f，卷積核個數為n，則weight個數為

bias個數：

池化層很少使用零填充。假設原始輸入圖像為m * m，輸出圖像為n * n，卷積核為f * f，卷積核滑動步長為s，則輸出尺寸為

3. 機器學習神經網路特徵提取方法有哪些

這個得看你要解決什麼問題了啊~是語音還是圖像還是什麼別的。一般圖像中，或者語音轉成語譜圖之後，cnn可以替代特徵提取。

4. 基於卷積神經網路的圖像識別演算法_卷積神經網路提取圖像特徵

圖象識別容易，因為圖象可以在一個時間點成像

而語音沒有可能在一個時間點的采樣有用，語音多出來一個時間軸

而這個時間軸引入的難題就是：換個時間，換個人，換個背景噪音，都變得沒法子識別了

目前，主流的大詞彙量語音識別系統多採用統計模式識別技術

典型的基於統計模式識別方法的語音識別系統由以下幾個基本模塊所構成信號處理及特徵提取模塊

該模塊的主要任務是從輸入信號中提取特轎猜征，供聲學模型處理

同時，它一般也包括了一些信號處理技術，以盡可能降低環境雜訊、信道、說話人等因素對特徵造成的影響

統計聲學模型

典型系統多採用基於一階隱馬爾科夫模型進行建模

發音詞典

發音詞典包含系統所能處理的詞彙集及其發音

發音詞典實際提供了聲學模型建模單元與語言模型建模單元間的映射

語言模型

語言模型對系統所針對的語言進行建模

理論上，包括正則語言，上下文無關文法在內的各種語言模型都可以作為語言模型，但目前各種系統普遍採用的還是基於統計的N元文法及其變體

解碼器

解碼器是語音識別系統的核心之一，其任務是對輸入的信號，根據聲學、語言模型及詞典，尋找能夠以最大概率輸出該信號的詞串

從數學角度可以更加清楚的了解上述模塊之間的關系

首先，統計語含慎音識別的最基本問題是，給定輸入信號或特徵序列，符號集（詞典），求解符閉老型號串使得：圖像識別比語音識別演算法的復雜度高多少倍

5. 卷積神經網路（Convolutional Neural Networks, CNN)——更有效率地提取特徵

卷積神經網路（Convolutional Neural Networks, CNN)——更有效率地提取特徵

圖像識別問題本質上就是分類問題，比如我們要區分貓和狗，那麼我們就需要構建一個模型，將照片丟進去後，模型能輸出貓或者狗的概率有多大。在做圖像識別時首要的就是要提取圖片的特徵，那麼如何提取圖片的特徵呢？前面講到了前向全連接網路，我們可以嘗試用前向全連接網路提取。假設圖片的像素是100*100，如果如片是彩色的，每個像素都有RGB三種顏色的數值。因此，一張圖片是有一個三維向量構成的，一維是長100，一維是寬100，還有一維是R、G、B 3個通道（channels）。把這個三維向量拉直作為一個一維向量，長度就是100*100*3。

我們在區分一張圖片時，我們觀察的往往是圖片的局部的、最重要的特徵。 比如圖片上是一隻鳥，我們可能通過嘴巴、眼睛、爪子等就可以判斷出是一隻鳥了。因此，輸入層的每一個神經元沒有必要看圖片的全局，只需要看一個局部就行了。

在兩張不同的圖片上，同一個特徵區域可能處於不同位置。 比如鳥嘴的局部特徵區域在下面這兩張圖上就處在不同的位置上。那麼如何才能讓兩個不同的神經元在看到這兩個不同的感受野時，能產生一致的特徵值呢？

對上面的內容進行一個總結：
（1）我們設置一個局部感受野，假設感受野的大小為W*H*C，其中W表示感受野的寬度，H表示感受野的高度，C表示感受野的通道數。那麼對應的神經元的參數的個數就為：W*H*C個權值加1個偏置。在卷積神經網路中，我們稱這樣一個神經元為一個 濾波器（filter） 。
（3）我們通過滑動的方式讓感受野鋪滿整個圖片，假設圖片的尺寸是W1*H1*C，滑動步長為S，零填充的數量為P。假設感受野的個數是W2*H2，其中，
(4)我們讓所有感受野的觀測濾波器參數進行共享，即相當於一個濾波器通過滑動掃描的方式掃描了所有感受野。
（5）我們設置多個濾波器，假設濾波器的個數為K，這K個濾波器都通過滑動掃描的方式掃過整個圖片。此時參數的個數為：（W*H*C+1）*K。
（6）由於每個濾波器每經過一個感受野都會進行一次計算輸出一個值，所以輸出的維度為：W2*H2*K。我們將這個輸出稱為特徵圖，所以特徵圖寬度為W2，高度為H2，通道數C2=K。
舉個例子： 假設某個圖片的大小是100*100*3，設置濾波器的大小為3*3*3，濾波器的個數為64，設置步長S=1，設置零填充的數量為P=0。那麼卷積神經網路的參數為， 相比前向全連接 個參數，參數的個數縮小了幾個數量級。
輸出特徵圖的寬度和高度均為， 輸出特徵圖的通道數為， 所以輸出特徵圖的維度為98*98*64。
如果在上面輸出的基礎上再疊加一層卷積神經網路，濾波器的設置寬和高可以不變，但是通道數不再是3了，而是變成64了，因為輸入特徵圖的通道數已經變64了。假設濾波器的大小為3*3*64，濾波器的個數為32，設置步長S=1，設置零填充的數量為P=0。可以計算出來，新的輸出特徵圖的維度是96*96*32。

以上就是卷積神經網路（CNN）的解析。但是CNN一般不是單獨用的，因為一般提取圖片的特徵是為了分類，還需要進一步處理，常見的形式如下圖所示。

6. 模糊神經網路的基本形式

模糊神經網路有如下三種形式：
1．邏輯模糊神經網路
2．算術模糊神經網路
3．混合模糊神經網路
模糊神經網路就是具有模糊權系數或者輸入信號是模糊量的神經網路。上面三種形式的模糊神經網路中所執行的運算方法不同。
模糊神經網路無論作為逼近器，還是模式存儲器，都是需要學習和優化權系數的。學習演算法是模糊神經網路優化權系數的關鍵。對於邏輯模糊神經網路，可採用基於誤差的學習演算法，也即是監視學習演算法。對於算術模糊神經網路，則有模糊BP演算法，遺傳演算法等。對於混合模糊神經網路，目前尚未有合理的演算法；不過，混合模糊神經網路一般是用於計算而不是用於學習的，它不必一定學習。

7. 關於卷積神經網路對一維信號的特徵提取問題

你好，對信號的特徵提取在數學上看其實就是做一個濾波的運算，實際上都是通過卷積來實現的。下面是一個matlab的實現：

function r= my_conv(a, b)
m=length(a);
n=length(b);
r=zeros(1, m+n-1);
for k = 1:m
c = a(k)*b;
d = r(1, k:k+n-1);
d = d+c;
r(1, k:k+n-1) = d;
end