① 神經網路的訓練，究竟在訓練什麼
前面我們已經了解到神經網路進行預測的過程，但是仍然留下許多疑問，比如權重值如何獲得，如何訓練神經網路等，這些問題我們將在本文展開。
權重值也就是前文所提到的小蜘蛛的道具，沒有看過的朋友可以先看看我的上一個博客。
權重值該如何獲得呢？
我們以最簡單的三個神經元的神經網路舉例子：
最左邊的神經元是起點，最右邊的是終點，只有中間的神經元有權重值。
我們先來 離散 的獲得一部分點：
我們可以隱約地看到這些點大約分布在一條直線附近, 我們把這條直線畫出來
那我們如何通過這幾個點來獲得這條紅色的線呢？
這十個已知的點分別是什麼？
第一列表示x軸的坐標，第二列表示y軸的坐標
其實思路就是用最小二乘法，先假設隨便畫一條線
我畫了一條 y=0.1x+0.1 的線如圖所示
顯然我們畫的線差距很大，此時使用最小二乘法,就是每個點到直線的距離加起來，再用梯度下降法來優化！
好的，如果我這么說，肯定和每說一樣，那麼我 一步一步 來
第一個點的坐標是（1， 0.16375502570787515），我們把x=1帶入y=0.1x+0.1這個函數，得到y=0.2
顯然我們正確的y應該是0.163,那麼正確的y，和我們在y=0.1x+0.1得到的y值差距是多大呢？差距是:(0.163-0.2)^2
我們要想辦法減小這個差距
差距是怎麼得到的？ 預測值減去真實值再平方 ，用數學語言就是(0.1*1+0.1-0.2)^2 ==> (wx+b-2)^2
就是說我們要對函數 (y - wx+b)^2 獲得的值最小，也就是求這個函數的 最小值 ，高中數學就講到求函數最小值的方法就是 求導 ，這是二元函數，就是高考最喜歡做的題目！！！求導之後畫出導數函數的圖像，然後與0相交的點就是極小值點！大家應該很熟悉這個步驟。
不過
這個函數有w和b兩個未知數，我們的思路是正確的，只是不能通過這種方式獲得最小值，所以這里我們求的是對w和對b的偏導數，（ 這里需要微積分學歷 ）對w的偏導數就是 2w(wx+b-y) 。對b的偏導數就是 2(wx+b-y) 。
此時我們把第一個點的數據代入 x=1, y=0.163, w=0.1, b=0.1
對w的偏導數等於 0.0326
對b的偏導數等於 0.326
此時，我們設定一個步長，也叫學習率，假設等於0.2吧，
那麼，
我們已經更新了w和b的值，只要重復這個步驟足夠多的次數，那麼就可以得到很接近紅色的線。
其實，這就是神經網路的訓練過程。
先把我們已經有的值傳入網路，網路一開始的權重值是隨機的，傳入網路得到一個預測值，這個預測值會和真實值有一定的差距，那麼我們優化這個差距，讓這個差距變小，其實這就是一個反向傳播的過程，我們用數學計算來更新了w和b的值，那麼下一次傳入網路得到的預測值與真實值之間的距離就會減小，周而復始，這個距離不斷減小，我們就可以得到一個預測能力比較好的w和b，也就是擬合能力比較強的網路，就可以對未知的數據得到較為准確的結果。
② 怎麼將網路語言與經典有機結合起來
要講網路語言進行創新和經典有機的結合起來。
網路語言，是網路時代的產物，可以有所創新，但也要融入我們一脈相承的文化血脈當中。否則，網路語言也終將只會曇花一現，難以發揮更大的作用。
要做到這些，對個人來說，學會獨立思考，訓練自己的語言邏輯，十分重要；對社會來說，創造一個鼓勵多元化表達的環境和氛圍，引導大家多讀經典之作，用大家喜聞樂見的形式介紹優秀傳統文化，這些也都將為網路語言注入新的活力。
因此，對於網路語言，沒有必要一味地排斥，畢竟它是網路時代的產物，簡單、直接地表達也是順應了互聯網時代的發展趨勢，它的產生不是偶然的，而是在一定的社會土壤之上成長出來的。
同互聯網一樣，網路語言也是新興事物，也需要更多引導，讓它走在正確軌道上，便能為人類的發展做出積極的貢獻。網路語言是一種文化表現形式，我們期待它能涌現出更多擁有正能量的流行語，豐富人類的語言體系，為人類文明的長河做有益的注腳。
③ 如何使用SparkNet進行分布式深度神經網路訓練
這兩個概念實際上是互相交叉的，例如，卷積神經網路（Convolutional neural networks，簡稱CNNs）就是一種深度的監督學習下的機器學習模型，而深度置信網（Deep Belief Nets，簡稱DBNs）就是一種無監督學習下的機器學習模型。
深度學習的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現數據的分布式特徵表示。
深度學習的概念由Hinton等人於2006年提出。基於深信度網(DBN)提出非監督貪心逐層訓練演算法，為解決深層結構相關的優化難題帶來希望，隨後提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網路是第一個真正多層結構學習演算法，它利用空間相對關系減少參數數目以提高訓練性能。
④ 神經網路，訓練樣本500條，為什麼比訓練樣本6000條，訓練完，500條預測比6000條樣本好！
並非訓練樣本越多越好，因課題而異。 1、樣本最關鍵在於正確性和准確性。你所選擇的樣本首先要能正確反映該系統過程的內在規律。我們從生產現場採得的樣本數據中有不少可能是壞樣本，這樣的樣本會干擾你的神經網路訓練。通常我們認為壞樣本只是個別現象，所以我們希望通過盡可能大的樣本規模來抵抗壞樣本造成的負面影響。 2、其次是樣本數據分布的均衡性。你所選擇的樣本最好能涉及到該系統過程可能發生的各種情況，這樣可以極大可能的照顧到系統在各個情況下的規律特徵。通常我們對系統的內在規律不是很了解，所以我們希望通過盡可能大的樣本規模來「地毯式」覆蓋對象系統的方方面面。 3、再次就是樣本數據的規模，也就是你要問的問題。在確保樣本數據質量和分布均衡的情況下，樣本數據的規模決定你神經網路訓練結果的精度。樣本數據量越大，精度越高。由於樣本規模直接影響計算機的運算時間，所以在精度符合要求的情況下，我們不需要過多的樣本數據，否則我們要等待很久的訓練時間。 補充說明一下，不論是徑向基（rbf）神經網路還是經典的bp神經網路，都只是具體的訓練方法，對於足夠多次的迭代，訓練結果的准確度是趨於一致的，方法隻影響計算的收斂速度（運算時間），和樣本規模沒有直接關系。
如何確定何時訓練集的大小是「足夠大」的？
神經網路的泛化能力主要取決於3個因素：
1.訓練集的大小
2.網路的架構
3.問題的復雜程度
一旦網路的架構確定了以後，泛化能力取決於是否有充足的訓練集。合適的訓練樣本數量可以使用Widrow的拇指規則來估計。 拇指規則指出，為了得到一個較好的泛化能力，我們需要滿足以下條件（Widrow and Stearns，1985；Haykin，2008）： N = nw / e 其中，N為訓練樣本數量，nw是網路中突觸權重的數量，e是測試允許的網路誤差。 因此，假如我們允許10%的誤差，我們需要的訓練樣本的數量大約是網路中權重數量的10倍。
⑤ 深度學習之卷積神經網路經典模型
LeNet-5模型 在CNN的應用中，文字識別系統所用的LeNet-5模型是非常經典的模型。LeNet-5模型是1998年，Yann LeCun教授提出的，它是第一個成功大規模應用在手寫數字識別問題的卷積神經網路，在MNIST數據集中的正確率可以高達99.2%。
下面詳細介紹一下LeNet-5模型工作的原理。
LeNet-5模型一共有7層，每層包含眾多參數，也就是卷積神經網路中的參數。雖然層數只有7層，這在如今龐大的神經網路中可是說是非常少的了，但是包含了卷積層，池化層，全連接層，可謂麻雀雖小五臟俱全了。為了方便，我們把卷積層稱為C層，下采樣層叫做下采樣層。
首先，輸入層輸入原始圖像，原始圖像被處理成32×32個像素點的值。然後，後面的隱層計在卷積和子抽樣之間交替進行。C1層是卷積層，包含了六個特徵圖。每個映射也就是28x28個神經元。卷積核可以是5x5的十字形，這28×28個神經元共享卷積核權值參數，通過卷積運算，原始信號特徵增強，同時也降低了雜訊，當卷積核不同時，提取到圖像中的特徵不同；C2層是一個池化層，池化層的功能在上文已經介紹過了，它將局部像素值平均化來實現子抽樣。
池化層包含了六個特徵映射，每個映射的像素值為14x14，這樣的池化層非常重要，可以在一定程度上保證網路的特徵被提取，同時運算量也大大降低，減少了網路結構過擬合的風險。因為卷積層與池化層是交替出現的，所以隱藏層的第三層又是一個卷積層，第二個卷積層由16個特徵映射構成，每個特徵映射用於加權和計算的卷積核為10x10的。第四個隱藏層，也就是第二個池化層同樣包含16個特徵映射，每個特徵映射中所用的卷積核是5x5的。第五個隱藏層是用5x5的卷積核進行運算，包含了120個神經元，也是這個網路中卷積運算的最後一層。
之後的第六層便是全連接層，包含了84個特徵圖。全連接層中對輸入進行點積之後加入偏置，然後經過一個激活函數傳輸給輸出層的神經元。最後一層，也就是第七層，為了得到輸出向量，設置了十個神經元來進行分類，相當於輸出一個包含十個元素的一維數組，向量中的十個元素即0到9。
AlexNet模型
AlexNet簡介
2012年Imagenet圖像識別大賽中，Alext提出的alexnet網路模型一鳴驚人，引爆了神經網路的應用熱潮，並且贏得了2012屆圖像識別大賽的冠軍，這也使得卷積神經網路真正意義上成為圖像處理上的核心演算法。上文介紹的LeNet-5出現在上個世紀，雖然是經典，但是迫於種種復雜的現實場景限制，只能在一些領域應用。不過，隨著SVM等手工設計的特徵的飛速發展，LeNet-5並沒有形成很大的應用狀況。隨著ReLU與dropout的提出，以及GPU帶來算力突破和互聯網時代大數據的爆發，卷積神經網路帶來歷史的突破，AlexNet的提出讓深度學習走上人工智慧的最前端。
圖像預處理
AlexNet的訓練數據採用ImageNet的子集中的ILSVRC2010數據集，包含了1000類，共1.2百萬的訓練圖像，50000張驗證集，150000張測試集。在進行網路訓練之前我們要對數據集圖片進行預處理。首先我們要將不同解析度的圖片全部變成256x256規格的圖像，變換方法是將圖片的短邊縮放到 256像素值，然後截取長邊的中間位置的256個像素值，得到256x256大小的圖像。除了對圖片大小進行預處理，還需要對圖片減均值，一般圖像均是由RGB三原色構成，均值按RGB三分量分別求得，由此可以更加突出圖片的特徵，更方便後面的計算。
此外，對了保證訓練的效果，我們仍需對訓練數據進行更為嚴苛的處理。在256x256大小的圖像中，截取227x227大小的圖像，在此之後對圖片取鏡像，這樣就使得原始數據增加了（256-224）x（256-224）x2= 2048倍。最後對RGB空間做PCA，然後對主成分做（0,0.1）的高斯擾動，結果使錯誤率下降1%。對測試數據而言，抽取以圖像4個角落的大小為224224的圖像，中心的224224大小的圖像以及它們的鏡像翻轉圖像，這樣便可以獲得10張圖像，我們便可以利用softmax進行預測，對所有預測取平均作為最終的分類結果。
ReLU激活函數
之前我們提到常用的非線性的激活函數是sigmoid，它能夠把輸入的連續實值全部確定在0和1之間。但是這帶來一個問題，當一個負數的絕對值很大時，那麼輸出就是0；如果是絕對值非常大的正數，輸出就是1。這就會出現飽和的現象，飽和現象中神經元的梯度會變得特別小，這樣必然會使得網路的學習更加困難。此外，sigmoid的output的值並不是0為均值，因為這會導致上一層輸出的非0均值信號會直接輸入到後一層的神經元上。所以AlexNet模型提出了ReLU函數，公式：f(x)=max(0,x)f(x)=max(0,x)。
用ReLU代替了Sigmoid，發現使用 ReLU 得到的SGD的收斂速度會比 sigmoid快很多，這成了AlexNet模型的優勢之一。
Dropout
AlexNet模型提出了一個有效的模型組合方式，相比於單模型，只需要多花費一倍的時間，這種方式就做Dropout。在整個神經網路中，隨機選取一半的神經元將它們的輸出變成0。這種方式使得網路關閉了部分神經元，減少了過擬合現象。同時訓練的迭代次數也得以增加。當時一個GTX580 GPU只有3GB內存，這使得大規模的運算成為不可能。但是，隨著硬體水平的發展，當時的GPU已經可以實現並行計算了，並行計算之後兩塊GPU可以互相通信傳輸數據，這樣的方式充分利用了GPU資源，所以模型設計利用兩個GPU並行運算，大大提高了運算效率。
模型分析
AlexNet模型共有8層結構，其中前5層為卷積層，其中前兩個卷積層和第五個卷積層有池化層，其他卷積層沒有。後面3層為全連接層，神經元約有六十五萬個，所需要訓練的參數約六千萬個。
圖片預處理過後，進過第一個卷積層C1之後，原始的圖像也就變成了55x55的像素大小，此時一共有96個通道。模型分為上下兩塊是為了方便GPU運算，48作為通道數目更加適合GPU的並行運算。上圖的模型里把48層直接變成了一個面，這使得模型看上去更像一個立方體，大小為55x55x48。在後面的第二個卷積層C2中，卷積核的尺寸為5x5x48，由此再次進行卷積運算。在C1，C2卷積層的卷積運算之後，都會有一個池化層，使得提取特徵之後的特徵圖像素值大大減小，方便了運算，也使得特徵更加明顯。而第三層的卷積層C3又是更加特殊了。第三層卷積層做了通道的合並，將之前兩個通道的數據再次合並起來，這是一種串接操作。第三層後，由於串接，通道數變成256。全卷積的卷積核尺寸也就變成了13×13×25613×13×256。一個有4096個這樣尺寸的卷積核分別對輸入圖像做4096次的全卷積操作，最後的結果就是一個列向量，一共有4096個數。這也就是最後的輸出，但是AlexNet最終是要分1000個類，所以通過第八層，也就是全連接的第三層，由此得到1000個類輸出。
Alexnet網路中各個層發揮了不同的作用，ReLU，多個CPU是為了提高訓練速度，重疊pool池化是為了提高精度，且不容易產生過擬合，局部歸一化響應是為了提高精度，而數據增益與dropout是為了減少過擬合。
VGG net
在ILSVRC-2014中，牛津大學的視覺幾何組提出的VGGNet模型在定位任務第一名和分類任務第一名[[i]]。如今在計算機視覺領域，卷積神經網路的良好效果深得廣大開發者的喜歡，並且上文提到的AlexNet模型擁有更好的效果，所以廣大從業者學習者試圖將其改進以獲得更好地效果。而後來很多人經過驗證認為，AlexNet模型中所謂的局部歸一化響應浪費了計算資源，但是對性能卻沒有很大的提升。VGG的實質是AlexNet結構的增強版，它側重強調卷積神經網路設計中的深度。將卷積層的深度提升到了19層，並且在當年的ImageNet大賽中的定位問題中獲得了第一名的好成績。整個網路向人們證明了我們是可以用很小的卷積核取得很好地效果，前提是我們要把網路的層數加深，這也論證了我們要想提高整個神經網路的模型效果，一個較為有效的方法便是將它的深度加深，雖然計算量會大大提高，但是整個復雜度也上升了，更能解決復雜的問題。雖然VGG網路已經誕生好幾年了，但是很多其他網路上效果並不是很好地情況下，VGG有時候還能夠發揮它的優勢，讓人有意想不到的收獲。
與AlexNet網路非常類似，VGG共有五個卷積層，並且每個卷積層之後都有一個池化層。當時在ImageNet大賽中，作者分別嘗試了六種網路結構。這六種結構大致相同，只是層數不同，少則11層，多達19層。網路結構的輸入是大小為224*224的RGB圖像，最終將分類結果輸出。當然，在輸入網路時，圖片要進行預處理。
VGG網路相比AlexNet網路，在網路的深度以及寬度上做了一定的拓展，具體的卷積運算還是與AlexNet網路類似。我們主要說明一下VGG網路所做的改進。第一點，由於很多研究者發現歸一化層的效果並不是很好，而且佔用了大量的計算資源，所以在VGG網路中作者取消了歸一化層；第二點，VGG網路用了更小的3x3的卷積核，而兩個連續的3x3的卷積核相當於5x5的感受野，由此類推，三個3x3的連續的卷積核也就相當於7x7的感受野。這樣的變化使得參數量更小，節省了計算資源，將資源留給後面的更深層次的網路。第三點是VGG網路中的池化層特徵池化核改為了2x2，而在AlexNet網路中池化核為3x3。這三點改進無疑是使得整個參數運算量下降，這樣我們在有限的計算平台上能夠獲得更多的資源留給更深層的網路。由於層數較多，卷積核比較小，這樣使得整個網路的特徵提取效果很好。其實由於VGG的層數較多，所以計算量還是相當大的，卷積層比較多成了它最顯著的特點。另外，VGG網路的拓展性能比較突出，結構比較簡潔，所以它的遷移性能比較好，遷移到其他數據集的時候泛化性能好。到現在為止，VGG網路還經常被用來提出特徵。所以當現在很多較新的模型效果不好時，使用VGG可能會解決這些問題。
GoogleNet
谷歌於2014年Imagenet挑戰賽（ILSVRC14）憑借GoogleNet再次斬獲第一名。這個通過增加了神經網路的深度和寬度獲得了更好地效果，在此過程中保證了計算資源的不變。這個網路論證了加大深度，寬度以及訓練數據的增加是現有深度學習獲得更好效果的主要方式。但是增加尺寸可能會帶來過擬合的問題，因為深度與寬度的加深必然會帶來過量的參數。此外，增加網路尺寸也帶來了對計算資源侵佔過多的缺點。為了保證計算資源充分利用的前提下去提高整個模型的性能，作者使用了Inception模型，這個模型在下圖中有展示，可以看出這個有點像金字塔的模型在寬度上使用並聯的不同大小的卷積核，增加了卷積核的輸出寬度。因為使用了較大尺度的卷積核增加了參數。使用了1*1的卷積核就是為了使得參數的數量最少。
Inception模塊
上圖表格為網路分析圖，第一行為卷積層，輸入為224×224×3 ，卷積核為7x7，步長為2，padding為3，輸出的維度為112×112×64，這裡面的7x7卷積使用了 7×1 然後 1×7 的方式，這樣便有(7+7)×64×3=2,688個參數。第二行為池化層，卷積核為3×33×3，滑動步長為2，padding為 1 ，輸出維度：56×56×64，計算方式：1/2×(112+2×1?3+1)=56。第三行，第四行與第一行，第二行類似。第 5 行 Inception mole中分為4條支線，輸入均為上層產生的 28×28×192 結果：第 1 部分，1×1 卷積層，輸出大小為28×28×64；第 2 部分，先1×1卷積層，輸出大小為28×28×96，作為輸入進行3×3卷積層，輸出大小為28×28×128；第 3部分，先1×1卷積層，輸出大小為28×28×32，作為輸入進行3×3卷積層，輸出大小為28×28×32；而第3 部分3×3的池化層，輸出大小為輸出大小為28×28×32。第5行的Inception mole會對上面是個結果的輸出結果並聯，由此增加網路寬度。
ResNet
2015年ImageNet大賽中，MSRA何凱明團隊的ResialNetworks力壓群雄，在ImageNet的諸多領域的比賽中上均獲得了第一名的好成績，而且這篇關於ResNet的論文Deep Resial Learning for Image Recognition也獲得了CVPR2016的最佳論文，實至而名歸。
上文介紹了的VGG以及GoogleNet都是增加了卷積神經網路的深度來獲得更好效果，也讓人們明白了網路的深度與廣度決定了訓練的效果。但是，與此同時，寬度與深度加深的同時，效果實際會慢慢變差。也就是說模型的層次加深，錯誤率提高了。模型的深度加深，以一定的錯誤率來換取學習能力的增強。但是深層的神經網路模型犧牲了大量的計算資源，學習能力提高的同時不應當產生比淺層神經網路更高的錯誤率。這個現象的產生主要是因為隨著神經網路的層數增加，梯度消失的現象就越來越明顯。所以為了解決這個問題，作者提出了一個深度殘差網路的結構Resial：
上圖就是殘差網路的基本結構，可以看出其實是增加了一個恆等映射，將原本的變換函數H(x)轉換成了F(x)+x。示意圖中可以很明顯看出來整個網路的變化，這樣網路不再是簡單的堆疊結構，這樣的話便很好地解決了由於網路層數增加而帶來的梯度原來越不明顯的問題。所以這時候網路可以做得很深，到目前為止，網路的層數都可以上千層，而能夠保證很好地效果。並且，這樣的簡單疊加並沒有給網路增加額外的參數跟計算量，同時也提高了網路訓練的效果與效率。
在比賽中，為了證明自己觀點是正確的，作者控制變數地設計幾個實驗。首先作者構建了兩個plain網路，這兩個網路分別為18層跟34層，隨後作者又設計了兩個殘差網路，層數也是分別為18層和34層。然後對這四個模型進行控制變數的實驗觀察數據量的變化。下圖便是實驗結果。實驗中，在plain網路上觀測到明顯的退化現象。實驗結果也表明，在殘差網路上，34層的效果明顯要好於18層的效果，足以證明殘差網路隨著層數增加性能也是增加的。不僅如此，殘差網路的在更深層的結構上收斂性能也有明顯的提升，整個實驗大為成功。
除此之外，作者還做了關於shortcut方式的實驗，如果殘差網路模塊的輸入輸出維度不一致，我們如果要使維度統一，必須要對維數較少的進行増維。而增維的最好效果是用0來填充。不過實驗數據顯示三者差距很小，所以線性投影並不是特別需要。使用0來填充維度同時也保證了模型的復雜度控制在比較低的情況下。
隨著實驗的深入，作者又提出了更深的殘差模塊。這種模型減少了各個層的參數量，將資源留給更深層數的模型，在保證復雜度很低的情況下，模型也沒有出現梯度消失很明顯的情況，因此目前模型最高可達1202層，錯誤率仍然控製得很低。但是層數如此之多也帶來了過擬合的現象，不過諸多研究者仍在改進之中，畢竟此時的ResNet已經相對於其他模型在性能上遙遙領先了。
殘差網路的精髓便是shortcut。從一個角度來看，也可以解讀為多種路徑組合的一個網路。如下圖：
ResNet可以做到很深，但是從上圖中可以體會到，當網路很深，也就是層數很多時，數據傳輸的路徑其實相對比較固定。我們似乎也可以將其理解為一個多人投票系統，大多數梯度都分布在論文中所謂的effective path上。
DenseNet
在Resnet模型之後，有人試圖對ResNet模型進行改進，由此便誕生了ResNeXt模型。
這是對上面介紹的ResNet模型結合了GoogleNet中的inception模塊思想，相比於Resnet來說更加有效。隨後，誕生了DenseNet模型，它直接將所有的模塊連接起來，整個模型更加簡單粗暴。稠密相連成了它的主要特點。
我們將DenseNet與ResNet相比較:
從上圖中可以看出，相比於ResNet，DenseNet參數量明顯減少很多，效果也更加優越，只是DenseNet需要消耗更多的內存。
總結
上面介紹了卷積神經網路發展史上比較著名的一些模型，這些模型非常經典，也各有優勢。在算力不斷增強的現在，各種新的網路訓練的效率以及效果也在逐漸提高。從收斂速度上看，VGG>Inception>DenseNet>ResNet,從泛化能力來看，Inception>DenseNet=ResNet>VGG，從運算量看來，Inception<DenseNet< ResNet<VGG，從內存開銷來看，Inception<ResNet< DenseNet<VGG。在本次研究中，我們對各個模型均進行了分析，但從效果來看，ResNet效果是最好的，優於Inception，優於VGG，所以我們第四章實驗中主要採用谷歌的Inception模型，也就是GoogleNet。
⑥ 談一下你如何利用網路 練習/提高 英語口語
http://..com/q?word=%C8%E7%BA%CE%CC%E1%B8%DF%D3%A2%D3%EF%BF%DA%D3%EF%C4%DC%C1%A6&ct=17&pn=0&tn=ikaslist&rn=10
相信對你會有所幫助!
當代社會是個開放社會，信息社會，人們越來越重視交際，而我國改革開放的成功也日益提高了我國在世界上的地位，我們與世界各國交流的領域越來越廣了，沒有出眾的英語口語表達將會寸步難行。
而要提高英語口語表達能力，就要先了解英語口語表達的過程是怎樣發生的。大家知道，語言是思維的外殼。口語表達的過程，實際上是一個復雜的心理和生理過程，是思維藉助詞語按一定句式迅速轉換為有聲言語的過程。因此，口語能力的強弱取決於：
1、思維能力的強弱，特別是與口語有關的思維的條理性、敏銳性與靈活性，這是關鍵。
2、准確、迅速地組織言語（選詞、造句、組段、構篇）能力的強弱，這是基礎。
3、運用語言的能力的強弱，這是前提。
根據口語表達循序漸進的一般規律，口語訓練的重點應是培養敏銳的思維和強烈的語感。具體包括：
1、語音。學會科學發聲方法，能用准確、響亮、流暢的英語進行口頭表達。
2、語調。能藉助聲音高低升降、抑揚頓挫的變化來表達復雜的感情，掌握停連和輕重、抑揚和明暗、快慢和松緊等一般的朗讀技巧。
3、詞彙。能掌握比較豐富的口語詞彙。
4、語脈。說話能做到有條有理、語言流暢、上下貫通、一脈相承。
5、語境。說話注意目的、對象、場合，合乎規定情景的要求，講禮貌、有針對性。懂得口語修辭。在會話中有隨機應變的能力。
此外，還要懂得口頭言語的輔助手段－－ 表情、姿勢、 動作等態勢言語的運用。
由於書面語和口語是相互滲透、相互促進的，為提高口語的表現力，可在說話訓練之前先進行一章朗讀、朗誦訓練。聽和說是一個事物的兩個方面，吸收、表達兩者不能偏廢，所以口語訓練體系中也應包括。通過以上訓練，掌握一定的朗讀朗誦技巧，培養准確、流利、有感情地朗讀朗誦一般作品的能力，特別注意培養強烈的語感。
3、聽力訓練
培養聽的注意力、理解力、記憶力和辨析力，提高聽知能力，養成良好的聽的習慣。
4、口語表達基本方式訓練
進行敘述、描述、評述、解說等口語表達基本方式的訓練，培養內部言語向外部言語迅速轉化的能力，結合進行語調、語脈的訓練。
5、會話型言語訓練
言語形式有會話型和獨白型兩類。會話是指兩個以上的人圍繞一個或幾個話題一起說話的形式，如交談、座談、辯論、審訊等。會話時參加者是互為聽、講者的，因此後面的發言常常受到前面發言的制約。另外，由於當面交談，大量態勢語代替了言語表達，會話者的言語結構往往不嚴謹、不完善，省略句較多。
可進行如下訓練：通過交談和辯論兩種會話言語訓練，了解它們的一般特點、注意事項，結合進行應變能力和禮貌用語的訓練，從而在會話中有效地培養隨機應變的能力。
6、獨白型言語訓練
獨白是指一個人單獨發言而其他人都作為聽眾的言語表達形式，如：講故事、作報告、講課、演講、講解員的解說等。獨白言語一般不在進行過程中跟聽眾問答交流，因此要求在事先要周密地了解聽眾的要求並系統地組織好發言內容和有關態勢語。獨白是一種高層次的言語形式。
可通過講故事和演講兩種獨白言語的訓練，了解它們的一般特點、注意事項，結合進行運用態勢語的訓練，這類訓練很有利於培養思維的條理性和連貫性。
7、即興小品訓練
即興小品要求表演者按照規定的題目和要求，在規定的時間內，充分發揮自己的想像，不用或少用道具，通過言語和動作的表演，展現社會生活中的某個瞬間或片斷，表達一個簡單的主題。
嚴格地說，小品應該是話劇藝術表演訓練的一種形式，但由於它具有綜合的特點，對訓練思維的創造性、敏捷性、條理性、言語表達的准確性、形象性、流暢性，以及應變力，乃至姿勢的綜合運用等等，都有很大的好處，所以我們要想英語口語表達能力更上一個層次，這種形式的訓練也要加以採用。
懂得了英語口語表達的規律，並不等於就有了一口流暢的英語表達口才，就好象讀了介紹游泳的書並不等於一定會游泳一樣，關鍵還是要在長期的時實踐中持之以恆地艱苦磨練。這種訓練不同於我們平時常聽常說的那種日常英語口語訓練。日常的英語口語訓練與之相比簡單得多，所用的詞彙量及話題所涉及的深度都是相當有限的。而真正高層次的英語口語交際所需達到的流暢性、條理性、敏銳性和靈活性並不是常練一些日常用語就能達到的，其中用到的詞彙量也因話題的深入和多樣而大大增加了。
所以，要想真正地提高英語口語，說一口流利而又有水平的交際英語，得有對英語口語表達感興趣作為前提，懂得以上的規律，重視運用以上的訓練步驟，加上長期的艱苦訓練，才會有成效，才會達到目的。聽力訓練，當然，在訓練過程中，聽和說是無法截然分開的。
因此，英語口語訓練體系可按以下順序安排：
1、語音訓練
在學習英語語音知識的基礎上加強語音訓練，進行方音辨正練習。通過學習，打好英語語音知識，有一定的辨音能力，能用英語正確、清楚、響亮地表達。
2、朗讀朗誦訓練
進行呼吸、發聲與共鳴訓練，吐字納音的訓練，以及各種朗讀朗誦技巧的訓練，學會常用文體的朗讀、朗誦，懂得在朗誦中恰當使用態勢語
⑦ 怎樣用weka對數據進行神經網路訓練
常用的神經網路就是向前反饋的BP(Back Propagation)網路，也叫多層前饋網路，而BP在weka中就是由MultilayerPerceptron演算法實現的。
所以呢
在weka explorer中選用classifiers.functions.MultilayerPerceptron訓練分類模型就可以了^^
⑧ 如何訓練神經網路
1、先別著急寫代碼
訓練神經網路前，別管代碼，先從預處理數據集開始。我們先花幾個小時的時間，了解數據的分布並找出其中的規律。
Andrej有一次在整理數據時發現了重復的樣本，還有一次發現了圖像和標簽中的錯誤。所以先看一眼數據能避免我們走很多彎路。
由於神經網路實際上是數據集的壓縮版本，因此您將能夠查看網路（錯誤）預測並了解它們的來源。如果你的網路給你的預測看起來與你在數據中看到的內容不一致，那麼就會有所收獲。
一旦從數據中發現規律，可以編寫一些代碼對他們進行搜索、過濾、排序。把數據可視化能幫助我們發現異常值，而異常值總能揭示數據的質量或預處理中的一些錯誤。
2、設置端到端的訓練評估框架
處理完數據集，接下來就能開始訓練模型了嗎？並不能！下一步是建立一個完整的訓練+評估框架。
在這個階段，我們選擇一個簡單又不至於搞砸的模型，比如線性分類器、CNN，可視化損失。獲得准確度等衡量模型的標准，用模型進行預測。
這個階段的技巧有：
· 固定隨機種子
使用固定的隨機種子，來保證運行代碼兩次都獲得相同的結果，消除差異因素。
· 簡單化
在此階段不要有任何幻想，不要擴增數據。擴增數據後面會用到，但是在這里不要使用，現在引入只會導致錯誤。
· 在評估中添加有效數字
在繪制測試集損失時，對整個測試集進行評估，不要只繪制批次測試損失圖像，然後用Tensorboard對它們進行平滑處理。
· 在初始階段驗證損失函數
驗證函數是否從正確的損失值開始。例如，如果正確初始化最後一層，則應在softmax初始化時測量-log(1/n_classes)。
· 初始化
正確初始化最後一層的權重。如果回歸一些平均值為50的值，則將最終偏差初始化為50。如果有一個比例為1:10的不平衡數據集，請設置對數的偏差，使網路預測概率在初始化時為0.1。正確設置這些可以加速模型的收斂。
· 人類基線
監控除人為可解釋和可檢查的損失之外的指標。盡可能評估人的准確性並與之進行比較。或者對測試數據進行兩次注釋，並且對於每個示例，將一個注釋視為預測，將第二個注釋視為事實。
· 設置一個獨立於輸入的基線
最簡單的方法是將所有輸入設置為零，看看模型是否學會從輸入中提取任何信息。
· 過擬合一個batch
增加了模型的容量並驗證我們可以達到的最低損失。
· 驗證減少訓練損失
嘗試稍微增加數據容量。
⑨ 怎樣fine－tuning
我們有自己的圖像識別任務，然而我們的數據集太小，直接進行訓練很容易出現過擬合現象
所以比較好的解決方案是先在一個大數據集中訓練以提取比較准確的淺層特徵，然後 再針對這個訓練過的網路利用我們的數據集進行訓練 ，那麼效果就會好很多。這個過程就是fine－tuning。
大家都注意到了這個情況，所以
（1）FeifeiLi帶頭創建imagenet，這個圖像庫非常巨大，滿足我們預先訓練的各種要求，另外近期Google發布Open Images，包含900w labeled images，媲美Imagenet dataset。
（2）有些網路結構非常經典，比如Alexnet，Googlenet，VGGnet，ResNet等等，如果我們想利用這些網路去做自己的應用，就首先要把它們在大數據集（imagenet等等）中訓練，然後再用自己的數據訓練；顯然前面一步是重復的步驟，並且非常耗時耗力（可能花費數台機器數周時間）。所以針對上述問題各種深度學習庫（caffe、Tensorflow、torch）等等就預先用經典網路訓練在imagenet上訓練，把模型（各個參數）公布網上，我們直接拿來用即可，省去了大量pre－train的時間。這些模型（參數）就是model zoo
1.在imagenet訓練最終輸出是1000個分類，所以網路結構大概是經典網路—全連接層（前面）—最後的全連接層（1000輸出）。
2.如果我們要進行fine－tuning
我們設計自己的網路
（1）經典網路—全連接層（前面）—最後的全連接層（我們的類別輸出）
（2）經典網路—全連接層（all new）
（3）經典網路—卷積池化層（new）－全連接層（all new）
上述三種分別對應網路改動從小到大，對應的學習速率會有所區別。
在改動過程中， 網路名稱相同的參數會直接搬過來，不同的會根據設置初始化
一定注意改動過程中size要匹配！
⑩ 巧借Deep Network Designer分析經典網路結構——AlexNet
關於如何使用Deep Network Designer，大家可以打開自己的MATLAB，在APP一欄中找到Deep Network Designer點擊打開即可。使用的具體流程詳見我在介紹LeNet5一文中，這里就不在贅述了。地址： https://www.jianshu.com/p/86f591c44ad3
AlexNet 是 vgg 網路和 resten 網路系列的基石。其網路架構中新穎的特徵如下所示
1.以ReLu替代sigmoid和tanh函數。實踐證明這樣可以使網路更快收斂
2.其中最大池化（ Max pooling）的概念也是在AlexNet提出的，即對每一個鄰近像素組成的"池子"，選取像素最大值作為輸出。在LeNet中，池化的像素是不重疊的；而在 AlexNet 中進行的是有重疊的池化。（PS:我在介紹LeNet中的池化採用的也是最大池化）大量的實踐表明，有重疊的最大池化能夠很好的克服過擬合問題，提升系統性能。
3.隨機丟棄（Dropout）為了避免系統參數更新過快導致的過擬合，每一次利用訓練樣本更新參數的時候，隨機「丟棄」一定比例的神經元，被丟棄的神經元不再參與訓練過程，輸入和輸出該神經元的權重系數也不做更新。這樣每次訓練時訓練的網路構架都不一樣，而這些不同的網路構架卻分享共同訓練的權重系數。實踐表明，隨機丟棄的技術技術減緩了網路收斂度，也大概率避免了過擬合的發生。
4.在多個GPU上訓練。單個GPU存儲空間有限,使用兩塊GPU,在每個GPU上存儲一半的kernels,這兩塊GPU在特定層上通信