導航:首頁 > 網路設置 > 神經網路需要多少樣本

神經網路需要多少樣本

發布時間:2023-07-22 03:49:15

① 神經網路的數據量多少比較合適

一般來說要1萬以上,越多越好,但要保證採集標准統一,且輸出為相同的數據不能太多。

② 20個數據可以訓練神經網路嗎

可以的。神經網路用訓練數據訓練神經網路,20個數據是可以做的,但是誤差非常大,如果忽略誤差,是可以做的。神經網路是一種計算模型,由大量的節點(或神經元)直接相互關聯而構成。

③ 200組數據可以訓練神經網路嗎

不行
神經網路的數據需要1000個以上,其中訓練樣本至少700以上,驗證樣本至少300以上。

④ 人工神經網路分析需要樣本量一般多大

1.樣本量的確定是費用與精度的函數,取決於研究的精度和費用,特別是實踐中費用考慮的更多!
2.抽樣調查,特別是隨機抽樣,樣本有代表性,往往比普查更有效率,甚至精度更高,這里我們主要計算和討論抽樣誤差,非抽樣誤差是人為因素,考質量控制;
3.樣本量的確定有賴於隨機抽樣,或者說主要是針對隨機抽樣,需要統計推斷下的計算樣本量,如果是非概率抽樣,理論上沒有計算和控制樣本量的問題;
4.如果研究只要40-50個樣本,感覺上應該是非概率抽樣(依賴被訪者選擇方式)
5.即使是非概率抽樣,我們很多時候也採用概率和統計分析及推斷思想來進行數據分析和下結論!只是這種方法沒有完善的理論支持,或者說有可能因為研究者的主觀判斷失誤造成偏差;
6.無論是概率抽樣還是非概率抽樣,樣本量越大當然效果越好,結論越穩定(理論上說)
7.40-50個樣本在統計上屬於小樣本,t-檢驗,如果樣本大於60或理想120以上,t分布就是正態分布了,所以40個樣本在統計上是最小推斷總體的樣本,換句話說40-50個樣本是介於小樣本和正態分布大樣本的臨界樣本量;如果不嚴格的話40個樣本就可以比較總體之間的統計差異了;
8.所以,一般來講,針對一個研究對象和人群,要進行比較最少40個樣本,比如男女差異,應該各擁有40人(80人),或者說你們進行配額樣本的時候要保證統計比較的類別至少有40個樣本;
9.那麼40個樣本有代表性嗎? 當然越多越好,越有代表性
10.但如果調查對象非常一致,沒有差異,只要問一個人就行了,所以要考慮研究對象的差異性,如果差異大,當然樣本量要大,如果沒有差異,同質性較高樣本量就少;
11.總體的大小對樣本量的選擇沒有影響,調查研究一般必須在研究前明確總體是誰,大總體沒有影響(上萬人),中等總體有點影響(5000人),小總體有很大影響(千百個人);總體是你要推斷的人群;
12.再者要考慮研究對象在總體中擁有的比例(比如要找艾滋病人),如果比例非常低的話,需要大樣本才能找到;但往往商業研究就採用非概率抽樣了,比如滾雪球抽樣,專家判斷抽樣,配額抽樣等;
13.另外,選擇40個人,如果是經過我們主觀判斷的,有一種說法:叫條件概率,也就是我們越了解研究目的和對象,我們就越能夠做出正確判斷;比如P(A|B),也就是說我們越了解B事件發生的概率,那麼A發生的概率就越確定;就像我們在Google中搜東西,你的關鍵詞=B越准確,得到的結果A就越是你想要的東西;
14.當然,如果你的主觀判斷錯了,就會犯更大的錯誤
15.還有就是希望得到的精度;如果得到的結果是70%加減10%誤差我們可以接受,但如果是總體本身就不到8%,那8%加減10%,尾巴比頭都大顯然不行,當然到底如何確定精度,是研究前你們與客戶要明確的,事先研究設計確定的,不能事後來說;
16.記住:有時候我們研究本身不需要那麼高的精度
17.整個研究設計過程的質量控制可以更有效提升研究品質
18.研究測試的技術(接近自然科學儀器測量)可獲得更好研究品質
19.根據精確的抽樣,需要採用精確的統計分析,否則也達不到效果
20.任何研究都不會完美,都是權衡和保守的過程,總的來講保守不犯錯
21.如果研究有實驗設計和研究設計,所以實驗設計,包括所謂雙盲實驗、正交設計、拉丁方格等,確定樣本分組是非常精細的,有助於研究品質;但設計缺陷會造成降低品質;
22.處置組和對照組的設計,主要應用在傳播效果、廣告效果研究上,需要有設計原則
23.實驗設計也強調對其它影響因素的控制,也就是X對Y的影響,要控制住Z的干擾,更能提高研究品質
24.被訪者的參與度(你的激勵方式)也重要,一分錢一分貨;我們是花錢買信息
25.任何理由都是可解釋的,但這里主要是要用術語,越專業越說行話,別人更相信,所以解釋樣本量的科學性,有時候要用科學,也就是理論;
26.因為有理論,顯得有水平,因為有水平就有話語權,就有執行力!所以權威部門的設計或出面,客戶就相信了!
27.研究過程,不斷修正,比如追加樣本也是解決問題的辦法
28.連續性研究,也會解決或減少對樣本量的需求
29.廣告效果研究經常採用rolling data的方式,因為廣告效果有延遲效應,每周50個樣本,4周一個分析,就是200樣本,第五周分析前4周,第六周分析2-5周數據,進行比較和檢驗,這是常有方法;

⑤ BP神經網路的訓練集需要大樣本嗎一般樣本個數為多少

BP神經網路的訓練集需要大樣本嗎?一般樣本個數為多少?
BP神經網路樣本數有什麼影響
學習神經網路這段時間,有一個疑問,BP神經網路中訓練的次數指的網路的迭代次數,如果有a個樣本,每個樣本訓練次數n,則網路一共迭代an次,在n>>a 情況下 , 網路在不停的調整權值,減小誤差,跟樣本數似乎關系不大。而且,a大了的話訓練時間必然會變長。
換一種說法,將你的數據集看成一個固定值, 那麼樣本集與測試集 也可以按照某種規格確定下來如7:3 所以如何看待 樣本集的多少與訓練結果呢? 或者說怎麼使你的網路更加穩定,更加符合你的所需 。

我嘗試從之前的一個例子中看下區別

如何用70行Java代碼實現深度神經網路演算法

作者其實是實現了一個BP神經網路 ,不多說,看最後的例子

一個運用神經網路的例子
最後我們找個簡單例子來看看神經網路神奇的效果。為了方便觀察數據分布,我們選用一個二維坐標的數據,下面共有4個數據,方塊代表數據的類型為1,三角代表數據的類型為0,可以看到屬於方塊類型的數據有(1,2)和(2,1),屬於三角類型的數據有(1,1),(2,2),現在問題是需要在平面上將4個數據分成1和0兩類,並以此來預測新的數據的類型。


圖片描述

我們可以運用邏輯回歸演算法來解決上面的分類問題,但是邏輯回歸得到一個線性的直線做為分界線,可以看到上面的紅線無論怎麼擺放,總是有一個樣本被錯誤地劃分到不同類型中,所以對於上面的數據,僅僅一條直線不能很正確地劃分他們的分類,如果我們運用神經網路演算法,可以得到下圖的分類效果,相當於多條直線求並集來劃分空間,這樣准確性更高。

圖片描述

簡單粗暴,用作者的代碼運行後 訓練5000次 。根據訓練結果來預測一條新數據的分類(3,1)



預測值 (3,1)的結果跟(1,2)(2,1)屬於一類 屬於正方形

這時如果我們去掉 2個樣本,則樣本輸入變成如下

//設置樣本數據,對應上面的4個二維坐標數據
double[][] data = new double[][]{{1,2},{2,2}};
//設置目標數據,對應4個坐標數據的分類
double[][] target = new double[][]{{1,0},{0,1}};
1
2
3
4
1
2
3
4




則(3,1)結果變成了三角形,

如果你選前兩個點 你會發現直接一條中間線就可以區分 這時候的你的結果跟之前4個點時有區別 so 你得增加樣本 直到這些樣本按照你所想要的方式分類 ,所以樣本的多少 重要性體現在,樣本得能反映所有的特徵值(也就是輸入值) ,樣本多少或者特徵(本例子指點的位置特徵)決定的你的網路的訓練結果,!!!這是 我們反推出來的結果 。這里距離深度學習好像近了一步。

另外,這個70行代碼的神經網路沒有保存你訓練的網路 ,所以你每次運行都是重新訓練的網路。其實,在你訓練過後 權值已經確定了下來,我們確定網路也就是根據權值,so只要把訓練後的權值保存下來,將需要分類的數據按照這種權值帶入網路,即可得到輸出值,也就是一旦網路確定, 權值也就確定,一個輸入對應一個固定的輸出,不會再次改變!個人見解。

最後附上作者的源碼,作者的文章見開頭鏈接
下面的實現程序BpDeep.java可以直接拿去使用,

import java.util.Random;
public class BpDeep{
public double[][] layer;//神經網路各層節點
public double[][] layerErr;//神經網路各節點誤差
public double[][][] layer_weight;//各層節點權重
public double[][][] layer_weight_delta;//各層節點權重動量
public double mobp;//動量系數
public double rate;//學習系數

public BpDeep(int[] layernum, double rate, double mobp){
this.mobp = mobp;
this.rate = rate;
layer = new double[layernum.length][];
layerErr = new double[layernum.length][];
layer_weight = new double[layernum.length][][];
layer_weight_delta = new double[layernum.length][][];
Random random = new Random();
for(int l=0;l<layernum.length;l++){
layer[l]=new double[layernum[l]];
layerErr[l]=new double[layernum[l]];
if(l+1<layernum.length){
layer_weight[l]=new double[layernum[l]+1][layernum[l+1]];
layer_weight_delta[l]=new double[layernum[l]+1][layernum[l+1]];
for(int j=0;j<layernum[l]+1;j++)
for(int i=0;i<layernum[l+1];i++)
layer_weight[l][j][i]=random.nextDouble();//隨機初始化權重
}
}
}
//逐層向前計算輸出
public double[] computeOut(double[] in){
for(int l=1;l<layer.length;l++){
for(int j=0;j<layer[l].length;j++){
double z=layer_weight[l-1][layer[l-1].length][j];
for(int i=0;i<layer[l-1].length;i++){
layer[l-1][i]=l==1?in[i]:layer[l-1][i];
z+=layer_weight[l-1][i][j]*layer[l-1][i];
}
layer[l][j]=1/(1+Math.exp(-z));
}
}
return layer[layer.length-1];
}
//逐層反向計算誤差並修改權重
public void updateWeight(double[] tar){
int l=layer.length-1;
for(int j=0;j<layerErr[l].length;j++)
layerErr[l][j]=layer[l][j]*(1-layer[l][j])*(tar[j]-layer[l][j]);

while(l-->0){
for(int j=0;j<layerErr[l].length;j++){
double z = 0.0;
for(int i=0;i<layerErr[l+1].length;i++){
z=z+l>0?layerErr[l+1][i]*layer_weight[l][j][i]:0;
layer_weight_delta[l][j][i]= mobp*layer_weight_delta[l][j][i]+rate*layerErr[l+1][i]*layer[l][j];//隱含層動量調整
layer_weight[l][j][i]+=layer_weight_delta[l][j][i];//隱含層權重調整
if(j==layerErr[l].length-1){
layer_weight_delta[l][j+1][i]= mobp*layer_weight_delta[l][j+1][i]+rate*layerErr[l+1][i];//截距動量調整
layer_weight[l][j+1][i]+=layer_weight_delta[l][j+1][i];//截距權重調整
}
}
layerErr[l][j]=z*layer[l][j]*(1-layer[l][j]);//記錄誤差
}
}
}

public void train(double[] in, double[] tar){
double[] out = computeOut(in);
updateWeight(tar);
}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
下面是這個測試程序BpDeepTest.java的源碼:

import java.util.Arrays;
public class BpDeepTest{
public static void main(String[] args){
//初始化神經網路的基本配置
//第一個參數是一個整型數組,表示神經網路的層數和每層節點數,比如{3,10,10,10,10,2}表示輸入層是3個節點,輸出層是2個節點,中間有4層隱含層,每層10個節點
//第二個參數是學習步長,第三個參數是動量系數
BpDeep bp = new BpDeep(new int[]{2,10,2}, 0.15, 0.8);

//設置樣本數據,對應上面的4個二維坐標數據
double[][] data = new double[][]{{1,2},{2,2},{1,1},{2,1}};
//設置目標數據,對應4個坐標數據的分類
double[][] target = new double[][]{{1,0},{0,1},{0,1},{1,0}};

//迭代訓練5000次
for(int n=0;n<5000;n++)
for(int i=0;i<data.length;i++)
bp.train(data[i], target[i]);

//根據訓練結果來檢驗樣本數據
for(int j=0;j<data.length;j++){
double[] result = bp.computeOut(data[j]);
System.out.println(Arrays.toString(data[j])+":"+Arrays.toString(result));
}

//根據訓練結果來預測一條新數據的分類
double[] x = new double[]{3,1};
double[] result = bp.computeOut(x);
System.out.println(Arrays.toString(x)+":"+Arrays.toString(result));
}
}

閱讀全文

與神經網路需要多少樣本相關的資料

熱點內容
企業中網路安全的東西 瀏覽:29
PCusb共享網路給手機 瀏覽:529
惠普108w怎麼連接網路 瀏覽:994
路由能ping通但是電腦無網路 瀏覽:636
網路安全者不履行網路安全義務的 瀏覽:906
如何調整移動數據網路連接 瀏覽:175
網路營銷對傳統營銷具有哪些挑戰 瀏覽:780
佳的美tv5821怎麼連接網路 瀏覽:104
電信網路一年能用多少年 瀏覽:488
明日之後交易一直網路異常 瀏覽:834
網路組建用什麼軟體 瀏覽:206
網路閱讀要多少錢投資 瀏覽:112
網路突然間沒網了如何辦 瀏覽:23
公共網路怎麼解決競爭 瀏覽:499
斐訊路由器亮紅燈有網路 瀏覽:22
網路流行語檸檬精一詞最貼近於以下哪個俗語 瀏覽:629
網路上的ryo什麼意思 瀏覽:841
如何發展校園網路 瀏覽:68
美國電商網路安全事故 瀏覽:87
手機網路通話系統故障 瀏覽:433

友情鏈接