导航:首页 > 网络设置 > 神经网络需要多少样本

神经网络需要多少样本

发布时间:2023-07-22 03:49:15

① 神经网络的数据量多少比较合适

一般来说要1万以上,越多越好,但要保证采集标准统一,且输出为相同的数据不能太多。

② 20个数据可以训练神经网络吗

可以的。神经网络用训练数据训练神经网络,20个数据是可以做的,但是误差非常大,如果忽略误差,是可以做的。神经网络是一种计算模型,由大量的节点(或神经元)直接相互关联而构成。

③ 200组数据可以训练神经网络吗

不行
神经网络的数据需要1000个以上,其中训练样本至少700以上,验证样本至少300以上。

④ 人工神经网络分析需要样本量一般多大

1.样本量的确定是费用与精度的函数,取决于研究的精度和费用,特别是实践中费用考虑的更多!
2.抽样调查,特别是随机抽样,样本有代表性,往往比普查更有效率,甚至精度更高,这里我们主要计算和讨论抽样误差,非抽样误差是人为因素,考质量控制;
3.样本量的确定有赖于随机抽样,或者说主要是针对随机抽样,需要统计推断下的计算样本量,如果是非概率抽样,理论上没有计算和控制样本量的问题;
4.如果研究只要40-50个样本,感觉上应该是非概率抽样(依赖被访者选择方式)
5.即使是非概率抽样,我们很多时候也采用概率和统计分析及推断思想来进行数据分析和下结论!只是这种方法没有完善的理论支持,或者说有可能因为研究者的主观判断失误造成偏差;
6.无论是概率抽样还是非概率抽样,样本量越大当然效果越好,结论越稳定(理论上说)
7.40-50个样本在统计上属于小样本,t-检验,如果样本大于60或理想120以上,t分布就是正态分布了,所以40个样本在统计上是最小推断总体的样本,换句话说40-50个样本是介于小样本和正态分布大样本的临界样本量;如果不严格的话40个样本就可以比较总体之间的统计差异了;
8.所以,一般来讲,针对一个研究对象和人群,要进行比较最少40个样本,比如男女差异,应该各拥有40人(80人),或者说你们进行配额样本的时候要保证统计比较的类别至少有40个样本;
9.那么40个样本有代表性吗? 当然越多越好,越有代表性
10.但如果调查对象非常一致,没有差异,只要问一个人就行了,所以要考虑研究对象的差异性,如果差异大,当然样本量要大,如果没有差异,同质性较高样本量就少;
11.总体的大小对样本量的选择没有影响,调查研究一般必须在研究前明确总体是谁,大总体没有影响(上万人),中等总体有点影响(5000人),小总体有很大影响(千百个人);总体是你要推断的人群;
12.再者要考虑研究对象在总体中拥有的比例(比如要找艾滋病人),如果比例非常低的话,需要大样本才能找到;但往往商业研究就采用非概率抽样了,比如滚雪球抽样,专家判断抽样,配额抽样等;
13.另外,选择40个人,如果是经过我们主观判断的,有一种说法:叫条件概率,也就是我们越了解研究目的和对象,我们就越能够做出正确判断;比如P(A|B),也就是说我们越了解B事件发生的概率,那么A发生的概率就越确定;就像我们在Google中搜东西,你的关键词=B越准确,得到的结果A就越是你想要的东西;
14.当然,如果你的主观判断错了,就会犯更大的错误
15.还有就是希望得到的精度;如果得到的结果是70%加减10%误差我们可以接受,但如果是总体本身就不到8%,那8%加减10%,尾巴比头都大显然不行,当然到底如何确定精度,是研究前你们与客户要明确的,事先研究设计确定的,不能事后来说;
16.记住:有时候我们研究本身不需要那么高的精度
17.整个研究设计过程的质量控制可以更有效提升研究品质
18.研究测试的技术(接近自然科学仪器测量)可获得更好研究品质
19.根据精确的抽样,需要采用精确的统计分析,否则也达不到效果
20.任何研究都不会完美,都是权衡和保守的过程,总的来讲保守不犯错
21.如果研究有实验设计和研究设计,所以实验设计,包括所谓双盲实验、正交设计、拉丁方格等,确定样本分组是非常精细的,有助于研究品质;但设计缺陷会造成降低品质;
22.处置组和对照组的设计,主要应用在传播效果、广告效果研究上,需要有设计原则
23.实验设计也强调对其它影响因素的控制,也就是X对Y的影响,要控制住Z的干扰,更能提高研究品质
24.被访者的参与度(你的激励方式)也重要,一分钱一分货;我们是花钱买信息
25.任何理由都是可解释的,但这里主要是要用术语,越专业越说行话,别人更相信,所以解释样本量的科学性,有时候要用科学,也就是理论;
26.因为有理论,显得有水平,因为有水平就有话语权,就有执行力!所以权威部门的设计或出面,客户就相信了!
27.研究过程,不断修正,比如追加样本也是解决问题的办法
28.连续性研究,也会解决或减少对样本量的需求
29.广告效果研究经常采用rolling data的方式,因为广告效果有延迟效应,每周50个样本,4周一个分析,就是200样本,第五周分析前4周,第六周分析2-5周数据,进行比较和检验,这是常有方法;

⑤ BP神经网络的训练集需要大样本吗一般样本个数为多少

BP神经网络的训练集需要大样本吗?一般样本个数为多少?
BP神经网络样本数有什么影响
学习神经网络这段时间,有一个疑问,BP神经网络中训练的次数指的网络的迭代次数,如果有a个样本,每个样本训练次数n,则网络一共迭代an次,在n>>a 情况下 , 网络在不停的调整权值,减小误差,跟样本数似乎关系不大。而且,a大了的话训练时间必然会变长。
换一种说法,将你的数据集看成一个固定值, 那么样本集与测试集 也可以按照某种规格确定下来如7:3 所以如何看待 样本集的多少与训练结果呢? 或者说怎么使你的网络更加稳定,更加符合你的所需 。

我尝试从之前的一个例子中看下区别

如何用70行Java代码实现深度神经网络算法

作者其实是实现了一个BP神经网络 ,不多说,看最后的例子

一个运用神经网络的例子
最后我们找个简单例子来看看神经网络神奇的效果。为了方便观察数据分布,我们选用一个二维坐标的数据,下面共有4个数据,方块代表数据的类型为1,三角代表数据的类型为0,可以看到属于方块类型的数据有(1,2)和(2,1),属于三角类型的数据有(1,1),(2,2),现在问题是需要在平面上将4个数据分成1和0两类,并以此来预测新的数据的类型。


图片描述

我们可以运用逻辑回归算法来解决上面的分类问题,但是逻辑回归得到一个线性的直线做为分界线,可以看到上面的红线无论怎么摆放,总是有一个样本被错误地划分到不同类型中,所以对于上面的数据,仅仅一条直线不能很正确地划分他们的分类,如果我们运用神经网络算法,可以得到下图的分类效果,相当于多条直线求并集来划分空间,这样准确性更高。

图片描述

简单粗暴,用作者的代码运行后 训练5000次 。根据训练结果来预测一条新数据的分类(3,1)



预测值 (3,1)的结果跟(1,2)(2,1)属于一类 属于正方形

这时如果我们去掉 2个样本,则样本输入变成如下

//设置样本数据,对应上面的4个二维坐标数据
double[][] data = new double[][]{{1,2},{2,2}};
//设置目标数据,对应4个坐标数据的分类
double[][] target = new double[][]{{1,0},{0,1}};
1
2
3
4
1
2
3
4




则(3,1)结果变成了三角形,

如果你选前两个点 你会发现直接一条中间线就可以区分 这时候的你的结果跟之前4个点时有区别 so 你得增加样本 直到这些样本按照你所想要的方式分类 ,所以样本的多少 重要性体现在,样本得能反映所有的特征值(也就是输入值) ,样本多少或者特征(本例子指点的位置特征)决定的你的网络的训练结果,!!!这是 我们反推出来的结果 。这里距离深度学习好像近了一步。

另外,这个70行代码的神经网络没有保存你训练的网络 ,所以你每次运行都是重新训练的网络。其实,在你训练过后 权值已经确定了下来,我们确定网络也就是根据权值,so只要把训练后的权值保存下来,将需要分类的数据按照这种权值带入网络,即可得到输出值,也就是一旦网络确定, 权值也就确定,一个输入对应一个固定的输出,不会再次改变!个人见解。

最后附上作者的源码,作者的文章见开头链接
下面的实现程序BpDeep.java可以直接拿去使用,

import java.util.Random;
public class BpDeep{
public double[][] layer;//神经网络各层节点
public double[][] layerErr;//神经网络各节点误差
public double[][][] layer_weight;//各层节点权重
public double[][][] layer_weight_delta;//各层节点权重动量
public double mobp;//动量系数
public double rate;//学习系数

public BpDeep(int[] layernum, double rate, double mobp){
this.mobp = mobp;
this.rate = rate;
layer = new double[layernum.length][];
layerErr = new double[layernum.length][];
layer_weight = new double[layernum.length][][];
layer_weight_delta = new double[layernum.length][][];
Random random = new Random();
for(int l=0;l<layernum.length;l++){
layer[l]=new double[layernum[l]];
layerErr[l]=new double[layernum[l]];
if(l+1<layernum.length){
layer_weight[l]=new double[layernum[l]+1][layernum[l+1]];
layer_weight_delta[l]=new double[layernum[l]+1][layernum[l+1]];
for(int j=0;j<layernum[l]+1;j++)
for(int i=0;i<layernum[l+1];i++)
layer_weight[l][j][i]=random.nextDouble();//随机初始化权重
}
}
}
//逐层向前计算输出
public double[] computeOut(double[] in){
for(int l=1;l<layer.length;l++){
for(int j=0;j<layer[l].length;j++){
double z=layer_weight[l-1][layer[l-1].length][j];
for(int i=0;i<layer[l-1].length;i++){
layer[l-1][i]=l==1?in[i]:layer[l-1][i];
z+=layer_weight[l-1][i][j]*layer[l-1][i];
}
layer[l][j]=1/(1+Math.exp(-z));
}
}
return layer[layer.length-1];
}
//逐层反向计算误差并修改权重
public void updateWeight(double[] tar){
int l=layer.length-1;
for(int j=0;j<layerErr[l].length;j++)
layerErr[l][j]=layer[l][j]*(1-layer[l][j])*(tar[j]-layer[l][j]);

while(l-->0){
for(int j=0;j<layerErr[l].length;j++){
double z = 0.0;
for(int i=0;i<layerErr[l+1].length;i++){
z=z+l>0?layerErr[l+1][i]*layer_weight[l][j][i]:0;
layer_weight_delta[l][j][i]= mobp*layer_weight_delta[l][j][i]+rate*layerErr[l+1][i]*layer[l][j];//隐含层动量调整
layer_weight[l][j][i]+=layer_weight_delta[l][j][i];//隐含层权重调整
if(j==layerErr[l].length-1){
layer_weight_delta[l][j+1][i]= mobp*layer_weight_delta[l][j+1][i]+rate*layerErr[l+1][i];//截距动量调整
layer_weight[l][j+1][i]+=layer_weight_delta[l][j+1][i];//截距权重调整
}
}
layerErr[l][j]=z*layer[l][j]*(1-layer[l][j]);//记录误差
}
}
}

public void train(double[] in, double[] tar){
double[] out = computeOut(in);
updateWeight(tar);
}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
下面是这个测试程序BpDeepTest.java的源码:

import java.util.Arrays;
public class BpDeepTest{
public static void main(String[] args){
//初始化神经网络的基本配置
//第一个参数是一个整型数组,表示神经网络的层数和每层节点数,比如{3,10,10,10,10,2}表示输入层是3个节点,输出层是2个节点,中间有4层隐含层,每层10个节点
//第二个参数是学习步长,第三个参数是动量系数
BpDeep bp = new BpDeep(new int[]{2,10,2}, 0.15, 0.8);

//设置样本数据,对应上面的4个二维坐标数据
double[][] data = new double[][]{{1,2},{2,2},{1,1},{2,1}};
//设置目标数据,对应4个坐标数据的分类
double[][] target = new double[][]{{1,0},{0,1},{0,1},{1,0}};

//迭代训练5000次
for(int n=0;n<5000;n++)
for(int i=0;i<data.length;i++)
bp.train(data[i], target[i]);

//根据训练结果来检验样本数据
for(int j=0;j<data.length;j++){
double[] result = bp.computeOut(data[j]);
System.out.println(Arrays.toString(data[j])+":"+Arrays.toString(result));
}

//根据训练结果来预测一条新数据的分类
double[] x = new double[]{3,1};
double[] result = bp.computeOut(x);
System.out.println(Arrays.toString(x)+":"+Arrays.toString(result));
}
}

阅读全文

与神经网络需要多少样本相关的资料

热点内容
路由能ping通但是电脑无网络 浏览:635
网络安全者不履行网络安全义务的 浏览:905
如何调整移动数据网络连接 浏览:174
网络营销对传统营销具有哪些挑战 浏览:779
佳的美tv5821怎么连接网络 浏览:103
电信网络一年能用多少年 浏览:487
明日之后交易一直网络异常 浏览:833
网络组建用什么软件 浏览:206
网络阅读要多少钱投资 浏览:112
网络突然间没网了如何办 浏览:23
公共网络怎么解决竞争 浏览:499
斐讯路由器亮红灯有网络 浏览:22
网络流行语柠檬精一词最贴近于以下哪个俗语 浏览:629
网络上的ryo什么意思 浏览:841
如何发展校园网络 浏览:68
美国电商网络安全事故 浏览:87
手机网络通话系统故障 浏览:433
手机怎么连接拒绝接入的网络 浏览:117
数据网络时有时无什么原因 浏览:495
米家电磁炉无线网络怎么连接 浏览:276

友情链接