❶ BP神经网络的mu参数是学习率么训练结果val fail中的validation check=6什么意思
神经网络的样本若输入网络，默认情况下会将样本随即分为3类：训练样本，确认样本和测试样本。确认检查值默认是6，它的意思是指随着网络利用训练样本进行训练的过程中，确认样本的误差曲线连续6次迭代不在下降。这时训练终止（这只是训练终止条件之一，满足任一终止条件，训练过程都将终止）深层含义你可以这样理解，如果随着网络的训练，确认样本的误差已经基本不在减小，甚至增大，那么就没有必要再去训练网络了，因为继续训练下去的话，在利用测试样本进行测试网络的话，测试样本的误差将同样不会有所改善，甚至会出现过度拟合的现象。validation checks已经达到设置的值了，所以停止训练了，如果网络在连续max_fail epochs后不能提高网络性能，就停止训练。
有三种方法解决这个问题：
1 提高validation checks的数值，比如设置net.trainParam.max_fail = 200;其实这等于自己糊弄自己严重不推荐，出现停止训练，就是因为被训练的网络已经过拟合，停下来是应该的。但6的确有点小，建议改成10到20之间的数
2 修改被训练的网络，比如说再加一个隐藏层试试
3 如果是数据太相近的问题，试试选择用divideind
❷ 神经网络中的对抗攻击与对抗样本
对抗攻击
对抗攻击论文参考：
《Intriguing properties of neural networks》
《神经网络有趣的特性》
《Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey》，以下简称‘Survey’。
图片做适当修改后能欺骗深度学习模型的可能性
1.举例理解：
左边是一张能够被GoogLeNet正常分类为熊猫的图片，在添加一定的噪音后变成右图，在人的肉眼看来，它还是熊猫，但GoogLeNet会判定为长臂猿。这种被修改后人类无法明显察觉，却被机器识别错误的数据即为 对抗样本 ，而这整个过程就可以理解为 对抗攻击 。
2.数学理解：
神经网络中每层神经元的输入 a = g(Wx+b)，其中 g 为激活函数，W 为权重参数，x 为上一层的样本数据，b 为偏置参数，那么从拓扑学角度来看，在一个二维平面上，这个过程相当于哪几个步骤呢？
（1）一次使用权重参数矩阵 W 的线性变换
（2）一次使用偏执向量 b 的移动
（3）一次应用非线性激活函数 g 的变换
在 二维平面 ，其实是将整个平面进行了 旋转、移动和拉伸 三步。
分类问题
简单分类问题：通过较少几次变换将问题转换为一条直线可分割的空间。
既是一层神经网络就可以完成分类，通过变换空间布局，最终通过一条直线完成分类。
举例：
简单转换ing........
转换结果看下图
复杂分类问题：通过多几次的转换完成将问题转换为一条直线可分割的空间。
就是多层神经网络完成分类，通过变换空间布局，最终通过一条直线完成分类。
举例：
动态多步转换
以上是从低维度理解神经网络的训练，其中也有难以拉伸的例外，下图所示的圆套圆的情况，就是难以在二维空间将其拉伸到理想的位置的例子。
但，增加神经元，可以在 三维空间 中轻松将其分离。
看！
归纳 同样对于复杂问题可以通过，增加神经元在高维度通过更长且复杂的方式解决。
但是例如两个相互套起来的环，按照推测需要在四维空间中才能完全分开，然而我们难以想象四维空间，在现实世界的数据集中，这种死结或者缠绕问题可能会更复杂。
对于神经网络来，可以选择 将打成死结的数据尽可能拉伸开，而不是完全解开 ，如下图，对于分类问题来说，已经具有较高的准确率和召回率。
部分情况下，为了更精确地分类，较宽的神经网络可能相对深度来说更重要。
综上所述
1. 神经网络中包含语义信息的不在每个独立的神经单元，而是整个空间。 神经网络在最后一层能将样本中诸多变化的因子理清楚并理解其语义，并不是因为某个独立神经元中包含了什么特定的语义，而是 对整个空间进行变换后从最终的表征层中学到的 ，经过学习，神经网络会 放大某些相关因子，同时缩小某些无关因子 。
2. 神经网络学习到的输入到输出的映射在很大程度上是不连续的。 就像上面图中为了解开一个死结所做的拉伸结果一样， 在人看来，在拉伸距离较大的地方我们可以认为这种映射是连续的， 然而 对于仍然缠绕在一起的部分，之前可以用来划分界限的直线或者超平面已经无法连续 。
通过仔细观察可以区分出来，但是上文只是一个简单的例子，现实世界中的真实数据较为复杂，对于肉眼来说可能很难分清楚缠绕在一起的部分。对于神经网络来说， 对抗样本已经严重的跨过了用于分类的界限 ，而对于肉眼其实还 看不出来它有移动。
（）线性特性的攻击行为（）和（）高效制造对抗样本的方法（）
参考论文：
《Explaining and harnessing adversarial examples》
《对抗性例子的解读和掌握》
深度神经网络在高纬空间中的线性特性已经足以产生这种攻击行为 ，并提出了一种 更高效生成对抗样本的方法 ，接下来我们就简单分析一下这一理论和方法。
目前神经网络为了提高训练效率所使用的激活函数在局部都过于线性。
例如：
类比先前举出的拓扑学例子，在 最后的表征层 都是 通过直线或超平面完成的分类 ，在线性的假设下，暂且不通过二维或三维空间来理解，先从一个简单的数学公式角度开始。
数学解释
公式内容解释：
w 是训练好的参数向量
x 表示真实样本数据向量
η 表示给图像加入的噪音向量
x ~表示加入噪音后新生成的样本
当加入足够小的 η 时，肉眼无法区分出 x 的变化，直观感觉上左边的式子可能也不会变化很大。
事实上 ，然而 η 当的方向与 w 完全一致的时候，即使很小，也会使整个激活值变化很大。
假设证明：
如果 w 是一个 n 维向量，而其权值的平均大小为 m，那么激活值将会增加 nm。可见，在一个肉眼几乎无法差觉的扰动干扰下，对神经网络最终激活层的计算会产生巨大的干扰，从而迷惑神经网络训练出来的模型。
寻找正确方向
当 η 与 w 的方向一致时会使激活值最大，那么，如何找到这个正确的方向呢？
结论，那就是损失函数在待构造样本上的梯度方向，即下面的式子。
ε 是一个调节系数
sign() 是一个符号函数，代表的意思也很简单，就是取一个值的符号
（当值大于 0 时取 1，当值等于 0 时取 0，当值小于 0 时取 -1）
▽ 表示求 x 的梯度，可以理解为偏导，
J 是训练模型的损失函数。
结论的由来
在正常的神经网络模型训练过程中，有一个过程叫反向传播，就是对参数求偏导，然后将参数更新，我们结合下面这张图看一下。
假设图中的函数即为 损失函数 ，为了使损失函数降到最低，我们会根据当前值的梯度去调整。
当梯度小于 0 的时候我们可以看出，当前值需要右移。
而当梯度大于 0 的时候，当前值需要左移。
这个过程实际上就是用 θ 减去 θ。扩展到损失函数 J(θ, x, y) 中，θ 即为 我们要调整的参数 ，因此在样本 x 和 y 不改变的情况下，我们会**不断去调整参数 θ **以寻求局部最优解，即 θ = θ - θ 。
生成对抗样本，也可以采用类似的方法，那就是 固定参数 θ，调整 x 同时使损失函数增大 ，而不是变小，此时就应该让 x 往相反的方向走，即 x = x + x ，这样是不是很容易可以理解上面 η 的定义呢？在实践中，我们还需要通过 ε 这个参数来 调节噪音的大小 ，这种方法相比之前提到的优化方法非常高效，基本只需要一次计算就可以找到对抗样本，因此作者将这种方法叫做 快速梯度符号法 （Fast Gradient Sign Method，FGSM）。总结一下FGSM，这种方法通过替换目标值 y 就可以 让攻击样本朝着指定的分类目标走 ，即，可以做任意目标的欺骗。
将线性假设简化到二维空间，我们要求的 η 其方向正好就接近于参数 w 的方向，不再展开说明，有兴趣的读者可以自行画一画。
建立在一个高维空间线性的假设或猜测前提下，需要 实验 支撑，根据下列图片分析展开。
图片解释
这张图是对数据集CIFAR-10的分类器的决策边界示意图。
其中每个小格子代表的是不同的CIFAR-10样本，
每个小格子中：
横向从左往右代表的是FGSM算法中的梯度方向，
纵向代表的是FGSM梯度方向的正交方向，
白色表示模型能分类正确的情况
彩色代表预测出错的情况
不同的颜色代表不同的错误预测分类。
可以看出，在出错的区域都程线性分布，另外，如果横轴的方向走的不够远，即便再往其他方向走都无法使模型出错，而一单进入这个区域，就会出现大量的对抗样本。而在随机找到的对抗样本中，这种分布也是很随机的，甚至很难找到，见下图。
从实验结果表明
高维空间中的线性假设也是合理的
举例
一匹叫做 Clever Hans 的马，刚出现的时候人们认为这匹马会做算术，但实际上它只是会阅读人的表情，当它点马蹄的次数接近正确答案时，人们的表情会更兴奋，它就知道该这个时候停止了。
隐喻神经网络，一个测试效果良好的分类器，其实并不像人类一样学习到了所分类样本的真正底层概念，只不过刚好构建了一个在训练数据上运行相当良好的模型，所以，你以为你以为的就是你以为的吗？
分类器能够在训练集的不同子集上训练时获得大致相同的分类权重，因为机器学习算法能够泛化， 基础分类权重的稳定性反过来又会导致对抗性样本的稳定性。因此， 对抗攻击可以认为是存在于任何神经网络模型。
以上是论文二的线性特性的攻击行为
高效制造对抗样本的方法
目前来看还没有能够完全抵抗这种攻击的方法，其实结合攻击的原理也不难看出，即便分类器做得再好，总能使一个样本用最小的干扰走到错误的分类区域，我们能做的更多是如何构造鲁棒性更强的模型，同时也保持对这个领域的关注。‘Survey’（注意第一篇论文的引用有注释）中总结的目前抵御攻击的办法可以分为三大类：
1.修改训练样本 ———— 通过添加更多的对抗样本到训练集中可以有效避免一部分攻击 ，但这更像是一种无奈的做法， 当扩大样本集的时候，其实分类边界有可能也在随之扩大 。
2.修改训练网络 ，这类方法会对训练网络做出一定调整，其中有一种方式是模拟生物学 在最后一层使用更加非线性的激活函数 ，但这种方式又会 导致训练效率和效果下降 。修改训练网络的方法分为 完全抵抗 和 仅检测 两种方式，完全抵抗其实就是让模型能将对抗样本识别为正确的分类，而仅检测是为了发现这种攻击样本，从而拒绝服务。
3.附加网络 ，这种方式是在 不改变原有模型的情况下使用额外的网络进行辅助 ，这样可以使原有网络保持不变，其中最有效的一种方式是生成式对抗网络——GAN。同样的，这种方式也分为 完全抵抗 和 仅检测 两种方式。
总结一下
定义：
对抗样本：是指在数据集中通过故意添加细微的干扰所形成的输入样本，会导致模型以高置信度给出一个错误的输出。
原因分析：
对抗样本出现的主要原因之一是过度线性， 神经网络主要是基于线性块构建的，实现的整体函数被证明是高度线性的，如果一个线性函数具有许多输入，那么它的值可以非常迅速地改变。
参考：
❸ BP神经网络的训练集需要大样本吗一般样本个数为多少
BP神经网络的训练集需要大样本吗？一般样本个数为多少？
BP神经网络样本数有什么影响
学习神经网络这段时间，有一个疑问，BP神经网络中训练的次数指的网络的迭代次数，如果有a个样本,每个样本训练次数n，则网络一共迭代an次，在n>>a 情况下 ， 网络在不停的调整权值，减小误差，跟样本数似乎关系不大。而且，a大了的话训练时间必然会变长。
换一种说法，将你的数据集看成一个固定值， 那么样本集与测试集 也可以按照某种规格确定下来如7：3 所以如何看待 样本集的多少与训练结果呢？ 或者说怎么使你的网络更加稳定，更加符合你的所需 。
我尝试从之前的一个例子中看下区别
如何用70行Java代码实现深度神经网络算法
作者其实是实现了一个BP神经网络 ，不多说，看最后的例子
一个运用神经网络的例子
最后我们找个简单例子来看看神经网络神奇的效果。为了方便观察数据分布，我们选用一个二维坐标的数据，下面共有4个数据，方块代表数据的类型为1，三角代表数据的类型为0，可以看到属于方块类型的数据有（1，2）和（2，1），属于三角类型的数据有（1，1），（2，2），现在问题是需要在平面上将4个数据分成1和0两类，并以此来预测新的数据的类型。
图片描述
我们可以运用逻辑回归算法来解决上面的分类问题，但是逻辑回归得到一个线性的直线做为分界线，可以看到上面的红线无论怎么摆放，总是有一个样本被错误地划分到不同类型中，所以对于上面的数据，仅仅一条直线不能很正确地划分他们的分类，如果我们运用神经网络算法，可以得到下图的分类效果，相当于多条直线求并集来划分空间，这样准确性更高。
图片描述
简单粗暴，用作者的代码运行后 训练5000次 。根据训练结果来预测一条新数据的分类（3,1）
预测值 （3,1）的结果跟（1,2）（2,1）属于一类 属于正方形
这时如果我们去掉 2个样本，则样本输入变成如下
//设置样本数据，对应上面的4个二维坐标数据
double[][] data = new double[][]{{1,2},{2,2}};
//设置目标数据，对应4个坐标数据的分类
double[][] target = new double[][]{{1,0},{0,1}};
1
2
3
4
1
2
3
4
则（3,1）结果变成了三角形，
如果你选前两个点 你会发现直接一条中间线就可以区分 这时候的你的结果跟之前4个点时有区别 so 你得增加样本 直到这些样本按照你所想要的方式分类 ，所以样本的多少 重要性体现在，样本得能反映所有的特征值（也就是输入值） ，样本多少或者特征（本例子指点的位置特征）决定的你的网络的训练结果，！！！这是 我们反推出来的结果 。这里距离深度学习好像近了一步。
另外，这个70行代码的神经网络没有保存你训练的网络 ，所以你每次运行都是重新训练的网络。其实，在你训练过后 权值已经确定了下来，我们确定网络也就是根据权值，so只要把训练后的权值保存下来，将需要分类的数据按照这种权值带入网络，即可得到输出值，也就是一旦网络确定， 权值也就确定，一个输入对应一个固定的输出，不会再次改变！个人见解。
最后附上作者的源码，作者的文章见开头链接
下面的实现程序BpDeep.java可以直接拿去使用，
import java.util.Random;
public class BpDeep{
public double[][] layer;//神经网络各层节点
public double[][] layerErr;//神经网络各节点误差
public double[][][] layer_weight;//各层节点权重
public double[][][] layer_weight_delta;//各层节点权重动量
public double mobp;//动量系数
public double rate;//学习系数
public BpDeep(int[] layernum, double rate, double mobp){
this.mobp = mobp;
this.rate = rate;
layer = new double[layernum.length][];
layerErr = new double[layernum.length][];
layer_weight = new double[layernum.length][][];
layer_weight_delta = new double[layernum.length][][];
Random random = new Random();
for(int l=0;l<layernum.length;l++){
layer[l]=new double[layernum[l]];
layerErr[l]=new double[layernum[l]];
if(l+1<layernum.length){
layer_weight[l]=new double[layernum[l]+1][layernum[l+1]];
layer_weight_delta[l]=new double[layernum[l]+1][layernum[l+1]];
for(int j=0;j<layernum[l]+1;j++)
for(int i=0;i<layernum[l+1];i++)
layer_weight[l][j][i]=random.nextDouble();//随机初始化权重
}
}
}
//逐层向前计算输出
public double[] computeOut(double[] in){
for(int l=1;l<layer.length;l++){
for(int j=0;j<layer[l].length;j++){
double z=layer_weight[l-1][layer[l-1].length][j];
for(int i=0;i<layer[l-1].length;i++){
layer[l-1][i]=l==1?in[i]:layer[l-1][i];
z+=layer_weight[l-1][i][j]*layer[l-1][i];
}
layer[l][j]=1/(1+Math.exp(-z));
}
}
return layer[layer.length-1];
}
//逐层反向计算误差并修改权重
public void updateWeight(double[] tar){
int l=layer.length-1;
for(int j=0;j<layerErr[l].length;j++)
layerErr[l][j]=layer[l][j]*(1-layer[l][j])*(tar[j]-layer[l][j]);
while(l-->0){
for(int j=0;j<layerErr[l].length;j++){
double z = 0.0;
for(int i=0;i<layerErr[l+1].length;i++){
z=z+l>0?layerErr[l+1][i]*layer_weight[l][j][i]:0;
layer_weight_delta[l][j][i]= mobp*layer_weight_delta[l][j][i]+rate*layerErr[l+1][i]*layer[l][j];//隐含层动量调整
layer_weight[l][j][i]+=layer_weight_delta[l][j][i];//隐含层权重调整
if(j==layerErr[l].length-1){
layer_weight_delta[l][j+1][i]= mobp*layer_weight_delta[l][j+1][i]+rate*layerErr[l+1][i];//截距动量调整
layer_weight[l][j+1][i]+=layer_weight_delta[l][j+1][i];//截距权重调整
}
}
layerErr[l][j]=z*layer[l][j]*(1-layer[l][j]);//记录误差
}
}
}
public void train(double[] in, double[] tar){
double[] out = computeOut(in);
updateWeight(tar);
}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
下面是这个测试程序BpDeepTest.java的源码：
import java.util.Arrays;
public class BpDeepTest{
public static void main(String[] args){
//初始化神经网络的基本配置
//第一个参数是一个整型数组，表示神经网络的层数和每层节点数，比如{3,10,10,10,10,2}表示输入层是3个节点，输出层是2个节点，中间有4层隐含层，每层10个节点
//第二个参数是学习步长，第三个参数是动量系数
BpDeep bp = new BpDeep(new int[]{2,10,2}, 0.15, 0.8);
//设置样本数据，对应上面的4个二维坐标数据
double[][] data = new double[][]{{1,2},{2,2},{1,1},{2,1}};
//设置目标数据，对应4个坐标数据的分类
double[][] target = new double[][]{{1,0},{0,1},{0,1},{1,0}};
//迭代训练5000次
for(int n=0;n<5000;n++)
for(int i=0;i<data.length;i++)
bp.train(data[i], target[i]);
//根据训练结果来检验样本数据
for(int j=0;j<data.length;j++){
double[] result = bp.computeOut(data[j]);
System.out.println(Arrays.toString(data[j])+":"+Arrays.toString(result));
}
//根据训练结果来预测一条新数据的分类
double[] x = new double[]{3,1};
double[] result = bp.computeOut(x);
System.out.println(Arrays.toString(x)+":"+Arrays.toString(result));
}
}
❹ 什么是神经网络中的训练样本
指对人工神经网络训练。向网络足够多的样本，通过一定算法调整网络的结构（主要是调节权值），使网络的输出与预期值相符，这样的过程就是神经网络训练。根据学习环境中教师信号的差异，神经网络训练大致可分为二分割学习、输出值学习和无教师学习三种。