1. 如何用神经网络遗传算法求极值
===============学习神经网络可以到<神经网络之家>================
可以先用matlab神经网络工具箱训练网络,当网络训练好之后,把网络存起来.
然后编写遗传算法,你知道,遗传算法是每代不断迭代的,然后每代会根据适应度决定是否进入下一代,这里的适应度你就用sim(net,x)得到的值的倒数(或者类似的)作为适应度,然后其它就和遗传算法没什么两样了.最后得到的最优解, 就是网络的最优解. 也就是你要的结果了.
不过兄弟,这想法很牛B,很值得鼓励这样的想法.但我不得不说两句,从实际角度来说,这样的实现没有太大的意义. 你的目的就是想从数据中找到Y最小的时候,X的什么值, 但数据上毕竟只是数据,不管你怎么绕,透露出来的信息还是有限的,不管怎么绕,其实数据能提供最大限度的信息就是:在Y=10.88时,即X1=25,X2=24....X6=1.5时,Y是最小值的, 这是数据能提供的最大限度的信息,你再怎么绕, 其实当你懂得神经网络的深层原理时,你会发现,你的方案并没能挖掘出更优的解(因为数据的信息是有限的),这只是把自己绕晕了
不过能有这样的想法,兄弟肯定是个学习的好材料,加油.
===============学习神经网络可以到<神经网络之家>================
2. MATLAB中一些函数，用于神经网络
一：minmax（）
minmax(A) 即是求解A矩阵中每个 行向量 中的最小值和最大值
eg：A=[1 2 4 -6 ;
3 -4 90 6;
4 6 -23 -35];
P=minmax(A)
P = -6 4
-4 90
-35 6
二：hold on 和hold off
hold on 是当前轴及图像保持而不被刷新，准备接受此后将绘制的图形，多图共存.即，启动图形保持功能，当前坐标轴和图形都将保持，从此绘制的图形都将添加在这个图形的基础上，并自动调整坐标轴的范围。
hold off 使当前轴及图像不再具备被刷新的性质，新图出现时，取消原图。即，关闭图形保持功能。
hold on 和hold off，是相对使用的
前者的意思是，你在当前图的轴（坐标系）中画了一幅图，再画另一幅图时，原来的图还在，与新图共存，都看得到
后者表达的是，你在当前图的轴（坐标系）中画了一幅图，此时，状态是hold off,则再画另一幅图时，原来的图就看不到了，在轴上绘制的是新图，原图被替换了。
三：rand 和 randn
rand是0-1的均匀分布，randn是均值为0方差为1的正态分布；
rand(n)或randn(n)生成n*n的随机数矩阵。
rand(n,m)或randn(m,n)生成m*n的随机数矩阵。
四：gac、gca 和 gco
gcf 返回当前Figure对象的句柄值
gca 返回当前axes对象的句柄值
gco 返回当前鼠标单击的句柄值，该对象可以是除root对象外的任意图形对象，并且Matlab会把当前图形对象的句柄值存放在Figure的CurrentObject属性中。
五：compet
compet是神经网络的竞争传递函数，用于指出矩阵中每列的最大值。对应最大值的行的值为1，其他行的值都为0。
六：bar和barn
二维条形图：bar（）
bar(Y) 如果Y为矢量，其每一个元素绘制一个条形；如果Y为矩阵，侧bar函数对每一行元素绘制的条形进行分组。
bar(x,Y) 按x中指定的位置绘制Y中每一元素的条形。
bar(…,width) 设置相邻条形的宽度并控制组内条形的分离，默认值为0.8，如果指定width=1,则组内的条形挨在一起。
bar(…,’style’) 指定绘制条形的类型，style有两个选项：（1） stacked 矩阵Y中每一行绘制一个条形，条形的高度为行元素中元素的和，每一个条形都用多种颜色表示，颜色对应不同种类的元素并表示每行元素对总和的相对贡献。（2） group 绘制n条形图组，每一个条形组中有m个垂直条形，其中n对应矩阵Y的行数，m对应列数，group为style的默认值。
bar(…,LineSpec) 用LineSpec指定的颜色绘制条形。
h=bar(…) 返回图形句柄。
barh(…) 绘制水平条形图。
h=barh(…) 返回水平条形图的图形句柄。
三维条形图：bar3（）和barah（）
bar3(Y) 绘制三维条形图，如果Y为矢量，其每一个元素绘制一个条形；如果Y为矩阵，侧bar函数对每一行元素绘制的条形进行分组。
bar3(x,Y) 按x中指定的位置绘制Y中每一元素的条形。
bar3(…,width) 设置相邻条形的宽度并控制组内条形的分离，默认值为0.8，如果指定width=1,则组内的条形挨在一起。
bar3(…,’style’) 指定绘制条形的类型，style有3个选项：（1） stacked 矩阵Y中每一行绘制一个条形，条形的高度为行元素中元素的和，每一个条形都用多种颜色表示，颜色对应不同种类的元素并表示每行元素对总和的相对贡献。（2） group 绘制n条形图组，每一个条形组中有m个垂直条形，其中n对应矩阵Y的行数，m对应列数，group为style的默认值。（3） detached 在x方向用单独的条形块绘制Y中的每一行元素，detached为style的默认值；
bar3(…,LineSpec) 用LineSpec指定的颜色绘制条形。
h=bar3(…) 返回三维条形图的图形句柄。
barh(…) 绘制三维水平条形图。
h=barh(…) 返回三维水平条形图的图形句柄。
三维条形图有两种显示形式：分组形式和行列形式。
未完待续
3. CNN（卷积神经网络）算法
基础知识讲解：
卷积：通过两个函数f 和g 生成第三个函数的一种数学算子，表征函数f 与g经过翻转和平移的重叠部分函数值乘积对重叠长度的积分。
前馈神经网络：各神经元分层排列，每个神经元只与前一层的神经元相连，接收前一层的输出，并输出给下一层．各层间没有反馈。
卷积神经网络：是一类包含卷积计算且具有深度结构的前馈神经网络
卷积核：就是图像处理时，给定输入图像，输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素，其中权值由一个函数定义，这个函数称为卷积核。
下采样：对于一个样值序列间隔几个样值取样一次，这样得到新序列就是原序列的下采样。
结构介绍
输入层：用于数据输入
卷积层：利用卷积核进行特征提取和特征映射
激励层：非线性映射，卷积是线性映射，弥补不足
池化层：进行下采样，对特征图稀疏处理，减少数据运算量
全连接层：在CNN的尾部进行重新拟合，减少特征信息的损失
输入层：
在CNN的输入层中，（图片）数据输入的格式 与 全连接神经网络的输入格式（一维向量）不太一样。CNN的输入层的输入格式保留了图片本身的结构。
对于黑白的 28×28 的图片，CNN的输入是一个 28×28 的的二维神经元：
而对于RGB格式的28×28图片，CNN的输入则是一个 3×28×28 的三维神经元（RGB中的每一个颜色通道都有一个 28×28 的矩阵）
卷积层：
左边是输入，中间部分是两个不同的滤波器Filter w0、Filter w1，最右边则是两个不同的输出。
ai.j=f(∑m=02∑n=02wm,nxi+m,j+n+wb)
wm,n:filter的第m行第n列的值
xi,j: 表示图像的第i行第j列元素
wb:用表示filter的偏置项
ai,j:表示Feature Map的第i行第j列元素
f:表示Relu激活函数
激励层：
使用的激励函数一般为ReLu函数：
f(x)=max(x,0)
卷积层和激励层通常合并在一起称为“卷积层”。
池化层：
当输入经过卷积层时，若感受视野比较小，布长stride比较小，得到的feature map （特征图）还是比较大，可以通过池化层来对每一个 feature map 进行降维操作，输出的深度还是不变的，依然为 feature map 的个数。
池化层也有一个“池化视野（filter）”来对feature map矩阵进行扫描，对“池化视野”中的矩阵值进行计算，一般有两种计算方式：
Max pooling：取“池化视野”矩阵中的最大值
Average pooling：取“池化视野”矩阵中的平均值
训练过程：
1.前向计算每个神经元的输出值aj（ 表示网络的第j个神经元，以下同）；
2.反向计算每个神经元的误差项σj，σj在有的文献中也叫做敏感度(sensitivity)。它实际上是网络的损失函数Ed对神经元加权输入的偏导数
3.计算每个神经元连接权重wi,j的梯度（ wi,j表示从神经元i连接到神经元j的权重）
1.最后，根据梯度下降法则更新每个权重即可。
参考： https://blog.csdn.net/love__live1/article/details/79481052
4. 神经网络，最大值和最小值归一化，是什么意思
归一化normalisation就是指把实际概率和为1的几个值，根据计算出来的过程值（可能经过了某种变换、放缩，导致其不是真实值）进行放缩，使得其和的值为1.
比如在朴素贝叶斯里面，计算条件概率时候，可以把展开后的分母去掉（因为它是一个定值），直接用正反的条件概率求分子的值，比如最后求出来是<0.4,0.2>，然后我们知道这两个概率和是1，于是就可以归一化成<0.666,0.333>.
又比如说softmax激活函数，最后输出的是每个种类的概率，使其和相加为1，这也是归一化。
5. Matlab小问题 神经网络能求极值吗
可以啊，神经网络其实就是一种数值拟合的方法，其意义和泰勒级数展开实际上是一样的，只要你正确的拟合出了数据的规律是可以求得极大值的，而且神经网络的神经元函数都是非常好球微分的，所以可以用现在很多流行的数值方法，求极大值。
这里对于一维拟合需要使用小波函数，高维需要脊波函数，PID神经元网络可用于动态网络的无导师学习。
当然对于化工领域一些问题由于样本非常有限无法找到数据的正确规律，所以可能存在预报困难的问题
6. 求人工神经网络的具体算法，数学模型，比如求一个函数最优值之类的，不要各种乱七八糟的介绍，谢谢
神经网络就像多项式或者线性模型一样，是个看不见表达式的模型，它的表达式就是网络，它比一般模型具有更高的自由度和弹性；同时它是一个典型的黑箱模型方法；比多项式等模型还黑。优化算法，就是寻优的算法，所谓寻优过程，就是寻找使目标函数最小时（都是统一表示成寻找使函数具有最小值）的自变量的值。回归或者拟合一个模型,例如用一个多项式模型去拟合一组数据，其本质就是寻找使残差平方和最小的参数值，这就是一个寻优的过程，其实就是寻找使函数F（x）值最小时的x的值；对于这个具体的寻找过程就涉及到算法问题，就是如何计算。所谓算法，是数值分析的一个范畴，就是解这问题的方法；例如一个一元二次方程 x^2-3x+1=0的解法，因为简单可以直接求解，也可以用牛顿逐个靠近的方法求解，也即是迭代，慢慢接近真实解，如此下去不断接近真值，要注意迭代算法是涉及算法精度的，这些迭代算法是基于计算机的，算法的初衷也是用近似的算法用一定的精度来接近真实值。 比如上面的方程也可以用遗传算法来解，可以从一些初始值最终迭代到最佳解。神经网络在寻找网络的参数即权值的时候，也有寻找使训练效果最好的过程，这也是寻优的过程，这里涉及到了算法就是所谓的神经网络算法，这和最小二乘算法是一样的道理；例如做响应面的时候，其实就是二次回归，用最小二乘得到二次模型的参数，得到一个函数，求最大产物量就是求函数模型的最大值，怎么算呢？顶点处如果导数为0，这个地方对应的x值就是最优的，二次模型简单可以用偏导数=0来直接解决，这过程也可以遗传算法等来解决。说到底所谓寻优的本质就是，寻找函数极值处对应的自变量的值。
7. 神经网络中为什么要用minmax(trainP)，也就是说为什么每一行都要找出最大值和最小值
newff函数的格式为：
net=newff(PR,[S1 S2 ...SN],{TF1 TF2...TFN},BTF,BLF,PF），函数newff建立一个可训练的前馈网络。输入参数说明：
PR：Rx2的矩阵以定义R个输入向量的最小值和最大值；
Si：第i层神经元个数；
TFi：第i层的传递函数，默认函数为tansig函数；
BTF：训练函数，默认函数为trainlm函数；
BLF：权值/阀值学习函数，默认函数为learngdm函数；
PF：性能函数，默认函数为mse函数。
这里的PR可以通过minmax(trainP)来快捷的实现，免去了手动生成threshold的麻烦。
8. 卷积神经网络
卷积神经网络 （Convolutional Neural Networks，CNN）是一种前馈神经网络。卷积神经网络是受生物学上感受野（Receptive Field）的机制而提出的。感受野主要是指听觉系统、本体感觉系统和视觉系统中神经元的一些性质。比如在视觉神经系统中，一个神经元的感受野是指视网膜上的特定区域，只有这个区域内的刺激才能够激活该神经元。
卷积神经网络又是怎样解决这个问题的呢？主要有三个思路：
在使用CNN提取特征时，到底使用哪一层的输出作为最后的特征呢？
答：倒数第二个全连接层的输出才是最后我们要提取的特征，也就是最后一个全连接层的输入才是我们需要的特征。
全连接层会忽视形状。卷积层可以保持形状不变。当输入数据是图像时，卷积层会以3维数据的形式接收输入数据，并同样以3维数据的形式输出至下一层。因此，在CNN中，可以（有可能）正确理解图像等具有形状的数据。
CNN中，有时将 卷积层的输入输出数据称为特征图（feature map） 。其中， 卷积层的输入数据称为输入特征图（input feature map） ， 输出数据称为输出特征图（output feature map）。
卷积层进行的处理就是 卷积运算 。卷积运算相当于图像处理中的“滤波器运算”。
滤波器相当于权重或者参数，滤波器数值都是学习出来的。 卷积层实现的是垂直边缘检测 。
边缘检测实际就是将图像由亮到暗进行区分，即边缘的过渡(edge transitions)。
卷积层对应到全连接层，左上角经过滤波器，得到的3，相当于一个神经元输出为3.然后相当于，我们把输入矩阵拉直为36个数据，但是我们只对其中的9个数据赋予了权重。
步幅为1 ，移动一个，得到一个1，相当于另一个神经单元的输出是1.
并且使用的是同一个滤波器，对应到全连接层，就是权值共享。
在这个例子中，输入数据是有高长方向的形状的数据，滤波器也一样，有高长方向上的维度。假设用（height, width）表示数据和滤波器的形状，则在本例中，输入大小是(4, 4)，滤波器大小是(3, 3)，输出大小是(2, 2)。另外，有的文献中也会用“核”这个词来表示这里所说的“滤波器”。
对于输入数据，卷积运算以一定间隔滑动滤波器的窗口并应用。这里所说的窗口是指图7-4中灰色的3 × 3的部分。如图7-4所示，将各个位置上滤
波器的元素和输入的对应元素相乘，然后再求和（有时将这个计算称为乘积累加运算）。然后，将这个结果保存到输出的对应位置。将这个过程在所有位置都进行一遍，就可以得到卷积运算的输出。
CNN中，滤波器的参数就对应之前的权重。并且，CNN中也存在偏置。
在进行卷积层的处理之前，有时要向输入数据的周围填入固定的数据（比如0等），这称为填充（padding），是卷积运算中经常会用到的处理。比如，在图7-6的例子中，对大小为(4, 4)的输入数据应用了幅度为1的填充。“幅度为1的填充”是指用幅度为1像素的0填充周围。
应用滤波器的位置间隔称为 步幅（stride） 。
假设输入大小为(H, W)，滤波器大小为(FH, FW)，输出大小为(OH, OW)，填充为P，步幅为S。
但是所设定的值必须使式（7.1）中的 和 分别可以除尽。当输出大小无法除尽时（结果是小数时），需要采取报错等对策。顺便说一下，根据深度学习的框架的不同，当值无法除尽时，有时会向最接近的整数四舍五入，不进行报错而继续运行。
之前的卷积运算的例子都是以有高、长方向的2维形状为对象的。但是，图像是3维数据，除了高、长方向之外，还需要处理通道方向。
在3维数据的卷积运算中，输入数据和滤波器的通道数要设为相同的值。
因此，作为4维数据，滤波器的权重数据要按(output_channel, input_channel, height, width)的顺序书写。比如，通道数为3、大小为5 × 5的滤
波器有20个时，可以写成(20, 3, 5, 5)。
对于每个通道，均使用自己的权值矩阵进行处理，输出时将多个通道所输出的值进行加和即可。
卷积运算的批处理，需要将在各层间传递的数据保存为4维数据。具体地讲，就是按(batch_num, channel, height, width)的顺序保存数据。
这里需要注意的是，网络间传递的是4维数据，对这N个数据进行了卷积运算。也就是说，批处理将N次的处理汇总成了1次进行。
池化是缩小高、长方向上的空间的运算。比如，如图7-14所示，进行将2 × 2的区域集约成1个元素的处理，缩小空间大小。
图7-14的例子是按步幅2进行2 × 2的Max池化时的处理顺序。“Max池化”是获取最大值的运算，“2 × 2”表示目标区域的大小。如图所示，从
2 × 2的区域中取出最大的元素。此外，这个例子中将步幅设为了2，所以2 × 2的窗口的移动间隔为2个元素。另外，一般来说，池化的窗口大小会和步幅设定成相同的值。比如，3 × 3的窗口的步幅会设为3，4 × 4的窗口的步幅会设为4等。
除了Max池化之外，还有Average池化等。相对于Max池化是从目标区域中取出最大值，Average池化则是计算目标区域的平均值。 在图像识别领域，主要使用Max池化。 因此，本书中说到“池化层”时，指的是Max池化。
池化层的特征
池化层有以下特征。
没有要学习的参数
池化层和卷积层不同，没有要学习的参数。池化只是从目标区域中取最大值（或者平均值），所以不存在要学习的参数。
通道数不发生变化
经过池化运算，输入数据和输出数据的通道数不会发生变化。如图7-15所示，计算是按通道独立进行的。
对微小的位置变化具有鲁棒性（健壮）
输入数据发生微小偏差时，池化仍会返回相同的结果。因此，池化对输入数据的微小偏差具有鲁棒性。比如，3 × 3的池化的情况下，如图
7-16所示，池化会吸收输入数据的偏差（根据数据的不同，结果有可能不一致）。
经过卷积层和池化层之后，进行Flatten，然后丢到全连接前向传播神经网络。
（找到一张图片使得某个filter响应最大。相当于filter固定，未知的是输入的图片。）未知的是输入的图片？？？
k是第k个filter，x是我们要找的参数。?这里我不是很明白。我得理解应该是去寻找最具有代表性的特征。
使用im2col来实现卷积层
卷积层的参数是需要学习的，但是池化层没有参数需要学习。全连接层的参数需要训练得到。
池化层不需要训练参数。全连接层的参数最多。卷积核的个数逐渐增多。激活层的size，逐渐减少。
最大池化只是计算神经网络某一层的静态属性，没有什么需要学习的，它只是一个静态属性 。
像这样展开之后，只需对展开的矩阵求各行的最大值，并转换为合适的形状即可（图7-22）。
参数
• input_dim ― 输入数据的维度：（ 通道，高，长 ）
• conv_param ― 卷积层的超参数（字典）。字典的关键字如下：
filter_num ― 滤波器的数量
filter_size ― 滤波器的大小
stride ― 步幅
pad ― 填充
• hidden_size ― 隐藏层（全连接）的神经元数量
• output_size ― 输出层（全连接）的神经元数量
• weitght_int_std ― 初始化时权重的标准差
LeNet
LeNet在1998年被提出，是进行手写数字识别的网络。如图7-27所示，它有连续的卷积层和池化层（正确地讲，是只“抽选元素”的子采样层），最后经全连接层输出结果。
和“现在的CNN”相比，LeNet有几个不同点。第一个不同点在于激活函数。LeNet中使用sigmoid函数，而现在的CNN中主要使用ReLU函数。
此外，原始的LeNet中使用子采样（subsampling）缩小中间数据的大小，而现在的CNN中Max池化是主流。
AlexNet
在LeNet问世20多年后，AlexNet被发布出来。AlexNet是引发深度学习热潮的导火线，不过它的网络结构和LeNet基本上没有什么不同，如图7-28所示。
AlexNet叠有多个卷积层和池化层，最后经由全连接层输出结果。虽然结构上AlexNet和LeNet没有大的不同，但有以下几点差异。
• 激活函数使用ReLU。
• 使用进行局部正规化的LRN（Local Response Normalization）层。
• 使用Dropout
TF2.0实现卷积神经网络
valid意味着不填充，same是填充
or the SAME padding, the output height and width are computed as:
out_height = ceil(float(in_height) / float(strides[1]))
out_width = ceil(float(in_width) / float(strides[2]))
And
For the VALID padding, the output height and width are computed as:
out_height = ceil(float(in_height - filter_height + 1) / float(strides[1]))
out_width = ceil(float(in_width - filter_width + 1) / float(strides[2]))
因此，我们可以设定 padding 策略。在 tf.keras.layers.Conv2D 中，当我们将 padding 参数设为 same 时，会将周围缺少的部分使用 0 补齐，使得输出的矩阵大小和输入一致。