① 神经网络的训练，究竟在训练什么
前面我们已经了解到神经网络进行预测的过程，但是仍然留下许多疑问，比如权重值如何获得，如何训练神经网络等，这些问题我们将在本文展开。
权重值也就是前文所提到的小蜘蛛的道具，没有看过的朋友可以先看看我的上一个博客。
权重值该如何获得呢？
我们以最简单的三个神经元的神经网络举例子：
最左边的神经元是起点，最右边的是终点，只有中间的神经元有权重值。
我们先来 离散 的获得一部分点：
我们可以隐约地看到这些点大约分布在一条直线附近, 我们把这条直线画出来
那我们如何通过这几个点来获得这条红色的线呢？
这十个已知的点分别是什么？
第一列表示x轴的坐标，第二列表示y轴的坐标
其实思路就是用最小二乘法，先假设随便画一条线
我画了一条 y=0.1x+0.1 的线如图所示
显然我们画的线差距很大，此时使用最小二乘法,就是每个点到直线的距离加起来，再用梯度下降法来优化！
好的，如果我这么说，肯定和每说一样，那么我 一步一步 来
第一个点的坐标是（1， 0.16375502570787515），我们把x=1带入y=0.1x+0.1这个函数，得到y=0.2
显然我们正确的y应该是0.163,那么正确的y，和我们在y=0.1x+0.1得到的y值差距是多大呢？差距是:(0.163-0.2)^2
我们要想办法减小这个差距
差距是怎么得到的？ 预测值减去真实值再平方 ，用数学语言就是(0.1*1+0.1-0.2)^2 ==> (wx+b-2)^2
就是说我们要对函数 (y - wx+b)^2 获得的值最小，也就是求这个函数的 最小值 ，高中数学就讲到求函数最小值的方法就是 求导 ，这是二元函数，就是高考最喜欢做的题目！！！求导之后画出导数函数的图像，然后与0相交的点就是极小值点！大家应该很熟悉这个步骤。
不过
这个函数有w和b两个未知数，我们的思路是正确的，只是不能通过这种方式获得最小值，所以这里我们求的是对w和对b的偏导数，（ 这里需要微积分学历 ）对w的偏导数就是 2w(wx+b-y) 。对b的偏导数就是 2(wx+b-y) 。
此时我们把第一个点的数据代入 x=1, y=0.163, w=0.1, b=0.1
对w的偏导数等于 0.0326
对b的偏导数等于 0.326
此时，我们设定一个步长，也叫学习率，假设等于0.2吧，
那么，
我们已经更新了w和b的值，只要重复这个步骤足够多的次数，那么就可以得到很接近红色的线。
其实，这就是神经网络的训练过程。
先把我们已经有的值传入网络，网络一开始的权重值是随机的，传入网络得到一个预测值，这个预测值会和真实值有一定的差距，那么我们优化这个差距，让这个差距变小，其实这就是一个反向传播的过程，我们用数学计算来更新了w和b的值，那么下一次传入网络得到的预测值与真实值之间的距离就会减小，周而复始，这个距离不断减小，我们就可以得到一个预测能力比较好的w和b，也就是拟合能力比较强的网络，就可以对未知的数据得到较为准确的结果。
② 怎么将网络语言与经典有机结合起来
要讲网络语言进行创新和经典有机的结合起来。
网络语言，是网络时代的产物，可以有所创新，但也要融入我们一脉相承的文化血脉当中。否则，网络语言也终将只会昙花一现，难以发挥更大的作用。
要做到这些，对个人来说，学会独立思考，训练自己的语言逻辑，十分重要；对社会来说，创造一个鼓励多元化表达的环境和氛围，引导大家多读经典之作，用大家喜闻乐见的形式介绍优秀传统文化，这些也都将为网络语言注入新的活力。
因此，对于网络语言，没有必要一味地排斥，毕竟它是网络时代的产物，简单、直接地表达也是顺应了互联网时代的发展趋势，它的产生不是偶然的，而是在一定的社会土壤之上成长出来的。
同互联网一样，网络语言也是新兴事物，也需要更多引导，让它走在正确轨道上，便能为人类的发展做出积极的贡献。网络语言是一种文化表现形式，我们期待它能涌现出更多拥有正能量的流行语，丰富人类的语言体系，为人类文明的长河做有益的注脚。
③ 如何使用SparkNet进行分布式深度神经网络训练
这两个概念实际上是互相交叉的，例如，卷积神经网络（Convolutional neural networks，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度置信网（Deep Belief Nets，简称DBNs）就是一种无监督学习下的机器学习模型。
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。
④ 神经网络，训练样本500条，为什么比训练样本6000条，训练完，500条预测比6000条样本好！
并非训练样本越多越好，因课题而异。 1、样本最关键在于正确性和准确性。你所选择的样本首先要能正确反映该系统过程的内在规律。我们从生产现场采得的样本数据中有不少可能是坏样本，这样的样本会干扰你的神经网络训练。通常我们认为坏样本只是个别现象，所以我们希望通过尽可能大的样本规模来抵抗坏样本造成的负面影响。 2、其次是样本数据分布的均衡性。你所选择的样本最好能涉及到该系统过程可能发生的各种情况，这样可以极大可能的照顾到系统在各个情况下的规律特征。通常我们对系统的内在规律不是很了解，所以我们希望通过尽可能大的样本规模来“地毯式”覆盖对象系统的方方面面。 3、再次就是样本数据的规模，也就是你要问的问题。在确保样本数据质量和分布均衡的情况下，样本数据的规模决定你神经网络训练结果的精度。样本数据量越大，精度越高。由于样本规模直接影响计算机的运算时间，所以在精度符合要求的情况下，我们不需要过多的样本数据，否则我们要等待很久的训练时间。 补充说明一下，不论是径向基（rbf）神经网络还是经典的bp神经网络，都只是具体的训练方法，对于足够多次的迭代，训练结果的准确度是趋于一致的，方法只影响计算的收敛速度（运算时间），和样本规模没有直接关系。
如何确定何时训练集的大小是“足够大”的？
神经网络的泛化能力主要取决于3个因素：
1.训练集的大小
2.网络的架构
3.问题的复杂程度
一旦网络的架构确定了以后，泛化能力取决于是否有充足的训练集。合适的训练样本数量可以使用Widrow的拇指规则来估计。 拇指规则指出，为了得到一个较好的泛化能力，我们需要满足以下条件（Widrow and Stearns，1985；Haykin，2008）： N = nw / e 其中，N为训练样本数量，nw是网络中突触权重的数量，e是测试允许的网络误差。 因此，假如我们允许10%的误差，我们需要的训练样本的数量大约是网络中权重数量的10倍。
⑤ 深度学习之卷积神经网络经典模型
LeNet-5模型 在CNN的应用中，文字识别系统所用的LeNet-5模型是非常经典的模型。LeNet-5模型是1998年，Yann LeCun教授提出的，它是第一个成功大规模应用在手写数字识别问题的卷积神经网络，在MNIST数据集中的正确率可以高达99.2%。
下面详细介绍一下LeNet-5模型工作的原理。
LeNet-5模型一共有7层，每层包含众多参数，也就是卷积神经网络中的参数。虽然层数只有7层，这在如今庞大的神经网络中可是说是非常少的了，但是包含了卷积层，池化层，全连接层，可谓麻雀虽小五脏俱全了。为了方便，我们把卷积层称为C层，下采样层叫做下采样层。
首先，输入层输入原始图像，原始图像被处理成32×32个像素点的值。然后，后面的隐层计在卷积和子抽样之间交替进行。C1层是卷积层，包含了六个特征图。每个映射也就是28x28个神经元。卷积核可以是5x5的十字形，这28×28个神经元共享卷积核权值参数，通过卷积运算，原始信号特征增强，同时也降低了噪声，当卷积核不同时，提取到图像中的特征不同；C2层是一个池化层，池化层的功能在上文已经介绍过了，它将局部像素值平均化来实现子抽样。
池化层包含了六个特征映射，每个映射的像素值为14x14，这样的池化层非常重要，可以在一定程度上保证网络的特征被提取，同时运算量也大大降低，减少了网络结构过拟合的风险。因为卷积层与池化层是交替出现的，所以隐藏层的第三层又是一个卷积层，第二个卷积层由16个特征映射构成，每个特征映射用于加权和计算的卷积核为10x10的。第四个隐藏层，也就是第二个池化层同样包含16个特征映射，每个特征映射中所用的卷积核是5x5的。第五个隐藏层是用5x5的卷积核进行运算，包含了120个神经元，也是这个网络中卷积运算的最后一层。
之后的第六层便是全连接层，包含了84个特征图。全连接层中对输入进行点积之后加入偏置，然后经过一个激活函数传输给输出层的神经元。最后一层，也就是第七层，为了得到输出向量，设置了十个神经元来进行分类，相当于输出一个包含十个元素的一维数组，向量中的十个元素即0到9。
AlexNet模型
AlexNet简介
2012年Imagenet图像识别大赛中，Alext提出的alexnet网络模型一鸣惊人，引爆了神经网络的应用热潮，并且赢得了2012届图像识别大赛的冠军，这也使得卷积神经网络真正意义上成为图像处理上的核心算法。上文介绍的LeNet-5出现在上个世纪，虽然是经典，但是迫于种种复杂的现实场景限制，只能在一些领域应用。不过，随着SVM等手工设计的特征的飞速发展，LeNet-5并没有形成很大的应用状况。随着ReLU与dropout的提出，以及GPU带来算力突破和互联网时代大数据的爆发，卷积神经网络带来历史的突破，AlexNet的提出让深度学习走上人工智能的最前端。
图像预处理
AlexNet的训练数据采用ImageNet的子集中的ILSVRC2010数据集，包含了1000类，共1.2百万的训练图像，50000张验证集，150000张测试集。在进行网络训练之前我们要对数据集图片进行预处理。首先我们要将不同分辨率的图片全部变成256x256规格的图像，变换方法是将图片的短边缩放到 256像素值，然后截取长边的中间位置的256个像素值，得到256x256大小的图像。除了对图片大小进行预处理，还需要对图片减均值，一般图像均是由RGB三原色构成，均值按RGB三分量分别求得，由此可以更加突出图片的特征，更方便后面的计算。
此外，对了保证训练的效果，我们仍需对训练数据进行更为严苛的处理。在256x256大小的图像中，截取227x227大小的图像，在此之后对图片取镜像，这样就使得原始数据增加了（256-224）x（256-224）x2= 2048倍。最后对RGB空间做PCA，然后对主成分做（0,0.1）的高斯扰动，结果使错误率下降1%。对测试数据而言，抽取以图像4个角落的大小为224224的图像，中心的224224大小的图像以及它们的镜像翻转图像，这样便可以获得10张图像，我们便可以利用softmax进行预测，对所有预测取平均作为最终的分类结果。
ReLU激活函数
之前我们提到常用的非线性的激活函数是sigmoid，它能够把输入的连续实值全部确定在0和1之间。但是这带来一个问题，当一个负数的绝对值很大时，那么输出就是0；如果是绝对值非常大的正数，输出就是1。这就会出现饱和的现象，饱和现象中神经元的梯度会变得特别小，这样必然会使得网络的学习更加困难。此外，sigmoid的output的值并不是0为均值，因为这会导致上一层输出的非0均值信号会直接输入到后一层的神经元上。所以AlexNet模型提出了ReLU函数，公式：f(x)=max(0,x)f(x)=max(0,x)。
用ReLU代替了Sigmoid，发现使用 ReLU 得到的SGD的收敛速度会比 sigmoid快很多，这成了AlexNet模型的优势之一。
Dropout
AlexNet模型提出了一个有效的模型组合方式，相比于单模型，只需要多花费一倍的时间，这种方式就做Dropout。在整个神经网络中，随机选取一半的神经元将它们的输出变成0。这种方式使得网络关闭了部分神经元，减少了过拟合现象。同时训练的迭代次数也得以增加。当时一个GTX580 GPU只有3GB内存，这使得大规模的运算成为不可能。但是，随着硬件水平的发展，当时的GPU已经可以实现并行计算了，并行计算之后两块GPU可以互相通信传输数据，这样的方式充分利用了GPU资源，所以模型设计利用两个GPU并行运算，大大提高了运算效率。
模型分析
AlexNet模型共有8层结构，其中前5层为卷积层，其中前两个卷积层和第五个卷积层有池化层，其他卷积层没有。后面3层为全连接层，神经元约有六十五万个，所需要训练的参数约六千万个。
图片预处理过后，进过第一个卷积层C1之后，原始的图像也就变成了55x55的像素大小，此时一共有96个通道。模型分为上下两块是为了方便GPU运算，48作为通道数目更加适合GPU的并行运算。上图的模型里把48层直接变成了一个面，这使得模型看上去更像一个立方体，大小为55x55x48。在后面的第二个卷积层C2中，卷积核的尺寸为5x5x48，由此再次进行卷积运算。在C1，C2卷积层的卷积运算之后，都会有一个池化层，使得提取特征之后的特征图像素值大大减小，方便了运算，也使得特征更加明显。而第三层的卷积层C3又是更加特殊了。第三层卷积层做了通道的合并，将之前两个通道的数据再次合并起来，这是一种串接操作。第三层后，由于串接，通道数变成256。全卷积的卷积核尺寸也就变成了13×13×25613×13×256。一个有4096个这样尺寸的卷积核分别对输入图像做4096次的全卷积操作，最后的结果就是一个列向量，一共有4096个数。这也就是最后的输出，但是AlexNet最终是要分1000个类，所以通过第八层，也就是全连接的第三层，由此得到1000个类输出。
Alexnet网络中各个层发挥了不同的作用，ReLU，多个CPU是为了提高训练速度，重叠pool池化是为了提高精度，且不容易产生过拟合，局部归一化响应是为了提高精度，而数据增益与dropout是为了减少过拟合。
VGG net
在ILSVRC-2014中，牛津大学的视觉几何组提出的VGGNet模型在定位任务第一名和分类任务第一名[[i]]。如今在计算机视觉领域，卷积神经网络的良好效果深得广大开发者的喜欢，并且上文提到的AlexNet模型拥有更好的效果，所以广大从业者学习者试图将其改进以获得更好地效果。而后来很多人经过验证认为，AlexNet模型中所谓的局部归一化响应浪费了计算资源，但是对性能却没有很大的提升。VGG的实质是AlexNet结构的增强版，它侧重强调卷积神经网络设计中的深度。将卷积层的深度提升到了19层，并且在当年的ImageNet大赛中的定位问题中获得了第一名的好成绩。整个网络向人们证明了我们是可以用很小的卷积核取得很好地效果，前提是我们要把网络的层数加深，这也论证了我们要想提高整个神经网络的模型效果，一个较为有效的方法便是将它的深度加深，虽然计算量会大大提高，但是整个复杂度也上升了，更能解决复杂的问题。虽然VGG网络已经诞生好几年了，但是很多其他网络上效果并不是很好地情况下，VGG有时候还能够发挥它的优势，让人有意想不到的收获。
与AlexNet网络非常类似，VGG共有五个卷积层，并且每个卷积层之后都有一个池化层。当时在ImageNet大赛中，作者分别尝试了六种网络结构。这六种结构大致相同，只是层数不同，少则11层，多达19层。网络结构的输入是大小为224*224的RGB图像，最终将分类结果输出。当然，在输入网络时，图片要进行预处理。
VGG网络相比AlexNet网络，在网络的深度以及宽度上做了一定的拓展，具体的卷积运算还是与AlexNet网络类似。我们主要说明一下VGG网络所做的改进。第一点，由于很多研究者发现归一化层的效果并不是很好，而且占用了大量的计算资源，所以在VGG网络中作者取消了归一化层；第二点，VGG网络用了更小的3x3的卷积核，而两个连续的3x3的卷积核相当于5x5的感受野，由此类推，三个3x3的连续的卷积核也就相当于7x7的感受野。这样的变化使得参数量更小，节省了计算资源，将资源留给后面的更深层次的网络。第三点是VGG网络中的池化层特征池化核改为了2x2，而在AlexNet网络中池化核为3x3。这三点改进无疑是使得整个参数运算量下降，这样我们在有限的计算平台上能够获得更多的资源留给更深层的网络。由于层数较多，卷积核比较小，这样使得整个网络的特征提取效果很好。其实由于VGG的层数较多，所以计算量还是相当大的，卷积层比较多成了它最显着的特点。另外，VGG网络的拓展性能比较突出，结构比较简洁，所以它的迁移性能比较好，迁移到其他数据集的时候泛化性能好。到现在为止，VGG网络还经常被用来提出特征。所以当现在很多较新的模型效果不好时，使用VGG可能会解决这些问题。
GoogleNet
谷歌于2014年Imagenet挑战赛（ILSVRC14）凭借GoogleNet再次斩获第一名。这个通过增加了神经网络的深度和宽度获得了更好地效果，在此过程中保证了计算资源的不变。这个网络论证了加大深度，宽度以及训练数据的增加是现有深度学习获得更好效果的主要方式。但是增加尺寸可能会带来过拟合的问题，因为深度与宽度的加深必然会带来过量的参数。此外，增加网络尺寸也带来了对计算资源侵占过多的缺点。为了保证计算资源充分利用的前提下去提高整个模型的性能，作者使用了Inception模型，这个模型在下图中有展示，可以看出这个有点像金字塔的模型在宽度上使用并联的不同大小的卷积核，增加了卷积核的输出宽度。因为使用了较大尺度的卷积核增加了参数。使用了1*1的卷积核就是为了使得参数的数量最少。
Inception模块
上图表格为网络分析图，第一行为卷积层，输入为224×224×3 ，卷积核为7x7，步长为2，padding为3，输出的维度为112×112×64，这里面的7x7卷积使用了 7×1 然后 1×7 的方式，这样便有(7+7)×64×3=2,688个参数。第二行为池化层，卷积核为3×33×3，滑动步长为2，padding为 1 ，输出维度：56×56×64，计算方式：1/2×(112+2×1?3+1)=56。第三行，第四行与第一行，第二行类似。第 5 行 Inception mole中分为4条支线，输入均为上层产生的 28×28×192 结果：第 1 部分，1×1 卷积层，输出大小为28×28×64；第 2 部分，先1×1卷积层，输出大小为28×28×96，作为输入进行3×3卷积层，输出大小为28×28×128；第 3部分，先1×1卷积层，输出大小为28×28×32，作为输入进行3×3卷积层，输出大小为28×28×32；而第3 部分3×3的池化层，输出大小为输出大小为28×28×32。第5行的Inception mole会对上面是个结果的输出结果并联，由此增加网络宽度。
ResNet
2015年ImageNet大赛中，MSRA何凯明团队的ResialNetworks力压群雄，在ImageNet的诸多领域的比赛中上均获得了第一名的好成绩，而且这篇关于ResNet的论文Deep Resial Learning for Image Recognition也获得了CVPR2016的最佳论文，实至而名归。
上文介绍了的VGG以及GoogleNet都是增加了卷积神经网络的深度来获得更好效果，也让人们明白了网络的深度与广度决定了训练的效果。但是，与此同时，宽度与深度加深的同时，效果实际会慢慢变差。也就是说模型的层次加深，错误率提高了。模型的深度加深，以一定的错误率来换取学习能力的增强。但是深层的神经网络模型牺牲了大量的计算资源，学习能力提高的同时不应当产生比浅层神经网络更高的错误率。这个现象的产生主要是因为随着神经网络的层数增加，梯度消失的现象就越来越明显。所以为了解决这个问题，作者提出了一个深度残差网络的结构Resial：
上图就是残差网络的基本结构，可以看出其实是增加了一个恒等映射，将原本的变换函数H(x)转换成了F(x)+x。示意图中可以很明显看出来整个网络的变化，这样网络不再是简单的堆叠结构，这样的话便很好地解决了由于网络层数增加而带来的梯度原来越不明显的问题。所以这时候网络可以做得很深，到目前为止，网络的层数都可以上千层，而能够保证很好地效果。并且，这样的简单叠加并没有给网络增加额外的参数跟计算量，同时也提高了网络训练的效果与效率。
在比赛中，为了证明自己观点是正确的，作者控制变量地设计几个实验。首先作者构建了两个plain网络，这两个网络分别为18层跟34层，随后作者又设计了两个残差网络，层数也是分别为18层和34层。然后对这四个模型进行控制变量的实验观察数据量的变化。下图便是实验结果。实验中，在plain网络上观测到明显的退化现象。实验结果也表明，在残差网络上，34层的效果明显要好于18层的效果，足以证明残差网络随着层数增加性能也是增加的。不仅如此，残差网络的在更深层的结构上收敛性能也有明显的提升，整个实验大为成功。
除此之外，作者还做了关于shortcut方式的实验，如果残差网络模块的输入输出维度不一致，我们如果要使维度统一，必须要对维数较少的进行増维。而增维的最好效果是用0来填充。不过实验数据显示三者差距很小，所以线性投影并不是特别需要。使用0来填充维度同时也保证了模型的复杂度控制在比较低的情况下。
随着实验的深入，作者又提出了更深的残差模块。这种模型减少了各个层的参数量，将资源留给更深层数的模型，在保证复杂度很低的情况下，模型也没有出现梯度消失很明显的情况，因此目前模型最高可达1202层，错误率仍然控制得很低。但是层数如此之多也带来了过拟合的现象，不过诸多研究者仍在改进之中，毕竟此时的ResNet已经相对于其他模型在性能上遥遥领先了。
残差网络的精髓便是shortcut。从一个角度来看，也可以解读为多种路径组合的一个网络。如下图：
ResNet可以做到很深，但是从上图中可以体会到，当网络很深，也就是层数很多时，数据传输的路径其实相对比较固定。我们似乎也可以将其理解为一个多人投票系统，大多数梯度都分布在论文中所谓的effective path上。
DenseNet
在Resnet模型之后，有人试图对ResNet模型进行改进，由此便诞生了ResNeXt模型。
这是对上面介绍的ResNet模型结合了GoogleNet中的inception模块思想，相比于Resnet来说更加有效。随后，诞生了DenseNet模型，它直接将所有的模块连接起来，整个模型更加简单粗暴。稠密相连成了它的主要特点。
我们将DenseNet与ResNet相比较:
从上图中可以看出，相比于ResNet，DenseNet参数量明显减少很多，效果也更加优越，只是DenseNet需要消耗更多的内存。
总结
上面介绍了卷积神经网络发展史上比较着名的一些模型，这些模型非常经典，也各有优势。在算力不断增强的现在，各种新的网络训练的效率以及效果也在逐渐提高。从收敛速度上看，VGG>Inception>DenseNet>ResNet,从泛化能力来看，Inception>DenseNet=ResNet>VGG，从运算量看来，Inception<DenseNet< ResNet<VGG，从内存开销来看，Inception<ResNet< DenseNet<VGG。在本次研究中，我们对各个模型均进行了分析，但从效果来看，ResNet效果是最好的，优于Inception，优于VGG，所以我们第四章实验中主要采用谷歌的Inception模型，也就是GoogleNet。
⑥ 谈一下你如何利用网络 练习/提高 英语口语
http://..com/q?word=%C8%E7%BA%CE%CC%E1%B8%DF%D3%A2%D3%EF%BF%DA%D3%EF%C4%DC%C1%A6&ct=17&pn=0&tn=ikaslist&rn=10
相信对你会有所帮助!
当代社会是个开放社会，信息社会，人们越来越重视交际，而我国改革开放的成功也日益提高了我国在世界上的地位，我们与世界各国交流的领域越来越广了，没有出众的英语口语表达将会寸步难行。
而要提高英语口语表达能力，就要先了解英语口语表达的过程是怎样发生的。大家知道，语言是思维的外壳。口语表达的过程，实际上是一个复杂的心理和生理过程，是思维借助词语按一定句式迅速转换为有声言语的过程。因此，口语能力的强弱取决于：
1、思维能力的强弱，特别是与口语有关的思维的条理性、敏锐性与灵活性，这是关键。
2、准确、迅速地组织言语（选词、造句、组段、构篇）能力的强弱，这是基础。
3、运用语言的能力的强弱，这是前提。
根据口语表达循序渐进的一般规律，口语训练的重点应是培养敏锐的思维和强烈的语感。具体包括：
1、语音。学会科学发声方法，能用准确、响亮、流畅的英语进行口头表达。
2、语调。能借助声音高低升降、抑扬顿挫的变化来表达复杂的感情，掌握停连和轻重、抑扬和明暗、快慢和松紧等一般的朗读技巧。
3、词汇。能掌握比较丰富的口语词汇。
4、语脉。说话能做到有条有理、语言流畅、上下贯通、一脉相承。
5、语境。说话注意目的、对象、场合，合乎规定情景的要求，讲礼貌、有针对性。懂得口语修辞。在会话中有随机应变的能力。
此外，还要懂得口头言语的辅助手段－－ 表情、姿势、 动作等态势言语的运用。
由于书面语和口语是相互渗透、相互促进的，为提高口语的表现力，可在说话训练之前先进行一章朗读、朗诵训练。听和说是一个事物的两个方面，吸收、表达两者不能偏废，所以口语训练体系中也应包括。通过以上训练，掌握一定的朗读朗诵技巧，培养准确、流利、有感情地朗读朗诵一般作品的能力，特别注意培养强烈的语感。
3、听力训练
培养听的注意力、理解力、记忆力和辨析力，提高听知能力，养成良好的听的习惯。
4、口语表达基本方式训练
进行叙述、描述、评述、解说等口语表达基本方式的训练，培养内部言语向外部言语迅速转化的能力，结合进行语调、语脉的训练。
5、会话型言语训练
言语形式有会话型和独白型两类。会话是指两个以上的人围绕一个或几个话题一起说话的形式，如交谈、座谈、辩论、审讯等。会话时参加者是互为听、讲者的，因此后面的发言常常受到前面发言的制约。另外，由于当面交谈，大量态势语代替了言语表达，会话者的言语结构往往不严谨、不完善，省略句较多。
可进行如下训练：通过交谈和辩论两种会话言语训练，了解它们的一般特点、注意事项，结合进行应变能力和礼貌用语的训练，从而在会话中有效地培养随机应变的能力。
6、独白型言语训练
独白是指一个人单独发言而其他人都作为听众的言语表达形式，如：讲故事、作报告、讲课、演讲、讲解员的解说等。独白言语一般不在进行过程中跟听众问答交流，因此要求在事先要周密地了解听众的要求并系统地组织好发言内容和有关态势语。独白是一种高层次的言语形式。
可通过讲故事和演讲两种独白言语的训练，了解它们的一般特点、注意事项，结合进行运用态势语的训练，这类训练很有利于培养思维的条理性和连贯性。
7、即兴小品训练
即兴小品要求表演者按照规定的题目和要求，在规定的时间内，充分发挥自己的想象，不用或少用道具，通过言语和动作的表演，展现社会生活中的某个瞬间或片断，表达一个简单的主题。
严格地说，小品应该是话剧艺术表演训练的一种形式，但由于它具有综合的特点，对训练思维的创造性、敏捷性、条理性、言语表达的准确性、形象性、流畅性，以及应变力，乃至姿势的综合运用等等，都有很大的好处，所以我们要想英语口语表达能力更上一个层次，这种形式的训练也要加以采用。
懂得了英语口语表达的规律，并不等于就有了一口流畅的英语表达口才，就好象读了介绍游泳的书并不等于一定会游泳一样，关键还是要在长期的时实践中持之以恒地艰苦磨练。这种训练不同于我们平时常听常说的那种日常英语口语训练。日常的英语口语训练与之相比简单得多，所用的词汇量及话题所涉及的深度都是相当有限的。而真正高层次的英语口语交际所需达到的流畅性、条理性、敏锐性和灵活性并不是常练一些日常用语就能达到的，其中用到的词汇量也因话题的深入和多样而大大增加了。
所以，要想真正地提高英语口语，说一口流利而又有水平的交际英语，得有对英语口语表达感兴趣作为前提，懂得以上的规律，重视运用以上的训练步骤，加上长期的艰苦训练，才会有成效，才会达到目的。听力训练，当然，在训练过程中，听和说是无法截然分开的。
因此，英语口语训练体系可按以下顺序安排：
1、语音训练
在学习英语语音知识的基础上加强语音训练，进行方音辨正练习。通过学习，打好英语语音知识，有一定的辨音能力，能用英语正确、清楚、响亮地表达。
2、朗读朗诵训练
进行呼吸、发声与共鸣训练，吐字纳音的训练，以及各种朗读朗诵技巧的训练，学会常用文体的朗读、朗诵，懂得在朗诵中恰当使用态势语
⑦ 怎样用weka对数据进行神经网络训练
常用的神经网络就是向前反馈的BP(Back Propagation)网络，也叫多层前馈网络，而BP在weka中就是由MultilayerPerceptron算法实现的。
所以呢
在weka explorer中选用classifiers.functions.MultilayerPerceptron训练分类模型就可以了^^
⑧ 如何训练神经网络
1、先别着急写代码
训练神经网络前，别管代码，先从预处理数据集开始。我们先花几个小时的时间，了解数据的分布并找出其中的规律。
Andrej有一次在整理数据时发现了重复的样本，还有一次发现了图像和标签中的错误。所以先看一眼数据能避免我们走很多弯路。
由于神经网络实际上是数据集的压缩版本，因此您将能够查看网络（错误）预测并了解它们的来源。如果你的网络给你的预测看起来与你在数据中看到的内容不一致，那么就会有所收获。
一旦从数据中发现规律，可以编写一些代码对他们进行搜索、过滤、排序。把数据可视化能帮助我们发现异常值，而异常值总能揭示数据的质量或预处理中的一些错误。
2、设置端到端的训练评估框架
处理完数据集，接下来就能开始训练模型了吗？并不能！下一步是建立一个完整的训练+评估框架。
在这个阶段，我们选择一个简单又不至于搞砸的模型，比如线性分类器、CNN，可视化损失。获得准确度等衡量模型的标准，用模型进行预测。
这个阶段的技巧有：
· 固定随机种子
使用固定的随机种子，来保证运行代码两次都获得相同的结果，消除差异因素。
· 简单化
在此阶段不要有任何幻想，不要扩增数据。扩增数据后面会用到，但是在这里不要使用，现在引入只会导致错误。
· 在评估中添加有效数字
在绘制测试集损失时，对整个测试集进行评估，不要只绘制批次测试损失图像，然后用Tensorboard对它们进行平滑处理。
· 在初始阶段验证损失函数
验证函数是否从正确的损失值开始。例如，如果正确初始化最后一层，则应在softmax初始化时测量-log(1/n_classes)。
· 初始化
正确初始化最后一层的权重。如果回归一些平均值为50的值，则将最终偏差初始化为50。如果有一个比例为1:10的不平衡数据集，请设置对数的偏差，使网络预测概率在初始化时为0.1。正确设置这些可以加速模型的收敛。
· 人类基线
监控除人为可解释和可检查的损失之外的指标。尽可能评估人的准确性并与之进行比较。或者对测试数据进行两次注释，并且对于每个示例，将一个注释视为预测，将第二个注释视为事实。
· 设置一个独立于输入的基线
最简单的方法是将所有输入设置为零，看看模型是否学会从输入中提取任何信息。
· 过拟合一个batch
增加了模型的容量并验证我们可以达到的最低损失。
· 验证减少训练损失
尝试稍微增加数据容量。
⑨ 怎样fine－tuning
我们有自己的图像识别任务，然而我们的数据集太小，直接进行训练很容易出现过拟合现象
所以比较好的解决方案是先在一个大数据集中训练以提取比较准确的浅层特征，然后 再针对这个训练过的网络利用我们的数据集进行训练 ，那么效果就会好很多。这个过程就是fine－tuning。
大家都注意到了这个情况，所以
（1）FeifeiLi带头创建imagenet，这个图像库非常巨大，满足我们预先训练的各种要求，另外近期Google发布Open Images，包含900w labeled images，媲美Imagenet dataset。
（2）有些网络结构非常经典，比如Alexnet，Googlenet，VGGnet，ResNet等等，如果我们想利用这些网络去做自己的应用，就首先要把它们在大数据集（imagenet等等）中训练，然后再用自己的数据训练；显然前面一步是重复的步骤，并且非常耗时耗力（可能花费数台机器数周时间）。所以针对上述问题各种深度学习库（caffe、Tensorflow、torch）等等就预先用经典网络训练在imagenet上训练，把模型（各个参数）公布网上，我们直接拿来用即可，省去了大量pre－train的时间。这些模型（参数）就是model zoo
1.在imagenet训练最终输出是1000个分类，所以网络结构大概是经典网络—全连接层（前面）—最后的全连接层（1000输出）。
2.如果我们要进行fine－tuning
我们设计自己的网络
（1）经典网络—全连接层（前面）—最后的全连接层（我们的类别输出）
（2）经典网络—全连接层（all new）
（3）经典网络—卷积池化层（new）－全连接层（all new）
上述三种分别对应网络改动从小到大，对应的学习速率会有所区别。
在改动过程中， 网络名称相同的参数会直接搬过来，不同的会根据设置初始化
一定注意改动过程中size要匹配！
⑩ 巧借Deep Network Designer分析经典网络结构——AlexNet
关于如何使用Deep Network Designer，大家可以打开自己的MATLAB，在APP一栏中找到Deep Network Designer点击打开即可。使用的具体流程详见我在介绍LeNet5一文中，这里就不在赘述了。地址： https://www.jianshu.com/p/86f591c44ad3
AlexNet 是 vgg 网络和 resten 网络系列的基石。其网络架构中新颖的特征如下所示
1.以ReLu替代sigmoid和tanh函数。实践证明这样可以使网络更快收敛
2.其中最大池化（ Max pooling）的概念也是在AlexNet提出的，即对每一个邻近像素组成的"池子"，选取像素最大值作为输出。在LeNet中，池化的像素是不重叠的；而在 AlexNet 中进行的是有重叠的池化。（PS:我在介绍LeNet中的池化采用的也是最大池化）大量的实践表明，有重叠的最大池化能够很好的克服过拟合问题，提升系统性能。
3.随机丢弃（Dropout）为了避免系统参数更新过快导致的过拟合，每一次利用训练样本更新参数的时候，随机“丢弃”一定比例的神经元，被丢弃的神经元不再参与训练过程，输入和输出该神经元的权重系数也不做更新。这样每次训练时训练的网络构架都不一样，而这些不同的网络构架却分享共同训练的权重系数。实践表明，随机丢弃的技术技术减缓了网络收敛度，也大概率避免了过拟合的发生。
4.在多个GPU上训练。单个GPU存储空间有限,使用两块GPU,在每个GPU上存储一半的kernels,这两块GPU在特定层上通信