A. CNN卷积神经网络 DeepLearnToolbox问题
我没用过CNN，我只能就matlab神经网络普遍存在的问题回答你，
1，同样的输入训练样本和测试样本得到不一样的结果，可能是因为权值初始化是随机的，每个随机的初始值在训练的时候，误差只能收敛到那片区域的局部最小值，而不能保证全局最小值。就像你被随机传送到一片起伏不定的山区，你沿着下山路径走到地势最低的点，但不能保证那个是整片山区地势最低的点。这是神经网络中很常见的局部最小值问题。你可以通过设置学习算法来改善。
2，神经网络会默认将样例按一定比例划分为训练数据和测试数据，好像是这三个属性
net.divideParam.trainRatio ;
net.divideParam.valRatio;
net.divideParam.testRatio;
如果你的测试样例不多的话，那么再划分之后的训练数据就更少了，所以有些数据可能根本猜岁没训练慧兆芹过。解决方法前毕就是把训练比例设置为1。
这是我在学习过程中遇到的实际问题以及解决方法，希望对你有帮助
B. 卷积神经网络卷积层算完数据超阈怎么办
、计算方法不同1、前馈神经网络：一种最简单的神经网络，各神经元分层排列AI爱发猫 www.aifamao.com。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层尘中．各层间没有反馈。
2、BP神经网络：是一种按照误差逆向传播算法训练的多层前馈神经网络。3、卷积神经网络：包含卷积计算且具有深度结构的前馈神经网络。
二、用途不同1、前馈神经网络：主要应用包括感知器网络、BP网络和RBF网络。
2、BP神经网络：（1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数；（2）模式识别：用一个待定的输出向量将它与输入向量联系起来；（3）分类：把输入向量所定义的合适方式进行分类；（4）数据压缩：减少输出向量维数以便于传输或存储。
3、卷积神经网络：可应用于图像识别、物体识别等计算机视觉、自然语言处理、物理学和遥感科学等领域。联系：BP神经网络和卷积神经网络都属于前馈神经网络，三者都属于人工神经网络。因此，三者原理和结构相同。
三、作用不同1、前馈神经网络：结构简单，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数．而且可以精确实现任意有限训练样本集。2、BP神经网络：具有很强的非线性映射能力和柔性的网络结构。
网络的中间层数、各层的神经元个数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。3、卷积神经网络颂兄拆：具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。
(2)卷积神经网络电脑崩溃扩展阅读：1、BP神经网络优劣势BP神经网络无论在网络理论还是在性能方面已比较成熟。其突出优点就是具有很强的非线性映射能力和柔性的网络结构。
网络的中间层数、各层的神经元个数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。但是BP神经网络也存在以下的一些主要缺陷。
①学习速度慢，即使是一个简单的问题，一般也需要几百次甚至上千次的学习才能收敛。②容易陷入局部极小值。③网络层数、神经元个数的选择没有相应的理论指导。④网络推广能力有限。
2、人工神经网络的特点和优越性，主要表现在以下三个方面①具有自学习功能。
例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。
预期未来的人工神经网络计算机将野枣为人类提供经济预测、效益预测，其应用前途是很远大的。②具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。③具有高速寻找优化解的能力。
寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。
参考资料：网络—前馈神经网络网络—BP神经网络网络—卷积神经网络网络—人工神经网络。
卷积神经网络处理规格不同的图片
用卷积神经网络处理 “图” 结构数据应该怎么办
。
卷积神经网络有以下几种应用可供研究：1、基于卷积网络的形状识别物体的形状是人的视觉系统分析和识别物体的基础，几何形状是物体的本质特征的表现，并具有平移、缩放和旋转不变等特点，所以在模式识别领域，对于形状的分析和识别具有十分重要的意义，而二维图像作为三维图像的特例以及组成部分，因此二维图像的识别是三维图像识别的基础。
2、基于卷积网络的人脸检测卷积神经网络与传统的人脸检测方法不同，它是通过直接作用于输入样本，用样本来训练网络并最终实现检测任务的。
它是非参数型的人脸检测方法，可以省去传统方法中建模、参数估计以及参数检验、重建模型等的一系列复杂过程。本文针对图像中任意大小、位置、姿势、方向、肤色、面部表情和光照条件的人脸。
3、文字识别系统在经典的模式识别中，一般是事先提取特征。提取诸多特征后，要对这些特征进行相关性分析，找到最能代表字符的特征，去掉对分类无关和自相关的特征。
然而，这些特征的提取太过依赖人的经验和主观意识，提取到的特征的不同对分类性能影响很大，甚至提取的特征的顺序也会影响最后的分类性能。同时，图像预处理的好坏也会影响到提取的特征。
卷积神经网络为什么最后接一个全连接层
在常见的卷积神经网络的最后往往会出现一两层全连接层，全连接一般会把卷积输出的二维特征图（featuremap）转化成（N*1）一维的一个向量全连接的目的是什么呢？
因为传统的端到到的卷积神经网络的输出都是分类（一般都是一个概率值），也就是几个类别的概率甚至就是一个数--类别号，那么全连接层就是高度提纯的特征了，方便交给最后的分类器或者回归。
但是全连接的参数实在是太多了，你想这张图里就有20*12*12*100个参数，前面随便一层卷积，假设卷积核是7*7的，厚度是64，那也才7*7*64，所以现在的趋势是尽量避免全连接，目前主流的一个方法是全局平均值。
也就是最后那一层的featuremap（最后一层卷积的输出结果），直接求平均值。有多少种分类就训练多少层，这十个数字就是对应的概率或者叫置信度。
卷积神经网络是如何反向调整参数的？
卷积神经网络的模型问题？ 50
。
怎么又是你.....网络自然是搭建起来的啊，比如CNN，一层一层地建，如果你是用别人已经建好的网络，比如最简单的LeNet-5，那么Tensorflow中会直接提供你一个Net；但是如果你是自定义网络类型，那么需要继承nn.Noles，然后重新定义网络结构，封装成一个Net，总结起来，模型是很多数学公式搭在一起，然鹅，数学公式是封装好的，可以相互交流哈。
打开CSDN，阅读体验更佳
卷积神经网络的缺点是什么?_薯仔西瓜大芝麻的博客_卷积神经...
平移不变性 当我们说平移不变性时,我们意思是,稍微改变同一物体的朝向或位置,可能并不会激活那些识别该物体的神经元。 正如上图所示,假如一个神经元是用来识别一只猫的,其参数会随着猫的位置和转动的变化而变化。虽然数据扩增(data aug...
卷积神经网络存在的问题,卷积神经网络的卷积层_普通网友的博客-CSDN博 ...
对于无法完美解决的梯度消失问题,一个可能部分解决梯度消失问题的办法是使用ReLU(RectifiedLinearUnit)激活函数,ReLU在卷积神经网络CNN中得到了广泛的应用,在CNN中梯度消失似乎不再是问题。 那么它是什么样子呢?其实很简单,比我们前面提到的...
最新发布 影响深度卷积神经网络算法的关键参数是网络结构
局部连接的概念参考局部感受域，即某个视神经元仅考虑某一个小区域的视觉输入，因此相比普通神经网络的全连接层（下一层的某一个神经元需要与前一层的所有节点连接），卷积网络的某一个卷积层的所有节点只负责前层输入的某一个区域（比如某个3*3的方块）。卷积神经网络的连接性：卷积神经网络中卷积层间的连接被称为稀疏连接（sparse connection），即相比于前馈神经网络中的全连接，卷积层中的神经元仅与其相邻层的部分，而非全部神经元相连。权重共享和稀疏连接一样，减少了卷积神经网络的参数总量，并具有正则化的效果。
继续访问
卷积神经网络难点梳理
目录1 基本概念及原理1.1 基本概念1.2 基本原理2 卷积是怎么“卷”的2.1 数学中的卷积2.2 CNN中的卷积3 损失函数是怎样当好指挥官的4 梯度下降、反向传播和显卡参考内容 1 基本概念及原理 1.1 基本概念 概念名称 目的 操作 示意图 卷积(Convolution) 提取特征 将图像矩阵遍历乘以卷积核矩阵并输出 池化(Pooling) 降低数据量 对小块矩阵中的所有数取平均（平均池化）或者取最大（最大池化）并只输出一个值，再遍历 激活(Activation) 对
继续访问
卷积神经网络的缺点_辽宁大学的博客_卷积神经网络的优缺点
1.做卷积神经网络需要将数据集归一化。不同的尺寸混合在一起难以训练。2.卷积神经网络没有记忆功能。3.对图像处理很友善,对视频语音自然语言处理能力差...
关于CNN卷积神经网络的问题_麦格芬230的博客
将卷积神经网络CNN应用到文本分类任务,利用多个不同大小的卷积核来提取句子中的关键信息(类似于多窗口大小的N-gram),从而能够更好地捕捉局部相关性。 4.在情感分析任务中,TextCNN的卷积核,卷积的是哪些向量呢?卷积卷的是这些向量的什么...
深入浅出——搞懂卷积神经网络的过拟合、梯度弥散、batchsize的影响的问题（二）
过拟合 梯度弥散 batchsize 不平衡数据集
继续访问
cnn卷积神经网络反向传播,卷积神经网络维度变化
深度学习框架，尤其是基于人工神经网络的框架可以追溯到1980年福岛邦彦提出的新认知机[2]，而人工神经网络的历史更为久远。1989年，燕乐存（YannLeCun）等人开始将1974年提出的标准反向传播算法[3]应用于深度神经网络，这一网络被用于手写邮政编码识别。尽管算法可以成功执行，但计算代价非常巨大，神经网路的训练时间达到了3天，因而无法投入实际使用[4]。...
继续访问
卷积神经网络CNN特点功能及其缺陷_一只不出息的程序员的博客...
卷积:简单地说,图像经过平移,相应的特征图上的表达也是平移的。 下图只是一个为了说明这个问题的例子。输入图像的左下角有一个人脸,经过卷积,人脸的特征(眼睛,鼻子)也位于特征图的左下角。 在神经网络中,卷积被定义为不同位置的特征...
记录 训练卷积神经网络时遇到的问题_后知后觉w的博客
记录 训练卷积神经网络时遇到的问题 问题1、softmax分类的loss最后会停在0.6931这个值 原因分析:在分类层使用了keras.layers.Lambda,导致分类器没有可训练的参数,因此没有分类能力,即,无论是否为object,softmax的输出都是0.5,根据loss...
都说卷积神经网络是个好东西，但它有什么弊端呢?
图片来源：Mathworks翻译 | 王赫编辑 | Donna2012年，三位深度学习的“巨人”Alex Krizhevsky, Ilya Sutskever 和 Geoffrey Hinton，联合发表了题为 “ImageNet Classification with Deep Convolutional Networks” 的论文。自此，卷积神经网络( CNNs )就成了一个万人追捧的工具，并
继续访问
卷积神经网络—全连接层
卷积神经网络—全连接层 全连接层 全连接层与卷积层 全连接层与GAP（全局平均池化层） [1] https://blog.csdn.net/Touch_Dream/article/details/79775786 [2] https://www.cnblogs.com/zongfa/p/9048680.html [3] https://www.hu.com/question/410379...
继续访问
五、卷积神经网络CNN5(卷积相关问题2)_满满myno的博客
输出深度(通道)与卷积核(过滤器)的个数相等。 激活函数通常放在卷积神经网络的那个操作之后 通常放在卷积层之后。 如何理解最大池化层有几分缩小 池化层:对输入的特征图进行压缩,一方面使特征图变小,简化网络计算复杂度;一方面 ...
卷积神经网络的缺点
（1）效果好是因为仿生学，缺点是无法扩展到平面视觉以外的地方吧。 （2）缺点一：实现比较复杂。缺点二：训练所需时间比较久。 （3）不是单一算法,不同的任务需要单独训练 （4）世界(物理空间、解空间等)是连续且局部平坦的+规律/特征具有时空局部平移不变性，即世界存在局部平移不变的统计规律 举个例子：在地球表面某局部画三角形，发现内角和总是等于180，并且随便跑到地球的哪里都是如此，但是如果你
继续访问
神经网络 卷积神经网络,卷积神经网络常见问题
卷积神经网络（ConvolutionalNeuralNetwork,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。[1] 它包括卷积层(alternatingconvolutionallayer)和池层(poolinglayer)。卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。...
继续访问
卷积神经网络（CNN）入门常见问题解答
目录 什么是神经元？ 激活函数的作用？ 什么是神经网络？ CNN怎么进行识别？ 计算机如何识别图像？ CNN如何更准确人性化的对比图像？ 什么是卷积操作？ 感谢作者： CNN笔记：通俗理解卷积神经网络_v_JULY_v的博客-CSDN博客_卷积神经网络通俗理解 什么是神经元？ 神经网络由大量的神经元相互连接而成。每个神经元接受线性组合的输入后，最开始只是简单的线性加权，后来给每个神经元加上了非线性的激活函数，从而进行非线性变换后输出。每两个神经元之间的连接代表加权值，称...
继续访问
卷积神经网络——解决参数太多问题
一、全连接网路的局限性 图像变大导致色彩书变多，不好解决 不便处理高维数据 对于比较复杂的高维数据，如果按照全连接的方法，则只能通过增加节点、增加层数的方式来解决。增加节点会引起参数过多的问题。由于隐藏层神经网络使用的是sigmod或tanh激活函数，其反向传播的有效成层数只能在4~6层左右。 二、理解卷积神经网络 三、网络结构 卷积神经网络的结构与全连接网络相比复杂很多。它的网络结构主要包括卷积层、池化层。细节又可以分为滤波器、步长、卷积操作、池化操作。 1.网络结构描述 对于一般的图片会使用多个卷积
继续访问
人工智能深度学习卷积神经网络入门
<span style="font-size:16px;">"java大数据人工智能培训学校全套教材"系列课程由1000集视频构成，基本就 是1）时下流行的java培训学校主流内部教材，2）和市面上培训学校的通 行的课程体系几乎一样。所以这套课程都能自己学下来，等于上了培训学校一次，完全可以找个java工程师的工作了。</span><br /> <br /> <span style="font-size:14px;"><span style="font-size:16px;"> 通过学习卷积神经网络概述，为什么引入神经网络来做识别，判断，预测，</span><strong><span style="font-size:16px;">训练模型</span></strong><span style="font-size:16px;">，</span><strong><span style="font-size:16px;">激活函数</span></strong><span style="font-size:16px;">，</span><strong><span style="font-size:16px;">sigmoid激活函数</span></strong><span style="font-size:16px;">，</span><strong><span style="font-size:16px;">导数和切线</span></strong><span style="font-size:16px;">，</span><strong><span style="font-size:16px;">sigmoid激活函数如何求导</span></strong><span style="font-size:16px;">，</span><strong><span style="font-size:16px;">链式法则</span></strong><span style="font-size:16px;">，</span><strong><span style="font-size:16px;">梯度</span></strong><span style="font-size:16px;">，</span><strong><span style="font-size:16px;">梯度下降法与delta法则</span></strong><span style="font-size:16px;">，</span><strong><span style="font-size:16px;">BP（back propagation）误差逆传播神经网络</span></strong><span style="font-size:16px;">，</span><strong><span style="font-size:16px;">卷积到底有什么作用？如何做到特征提取</span></strong><span style="font-size:16px;">，</span><strong><span style="font-size:16px;">池化的名字由来</span></strong><span style="font-size:16px;">，</span><strong><strong><span style="font-size:16px;">dropout</span></strong></strong><span style="font-size:16px;">，</span><strong><span style="font-size:16px;">Anaconda Prompt的用法</span></strong><span style="font-size:16px;">，</span><strong><span style="font-size:16px;">Jupyter notebook的用法</span></strong><span style="font-size:16px;">，</span><strong><span style="font-size:16px;">Spyder的用法</span></strong><span style="font-size:16px;">，</span><strong><span style="font-size:16px;">建立安装Tensorflow所需的Anaconda虚拟环境</span></strong><span style="font-size:16px;">，</span><strong><span style="font-size:16px;">如何在Anaconda虚拟环境安装Tensorflow与Keras</span></strong><span style="font-size:16px;">概念等让大家对人工智能，卷积神经网络快速入门。</span></span><br /> <br /> <span style="font-size:16px;">课程特色：专业细致，偏案例，理论强。</span><br /> <br /> <span style="font-size:14px;"><span style="font-size:16px;">课程软件使用：</span><span style="font-size:14px;"><strong><span style="font-size:16px;">Anaconda，</span><span style="font-size:14px;"><strong><span><span style="font-size:16px;">Spyder，</span><span style="font-size:16px;"><strong><span style="font-size:16px;">Jupyter notebook</span></strong></span></span></strong></span></strong></span></span><br /> <br /> <span style="font-size:16px;">重要声明：</span><br /> <br /> <span style="font-size:16px;">1） 如果感觉噪音大，可以选择不用耳机，加音箱或用电脑原声 </span><br /> <br /> <span style="font-size:14px;"><span style="font-size:16px;">2） 既然我们的名字叫</span><span style="font-size:16px;">人工智能深度学习卷积神经网络入门</span><span style="font-size:16px;">，这个课程的特点就在于成本最低的， 让你最快速的，最容易的入门。</span><span style="font-size:16px;">人工智能深度学习卷积神经网络入门</span><span style="font-size:16px;">的最大的难点在于入门入不了，从而最终放弃。俗话说师傅领进门，修行在个人。只要入了门了，后面的事都好办。选课前，务必注意本章的学习目标和内容。想学更多，注意后边的课程。</span></span>
继续访问
python卷积神经网络回归预测_回归[keras]的一维卷积神经网络,做
在上一篇博客里我介绍了如何利用keras对一个给定的数据集来完成多分类任务。100%的分类准确度验证了分类模型的可行性和数据集的准确度。在这篇博客当中我将利用一个稍加修改的数据集来完成线性回归任务。相比较以往的线性回归处理方式，我认为使用神经网络实现线性回归要简单和准确得多。数据集大小仍然是247*900，不同的是数据集的第247位变成了湿度特征的真实湿度值。不同于分类算法得到的决策面，回归算法得...
继续访问
卷积神经网络之全连接层
大多数内容来源于 ：卷积神经网络中的全连接层 全连接层的作用是： 连接所有的特征，将输出值送给分类器 (如softmax分类器)，其将卷积输出的二维特征图转化成 (N * 1)一维的一个向量。 最后的两列小圆球就是两个全连接层，在最后一层卷积结束后，又进行了一次池化操作，输出了20个 12*12 的图像（20指最后一层的厚度），然后通过了一个全连接层变成了 1*100 的向量（第一个全连接层神...
继续访问
人工神经网络的功能特点,神经网络的优缺点
此时，网络学习了过多的样本细节，而不能反映样本内含的规律由于BP算法本质上为梯度下降法，而它所要优化的目标函数又非常复杂，因此，必然会出现“锯齿形现象”，这使得BP算法低效；多层前向BP网络的问题：从数学角度看，BP算法为一种局部搜索的优化方法，但它要解决的问题为求解复杂非线性函数的全局极值，因此，算法很有可能陷入局部极值，使训练失败；例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。第三，具有高速寻找优化解的能力。...
继续访问
【Keras】卷积神经网络数据回归预测实战
基于卷积神经网络的数据回归预测
继续访问
热门推荐 反向传播算法（过程及公式推导）
反向传播算法（Backpropagation）是目前用来训练人工神经网络（Artificial Neural Network，ANN）的最常用且最有效的算法。
继续访问
深度学习---卷积神经网络解决分类与回归问题
一、CNN神经网络的发展史： Lenet，1986年 Alexnet，2012年 2012年，Imagenet比赛冠军的model——Alexnet [2]（以第一作者alex命名），AlexNet 是一种典型的 convolutional neural network，它由5层 convolutional layer，2层 fully connected layer，和最后一层 label layer (1000个node, 每个node代表ImageNet中的一个类别) 组成 GoogleNet
继续访问
深度学习之卷积神经网络CNN详细
计算机视觉、自然语言处理等领域(图像分类、图像分割、图像检测、文本
继续访问
一文让你彻底了解卷积神经网络
目录 卷积层 直观理解卷积 卷积计算流程 计算过程： 思考： 池化层（PoolingLayer） 卷积神经网络的组成 前向传播与反向传播 卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出
C. matlab卷积神经网络运行有错误
错误原因是cnnsetup函数找不到。
1. 请将程序文件夹至于不含空格和中文的路径下，路径越简单越好，比如D:works这种
2. 请在出错语句前加入一行：
whichcnnsetup;ls;
然后贴出执行结果，以便诊断出错原因。
D. 用于量子计算机的深度卷积神经网络
量子计算机将用于什么用途？量子计算机有望在许多领域帮助解决难题，包括机器学习。
本文详细讲述 量子计算机 上 卷积神经网络 （CNN）的理论实现。我们将此算法称为 QCNN ，我们证明了它可以比CNN 更快 地运行，并且精度 很高 。
为此，我们必须提出 卷积积 的 量子形式 ，找到实现非线性和池化的方法，以及对 表示图像 的 量子态 进行层析成像的新方法，以 保留有意义的信息 。
简而言之，我们可以说 量子物理系统可以描述为 维度为2^n的某些希尔伯特空间中的 向量 ，其中n是粒子数。实际上，这些向量表示许多可能的观察结果的叠加。
另一方面，机器学习，尤其是神经网络，正在粗略地使用向量和矩阵来理解或处理数据。 量子机器学习（QML）旨在使用量子系统对向量进行编码，并使用新的量子算法对其进行学习 。一个关键的概念是在许多矢量上使用量子叠加，我们可以同时处理它们。
我不会更深入地介绍量子计算或QML。有关更多详细信息，可以参考NeurIPS 2019中有关 Quantum k-means的 一篇文章 ：
卷积神经网络（CNN）是一种流行且高效的神经网络，用于图像分类，信号处理等。在大多数层中，将 卷积积 应用于图像或张量的输入上。通常后面是 非线性层和池化层 。
3D张量输入X ^ 1（RGB图像）和4D张量内核K ^ 1之间的卷积。
在本章中，我将重点介绍一层，解释什么是量子CNN。
这里的核心思想是我们可以根据矩阵乘法来重新构造卷积积。
该算法首先以量子叠加方式加载矩阵的 所有行和列 。然后，我们使用先前开发的 Quantum Inner Proct Estimation估算 输出的每个像素。在实践中，这就像只计算一个输出像素（图中的红点），但是以 量子叠加的方式进行计算可以使罩山吵它们同时全部都具有 ！然后，我们可以同时对它们中的每一个应用非线性。
不幸的是，我们所拥有的只是一个量子状态，其中所有像素并行存在，并不意味着我们可以访问所有像素。如果我们打开"量子盒"并查看结果（一个度量），我们 每次都会随机地只看到一个输出像素 。在打开盒子之前，这里都有"四处漂浮"的东西，就像着名的薛定谔的死活猫。
为了解决这个问题，我们引入了唯铅一种 只检索最有意义的像素的方法 。实际上，量子叠加中的每个输出像素都有一个幅度，与我们测量系统时 被看到 的幅度有关。在我们的算法中，我们强制此幅度等于像素值。 因此，具有高值的输出像素更有可能被看到。
在CNN中，输出中的高值像素非常重要。它们代表输入中存在特定模式的区域。通过了解不同模式出现的位置，神经网络可以理解图像。因此，这些 高价值像素承载着有意义的信息 ，我们可以舍弃其他希望CNN适应的 像素 。
图像上量子效应（噪声，随机性，采样）的小示例。凭直觉，我们仅对高值像素采样后仍可以"理解"图像。
请注意，在对这些输出像素进行采样时，我们可以在存储它们时应用任何类型的 合并 （有关技术细节，请参见论文）。我们将这些像素存储在经典内存中，以便可以将它们重新加载为 下一层的 输入。
传统上，CNN层需要时间 Õ（ 输出大小 x 内核大小 ） 。这就是为什么例如使用许多大内核来训练这些网络变得昂贵的原因。我们的 量子CNN 需要时间 为O（ （ σ X 输出大小） X Q） ，其中 σ 是我们从输出（<1）绘制样品的比率，和 Q 表示量子精度参数和数据相关的参数一束。有 没有在内核大小更依赖 （数量和尺寸），这可能允许进行更深入物侍的CNN。
通过量子CNN的这种设计，我们现在也想用量子算法对其进行训练。训练包括遵循梯度下降规则更新内核参数。在这里也可以找到一种更快的量子算法，它几乎等同于具有某些额外误差的通常的梯度下降。
QCNN和量子反向传播看起来不错，但暗示了很多近似，噪声和随机性。尽管有这些伪像，CNN仍然可以学习吗？我们比较了小型经典CNN的训练和QCNN在学习对手写数字进行分类（MNIST数据集）的任务上的模拟。这表明 QCNN可以以相似的精度学习 。
量子和经典CNN训练曲线之间的比较。 σ 是从每一层后的输出提取的高值像素的比率。期望 σ 太小，QCNN可以很好地学习。请注意，此数值模拟很小，只能给出直觉，不是证明。
在这项工作中，我们设计了第一个量子算法，通过引入量子卷积乘积和检索有意义的信息的新方法，几乎可以重现任何经典的CNN体系结构。它可以允许使用更深，更大的输入或内核来大大加快CNN的速度。我们还开发了量子反向传播算法，并模拟了整个训练过程。
请读者思考的问题：我们可以在其他数据集使用大型架构上训练QCNN吗？
E. 深度卷积网络
LeNet网络的结构如下图所示，可以看出，LeNet网络并没有使用padding，每进行一次卷积，图像的高度和宽度都会缩小，而通道数会一直增加。在全连接层中有400个节点，每个极点都有120个神经元，有时还会从这400个节点抽取一部分节点构建一个全连接层，即有两个全连接层。在该网络中，最后一步就是利用84个特征得到最后的输出，该网络刚开始使用的是 sigmoid 函数 tanh 函数，而现在常常倾向于使用 softmax 函数。需要注意的是，LeNet-5网络进行图像分类时，输入的图像是单通道的灰度图像。
AlexNet是以论文第一作者的名字命名的，该网络的结构，如下图所示，该网络的输出层使用了 softmax 函数。AlexNet网络比LeNet网络规模更大，大约有6000万个参数，用于训练图像和数据集时，能够处理非常相似的基本构造模块，这些模块中包含着大量的隐藏单元，并且与LeNet网络不同的是，该网络使用了ReLu的激活函数。
VGG-16网络没有太多的超参数，这是一种专注于构建卷积层的简单网络。如下图所示，该网络首先利用64个过滤器进行了两次卷积，接着在池化层将输入图像压缩，接着又是128个过滤器进行两次卷积，接着载池化。继续用256个过滤器进行3次卷积，再池化，接着再利用512个过滤器卷积3次，再池化，将稍后得到的特征图进行全连接操作，再进 softmax 激活。
由于存在梯度消失和梯度爆炸的原因，深层次的神经网络是很难训练的，如果采用一种跳跃连接的方式，即从某一层网络层获取激活，然后迅速反馈给另外一层，甚至是神经网络的更深层。这种利用跳跃连接构建的深度神经网络ResNets，深度能够超过100层
一个简单的两层神经网络示例，如下图所示：
常规的输出和输出之间的关系可以用如下的公式表示：
如上公式所述，这是一条神经网络的主路径。如果将 的输入直接到深层的激活函数之前，此时，神经网络有了一条副路径，其对应输出将有公式（5）变成如下所示的公式（6）
此时的输入除了原先的输入 外，多了一个 项，即由于 产生了一个残差块。
构建一个ResNet网络就是将很多这样的残差块堆积在一起，形成一个深度神经网络，如下所示：
使用传统的标准优化算法训练一个网络，随着网络深度的增加，训练误差会先减小再增加，随着网络层数的增加，优化算法会越难以训练，训练误差也会越来越多。但是，使用ResNet网络，能够有效地避免这种情况。
如上所述，加入残差网络之后，其输出计算公式如公式（6）所示，展开这个公式，则有：
如果使用L2正则化或者权重衰减，则会压缩权重参数 的值，如果参数 和参数 等于0，其输出将由公式（7）变成 ，假定使用ReLU激活函数，则有：
由于残差网络存在的这种跳跃连接，很容易得出以上等式，这意味着，即使给神经网络增加两层，但是其效率并不逊色与更简单的神经网络。并且由于存在以上恒等式，使得网络学习隐藏层的单元的信息更加容易。而普通网络，随着网络层数的增加，学习参数会变得很困难。
此外，关于残差网络，如公式（6）所示，假设 与 具有相同的维度，由于ResNets使用了许多same卷积， 的维度等于输出层的维度。如果输入和输出具有不同的维度，可以再增加一个矩阵 ，使得 和 具有相同的维度。而 的维度可以通过0值填充调节。
在卷积网络的架构设计中，一种有趣的想法是会使用到1×1的过滤矩阵，实际上，对于单通道的图像而言，1×1的过滤矩阵，意义不大，但是，对于多通道的图像而言，1×1的过滤矩阵能够有效减少图像卷积之后的通道数量。
根据卷积和池化的基本知识，随着神经网络层数的增加，图像的通道数量会逐渐增加，采用1×1的过滤矩阵卷积之后，可以有效减少图像的通道数量，一个简单的示例，如下所示：
假设有一个6×6×32的图片，使用1×1×32的过滤矩阵进行卷积运算，整个运算过程将会遍历36个单元格，并计算过滤矩阵所覆盖区域的元素积之和，将其应用到ReLu非线性函数，会得到一个输出值。此计算过程中，可能会用到多个1×1×32的过滤器，那么，通过以上计算会得到一个 6×6×过滤器数量 的矩阵。
构建卷积神经网络时，有时会很难决定过滤器的大小，而Inception网络的引入，却能很好的解决这个问题。
Inception网络的作用就是代替人工确定选择卷积层的过滤器类型。如下图所示，对于一个多通道图像，可以使用不同的过滤矩阵或者池化层，得到不同的输出，将这些输出堆积起来。
有了如上图所示的Inception块，最终输出为32+32+64+128=256，而Inception模块的输入为28×28×192，其整个计算成本，以5×5的过滤矩阵为例，其乘法的计算次数为：28×28×32×5×5×192，整个计算次数超过了1.2亿次。而如果使用如下所示的优化计算方法，则可以有效减少计算量。
如果利用1×1的过滤器，将输入矩阵的通道减少至16，则可以有效减少计算量，如下所示：
如上图所示的价格中，整个网络的运算次数为：28×28×192×16+28×28×32×5×5×16=1240万，整个计算成本降低至原来的十分之一。而，通过1×1×192过滤器卷积得到的这个网络层被称之为瓶颈层。
如上，所示，可以给每一个非1×1的卷积层之前，加入一个1×1的瓶颈层，就可以构建一个基本的inception模块了，如下图所示：
而一个inception网络就是多个Inception模块连接起来，如下图所示：
事实上，以上网络中，还存在一些分支，如编号1所示，这些分支就是全连接层，而全连接层之后就是一个softmax层用于预测。又如分支2所示，包含一些隐藏层（编号3），通过全连接层和softmax进行预测。这些分支结构能够确保，即使是隐藏层和中间层也参与了特征计算，并且也能够预测图片的分类。这种做法能够有效避免网络过拟合。
对于计算机视觉领域而言，神经网络的训练可能需要大量的数据，但是当数据量有限时，可以通过数据增强来实现数据量的扩充，以提高系统的鲁棒性，具体的数据增强方法如下所示：
除了以上三种数据增强的方法外，更多的数据增强方法和实现可以参考 图像数据增强
数据增强可以利用计算机多线程实现，一个线程用来实现加载数据，实现数据增强，其他线程可以训练这些数据以加快整体的运算速度。
F. 卷积神经网络
一般由卷积层，汇聚层，和全连接层交叉堆叠而成，使用反向传播算法进行训练（反向传播，再重新看一下）
卷积神经网络有三个结构上的特性：局部连接，权重共享以及子采样
滤波器filter 卷积核convolution kernel
局部连接，其实就是根据时间，权重递减 最后为0 参数就传播不到远处了
局部连接 乘以 滤波器 得特征映射
互相关，是一个衡量两个序列相关性的函数，
互相关和卷积的区别在于 卷积核仅仅是否进行翻转，因此互相关也可以称为 不翻转卷积
使用卷积 是为了进行特征抽取，卷积核 是否进行翻转和其特征抽取的能力无关。
当卷积核是可以学习的参数，卷积和互相关是等价的，因此，其实两者差不多。
Tips：P是代表特征映射
G. 卷积神经网络与聚类网络区别
卷积神经网络和聚类网络是两种不同类型的神经网络。
卷积神经网络（Convolutional Neural Network，CNN）主要用于图像、音频等二维或三维数据的处理和识别。棚世它采用卷积层、池化层、全连接层等结构，能够提取出图像中的特征并进穗冲行分类。卷积神经网络的特点是权重共享和局部连接，使得模型参数少，训练速度快，并且具有较强的鲁棒性和泛化能力。
聚类网络（Self-Organizing Map，SOM）则是一种用于无监督学习的神经网络，可以将输入数据集映射到高维的网格结构中，并且相似的输入数猜和歼据会被映射到相邻的网格单元中。聚类网络的特点是学习速度快、适用于大规模数据集，可以有效地发现数据集中的内在结构和特征。
因此，卷积神经网络和聚类网络在应用场景和功能上有所区别。卷积神经网络主要用于图像、音频等数据的识别和分类，而聚类网络主要用于无监督的数据分析和特征提取。
H. 卷积神经网络CNN(Convolutional Neural Network)
上图计算过程为，首先我们可以将右边进行卷积的可以称为过滤器也可以叫做核，覆盖到左边第一个区域，然后分别按照对应位置相乘再相加，3*1+1*1+2*1+0*0+0*0+0*0+1*(-1)+8*(-1)+2*(-1)=-5;
按照上述的计算方法逐步按右移一个步长（步长可以设定为1,2，...等），然后按往下移，逐渐计算相应的值，得出最终的值。
如上图显示，对于第一个图像矩阵对应的图，一边是白色，一边是黑色，那么中间就会存在一个垂直的边缘，我们可以选择一个垂直边缘检测过滤器，如乘法右边的矩阵，那么两者做卷积后得出的图会显示如等号右边的结果矩阵对应的灰度图中间会有一个白色的中间带，也就是检测出来的边缘，那为什么感觉中间边缘带会比较宽呢？而不是很细的一个局域呢？原因是我们输入的图像只有6*6，过于小了，如果我们选择输出更大的尺寸的图，那么结果来说就是相对的一个细的边缘检测带，也就将我们的垂直边缘特征提取出来了。
上述都是人工选择过滤器的参数，随着神经网络的发展我们可以利用反向传播算法来学习过滤器的参数
我们可以将卷积的顾虑器的数值变成一个参数，通过反向传播算法去学习，这样学到的过滤器或者说卷积核就能够识别到很多的特征，而不是依靠手工选择过滤器。
- padding 操作，卷积经常会出现两个问题：
1.每经过一次卷积图像都会缩小，如果卷积层很多的话，后面的图像就缩的很小了；
2.边缘像素利用次数只有一次，很明显少于位于中间的像素，因此会损失边缘图像信息。
为了解决上述的问题，我们可以在图像边缘填充像素，也就是 padding 操作了。
如果我们设置在图像边缘填充的像素数为p，那么经过卷积后的图像是：(n+2p-f+1)x(n+2p-f+1).
如何去选择p呢
通常有两种选择：
-Valid:也就是说不填充操作(no padding),因此如果我们有nxn的图像，fxf的过滤器，那么我们进行卷积nxn fxf=(n-f+1)x(n-f+1)的输出图像；
-Same:也就是填充后是输出图像的大小的与输入相同，同样就有(n+2p)x(n+2p) fxf=nxn,那么可以算,n+2p-f+1=n,得到p=(f-1)/2。
通常对于过滤器的选择有一个默认的准则就是选择过滤器的尺寸是奇数的过滤器。
- 卷积步长设置(Strided COnvolution)
卷积步长也就是我们进行卷积操作时，过滤器每次移动的步长，上面我们介绍的卷积操作步长默认都是1，也就是说每次移动过滤器时我们是向右移动一格，或者向下移动一格。
但是我们可以对卷积进行步长的设置，也就是我们能够对卷积移动的格数进行设置。同样假如我们的图像是nxn,过滤器是fxf，padding设置是p，步长strided设置为s,那么我们进行卷积操作后输出的图像为((n+2p-f)/s+1)x((n+2p-f)/s+1),那么这样就会出现一个问题，如果计算结果不是整数怎么办？
一般是选择向下取整，也就是说明，只有当我们的过滤器完全在图像上能够覆盖时才对它进行计算，这是一个惯例。
实际上上述所述的操作在严格数学角度来说不是卷积的定义，卷积的定义上我们计算的时候在移动步长之前也就是对应元素相乘之前是需要对卷积核或者说我们的过滤器进行镜像操作的，经过镜像操作后再把对应元素进行相乘这才是严格意义上的卷积操作，在数学角度上来说这个操作不算严格的卷积操作应该是属于互相关操作，但是在深度学习领域中，大家按照惯例都省略了反转操作，也把这个操作叫做卷积操作
我们知道彩色图像有RGB三个通道，因此对于输入来说是一个三维的输入，那么对三维输入的图像如何进行卷积操作呢？
例子，如上图我们输入图像假设为6×6×3，3代表有RGB三个通道channel,或者可以叫depth深度，过滤器的选择为3×3×3，其中需要规定的是，顾虑器的channel必须与输入图像的channel相同，长宽没有限制，那么计算过程是，我们将过滤器的立体覆盖在输入，这样对应的27个数对应相乘后相加得到一个数，对应到我们的输出，因此这样的方式进行卷积后我们得出的输出层为4×4×1。如果我们有多个过滤器，比如我们分别用两个过滤器一个提取垂直特征，一个提取水平特征，那么输出图4×4×2 。也就是代表我们输出的深度或者说通道与过滤器的个数是相等的。
第l层的卷积标记如下：
加入我们的过滤器是3×3×3规格的，如果我们设定10个过滤器，那么需要学习的参数总数为每个过滤器为27个参数然后加上一个偏差bias那么每个过滤器的参数为28个，所以十个过滤器的参数为280个。从这里也就可以看出，不管我们输入的图片大小是多大，我们都只需要计算这些参数，因此参数共享也就很容易理解了。
为了缩减模型的大小，提高计算速度，同时提高所提取特征的鲁棒性，我们经常会使用池化层。池化层的计算方式与卷积类似，只是我们需要对每一个通道都进行池化操作。
池化的方式一般有两种：Max Pooling和Average Pooling。
上面为Max Pooling，那么计算方法与卷积类似，首先设定超参数比如过滤器的大小与步长，然后覆盖到对应格子上面，用最大值取代其值作为输出的结果，例如上图为过滤器选择2×2，步长选择为2，因此输出就是2×2的维度，每个输出格子都是过滤器对应维度上输入的最大值。如果为平均池化，那么就是选择其间的平均值作为输出的值。
因此从上面的过程我们看到，通过池化操作能够缩小模型，同时能让特征值更加明显，也就提高了提取特征的鲁棒性。
I. 理解神经网络卷积层、全连接层
https://zhuanlan.hu.com/p/32472241
卷积神经网络，这玩意儿乍一听像是生物和数学再带点计算机技术混合起来的奇怪东西。奇怪归奇怪，不得不说，卷积神经网络是计算机视觉领域最有影响力的创造之一。
2012年是卷积神经网络崛起之年。这一年，Alex Krizhevsky带着卷积神经网络参加了ImageNet竞赛（其重要程度相当于奥运会）并一鸣惊人，将识别错误率从26%降到了15%,。从那开始，很多公司开始使用深度学习作为他们服务的核心。比如，Facebook在他们的自动标记算法中使用了它，Google在照片搜索中使用了，Amazon在商品推荐中使用，Printerst应用于为他们的家庭饲养服务提供个性化定制，而Instagram应用于他们的搜索引擎。
然而，神经网络最开始也是最多的应用领域是图像处理。那我们就挑这块来聊聊，怎样使用卷积神经网络（下面简称CNN）来进行图像分类。
图像分类是指，向机器输入一张图片，然后机器告诉我们这张图片的类别（一只猫，一条狗等等），或者如果它不确定的话，它会告诉我们属于某个类别的可能性（很可能是条狗但是我不太确定）。对我们人类来说，这件事情简单的不能再简单了，从出生起，我们就可以很快地识别周围的物体是什么。当我们看到一个场景，我们总能快速地识别出所有物体，甚至是下意识的，没有经过有意的思考。但这种能力，机器并不具有。所以我们更加要好好珍惜自己的大脑呀！ (:зゝ∠)
电脑和人看到的图片并不相同。当我们输入一张图片时，电脑得到的只是一个数组，记录着像素的信息。数组的大小由图像的清晰度和大小决定。假设我们有一张jpg格式的480 480大小的图片，那么表示它的数组便是480 480*3大小的。数组中所有数字都描述了在那个位置处的像素信息，大小在[0,255]之间。
这些数字对我们来说毫无意义，但这是电脑们可以得到的唯一的信息（也足够了）。抽象而简单的说，我们需要一个接受数组为输入，输出一个数组表示属于各个类别概率的模型。
既然问题我们已经搞明白了，现在我们得想想办法解决它。我们想让电脑做的事情是找出不同图片之间的差别，并可以识别狗狗（举个例子）的特征。
我们人类可以通过一些与众不同的特征来识别图片，比如狗狗的爪子和狗有四条腿。同样地，电脑也可以通过识别更低层次的特征（曲线，直线）来进行图像识别。电脑用卷积层识别这些特征，并通过更多层卷积层结合在一起，就可以像人类一样识别出爪子和腿之类的高层次特征，从而完成任务。这正是CNN所做的事情的大概脉络。下面，我们进行更具体的讨论。
在正式开始之前，我们先来聊聊CNN的背景故事。当你第一次听说卷积神经网络的时候，你可能就会联想到一些与神经学或者生物学有关的东西，不得不说，卷积神经网络还真的与他们有某种关系。
CNN的灵感的确来自大脑中的视觉皮层。视觉皮层某些区域中的神经元只对特定视野区域敏感。1962年，在一个Hubel与Wiesel进行的试验（ 视频 ）中，这一想法被证实并且拓展了。他们发现，一些独立的神经元只有在特定方向的边界在视野中出现时才会兴奋。比如，一些神经元在水平边出现时兴奋，而另一些只有垂直边出现时才会。并且所有这种类型的神经元都在一个柱状组织中，并且被认为有能力产生视觉。
在一个系统中，一些特定的组件发挥特定的作用（视觉皮层中的神经元寻找各自特定的特征）。这一想法应用于很多机器中，并且也是CNN背后的基本原理。 （译者注：作者没有说清楚。类比到CNN中，应是不同的卷积核寻找图像中不同的特征）
回到主题。
更详细的说，CNN的工作流程是这样的：你把一张图片传递给模型，经过一些卷积层，非线性化（激活函数），池化，以及全连层，最后得到结果。就像我们之前所说的那样，输出可以是单独的一个类型，也可以是一组属于不同类型的概率。现在，最不容易的部分来了：理解各个层的作用。
首先，你要搞清楚的是，什么样的数据输入了卷积层。就像我们之前提到的那样，输入是一个32 × 32 × 3（打个比方）的记录像素值的数组。现在，让我来解释卷积层是什么。解释卷积层最好的方法，是想象一个手电筒照在图片的左上角。让我们假设手电筒的光可以招到一个5 × 5的区域。现在，让我们想象这个手电筒照过了图片的所有区域。在机器学习术语中，这样一个手电筒被称为卷积核（或者说过滤器，神经元） (kernel, filter, neuron) 。而它照到的区域被称为感知域 (receptive field) 。卷积核同样也是一个数组（其中的数被称为权重或者参数）。很重要的一点就是卷积核的深度和输入图像的深度是一样的（这保证可它能正常工作），所以这里卷积核的大小是5 × 5 × 3。
现在，让我们拿卷积核的初始位置作为例子，它应该在图像的左上角。当卷积核扫描它的感知域（也就是这张图左上角5 × 5 × 3的区域）的时候，它会将自己保存的权重与图像中的像素值相乘（或者说，矩阵元素各自相乘，注意与矩阵乘法区分），所得的积会相加在一起（在这个位置，卷积核会得到5 × 5 × 3 = 75个积）。现在你得到了一个数字。然而，这个数字只表示了卷积核在图像左上角的情况。现在，我们重复这一过程，让卷积核扫描完整张图片，（下一步应该往右移动一格，再下一步就再往右一格，以此类推），每一个不同的位置都产生了一个数字。当扫描完整张图片以后，你会得到一组新的28 × 28 × 1的数。 （译者注：(32 - 5 + 1) × (32 - 5 + 1) × 1） 。这组数，我们称为激活图或者特征图 (activation map or feature map) 。
如果增加卷积核的数目，比如，我们现在有两个卷积核，那么我们就会得到一个28 × 28 × 2的数组。通过使用更多的卷积核，我们可以更好的保留数据的空间尺寸。
在数学层面上说，这就是卷积层所做的事情。
让我们来谈谈，从更高角度来说，卷积在做什么。每一个卷积核都可以被看做特征识别器。我所说的特征，是指直线、简单的颜色、曲线之类的东西。这些都是所有图片共有的特点。拿一个7 × 7 × 3的卷积核作为例子，它的作用是识别一种曲线。（在这一章节，简单起见，我们忽略卷积核的深度，只考虑第一层的情况）。作为一个曲线识别器，这个卷积核的结构中，曲线区域内的数字更大。（记住，卷积核是一个数组）
现在我们来直观的看看这个。举个例子，假设我们要把这张图片分类。让我们把我们手头的这个卷积核放在图片的左上角。
记住，我们要做的事情是把卷积核中的权重和输入图片中的像素值相乘。
(译者注：图中最下方应是由于很多都是0所以把0略过不写了。)
基本上，如果输入图像中有与卷积核代表的形状很相似的图形，那么所有乘积的和会很大。现在我们来看看，如果我们移动了卷积核呢？
可以看到，得到的值小多了！这是因为感知域中没有与卷积核表示的相一致的形状。还记得吗，卷积层的输出是一张激活图。所以，在单卷积核卷积的简单情况下，假设卷积核是一个曲线识别器，那么所得的激活图会显示出哪些地方最有可能有曲线。在这个例子中，我们所得激活图的左上角的值为6600。这样大的数字表明很有可能这片区域中有一些曲线，从而导致了卷积核的激活 （译者注：也就是产生了很大的数值。） 而激活图中右上角的数值是0，因为那里没有曲线来让卷积核激活（简单来说就是输入图像的那片区域没有曲线）。
但请记住，这只是一个卷积核的情况，只有一个找出向右弯曲的曲线的卷积核。我们可以添加其他卷积核，比如识别向左弯曲的曲线的。卷积核越多，激活图的深度就越深，我们得到的关于输入图像的信息就越多。
在传统的CNN结构中，还会有其他层穿插在卷积层之间。我强烈建议有兴趣的人去阅览并理解他们。但总的来说，他们提供了非线性化，保留了数据的维度，有助于提升网络的稳定度并且抑制过拟合。一个经典的CNN结构是这样的：
网络的最后一层很重要，我们稍后会讲到它。
现在，然我们回头看看我们已经学到了什么。
我们讲到了第一层卷积层的卷积核的目的是识别特征，他们识别像曲线和边这样的低层次特征。但可以想象，如果想预测一个图片的类别，必须让网络有能力识别高层次的特征，例如手、爪子或者耳朵。让我们想想网络第一层的输出是什么。假设我们有5个5 × 5 × 3的卷积核，输入图像是32 × 32 × 3的，那么我们会得到一个28 × 28 × 5的数组。来到第二层卷积层，第一层的输出便成了第二层的输入。这有些难以可视化。第一层的输入是原始图片，可第二层的输入只是第一层产生的激活图，激活图的每一层都表示了低层次特征的出现位置。如果用一些卷积核处理它，得到的会是表示高层次特征出现的激活图。这些特征的类型可能是半圆（曲线和边的组合）或者矩形（四条边的组合）。随着卷积层的增多，到最后，你可能会得到可以识别手写字迹、粉色物体等等的卷积核。
如果，你想知道更多关于可视化卷积核的信息，可以看这篇 研究报告 ，以及这个 视频 。
还有一件事情很有趣，当网络越来越深，卷积核会有越来越大的相对于输入图像的感知域。这意味着他们有能力考虑来自输入图像的更大范围的信息（或者说，他们对一片更大的像素区域负责）。
到目前为止，我们已经识别出了那些高层次的特征吧。网络最后的画龙点睛之笔是全连层。
简单地说，这一层接受输入（来自卷积层，池化层或者激活函数都可以），并输出一个N维向量，其中，N是所有有可能的类别的总数。例如，如果你想写一个识别数字的程序，那么N就是10，因为总共有10个数字。N维向量中的每一个数字都代表了属于某个类别的概率。打个比方，如果你得到了[0 0.1 0.1 0.75 0 0 0 0 0 0.05]，这代表着这张图片是1的概率是10%，是2的概率是10%，是3的概率是75%，是9的概率5%（小贴士：你还有其他表示输出的方法，但现在我只拿softmax (译者注：一种常用于分类问题的激活函数) 来展示）。全连层的工作方式是根据上一层的输出（也就是之前提到的可以用来表示特征的激活图）来决定这张图片有可能属于哪个类别。例如，如果程序需要预测哪些图片是狗，那么全连层在接收到一个包含类似于一个爪子和四条腿的激活图时输出一个很大的值。同样的，如果要预测鸟，那么全连层会对含有翅膀和喙的激活图更感兴趣。
基本上，全连层寻找那些最符合特定类别的特征，并且具有相应的权重，来使你可以得到正确的概率。
现在让我们来说说我之前有意没有提到的神经网络的可能是最重要的一个方面。刚刚在你阅读的时候，可能会有一大堆问题想问。第一层卷积层的卷积核们是怎么知道自己该识别边还是曲线的？全连层怎么知道该找哪一种激活图？每一层中的参数是怎么确定的？机器确定参数（或者说权重）的方法叫做反向传播算法。
在讲反向传播之前，我们得回头看看一个神经网络需要什么才能工作。我们出生的时候并不知道一条狗或者一只鸟长什么样。同样的，在CNN开始之前，权重都是随机生成的。卷积核并不知道要找边还是曲线。更深的卷积层也不知道要找爪子还是喙。
等我们慢慢长大了，我们的老师和父母给我们看不同的图片，并且告诉我们那是什么（或者说，他们的类别）。这种输入一幅图像以及这幅图像所属的类别的想法，是CNN训练的基本思路。在细细讲反向传播之前，我们先假设我们有一个包含上千张不同种类的动物以及他们所属类别的训练集。
反向传播可以被分成四个不同的部分。前向传播、损失函数、反向传播和权重更新。
在前向传播的阶段，我们输入一张训练图片，并让它通过整个神经网络。对于第一个输入图像，由于所有权重都是随机生成的，网络的输出很有可能是类似于[.1 .1 .1 .1 .1 .1 .1 .1 .1 .1]的东西，一般来说并不对任一类别有偏好。具有当前权重的网络并没有能力找出低层次的特征并且总结出可能的类别。
下一步，是损失函数部分。注意，我们现在使用的是训练数据。这些数据又有图片又有类别。打个比方，第一张输入的图片是数字“3”。那么它的标签应该是[0 0 0 1 0 0 0 0 0 0]。一个损失函数可以有很多定义的方法，但比较常见的是MSE（均方误差）。被定义为(实际−预测)22(实际−预测)22。
记变量L为损失函数的值。正如你想象的那样，在第一组训练图片输入的时候，损失函数的值可能非常非常高。来直观地看看这个问题。我们想到达CNN的预测与数据标签完全一样的点（这意味着我们的网络预测的很对）。为了到达那里，我们想要最小化误差。如果把这个看成一个微积分问题，那我们只要找到哪些权重与网络的误差关系最大。
这就相当于数学中的δLδWδLδW (译者注：对L关于W求导) ，其中，W是某个层的权重。现在，我们要对网络进行 反向传播 。这决定了哪些权重与误差的关系最大，并且决定了怎样调整他们来让误差减小。计算完这些导数以后，我们就来到了最后一步： 更新权重 。在这里，我们以与梯度相反的方向调整层中的权重。
学习率是一个有程序员决定的参数。一个很高的学习率意味着权重调整的幅度会很大，这可能会让模型更快的拥有一组优秀的权重。然而，一个太高的学习率可能会让调整的步伐过大，而不能精确地到达最佳点。
前向传播、损失函数、反向传播和更新权重，这四个过程是一次迭代。程序会对每一组训练图片重复这一过程（一组图片通常称为一个batch）。当对每一张图片都训练完之后，很有可能你的网络就已经训练好了，权重已经被调整的很好。
最后，为了验证CNN是否工作的很好，我们还有另一组特殊的数据。我们把这组数据中的图片输入到网络中，得到输出并和标签比较，这样就能看出网络的表现如何了。