㈠ 卷积神经网络的结构
卷积神经网络的基本结构由以下几个部分组成:输入层,卷积层,池化层,激活函数层和全连接层。
卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习(deep learning)的代表算法之一。
卷积神经网络具有表征学习(representation learning)能力,能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification),因此也被称为“平移不变人工神经网络(Shift-Invariant Artificial Neural Networks, SIANN)”。
连接性
卷积神经网络中卷积层间的连接被称为稀疏连接(sparse connection),即相比于前馈神经网络中的全连接,卷积层中的神经元仅与其相邻层的部分,而非全部神经元相连。
具体地,卷积神经网络第l层特征图中的任意一个像素都仅是l-1层中卷积核所定义的感受野内的像素的线性组合。卷积神经网络的稀疏连接具有正则化的效果,提高了网络结构的稳定性和泛化能力,避免过度拟合。
㈡ 34-卷积神经网络(Conv)
深度学习网络和普通神经网络的区别
全连接神经网络的缺点
卷积神经网络的错误率
卷积神经网络的发展历程
卷积神经网络的结构
结构特点:
神经网络(neural networks)的基本组成包括输入层、隐藏层、输出层。而卷积神经网络的特点在于隐藏层分为卷积层和池化层(pooling layer,又叫下采样层)。
卷积过程
纠正:卷积层的过滤器,就是一个矩阵,里面的元素是对应扫描时每个像素点的权重
即:每个过滤器会产生一张feature map
0填充的两种方式
卷积核在提取特征映射时的动作称之为padding(零填充),由于移动步长不一定能整出整张图的像素宽度。其中有两种方式,SAME和VALID
彩色图片的卷积过程
由于彩色图片有3个通道,即3张表,所以filter需要分3次去分别观察,每次观察的结果直接相加作为最后的结果
过滤器的个数
有几个过滤器,就会生成几张表。eg:
对于[28, 28, 1]的图片,如果有32个过滤器,就会卷积的结果就为[28, 28, 32],相当于图片被“拉长”了
观察结果大小的计算
面试可能考
注意:如果计算结果出现小数,需要结合情况具体考虑,而不是说直接四舍五入
卷积的api
在卷积神经网络中,主要使用Relu函数作为激活函数
即在这里使用relu函数去掉了像素中小于0的值
神经网络中为什么要使用激活函数
为什么使用relu而不再使用sigmoid函数?
api
卷积就是进行特征的提取,观察更加仔细,然而,观察仔细就意味着数据多,运算量增加,这就需要使用池化层以减少计算量
Pooling层主要的作用是特征提取,通过去掉Feature Map中不重要的样本,进一步减少参数数量。Pooling的方法很郑扒多,最常用的是Max Pooling。
池化层也有一个窗口大小(过滤器)
即:池化过程迟丛洞让图片变得更“窄”
即:卷积层使得图片变长,池化层使得图片变窄,所以经过卷积,图片越来越“细长”
api
池化中SAME的计算方式与卷积过程中SAME的计算方式一样。eg:
[None, 28, 28, 32]的数据,经过2x2,步长为2,padding为SAME的池化,码枯变成了[None, 14, 14, 32]
分析:前面的卷积和池化相当于做特征工程,后面的全连接相当于做特征加权。最后的全连接层在整个卷积神经网络中起到“分类器”的作用。
所以神经网络也相当于是一个特征选择的方式
㈢ 【CNN常见模型0】卷积神经网络(CNN)模型结构
卷积神经网络(CNN)是深度学习领域的一种重要模型,尤其在图像识别、处理和理解方面表现出色。CNN的基本结构主要包含输入层、卷积层、池化层和全连接层,下面将逐一解释。
输入层接收图像数据,并将其表示为矩阵形式,类似于全连接神经网络(DNN)的输入层,但具有更高效的数据处理能力。
卷积层是CNN的核心组件,其使用卷积核在输入数据上进行滑动,实现特征检测。卷积核与输入数据在对应位置进行元素相乘,然后求和,形成新的特征映射。激活函数如ReLU在卷积层后应用,用于引入非线性,增强模型的表达能力。池化层通过下采样操作减少特征图的大小,减少计算量,同时保持重要特征。通常,池化层不使用激活函数。
卷积层和池化层可以多次组合使用,形成深层网络,捕捉更复杂、更抽象的特征。全连接层则用于分类决策,其作用类似于DNN中的输出层,使用Softmax激活函数进行多类别分类。
卷积层和池化层是CNN区别于DNN的关键,理解这两层的原理有助于更好地掌握CNN的工作机制。卷积操作通过在输入数据上滑动卷积核,实现局部特征检测,而池化层则通过下采样减少数据维度,保持特征同时降低计算复杂度。
初识卷积时,理解其数学表示至关重要。卷积公式体现了输入数据与卷积核的元素级乘法与求和操作。对于二维输入,卷积结果是输入数据与卷积核在对应位置的元素相乘、求和后的输出矩阵。当输入为多维张量时,卷积操作扩展至张量级,即多个子矩阵的元素级乘法与求和。
在CNN中,卷积层与池化层的结合实现深度学习模型的关键。卷积层检测局部特征,而池化层通过下采样减少特征图的大小,降低计算复杂性,同时保留重要特征。这些层的组合可以构建深层网络,提高模型的性能。
池化层通过最大值或平均值等方法对输入张量进行压缩,减少数据维度,同时也起到了一定程度的特征选择作用。这有助于减少模型的参数量,防止过拟合,同时加速计算。
理解了CNN中的卷积层和池化层之后,模型的前向传播算法和反向传播算法的掌握变得相对容易。通过调整卷积核、池化大小等参数,CNN模型可以实现对复杂图像数据的有效处理和识别。
总结而言,CNN模型通过卷积层检测局部特征、池化层减少数据维度、全连接层进行分类决策,形成了一个高效、强大的深度学习框架,特别适用于图像处理任务。
㈣ 浠涔堜笉鏄鍗风Н绁炵粡缃戠粶镄勫眰绾х粨鏋
鍗风Н绁炵粡缃戠粶涓昏佺粨鏋勬湁锛氩嵎绉灞伞佹睁鍖栧眰銆佸拰鍏ㄨ繛鎺ュ眰缁勮瘝銆傚嵎绉灞傚嵎绉镙告槸涓绯诲垪镄勬护娉㈠櫒锛岀敤𨱒ユ彁鍙栨煇涓绉岖壒寰佹垜浠鐢ㄥ畠𨱒ュ勭悊涓涓锲剧墖锛屽綋锲惧儚鐗瑰緛涓庤繃婊ゅ櫒琛ㄧず镄勭壒寰佺浉浼兼椂锛屽嵎绉镎崭綔鍙浠ュ缑鍒颁竴涓姣旇缉澶х殑鍊笺
cnn镄勫熀链缁撴瀯涓嶅寘𨰾锛氩弽钖戞睁鍖栧眰銆侰NN锘烘湰閮ㄤ欢浠嬬粛锛氩眬閮ㄦ劅鍙楅噹銆傚湪锲惧儚涓灞閮ㄥ儚绱犱箣闂寸殑镵旂郴杈冧负绱у瘑锛岃岃窛绂昏缉杩灭殑镀忕礌镵旂郴鐩稿硅缉寮便
鍗风Н绁炵粡缃戠粶镄勫熀链缁撴瀯鐢变互涓嫔嚑涓閮ㄥ垎缁勬垚锛氲緭鍏ュ眰锛屽嵎绉灞傦纴姹犲寲灞傦纴婵娲诲嚱鏁板眰鍜屽叏杩炴帴灞伞