① 第三章 语音信号特征分析
语音合成音质的好坏，语音识别率的高低，都取决于对语音信号分析的准确度和精度。例如，利用线性预测分析来进行语音合成，其先决条件是要用线性预测方法分析语音库，如果线性预测分析获得的语音参数较好，则用此参数和成的语音音质就较好。例如，利用带通滤波器组法来进行语音识别，其先决条件是要弄清楚语音共振峰的幅值，个数，频率范围及其分布情况。
语音信号特征的分析可以分为时域，频域和倒谱域。
时域分析简单直观，清晰易懂，物理意义明确。
更多有效的分析是围绕频域进行的，因为语音中最重要的感知特性反应在其功率谱中，其相位变化只起着很小的作用。
常用频域分析有带通滤波器组，傅里叶变换法和线性预测分析法。频谱具有很明显的声学特性，利用频域分析获得的特征具有实际的物理意义，如共振峰参数，基音参数周期等。
倒谱域是对对数功率谱进行傅里叶反变换得到的，可以将声道特性和激励特性有效的分开，更好的揭示语音信号的本质特征。
可以将语音信号分析分为模型分析法和非模型分析法两种。模型分析法是指依据语音信号产生的数学模型，来分析和提取表征这些模型的特征参数；共振峰模型分析法和线性预测都术语这种方法。凡不进行模型化分析的其他方法都属于非模型分析法，包括上面提到的时域分析法，频域分析法及同态分析法。
贯穿语音信号分析全过程的是“短时分析技术”。短时间内特性基本保持不变，相对稳定，准稳态过程。10~30ms内保持相对平稳。
实际信号常有一些低能量的信号分量超过采样频率的一半，如浊音的频谱超过4khz的分量至少比峰值低40db，而清音，超过8khz，频率分量也没有显着下降，因此语音信号所占的频率范围可以达到10khz以上，但对语音清晰度的有明显影响部分的最高频率为5.7kHZ左右。
电话系统为8kHZ，而时间中，采样频率为8-10kHZ，而语音合成或者语音识别，获得更高的质量，采样频率一般为15——20kHZ。
在一般的识别系统中，采样率最高为16kHZ，当继续增加采样率是，识别率几乎没有增加。
量化： 有三种方式，零记忆量化，分组量化和序列量化。
假设语音信号在10~30ms内是平稳的，后面所有的分析都是在这个假设下进行的。
为了得到短时的语音信号，要对语音信号进行加窗的操作，窗函数平滑的在语音信号上滑动，将语音信号分成帧。分帧可以连续，也可以采用交叠分段，交叠部分称为帧移，一般为窗长的一般。
加窗时，不同窗口将影响到语音信号分析的结果
窗的长度对能否反映语音信号的幅度变化起决定性作用。如果N特别大，即等于几个基因周期量级，则窗函数等效于很窄的低通滤波器，此时信号短时信息将缓慢的变化，因而不能充分反映波形变化的细节。如果N特别小，即等于或小于一个基因周期的量级，则信号的能量将按照信号波形的细微状况而很快的启发，但如果N太小，滤波器的通带变宽，则不能获得平滑的短时信息，因此窗口的长度要选择合适。窗的衰减基本与窗的持续时间无关，因此当改变宽度N时，会使带宽发生变化。
窗口长度是相对于语音信号的汲引周期而言，通常认为一个语音帧内，应含有1~7个基音周期，然而不同人的基音周期变化范围很大，基音周期的持续时间会从高音的约20个采样点变化到低音调250个采样点，这意味着可能需要多个不同的N值，所以N的选择比较困难，通常在采样频率10kHZ的情况，N选择100~200量级（10~20ms)持续时间是比较合适的。
有声（V）无声（S）清音（U）判决。
能够实现这些判决的依据再于，不同性质的语音各种短时参数具有不同的概率密度函数，以及相邻的若干帧具有一致的语音特性，不会再S , U, V之间快速变化。
每个语音的输入起点和重点，利用短时平均幅度参数M和短时过零率可以做到这一点。
浊音情况下短时平均幅度参数的概率密度函数P(M|V)确定一个阈值参数M_H.根据M_H可以确定前后两个点A_1和A_2 后肯定是语音段，但精确起点，还要仔细查找。
为此，再设定一个较低的阈值参数M_L, 然后确定B_1 和 B_2， 从这两个点之后用短时过零率搜索。 清音的过零率高于无声段，但是能量低。
但是在研究结果中表明，利用短时平均过零率区分无声和清音在有些情况下不是很可靠，由于清音的强度会比无声段高一下，将门限提高一些对清音的影响不大，但在没有背景噪声的情况下，无声段将不会穿越这一提高的电平，因为可以正确区分清音和无声段。
因此采用这种过零率，具有抗干扰能力
滤波器可以是宽带带通滤波器，具有平摊的特性，粗略求语音的频谱，频率分辨率低，可以是窄带滤波器，频率分辨率较高。
现在一般都在用数字滤波器，其中如何将模拟滤波器数字化，涉及到零点极点的内容，需要参考DSP的内容。极点波峰，零点波谷。
为窗口函数。
两种方式来理解物理意义
在实际计算时，一般用离散傅里叶变换代替连续傅里叶变换，则需要对信号进行周期延拓。(非周期->连续谱，周期->离散谱)，这时候得到的是功率谱 。 如果窗长度为 , 那么 的长度为 , 如果对 以 进行周期拓展，则自相关就会出现混叠现象，即这个周期的循环相关函数在一个周期中的值就与线性相关 的值不同，这样得到的功率谱就是一组前采样，若想得到全部的 个值，可以补充L个零，扩展成2L的信号，并做离散傅里叶变换，这时的循环相关与现行相关是等价的。（ 后面这句话对我来说暂时是天书 ）
在对窗函数的分析中，我们知道对于任何一个窗函数都存在旁瓣效应，这时候有谐波效应。
语谱图的时间分辨率和频率分辨率是由所采用的窗函数决定的。假设时间固定，对信号乘以窗函数相当于在频域用窗函数的频率响应与信号频谱的卷积。如果窗函数的频率响应 的通带宽度为 ,那么语谱图中的频率分辨率的宽度即为 。即卷积的作用将使任何两个相隔间隔频率小于 的谱峰合并为一个单峰。对于窗函数而言，通带宽度与窗长成反比，如果希望频率分辨率高，则窗长应该尽量长一些。
对于时间分辨率，假设频率固定，相当于对时间序列 做低通滤波，输出信号的带宽就是 的带宽b，根据采样定理，只需要以 的采样率就可以反映出信号的所有频率成分，这时候所具有的时间分辨率的宽度为 . 因此如果希望时间分辨率高，则窗长应该短一些。因此时间分辨率和频率分辨率是相互矛盾的，这也是短时傅里叶变换本身固有的缺点。
点评：
1.26新增理解：
这类线性主要有短时傅里叶变换与Gabor变换和小波变换，其中STFT和Gabor变换是一种加窗的傅里叶变换，使用固定大小的时频网格，时频网格在时频变换只限于时间平移和频率平移，窗函数固定的，只适用于分析带宽固定的非平稳信号，实际应用中，希望对低频分析，频率分辨率高，高频时间分辨率高，要求窗函数宽度能随之频率变化而变化。小波分析的视频分析网格变化除了时间平移外，还有时间和频率轴比例尺度的改变。适用于分析具有固定比例带宽的非平稳信号。
这类时频由能量谱或功率谱演化而来，其特点是变换为二次的。双线性关系可以表示为
其中 为能量谱，而 表示取共轭操作。
点评： 好像没见过，先跳过。。。。。
在信号分析与信号处理中，信号的“时间中心”及“时间宽度”以及频率中心与频率宽度是非常重要的概念，分别说明信号在时域和频域中心位置在两个域的扩展情况。
信号再这两个物理量的测量上有一个重要的约束原则，就是着名的“不确定性原理”。它的意义是，信号波形在频率轴上的扩张和时间轴上的扩张不可能同时小于某一界限，即若函数 和 构成一堆傅里叶变换，则不可能同时是短宽度的,即
等号成立的充分必要条件是 为高斯函数，即 . 证明，用Cauchy-Schwarts不等式可得。
窗函数为高斯函数的短时傅里叶变换称为Gabor变换。
是大于0的固定常数。由于 , 因此 . 这表明，信号 的gabor 变换 是对任何 在时间 附近对 傅里叶变换的局部化（在说什么？？），达到了对 的精确分解。
Gabor变换是具有最小时频窗的短时傅里叶变换。但进一步研究发现，这两种变换都没有离散的正交基, 所以没有像离散傅里叶变换FFT那种快速算法。而且窗函数固定不变，不能随着所分析信号的成分是高频还是低频做相应的变化。所以这时候有小波变换，能够自动调节窗口长度。
小波理论采用多分辨率的分析的思想，非均匀地划分时频空间，为非平稳信号的分析提供了新途径。
定义： 小波是函数空间 中满足下述条件的一个函数或者信号
其中 表示全体非零实数， 为 的频域表示形式。 称为小波母函数。对于任意实数对，称如下形式的函数为右小波母函数生成的依赖于参数（a,b）的连续小波函数，称为小波，其中a必须为非零实数。
的作用是把基本小波 做伸缩， 的作用是确定对 分析的时间位置，也即是实践中心。 在 的附近存在明显的波动，而且波动范围的大小完全依赖于尺度因子 的变化。 时，一致， 时，范围比原来小波函数 范围大些，小波的波形变得矮宽，变化越来越缓慢，当 时， 在 附近波动范围药效，小波波形尖锐而消瘦。
给定平方可积的信号 ，即 , 则 的小波变换定义为
与傅里叶变换不同，小波变换是一个二元函数。另外，因为母函数 只在原点附近才会有明显偏离水平轴的移动，远离原点，迅速衰减为0.
假设小波函数 及傅里叶变换 都满足窗口函数的要求，他们的窗口中心和半径分别记为 和 和 和 , 可以证明对于任意任意参数对，连续小波变换和其傅里叶变换都满足窗口函数的要求，他们的窗口中心和宽度分别为
则时频窗是平面一个可变的矩形，面积为 . 这个面积只与小波的母函数 有关，与 无关，但形状随着a变换。
如果按照线性模型理论，语音信号是由激励信号和声道响应卷积产生。解卷就是将各卷积分量分开。解卷算法分为两大类，一类称为“参数解卷”，即线性预测分析，另一类算法称为“非参数解卷”，即同态解卷积，对语音信号进行同态分析后，将得到语音信号的倒谱参数，此时同态分析也称为 倒谱分析或者同态处理。
同态处理是一种较好的解卷积方法，它可以较好的将语音信号中的激励信号和声道响应分离，并且只需要用十几个倒谱系数就能相当好的描述语音信号的声道特性，因此占很重要的位置。
通常的加性信号可以用线性系统处理，满足线性叠加原理。然后很多信号是由乘性信号或者卷积信号组合的信号。这样的信号不能用线性系统处理，得用非线性系统处理。但是非线性系统分析起来困难，同态语音辛哈就是将非线性问题转换为线性问题处理。语音信号可以看做是声门激励信号与声道响应的卷积结果，所以下面仅讨论卷积同态信号的处理问题。
同态语音信号处理的一个通用的系统如图3-23所示，其符号 表示由卷积组合规则组合起来的空间，即该系统的输入和输出都是卷积性信号。同态系统的一个最主要理论结果是同态系统理论分解，分解的目的是用两个特征系统和一个线性系统来代替非线性的同态系统。分解的情形如下面所示。
分别对应声门激励信号（excitation 和 vocal tract），特征信号 是将卷积信号转化为加性信号，这时候进行Z变换，将卷积信号转化为乘积信号（疑问1），这时候得到的就是频谱,然后通过对数运算，变成加性信号，但是这个时候是对数频谱，使用不便。最后再变换回时域信号。
是在倒谱域对信号处理，常见处理方式是将语音声源信号与声道信号分离。 在倒谱域，总可以找到一个 ，当 时，声道滤波器的倒谱为0，当 时，激励的倒谱接近于0.
如果想再恢复语音信号，用d所示的逆特征系统运算即可。
MFCC (Mel Frequency cepstrum coefficient)，MFCC是将人耳的听觉感知特性和语音产生机制相结合，因此目前大多数语音识别系统广泛使用这种特征。
耳蜗的滤波作用是在对数频率尺度进行的，在1000Hz以下为线性，在1000Hz以上为对数，这就使得人耳对低频比高频更敏感
对频率轴不均匀划分是MFCC特征区别于前面普通倒谱特征的最重要的特点，变换到Mel域后，Mel带通滤波器组的中心频率是按照Mel刻度均匀排列的，实际应用中，MFCC计算过程如下
MFCC有效利用的听觉特性，因此改变了识别系统的性能，如果倒谱位数增加，对识别性能影响不大。但采用动态特征，误识率有20%的下降。
点评2019.01.30：第三四次囫囵吞枣的看完MFCC，即使知道了倒谱，但最后按个离散余弦变换还是比较不能联系上，反正感觉乱乱的吧，包括差分之类的，想被打回哪门语音信号处理课上回炉了，Mark一下，始终有一天会懂其中的深意的。
② 卷积神经网络
关于花书中卷积网络的笔记记录于 https://www.jianshu.com/p/5a3c90ea0807 。
卷积神经网络（Convolutional Neural Network，CNN或ConvNet）是一种具有 局部连接、权重共享 等特性的深层前馈神经网络。卷积神经网络是受生物学上感受野的机制而提出。 感受野（Receptive Field） 主要是指听觉、视觉等神经系统中一些神经元的特性，即 神经元只接受其所支配的刺激区域内的信号 。
卷积神经网络最早是主要用来处理图像信息。如果用全连接前馈网络来处理图像时，会存在以下两个问题：
目前的卷积神经网络一般是由卷积层、汇聚层和全连接层交叉堆叠而成的前馈神经网络，使用反向传播算法进行训练。 卷积神经网络有三个结构上的特性：局部连接，权重共享以及汇聚 。这些特性使卷积神经网络具有一定程度上的平移、缩放和旋转不变性。
卷积（Convolution）是分析数学中一种重要的运算。在信号处理或图像处理中，经常使用一维或二维卷积。
一维卷积经常用在信号处理中，用于计算信号的延迟累积。假设一个信号发生器每个时刻t 产生一个信号 ，其信息的衰减率为 ，即在 个时间步长后，信息为原来的 倍。假设 ，那么在时刻t收到的信号 为当前时刻产生的信息和以前时刻延迟信息的叠加：
我们把 称为 滤波器（Filter）或卷积核（Convolution Kernel） 。假设滤波器长度为 ，它和一个信号序列 的卷积为：
信号序列 和滤波器 的卷积定义为：
一般情况下滤波器的长度 远小于信号序列长度 ，下图给出一个一维卷积示例，滤波器为 ：
二维卷积经常用在图像处理中。因为图像为一个两维结构，所以需要将一维卷积进行扩展。给定一个图像 和滤波器 ，其卷积为：
下图给出一个二维卷积示例：
注意这里的卷积运算并不是在图像中框定卷积核大小的方框并将各像素值与卷积核各个元素相乘并加和，而是先把卷积核旋转180度，再做上述运算。
在图像处理中，卷积经常作为特征提取的有效方法。一幅图像在经过卷积操作后得到结果称为 特征映射（Feature Map） 。
最上面的滤波器是常用的高斯滤波器，可以用来对图像进行 平滑去噪 ；中间和最下面的过滤器可以用来 提取边缘特征 。
在机器学习和图像处理领域，卷积的主要功能是在一个图像（或某种特征）上滑动一个卷积核（即滤波器），通过卷积操作得到一组新的特征。在计算卷积的过程中，需要进行卷积核翻转（即上文提到的旋转180度）。 在具体实现上，一般会以互相关操作来代替卷积，从而会减少一些不必要的操作或开销。
互相关（Cross-Correlation）是一个衡量两个序列相关性的函数，通常是用滑动窗口的点积计算来实现 。给定一个图像 和卷积核 ，它们的互相关为：
互相关和卷积的区别仅在于卷积核是否进行翻转。因此互相关也可以称为不翻转卷积 。当卷积核是可学习的参数时，卷积和互相关是等价的。因此，为了实现上（或描述上）的方便起见，我们用互相关来代替卷积。事实上，很多深度学习工具中卷积操作其实都是互相关操作。
在卷积的标准定义基础上，还可以引入滤波器的 滑动步长 和 零填充 来增加卷积多样性，更灵活地进行特征抽取。
滤波器的步长（Stride）是指滤波器在滑动时的时间间隔。
零填充（Zero Padding）是在输入向量两端进行补零。
假设卷积层的输入神经元个数为 ，卷积大小为 ，步长为 ，神经元两端各填补 个零，那么该卷积层的神经元数量为 。
一般常用的卷积有以下三类：
因为卷积网络的训练也是基于反向传播算法，因此我们重点关注卷积的导数性质：
假设 。
， ， 。函数 为一个标量函数。
则由 有：
可以看出， 关于 的偏导数为 和 的卷积 ：
同理得到：
当 或 时， ，即相当于对 进行 的零填充。从而 关于 的偏导数为 和 的宽卷积 。
用互相关的“卷积”表示，即为（注意 宽卷积运算具有交换性性质 ）：
在全连接前馈神经网络中，如果第 层有 个神经元，第 层有 个神经元，连接边有 个，也就是权重矩阵有 个参数。当 和 都很大时，权重矩阵的参数非常多，训练的效率会非常低。
如果采用卷积来代替全连接，第 层的净输入 为第 层活性值 和滤波器 的卷积，即：
根据卷积的定义，卷积层有两个很重要的性质：
由于局部连接和权重共享，卷积层的参数只有一个m维的权重 和1维的偏置 ，共 个参数。参数个数和神经元的数量无关。此外，第 层的神经元个数不是任意选择的，而是满足 。
卷积层的作用是提取一个局部区域的特征，不同的卷积核相当于不同的特征提取器。
特征映射（Feature Map）为一幅图像（或其它特征映射）在经过卷积提取到的特征，每个特征映射可以作为一类抽取的图像特征。 为了提高卷积网络的表示能力，可以在每一层使用多个不同的特征映射，以更好地表示图像的特征。
在输入层，特征映射就是图像本身。如果是灰度图像，就是有一个特征映射，深度 ；如果是彩色图像，分别有RGB三个颜色通道的特征映射，深度 。
不失一般性，假设一个卷积层的结构如下：
为了计算输出特征映射 ，用卷积核 分别对输入特征映射 进行卷积，然后将卷积结果相加，并加上一个标量偏置 得到卷积层的净输入 再经过非线性激活函数后得到输出特征映射 。
在输入为 ，输出为 的卷积层中，每个输出特征映射都需要 个滤波器以及一个偏置。假设每个滤波器的大小为 ，那么共需要 个参数。
汇聚层（Pooling Layer）也叫子采样层（Subsampling Layer），其作用是进行特征选择，降低特征数量，并从而减少参数数量。
常用的汇聚函数有两种：
其中 为区域 内每个神经元的激活值。
可以看出，汇聚层不但可以有效地减少神经元的数量，还可以使得网络对一些小的局部形态改变保持不变性，并拥有更大的感受野。
典型的汇聚层是将每个特征映射划分为 大小的不重叠区域，然后使用最大汇聚的方式进行下采样。汇聚层也可以看做是一个特殊的卷积层，卷积核大小为 ，步长为 ，卷积核为 函数或 函数。过大的采样区域会急剧减少神经元的数量，会造成过多的信息损失。
一个典型的卷积网络是由卷积层、汇聚层、全连接层交叉堆叠而成。
目前常用卷积网络结构如图所示，一个卷积块为连续 个卷积层和 个汇聚层（ 通常设置为 ， 为 或 ）。一个卷积网络中可以堆叠 个连续的卷积块，然后在后面接着 个全连接层（ 的取值区间比较大，比如 或者更大； 一般为 ）。
目前，整个网络结构 趋向于使用更小的卷积核（比如 和 ）以及更深的结构（比如层数大于50） 。此外，由于卷积的操作性越来越灵活（比如不同的步长），汇聚层的作用变得也越来越小，因此目前比较流行的卷积网络中， 汇聚层的比例也逐渐降低，趋向于全卷积网络 。
在全连接前馈神经网络中，梯度主要通过每一层的误差项 进行反向传播，并进一步计算每层参数的梯度。在卷积神经网络中，主要有两种不同功能的神经层：卷积层和汇聚层。而参数为卷积核以及偏置，因此 只需要计算卷积层中参数的梯度。
不失一般性，第 层为卷积层，第 层的输入特征映射为 ，通过卷积计算得到第 层的特征映射净输入 ，第 层的第 个特征映射净输入
由 得：
同理可得，损失函数关于第 层的第 个偏置 的偏导数为：
在卷积网络中，每层参数的梯度依赖其所在层的误差项 。
卷积层和汇聚层中，误差项的计算有所不同，因此我们分别计算其误差项。
第 层的第 个特征映射的误差项 的具体推导过程如下：
其中 为第 层使用的激活函数导数， 为上采样函数（upsampling），与汇聚层中使用的下采样操作刚好相反。如果下采样是最大汇聚（max pooling），误差项 中每个值会直接传递到上一层对应区域中的最大值所对应的神经元，该区域中其它神经元的误差项的都设为0。如果下采样是平均汇聚（meanpooling），误差项 中每个值会被平均分配到上一层对应区域中的所有神经元上。
第 层的第 个特征映射的误差项 的具体推导过程如下：
其中 为宽卷积。
LeNet-5虽然提出的时间比较早，但是是一个非常成功的神经网络模型。基于LeNet-5 的手写数字识别系统在90年代被美国很多银行使用，用来识别支票上面的手写数字。LeNet-5 的网络结构如图：
不计输入层，LeNet-5共有7层，每一层的结构为：
AlexNet是第一个现代深度卷积网络模型，其首次使用了很多现代深度卷积网络的一些技术方法，比如采用了ReLU作为非线性激活函数，使用Dropout防止过拟合，使用数据增强来提高模型准确率等。AlexNet 赢得了2012 年ImageNet 图像分类竞赛的冠军。
AlexNet的结构如图，包括5个卷积层、3个全连接层和1个softmax层。因为网络规模超出了当时的单个GPU的内存限制，AlexNet 将网络拆为两半，分别放在两个GPU上，GPU间只在某些层（比如第3层）进行通讯。
AlexNet的具体结构如下：
在卷积网络中，如何设置卷积层的卷积核大小是一个十分关键的问题。 在Inception网络中，一个卷积层包含多个不同大小的卷积操作，称为Inception模块。Inception网络是由有多个inception模块和少量的汇聚层堆叠而成 。
v1版本的Inception模块，采用了4组平行的特征抽取方式，分别为1×1、3× 3、5×5的卷积和3×3的最大汇聚。同时，为了提高计算效率，减少参数数量，Inception模块在进行3×3、5×5的卷积之前、3×3的最大汇聚之后，进行一次1×1的卷积来减少特征映射的深度。如果输入特征映射之间存在冗余信息， 1×1的卷积相当于先进行一次特征抽取 。
③ 基于卷积神经网络的图像识别算法_卷积神经网络提取图像特征
图象识别容易，因为图象可以在一个时间点成像
而语音没有可能在一个时间点的采样有用，语音多出来一个时间轴
而这个时间轴引入的难题就是：换个时间，换个人，换个背景噪音，都变得没法子识别了
目前，主流的大词汇量语音识别系统多采用统计模式识别技术
典型的基于统计模式识别方法的语音识别系统由以下几个基本模块所构成信号处理及特征提取模块
该模块的主要任务是从输入信号中提取特轿猜征，供声学模型处理
同时，它一般也包括了一些信号处理技术，以尽可能降低环境噪声、信道、说话人等因素对特征造成的影响
统计声学模型
典型系统多采用基于一阶隐马尔科夫模型进行建模
发音词典
发音词典包含系统所能处理的词汇集及其发音
发音词典实际提供了声学模型建模单元与语言模型建模单元间的映射
语言模型
语言模型对系统所针对的语言进行建模
理论上，包括正则语言，上下文无关文法在内的各种语言模型都可以作为语言模型，但目前各种系统普遍采用的还是基于统计的N元文法及其变体
解码器
解码器是语音识别系统的核心之一，其任务是对输入的信号，根据声学、语言模型及词典，寻找能够以最大概率输出该信号的词串
从数学角度可以更加清楚的了解上述模块之间的关系
首先，统计语含慎音识别的最基本问题是，给定输入信号或特征序列，符号集（词典），求解符闭老型号串使得：图像识别比语音识别算法的复杂度高多少倍