① 时序异常检测算法
STL 表示基于损失的季节性分解的过程。该技术能够将时间序列信号分解为三个部分： 季节性变化（seasonal）、趋势变化（trend）和剩余部分（resie） 。
顾名思义，这种方法适用于季节性的时间序列，这是比较常见的情况。
这里不太明显的地方是，我们为了得到更可靠的异常检测结果，使用了 绝对中位偏差 。该方法目前最好的实现是 Twitter 的异常检测库 ，它使用了 Generalized Extreme Student Deviation （广义的 ESD 算法）测试残差点是否是一个离群点。
该方法的优点在于其简单性和健壮性。它可以处理很多不同的情况，并且所有的异常情况仍然可以直观解释。
它主要擅长于附加的异常值检测。如果想要检测一些水平变化，则可以对移动平均信号进行分析。
该方法的缺点是在调整选项方面过于死板。你所能做的只有通过显着性水平来调整置信区间。
当信号特征发生了剧烈变化时，该方法就失效了。例如，跟踪原本对公众是关闭状态的，却突然对公众开放的网站用户数量。在这种情况下，就应该分别跟踪在启动开放之前和开放之后发生的异常。
分类回归树（CART）是目前最稳健、最有效的机器学习技术之一。它也可以应用于异常检测问题。
分类树学习的最流行实现是 xgboost 库 。
这种方法的优点是它不受信号结构的任何约束，而且可以引入许多的特征参数进行学习，以获得更为复杂的模型。
该方法的缺点是会出现越来越多的特征，这很快会影响到整体的计算性能。在这种情况下，你应该有意识地选择有效特征。
自回归移动平均模型（ARIMA）是一种设计上非常简单的方法，但其效果足够强大，可以预测信号并发现其中的异常。
该方法的思路是从过去的几个数据点来生成下一个数据点的预测，在过程中添加一些随机变量（通常是添加白噪声）。以此类推，预测得到的数据点可以用来生成新的预测。很明显：它会使得后续预测信号数据更平滑。
使用这种方法最困难的部分是 选择 差异数量、自动回归数量和预测误差系数。
该方法的另一个障碍是信号经过差分后应该是固定的。也就是说，这意味着信号不应该依赖于时间，这是一个比较显着的限制。
异常检测是利用离群点来建立一个经过调整的信号模型，然后利用 t-统计量 来检验该模型是否比原模型能更好的拟合数据。
该方法最受欢迎的实现是 R 语言中的 tsoutliers 包。在这种情况下，你可以找到适合信号的 ARIMA 模型，它可以检测出所有类型的异常。
指数平滑方法与 ARIMA 方法非常相似。基本的指数模型等价于 ARIMA (0, 1, 1) 模型。
从异常检测的角度来看，最有趣的方法是 Holt-Winters 季节性方法 。该方法需要定义季节性周期，比如周、月、年等等。
如果需要跟踪多个季节周期，比如同时跟踪周和年周期，那么应该只选择一个。通常是选择最短的那个：所以这里我们就应该选择周季节。
这显然是该方法的一个缺点，它会大大影响整体的预测范围。
和使用 STL 或 CARTs 方法一样，我们可以通过统计学方法对离群值进行统计来实现异常检测。
与 CART 方法一样， 神经网络 有两种应用方式：监督学习和无监督学习。
我们处理的数据是时间序列，所以最适合的神经网络类型是 LSTM 。如果构建得当，这种循环神经网络将可以建模实现时间序列中最复杂的依赖关系，包括高级的季节性依赖关系。
如果存在多个时间序列相互耦合，该方法也非常 有用 。
② 【神经网络时间序列】请教NAR网络预测问题，谢谢
NAR网络是只有y(t),NARX网络是有x(t)和y(t).
对于NAR网络来说，其只能够输出相对于延迟向量的下一个值。故需要用循环不断更新集合，把时间步往前推进。
T=tonndata(force,false,false); %输入和输出矩阵须为cell类型的矩阵，且不能用num2cell来转换，如果使用二维cell矩阵，将会被认为是两个输入从而不能训练.假设force数据集只有50个（一行）。
force_raw=T(1:30); %创造一个1*30的Xi，与延迟向量1:30对应起来。为已知矩阵。
for j=1:50 %y1的前20个是对照着force里面第31个到50个，加上可以预测后面30个数据。
y1(j)=net(T(10),force_raw); %这里还需要大神指教，T（10）里面是当前矩阵，数字可以任意取，结果都一样。只是为了输出一维矩阵
force_raw=[force_raw(2:end),y1(j)]; %更新得到新的已知矩阵，为2,3~,30,31，下一步第一行应该是得到第43个。 不断更新即可得到预测值。
③ 是一种处理时序数据的神经网络,常用于语音识别,机器翻译等领域
搜一下：是一种处理时序数据的神经网络,常用于语音识别,机器翻译等领域
④ 循环神经网络（RNN）简介
循环神经网络英文名称为 ( Recurrent Neural Network, RNN )，其通过使用带自反馈的神经元，能够处理任意长度的 时序 数据。
给定输入时序序列
式中， 表示一段时序数据， 为时间长度
以一段英文段落为例，其时序数据可以表示为：
若是一段视频，将其每一帧通过CNN网络处理得到相应的编码向量
循环神经网络通过以下公式更新隐藏层的活性值
循环神经网络图示
RNN的基本模型如下图所示，为便于理解，图中将RNN的模型展开，按照时序方向对其前向传播流程进行介绍
RNN的基本模型
利用数学表达式整个过程可以变得更加清晰，RNN的前向传播公式如下：
将上述过程整合到一个RNN cell中，可以表示为如下图所示的过程：
RNN的前向传播示意图
缺陷:
没有利用到模型后续的信息，可以通过双向RNN网络进行优化
RNN主要有两种计算梯度的方式：随时间反向传播（BPTT）和实时循环学习法（RTRL）算法
本文中主要介绍随时间反向传播的方法 （ BackPropagation Through Time ）
RNN的损失函数与任务有关，对于同步的序列对序列任务，其loss可以用交叉熵公式表示
然后通过BPTT算法便可以进行梯度的反向传播计算
梯度爆炸的解决方法：梯度修剪
梯度消失的解决方法：增加长程依赖 LSTM,GRU
GRU的基本思路：增加相关门（Relate Gate）和更新门（Update Gate），进而使得RNN单元具有记忆能力
首先从数学角度对GRU的前向传播过程进行介绍，具体公式如下：
公式中各变量的含义：
将上述数学公式转化为图像，可得
GRU Cell的前向传播流程
LSTM意为长短时记忆网络 （Long Short-Term Memory Network，LSTM） ，可以有效地解决简单神经网络的梯度消失和爆炸问题
在LSTM中，与GRU主要有两点不同
同样，先从数学公式入手，对LSTM的前向传播过程进行了解
基于数学公式的过程，可将LSTM CELL的前向传播过程总结为（图片借用于nndl）：
LSTM Cell的前向传播示意图
从上图中可以看出，LSTM在前向传播的过程中传输了两个状态：内部状态 以及外部状态 ，在整个传播过程中 外部状态（隐状态） 每个时刻都会被重写，因此可以看作一种 短时记忆 ，而 内部状态 可以在某个时刻捕捉一些关键信息，并将此信息保存一段时间间隔，可以看作一种 长时记忆 （长的短时记忆）
此外，在LSTM网络初始化训练的时候，需要手动将遗忘门的数值设置的大一些，否则在参数初始化的时候，遗忘门的数据会被初始化为一个很小的值，前一时刻的内部状态 大部分都会丢失，这样网络很难获取到长距离的依赖信息，并且相邻时间间隔的梯度会非常小，导致 梯度弥散 问题，因此遗忘门的 偏置变量 的初始值 一般很大，取 1或2
将 设置为1即可，但是长度非常的大的时候会造成记忆单元的饱和，降低性能
三个门不仅依赖于 和 ，也依赖于
将两者合并为一个门，即：
首先，我们要理解什么是深层的RNN，对于单个的RNN cell，若将其在时间维度上展开，其深度与时间维度的长度成正比，但若将一个RNN cell看作为单个从 的映射函数，则单个cell实际上是很浅显的一层，因此深层循环神经网络要做的就是把多个RNN cell组合起来，换句话说，就是增加从输入 到输出 的路径，使得网络的深度更深。
如何增加从输入 到输出 的路径呢？两种途径：
堆叠循环神经网络示意图
将网络带入到实际应用场景中：假如我们要翻译一段句子
在这里，is和are实际上是由后面的Lucy和they所决定的，而这种单向的按照时序进行传播的方式没有利用到后面的信息。因此诞生了双向循环网络
双向循环神经网络示意图
双向循环神经网络实际上就是简单的双层循环神经网络，只不过第二层网络的传播方式为按时序的逆向传播，其传播公式为：
⑤ 对于时序随机数据用什么神经网络做处理
将历史数据作为样本训练，最后用一组对应的样本作为输入，输出自然是未来数据。神经网络预测就是这么做的。
对商品价格变动的分析，可归结为对影响市场供求关系的诸多因素的综合分析。传统的统计经济学方法因其固有的局限性，难以对价格变动做出科学的预测，而人工神经网络容易处理不完整的、模糊不确定或规律性不明显的数据，所以用人工神经网络进行价格预测是有着传统方法无法相比的优势。从市场价格的确定机制出发，依据影响商品价格的家庭户数、人均可支配收入、贷款利率、城市化水平等复杂、多变的因素，建立较为准确可靠的模型。该模型可以对商品价格的变动趋势进行科学预测，并得到准确客观的评价结果。
⑥ 请问：RBF神经网络中的参数如何确定输入的信号是一维的好还是多维的好我研究的是语音信号时间序列预测
你说的过程是学习的过程，属于有监督学习，这个过程只是确定隐藏层与输出层之间的权值
⑦ 时间序列模型和神经网络模型有何区别
时间序列模型是指采用某种算法（可以是神经网络、ARMA等）模拟历史数据，找出其中的变化规律，
神经网络模型是一种算法，可以用于分类、聚类、预测等等不用领域；
两者一个是问题模型，一个是算法模型
⑧ 循环神经网络（RNN）浅析
RNN是两种神经网络模型的缩写，一种是递归神经网络（Recursive Neural Network），一种是循环神经网络（Recurrent Neural Network）。虽然这两种神经网络有着千丝万缕的联系，但是本文主要讨论的是第二种神经网络模型——循环神经网络（Recurrent Neural Network）。
循环神经网络是指一个随着时间的推移，重复发生的结构。在自然语言处理（NLP），语音图像等多个领域均有非常广泛的应用。RNN网络和其他网络最大的不同就在于RNN能够实现某种“记忆功能”，是进行时间序列分析时最好的选择。如同人类能够凭借自己过往的记忆更好地认识这个世界一样。RNN也实现了类似于人脑的这一机制，对所处理过的信息留存有一定的记忆，而不像其他类型的神经网络并不能对处理过的信息留存记忆。
循环神经网络的原理并不十分复杂，本节主要从原理上分析RNN的结构和功能，不涉及RNN的数学推导和证明，整个网络只有简单的输入输出和网络状态参数。一个典型的RNN神经网络如图所示：
由上图可以看出：一个典型的RNN网络包含一个输入x，一个输出h和一个神经网络单元A。和普通的神经网络不同的是，RNN网络的神经网络单元A不仅仅与输入和输出存在联系，其与自身也存在一个回路。这种网络结构就揭示了RNN的实质：上一个时刻的网络状态信息将会作用于下一个时刻的网络状态。如果上图的网络结构仍不够清晰，RNN网络还能够以时间序列展开成如下形式：
等号右边是RNN的展开形式。由于RNN一般用来处理序列信息，因此下文说明时都以时间序列来举例，解释。等号右边的等价RNN网络中最初始的输入是x0，输出是h0，这代表着0时刻RNN网络的输入为x0，输出为h0，网络神经元在0时刻的状态保存在A中。当下一个时刻1到来时，此时网络神经元的状态不仅仅由1时刻的输入x1决定，也由0时刻的神经元状态决定。以后的情况都以此类推，直到时间序列的末尾t时刻。
上面的过程可以用一个简单的例子来论证：假设现在有一句话“I want to play basketball”，由于自然语言本身就是一个时间序列，较早的语言会与较后的语言存在某种联系，例如刚才的句子中“play”这个动词意味着后面一定会有一个名词，而这个名词具体是什么可能需要更遥远的语境来决定，因此一句话也可以作为RNN的输入。回到刚才的那句话，这句话中的5个单词是以时序出现的，我们现在将这五个单词编码后依次输入到RNN中。首先是单词“I”，它作为时序上第一个出现的单词被用作x0输入，拥有一个h0输出，并且改变了初始神经元A的状态。单词“want”作为时序上第二个出现的单词作为x1输入，这时RNN的输出和神经元状态将不仅仅由x1决定，也将由上一时刻的神经元状态或者说上一时刻的输入x0决定。之后的情况以此类推，直到上述句子输入到最后一个单词“basketball”。
接下来我们需要关注RNN的神经元结构：
上图依然是一个RNN神经网络的时序展开模型，中间t时刻的网络模型揭示了RNN的结构。可以看到，原始的RNN网络的内部结构非常简单。神经元A在t时刻的状态仅仅是t-1时刻神经元状态与t时刻网络输入的双曲正切函数的值，这个值不仅仅作为该时刻网络的输出，也作为该时刻网络的状态被传入到下一个时刻的网络状态中，这个过程叫做RNN的正向传播（forward propagation）。注：双曲正切函数的解析式如下：
双曲正切函数的求导如下：
双曲正切函数的图像如下所示：
这里就带来一个问题：为什么RNN网络的激活函数要选用双曲正切而不是sigmod呢？（RNN的激活函数除了双曲正切，RELU函数也用的非常多）原因在于RNN网络在求解时涉及时间序列上的大量求导运算，使用sigmod函数容易出现梯度消失，且sigmod的导数形式较为复杂。事实上，即使使用双曲正切函数，传统的RNN网络依然存在梯度消失问题，无法“记忆”长时间序列上的信息，这个bug直到LSTM上引入了单元状态后才算较好地解决。
这一节主要介绍与RNN相关的数学推导，由于RNN是一个时序模型，因此其求解过程可能和一般的神经网络不太相同。首先需要介绍一下RNN完整的结构图，上一节给出的RNN结构图省去了很多内部参数，仅仅作为一个概念模型给出。
上图表明了RNN网络的完整拓扑结构，从图中我们可以看到RNN网络中的参数情况。在这里我们只分析t时刻网络的行为与数学推导。t时刻网络迎来一个输入xt，网络此时刻的神经元状态st用如下式子表达：
t时刻的网络状态st不仅仅要输入到下一个时刻t+1的网络状态中去，还要作为该时刻的网络输出。当然，st不能直接输出，在输出之前还要再乘上一个系数V，而且为了误差逆传播时的方便通常还要对输出进行归一化处理，也就是对输出进行softmax化。因此，t时刻网络的输出ot表达为如下形式：
为了表达方便，笔者将上述两个公式做如下变换：
以上，就是RNN网络的数学表达了，接下来我们需要求解这个模型。在论述具体解法之前首先需要明确两个问题：优化目标函数是什么？待优化的量是什么？
只有在明确了这两个问题之后才能对模型进行具体的推导和求解。关于第一个问题，笔者选取模型的损失函数作为优化目标；关于第二个问题，我们从RNN的结构图中不难发现：只要我们得到了模型的U，V，W这三个参数就能完全确定模型的状态。因此该优化问题的优化变量就是RNN的这三个参数。顺便说一句，RNN模型的U，V，W三个参数是全局共享的，也就是说不同时刻的模型参数是完全一致的，这个特性使RNN得参数变得稍微少了一些。
不做过多的讨论，RNN的损失函数选用交叉熵（Cross Entropy），这是机器学习中使用最广泛的损失函数之一了，其通常的表达式如下所示：
上面式子是交叉熵的标量形式，y_i是真实的标签值，y_i*是模型给出的预测值，最外面之所以有一个累加符号是因为模型输出的一般都是一个多维的向量，只有把n维损失都加和才能得到真实的损失值。交叉熵在应用于RNN时需要做一些改变：首先，RNN的输出是向量形式，没有必要将所有维度都加在一起，直接把损失值用向量表达就可以了；其次，由于RNN模型处理的是序列问题，因此其模型损失不能只是一个时刻的损失，应该包含全部N个时刻的损失。
故RNN模型在t时刻的损失函数写成如下形式：
全部N个时刻的损失函数（全局损失）表达为如下形式：
需要说明的是：yt是t时刻输入的真实标签值，ot为模型的预测值，N代表全部N个时刻。下文中为了书写方便，将Loss简记为L。在结束本小节之前，最后补充一个softmax函数的求导公式：
由于RNN模型与时间序列有关，因此不能直接使用BP（back propagation）算法。针对RNN问题的特殊情况，提出了BPTT算法。BPTT的全称是“随时间变化的反向传播算法”（back propagation through time）。这个方法的基础仍然是常规的链式求导法则，接下来开始具体推导。虽然RNN的全局损失是与全部N个时刻有关的，但为了简单笔者在推导时只关注t时刻的损失函数。
首先求出t时刻下损失函数关于o_t*的微分：
求出损失函数关于参数V的微分：
因此，全局损失关于参数V的微分为：
求出t时刻的损失函数关于关于st*的微分：
求出t时刻的损失函数关于s_t-1*的微分：
求出t时刻损失函数关于参数U的偏微分。注意：由于是时间序列模型，因此t时刻关于U的微分与前t-1个时刻都有关，在具体计算时可以限定最远回溯到前n个时刻，但在推导时需要将前t-1个时刻全部带入：
因此，全局损失关于U的偏微分为：
求t时刻损失函数关于参数W的偏微分，和上面相同的道理，在这里仍然要计算全部前t-1时刻的情况：
因此，全局损失关于参数W的微分结果为：
至此，全局损失函数关于三个主要参数的微分都已经得到了。整理如下：
接下来进一步化简上述微分表达式，化简的主要方向为t时刻的损失函数关于ot的微分以及关于st*的微分。已知t时刻损失函数的表达式，求关于ot的微分：
softmax函数求导：
因此：
又因为：
且：
有了上面的数学推导，我们可以得到全局损失关于U，V，W三个参数的梯度公式：
由于参数U和W的微分公式不仅仅与t时刻有关，还与前面的t-1个时刻都有关，因此无法写出直接的计算公式。不过上面已经给出了t时刻的损失函数关于s_t-1的微分递推公式，想来求解这个式子也是十分简单的，在这里就不赘述了。
以上就是关于BPTT算法的全部数学推导。从最终结果可以看出三个公式的偏微分结果非常简单，在具体的优化过程中可以直接带入进行计算。对于这种优化问题来说，最常用的方法就是梯度下降法。针对本文涉及的RNN问题，可以构造出三个参数的梯度更新公式：
依靠上述梯度更新公式就能够迭代求解三个参数，直到三个参数的值发生收敛。
这是笔者第一次尝试推导RNN的数学模型，在推导过程中遇到了非常多的bug。非常感谢互联网上的一些公开资料和博客，给了我非常大的帮助和指引。接下来笔者将尝试实现一个单隐层的RNN模型用于实现一个语义预测模型。
⑨ 如何用神经网络进行时间序列预测
神经网络是可以用来预测时间序列。例如神经网络人口预测。已知1990至2009年的某地区人口数[11 28 30 42 44 56 49 60 50 63 56 74 76 65 92 105 124 117 132 128]。预测2010-2016年的某地区人口数。
具体实施过程：
%已知数据
t=1990:2009;
x=[11 28 30 42 44 56 49 60 50 63 56 74 76 65 92 105 124 117 132 128];
% 自回归阶数
lag=3;
%预测步数为fn
fn=length(t);
%输出数据
[f_out,iinput]=BP(x,lag,fn); %BP（）神经网络预测函数
[x' iinput']
R2=corrcoef(x,iinput)
%预测年份或某一时间段
%t1=2015:2016;
t1=length(x)+1:length(x)+7;
%预测步数为fn
fn=length(t1);
[f_out,iinput]=BP(x,lag,fn);
P=vpa(f_out,5);
%预测数据
t1=2010:2016;
[t1' P']
% 画出预测图
figure(6),plot(t,x,'b*-'),hold on
plot(t(end):t1(end),[iinput(end),f_out],'rp-'),grid on
title('BP神经网络预测某地区人口数')
xlabel('年份'),ylabel('人口数');
legend('2009-2014年人口变化数','2014-2016年人口预测数');
⑩ 第三代神经网络 SNN--脉冲神经网络
脉冲神经网络 (SNN) 属于第三代神经网络模型，实现了更高级的生物神经模拟水平。除了神经元和突触状态之外，SNN 还将时间概念纳入了其操作之中，是一种模拟大脑神经元动力学的一类很有前途的模型。
那么什么是第一代和第二代神经网络模型呢？
第一代神经网络
第一代神经网络又称为感知器，在1950年左右被提出来，它的算法只有两层，输入层输出层，主要是线性结构。它不能解决线性不可分的问题，对稍微复杂一些的函数都无能为力，如异或操作。
第二代神经网络：BP 神经网络
为了解决第一代神经网络的缺陷，在1980年左右 Rumelhart、Williams 等人提出第二代神经网络多层感知器 (MLP)。和第一代神经网络相比，第二代在输入层之间有多个隐含层的感知机，可以引入一些非线性的结构，解决了之前无法模拟异或逻辑的缺陷
第三代神经网络：脉冲神经网络
第三代神经网络，脉冲神经网络 (Spiking Neural Network，SNN) ，旨在弥合神经科学和机器学习之间的差距， 使用最拟合生物神经元机制的模型来进行计算，更接近生物神经元机制。 脉冲神经网络与目前流行的神经网络和机器学习方法有着根本上的不同。SNN 使用脉冲——这是一种发生在时间点上的离散事件——而非常见的连续值。每个峰值由代表生物过程的微分方程表示出来，其中最重要的是神经元的膜电位。本质上，一旦神经元达到了某一电位，脉冲就会出现，随后达到电位的神经元会被重置。对此，最常见的模型是 Leaky Integrate-And-Fire (LIF) 模型。此外，SNN 通常是稀疏连接的，并会利用特殊的网络拓扑。
脉冲神经网络 （SNN-Spiking Neuron Networks) 包含具有时序动力学特性的神经元节点、稳态-可塑性平衡的突触结构、功能特异性的网络环路等，高度借鉴了生物启发的局部非监督(如脉冲时序依赖可塑性、短时突触可塑性、局部稳态调节等)、全局弱监督(如多巴胺奖赏学习、基于能量的函数优化等)的生物优化方法，因此具有强大的时空信息表征、异步事件信息处理、网络自组织学习等能力。 [1]
脉冲神经网络，其 模拟神经元 更加接近实际，除此之外，把时间信息的影响也考虑其中。思路是这样的，动态神经网络中的 神经元 不是在每一次迭代传播中都被激活（而在典型的多层感知机网络中却是），而是在它的 膜电位 达到某一个特定值才被激活。当一个神经元被激活，它会产生一个信号传递给其他神经元，提高或降低其膜电位。
在脉冲神经网络中，神经元的当前激活水平（被建模成某种微分方程）通常被认为是当前状态，一个输入脉冲会使当前这个值升高，持续一段时间，然后逐渐衰退。出现了很多编码方式把这些输出脉冲序列解释为一个实际的数字，这些编码方式会同时考虑到脉冲频率和脉冲间隔时间。
借助于神经科学的研究，人们可以精确的建立基于脉冲产生时间 神经网络模型 。这种新型的神经网络采用脉冲编码(spike coding)，通过获得脉冲发生的精确时间，这种新型的神经网络可以进行获得更多的信息和更强的计算能力。
20220112【脉络分明：脉冲神经网络及其应用】余肇飞：脉冲神经网络学习理论与方法_哔哩哔哩_bilibili
如何看待第三代神经网络 SNN？详解脉冲神经网络的架构原理、数据集和训练方法-极市开发者社区 (cvmart.net)
脉冲神经网络_网络 (.com)
Frontiers | Spiking Neural Network (SNN) With Memristor Synapses Having Non-linear Weight Update | Frontiers in Computational Neuroscience
【强基固本】脉冲神经网络（Spiking Neural Network）介绍 (qq.com)