① 一文看懂四种基本的神经网络架构
原文链接：
http://blackblog.tech/2018/02/23/Eight-Neural-Network/
更多干货就在我的个人博客 http://blackblog.tech 欢迎关注
刚刚入门神经网络，往往会对众多的神经网络架构感到困惑，神经网络看起来复杂多样，但是这么多架构无非也就是三类，前馈神经网络，循环网络，对称连接网络，本文将介绍四种常见的神经网络，分别是CNN，RNN，DBN，GAN。通过这四种基本的神经网络架构，我们来对神经网络进行一定的了解。
神经网络是机器学习中的一种模型，是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
一般来说，神经网络的架构可以分为三类：
前馈神经网络：
这是实际应用中最常见的神经网络类型。第一层是输入，最后一层是输出。如果有多个隐藏层，我们称之为“深度”神经网络。他们计算出一系列改变样本相似性的变换。各层神经元的活动是前一层活动的非线性函数。
循环网络：
循环网络在他们的连接图中定向了循环，这意味着你可以按照箭头回到你开始的地方。他们可以有复杂的动态，使其很难训练。他们更具有生物真实性。
循环网络的目的使用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。
循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。
对称连接网络：
对称连接网络有点像循环网络，但是单元之间的连接是对称的（它们在两个方向上权重相同）。比起循环网络，对称连接网络更容易分析。这个网络中有更多的限制，因为它们遵守能量函数定律。没有隐藏单元的对称连接网络被称为“Hopfield 网络”。有隐藏单元的对称连接的网络被称为玻尔兹曼机。
其实之前的帖子讲过一些关于感知机的内容，这里再复述一下。
首先还是这张图
这是一个M-P神经元
一个神经元有n个输入，每一个输入对应一个权值w，神经元内会对输入与权重做乘法后求和，求和的结果与偏置做差，最终将结果放入激活函数中，由激活函数给出最后的输出，输出往往是二进制的，0 状态代表抑制，1 状态代表激活。
可以把感知机看作是 n 维实例空间中的超平面决策面，对于超平面一侧的样本，感知器输出 1，对于另一侧的实例输出 0，这个决策超平面方程是 w⋅x=0。 那些可以被某一个超平面分割的正反样例集合称为线性可分(linearly separable)样例集合，它们就可以使用图中的感知机表示。
与、或、非问题都是线性可分的问题，使用一个有两输入的感知机能容易地表示，而异或并不是一个线性可分的问题，所以使用单层感知机是不行的，这时候就要使用多层感知机来解决疑惑问题了。
如果我们要训练一个感知机，应该怎么办呢？
我们会从随机的权值开始，反复地应用这个感知机到每个训练样例，只要它误分类样例就修改感知机的权值。重复这个过程，直到感知机正确分类所有的样例。每一步根据感知机训练法则来修改权值，也就是修改与输入 xi 对应的权 wi，法则如下：
这里 t 是当前训练样例的目标输出，o 是感知机的输出，η 是一个正的常数称为学习速率。学习速率的作用是缓和每一步调整权的程度，它通常被设为一个小的数值（例如 0.1），而且有时会使其随着权调整次数的增加而衰减。
多层感知机，或者说是多层神经网络无非就是在输入层与输出层之间加了多个隐藏层而已，后续的CNN，DBN等神经网络只不过是将重新设计了每一层的类型。感知机可以说是神经网络的基础，后续更为复杂的神经网络都离不开最简单的感知机的模型，
谈到机器学习，我们往往还会跟上一个词语，叫做模式识别，但是真实环境中的模式识别往往会出现各种问题。比如：
图像分割：真实场景中总是掺杂着其它物体。很难判断哪些部分属于同一个对象。对象的某些部分可以隐藏在其他对象的后面。
物体光照：像素的强度被光照强烈影响。
图像变形：物体可以以各种非仿射方式变形。例如，手写也可以有一个大的圆圈或只是一个尖头。
情景支持：物体所属类别通常由它们的使用方式来定义。例如，椅子是为了让人们坐在上面而设计的，因此它们具有各种各样的物理形状。
卷积神经网络与普通神经网络的区别在于，卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元连接。在CNN的一个卷积层中，通常包含若干个特征平面(featureMap)，每个特征平面由一些矩形排列的的神经元组成，同一特征平面的神经元共享权值，这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值。共享权值（卷积核）带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。子采样也叫做池化（pooling），通常有均值子采样（mean pooling）和最大值子采样（max pooling）两种形式。子采样可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型复杂度，减少了模型的参数。
卷积神经网络由三部分构成。第一部分是输入层。第二部分由n个卷积层和池化层的组合组成。第三部分由一个全连结的多层感知机分类器构成。
这里举AlexNet为例：
·输入：224×224大小的图片，3通道
·第一层卷积：11×11大小的卷积核96个，每个GPU上48个。
·第一层max-pooling：2×2的核。
·第二层卷积：5×5卷积核256个，每个GPU上128个。
·第二层max-pooling：2×2的核。
·第三层卷积：与上一层是全连接，3*3的卷积核384个。分到两个GPU上个192个。
·第四层卷积：3×3的卷积核384个，两个GPU各192个。该层与上一层连接没有经过pooling层。
·第五层卷积：3×3的卷积核256个，两个GPU上个128个。
·第五层max-pooling：2×2的核。
·第一层全连接：4096维，将第五层max-pooling的输出连接成为一个一维向量，作为该层的输入。
·第二层全连接：4096维
·Softmax层：输出为1000，输出的每一维都是图片属于该类别的概率。
卷积神经网络在模式识别领域有着重要应用，当然这里只是对卷积神经网络做了最简单的讲解，卷积神经网络中仍然有很多知识，比如局部感受野，权值共享，多卷积核等内容，后续有机会再进行讲解。
传统的神经网络对于很多问题难以处理，比如你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。理论上，RNN能够对任何长度的序列数据进行处理。
这是一个简单的RNN的结构，可以看到隐藏层自己是可以跟自己进行连接的。
那么RNN为什么隐藏层能够看到上一刻的隐藏层的输出呢，其实我们把这个网络展开来开就很清晰了。
从上面的公式我们可以看出，循环层和全连接层的区别就是循环层多了一个权重矩阵 W。
如果反复把式2带入到式1，我们将得到：
在讲DBN之前，我们需要对DBN的基本组成单位有一定的了解，那就是RBM，受限玻尔兹曼机。
首先什么是玻尔兹曼机？
[图片上传失败...(image-d36b31-1519636788074)]
如图所示为一个玻尔兹曼机，其蓝色节点为隐层，白色节点为输入层。
玻尔兹曼机和递归神经网络相比，区别体现在以下几点：
1、递归神经网络本质是学习一个函数，因此有输入和输出层的概念，而玻尔兹曼机的用处在于学习一组数据的“内在表示”，因此其没有输出层的概念。
2、递归神经网络各节点链接为有向环，而玻尔兹曼机各节点连接成无向完全图。
而受限玻尔兹曼机是什么呢？
最简单的来说就是加入了限制，这个限制就是将完全图变成了二分图。即由一个显层和一个隐层构成，显层与隐层的神经元之间为双向全连接。
h表示隐藏层，v表示显层
在RBM中，任意两个相连的神经元之间有一个权值w表示其连接强度，每个神经元自身有一个偏置系数b（对显层神经元）和c（对隐层神经元）来表示其自身权重。
具体的公式推导在这里就不展示了
DBN是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布，对P(Observation|Label)和 P(Label|Observation)都做了评估，而判别模型仅仅而已评估了后者，也就是P(Label|Observation)。
DBN由多个限制玻尔兹曼机（Restricted Boltzmann Machines）层组成，一个典型的神经网络类型如图所示。这些网络被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。
生成对抗网络其实在之前的帖子中做过讲解，这里在说明一下。
生成对抗网络的目标在于生成，我们传统的网络结构往往都是判别模型，即判断一个样本的真实性。而生成模型能够根据所提供的样本生成类似的新样本，注意这些样本是由计算机学习而来的。
GAN一般由两个网络组成，生成模型网络，判别模型网络。
生成模型 G 捕捉样本数据的分布，用服从某一分布（均匀分布，高斯分布等）的噪声 z 生成一个类似真实训练数据的样本，追求效果是越像真实样本越好；判别模型 D 是一个二分类器，估计一个样本来自于训练数据（而非生成数据）的概率，如果样本来自于真实的训练数据，D 输出大概率，否则，D 输出小概率。
举个例子：生成网络 G 好比假币制造团伙，专门制造假币，判别网络 D 好比警察，专门检测使用的货币是真币还是假币，G 的目标是想方设法生成和真币一样的货币，使得 D 判别不出来，D 的目标是想方设法检测出来 G 生成的假币。
传统的判别网络：
生成对抗网络：
下面展示一个cDCGAN的例子（前面帖子中写过的）
生成网络
判别网络
最终结果，使用MNIST作为初始样本，通过学习后生成的数字，可以看到学习的效果还是不错的。
本文非常简单的介绍了四种神经网络的架构，CNN，RNN，DBN，GAN。当然也仅仅是简单的介绍，并没有深层次讲解其内涵。这四种神经网络的架构十分常见，应用也十分广泛。当然关于神经网络的知识，不可能几篇帖子就讲解完，这里知识讲解一些基础知识，帮助大家快速入（zhuang）门（bi）。后面的帖子将对深度自动编码器，Hopfield 网络长短期记忆网络（LSTM）进行讲解。
② 入门 | 一文简述循环神经网络
入门 | 一文简述循环神经网络
本文简要介绍了什么是循环神经网络及其运行原理，并给出了一个 RNN 实现示例。
什么是循环神经网络（RNN）？它们如何运行？可以用在哪里呢？本文试图回答上述这些问题，还展示了一个 RNN 实现 demo，你可以根据自己的需要进行扩展。
循环神经网络架构
基础知识。Python、CNN 知识是必备的。了解 CNN 的相关知识，是为了与 RNN 进行对比：RNN 为什么以及在哪些地方比 CNN 更好。
我们首先从“循环”（Recurrent）这个词说起。为什么将其称为循环？循环的意思是：
经常或重复出现
将这类神经网络称为循环神经网络是因为它对一组序列输入重复进行同样的操作。本文后续部分将讨论这种操作的意义。
我们为什么需要 RNN？
也许你现在想的是，已经有像卷积网络这样表现非常出色的网络了，为什么还需要其他类型的网络呢？有一个需要用到 RNN 的特殊例子。为了解释 RNN，你首先需要了解序列的相关知识，我们先来讲一下序列。
序列是相互依赖的（有限或无限）数据流，比如时间序列数据、信息性的字符串、对话等。在对话中，一个句子可能有一个意思，但是整体的对话可能又是完全不同的意思。股市数据这样的时间序列数据也是，单个数据表示当前价格，但是全天的数据会有不一样的变化，促使我们作出买进或卖出的决定。
当输入数据具有依赖性且是序列模式时，CNN 的结果一般都不太好。CNN 的前一个输入和下一个输入之间没有任何关联。所以所有的输出都是独立的。CNN 接受输入，然后基于训练好的模型输出。如果你运行了 100 个不同的输入，它们中的任何一个输出都不会受之前输出的影响。但想一下如果是文本生成或文本翻译呢？所有生成的单词与之前生成的单词都是独立的（有些情况下与之后的单词也是独立的，这里暂不讨论）。所以你需要有一些基于之前输出的偏向。这就是需要 RNN 的地方。RNN 对之前发生在数据序列中的事是有一定记忆的。这有助于系统获取上下文。理论上讲，RNN 有无限的记忆，这意味着它们有无限回顾的能力。通过回顾可以了解所有之前的输入。但从实际操作中看，它只能回顾最后几步。
本文仅为了与人类大体相关联，而不会做任何决定。本文只是基于之前关于该项目的知识做出了自己的判断（我甚至尚未理解人类大脑的 0.1%）。
何时使用 RNN？
RNN 可用于许多不同的地方。下面是 RNN 应用最多的领域。
1. 语言建模和文本生成
给出一个词语序列，试着预测下一个词语的可能性。这在翻译任务中是很有用的，因为最有可能的句子将是可能性最高的单词组成的句子。
2. 机器翻译
将文本内容从一种语言翻译成其他语言使用了一种或几种形式的 RNN。所有日常使用的实用系统都用了某种高级版本的 RNN。
3. 语音识别
基于输入的声波预测语音片段，从而确定词语。
4. 生成图像描述
RNN 一个非常广泛的应用是理解图像中发生了什么，从而做出合理的描述。这是 CNN 和 RNN 相结合的作用。CNN 做图像分割，RNN 用分割后的数据重建描述。这种应用虽然基本，但可能性是无穷的。
5. 视频标记
可以通过一帧一帧地标记视频进行视频搜索。
深入挖掘
本文按照以下主题进行。每一部分都是基于之前的部分进行的，所以不要跳着读。
前馈网络循环网络循环神经元基于时间的反向传播（BPTT）RNN 实现
前馈网络入门
前馈网络通过在网络的每个节点上做出的一系列操作传递信息。前馈网络每次通过每个层直接向后传递信息。这与其他循环神经网络不同。一般而言，前馈网络接受一个输入并据此产生输出，这也是大多数监督学习的步骤，输出结果可能是一个分类结果。它的行为与 CNN 类似。输出可以是以猫狗等作为标签的类别。
前馈网络是基于一系列预先标注过的数据训练的。训练阶段的目的是减少前馈网络猜类别时的误差。一旦训练完成，我们就可以用训练后的权重对新批次的数据进行分类。
一个典型的前馈网络架构
还有一件事要注意。在前馈网络中，无论在测试阶段展示给分类器的图像是什么，都不会改变权重，所以也不会影响第二个决策。这是前馈网络和循环网络之间一个非常大的不同。
与循环网络不同，前馈网络在测试时不会记得之前的输入数据。它们始终是取决于时间点的。它们只会在训练阶段记得历史输入数据。
循环网络
也就是说，循环网络不仅将当前的输入样例作为网络输入，还将它们之前感知到的一并作为输入。
我们试着建立了一个多层感知器。从简单的角度讲，它有一个输入层、一个具备特定激活函数的隐藏层，最终可以得到输出。
多层感知器架构示例
如果在上述示例中的层数增加了，输入层也接收输入。那么第一个隐藏层将激活传递到下一个隐藏层上，依此类推。最后到达输出层。每一个隐藏层都有自己的权重和偏置项。现在问题变成了我们可以输入到隐藏层吗？
每一层都有自己的权重（W）、偏置项（B）和激活函数（F）。这些层的行为不同，合并它们从技术层面上讲也极具挑战性。为了合并它们，我们将所有层的权重和偏置项替换成相同的值。如下图所示：
现在我们就可以将所有层合并在一起了。所有的隐藏层都可以结合在一个循环层中。所以看起来就像下图：
我们在每一步都会向隐藏层提供输入。现在一个循环神经元存储了所有之前步的输入，并将这些信息和当前步的输入合并。因此，它还捕获到一些当前数据步和之前步的相关性信息。t-1 步的决策影响到第 t 步做的决策。这很像人类在生活中做决策的方式。我们将当前数据和近期数据结合起来，帮助解决手头的特定问题。这个例子很简单，但从原则上讲这与人类的决策能力是一致的。这让我非常想知道我们作为人类是否真的很智能，或者说我们是否有非常高级的神经网络模型。我们做出的决策只是对生活中收集到的数据进行训练。那么一旦有了能够在合理时间段内存储和计算数据的先进模型和系统时，是否可以数字化大脑呢？所以当我们有了比大脑更好更快的模型（基于数百万人的数据训练出的）时，会发生什么？
另一篇文章（https://deeplearning4j.org/lstm.html）的有趣观点：人总是被自己的行为所困扰。
我们用一个例子来阐述上面的解释，这个例子是预测一系列字母后的下一个字母。想象一个有 8 个字母的单词 namaskar。
namaskar（合十礼）：印度表示尊重的传统问候或姿势，将手掌合起置于面前或胸前鞠躬。
如果我们在向网络输入 7 个字母后试着找出第 8 个字母，会发生什么呢？隐藏层会经历 8 次迭代。如果展开网络的话就是一个 8 层的网络，每一层对应一个字母。所以你可以想象一个普通的神经网络被重复了多次。展开的次数与它记得多久之前的数据是直接相关的。
循环神经网络的运作原理
循环神经元
这里我们将更深入地了解负责决策的实际神经元。以之前提到的 namaskar 为例，在给出前 7 个字母后，试着找出第 8 个字母。输入数据的完整词汇表是 {n,a,m,s,k,r}。在真实世界中单词或句子都会更复杂。为了简化问题，我们用的是下面这个简单的词汇表。
在上图中，隐藏层或 RNN 块在当前输入和之前的状态中应用了公式。在本例中，namaste 的字母 n 前面什么都没有。所以我们直接使用当前信息推断，并移动到下一个字母 a。在推断字母 a 的过程中，隐藏层应用了上述公式结合当前推断 a 的信息与前面推断 n 的信息。输入在网络中传递的每一个状态都是一个时间步或一步，所以时间步 t 的输入是 a，时间步 t-1 的输入就是 n。将公式同时应用于 n 和 a 后，就得到了一个新状态。
用于当前状态的公式如下所示：
h_t 是新状态，h_t-1 是前一个状态。x_t 是时间 t 时的输入。在对之前的时间步应用了相同的公式后，我们已经能感知到之前的输入了。我们将检查 7 个这样的输入，它们在每一步的权重和函数都是相同的。
现在试着以简单的方式定义 f()。我们使用 tanh 激活函数。通过矩阵 W_hh 定义权重，通过矩阵 W_xh 定义输入。公式如下所示：
上例只将最后一步作为记忆，因此只与最后一步的数据合并。为了提升网络的记忆能力，并在记忆中保留较长的序列，我们必须在方程中添加更多的状态，如 h_t-2、h_t-3 等。最后输出可以按测试阶段的计算方式进行计算：
其中，y_t 是输出。对输出与实际输出进行对比，然后计算出误差值。网络通过反向传播误差来更新权重，进行学习。本文后续部分会对反向传播进行讨论。
基于时间的反向传播算法（BPTT）
本节默认你已经了解了反向传播概念。如果需要对反向传播进行深入了解，请参阅链接：?http://cs231n.github.io/optimization-2/?。
现在我们了解了 RNN 是如何实际运作的，但是在实际工作中如何训练 RNN 呢？该如何决定每个连接的权重呢？如何初始化这些隐藏单元的权重呢？循环网络的目的是要准确地对序列输入进行分类。这要靠误差值的反向传播和梯度下降来实现。但是前馈网络中使用的标准反向传播无法在此应用。
与有向无环的前馈网络不同，RNN 是循环图，这也是问题所在。在前馈网络中可以计算出之前层的误差导数。但 RNN 的层级排列与前馈网络并不相同。
答案就在之前讨论过的内容中。我们需要展开网络。展开网络使其看起来像前馈网络就可以了。
展开 RNN
在每个时间步取出 RNN 的隐藏单元并复制。时间步中的每一次复制就像前馈网络中的一层。在时间步 t+1 中每个时间步 t 层与所有可能的层连接。因此我们对权重进行随机初始化，展开网络，然后在隐藏层中通过反向传播优化权重。通过向最低层传递参数完成初始化。这些参数作为反向传播的一部分也得到了优化。
展开网络的结果是，现在每一层的权重都不同，因此最终会得到不同程度的优化。无法保证基于权重计算出的误差是相等的。所以每一次运行结束时每一层的权重都不同。这是我们绝对不希望看到的。最简单的解决办法是以某种方式将所有层的误差合并到一起。可以对误差值取平均或者求和。通过这种方式，我们可以在所有时间步中使用一层来保持相同的权重。
RNN 实现
本文试着用 Keras 模型实现 RNN。我们试着根据给定的文本预测下一个序列。
代码地址：?https://gist.github.com/.git?
该模型是 Yash Katariya 建的。我对该模型做了一些细微的改动以适合本文的要求。
③ 利用神经网络进行文本分类算法综述（持续更新中）
传统的文本分类一般都是使用词袋模型/Tf-idf作为特征+机器学习分类器来进行分类的。随着深度学习的发展，越来越多的神经网络模型被用来进行文本分类。本文将对这些神经网络模型做一个简单的介绍。
本文介绍了一种词向量模型，虽然算不得文本分类模型，但由于其可以说是fasttext的基础。因此也简单提一下。
作者认为cbow和skipgram及大部分词向量模型都没有考虑到单词的多态性，而简单的将一个单词的多种形态视为独立的单词。例如like的不同形式有likes，liking，liked，likes，这些单词的意思其实是相同的，但cbow/skipgram模型却认为这些单词是各自独立的，没有考虑到其形态多样性。
因此作者提出了一个可以有效利用单词字符级别信息的n-gram词向量模型，该模型是以skipgram模式实现的。例如单词 where，其n-gram表示为<wh, whe, her, ere, re>, where。其中<>分别表示前后缀。在原始的skipgram模型中，输入仅仅只是where的onehot向量，而在此模型中输入则变成了<wh, whe, her, ere, re>, where的onehot编码的加和，有效的利用了字符级别的信息，因此效果更加好。
而在loss方面，文中采用了负采样+binary LogisticRegression的策略。即对每一个目标单词都预测为正负中的一种。
在本文中作者提供了一个基于神经网络的文本分类模型，这个模型是基于cbow的，与cbow非常类似。
和CBOW一样，fastText模型也只有三层：输入层、隐含层、输出层（Hierarchical Softmax），输入都是多个经向量表示的单词，输出都是一个特定的target，隐含层都是对多个词向量的叠加平均。不同的是，CBOW的输入是目标单词的上下文，fastText的输入是多个单词及其n-gram特征的embeding表示方式，这些特征用来表示单个文档；CBOW的输入单词被onehot编码过，fastText的输入特征是被embedding过；CBOW的输出是目标词汇，fastText的输出是文档对应的类标。输出层的实现同样使用了层次softmax，当然如果自己实现的话，对于类别数不是很多的任务，个人认为是可以直接使用softmax的。
最后，贴一个Keras的模型fasttext简化版。
基于词向量表示，本文提出利用卷积神经网络来进行文本分类。其算法如上图所示：
在本文中，作者尝试了多种不同的词向量模式：
在上一篇文章中CNN网络的输入一般是预训练好的词向量，而在本文中作者提出一种直接将embedding训练与分类任务结合在一起，且能有效提取/保留词序信息，也即有效训练出n-gram的模型方法，其实也可以理解为一种利用CNN来进行embedding的方法。
此外，另一个问题是输入序列长度变化问题（在上一篇文章textCNN中通过padding解决的？），在本文作者提出使用一个动态可变的pooling层来解决这个问题，使得卷积层输出的大小是相同的。关于可变pooling其实与图像识别中的 空间金字塔池化 (Spatial Pyramid Pooling) 是类似的。
这篇文章有点将fastText与TextCNN结合在一起的感觉，将n-gram embedding与分类任务结合在了一起进行训练，通过CNN来进行Embedding。
Text Categorization via Region Embedding》
在本篇文章中作者提出了一个tv-embedding（即two-view embedding），它也属于region embedding（也可以理解为ngram embedding）。这种方法与上面的bow-CNN表示相似，使用bow（bag of words）的方式来表示一个区域的词句，然后通过某个区域（region，左右邻域的单词或词句）来预测其前后的区域（单词或词句），即输入区域是view1，target区域是view2。tv-embedding是单独训练的，在使用的时候与CNN中的embedding组合在一起（形成多个channel？）。作者认为，word2vec方法预训练得到的embedding向量是普适性的，而通过特定任务的数据集的训练得到tv-embedding具有任务相关的一些信息，更有利于提升我们的模型效果。
吐槽一下，这篇文章没太看懂，也可能是英语太差，作者文章中没有那种一眼就能让人理解的网络图，像textCNN的图就非常一目了然，看图就知道是怎么做的了。
本文提出了一个使用监督学习加半监督预训练的基于LSTM的文本分类模型。文章作者与上面相同，所以用到的很多技术可以说与上面也是同出一辙。因此简单说下本文的一些思路。
作者认为已有的直接使用LSTM作为文本分类模型并直接将LSTM的最后一个输出作为后续全连接分类器的方法面临两个问题：（1）这种方式一般都是与word embedding整合在一起（即输入onehot经过一个embedding层再进入LSTM），但是embedding训练不稳定，不好训练；（2）直接使用LSTM最后一个输出来表示整个文档不准确，一般来说LSTM输入中后面的单词会在最后输出中占有较重的权重，但是这对于文章表示来说并不总是对的。因此作者对这两点进行了改进：
本文其实可以看作是作者将自己前面的tv-embedding半监督训练与RCNN的一个融合吧，大有一种一顿操作猛如虎，一看人头0-5的感觉（因为作者的实验结果跟一般的CNN相比其实也抢不了多少）。
本文的作者也是前面两篇使用CNN来进行文本分类处理的文章的作者。因此在本文中，结合了前面两篇文章提出的一些方法，并使用了一个深层的卷积神经网络。具体的细节包括：
更多详细的关于DPCNN的细节可以查看 从DPCNN出发，撩一下深层word-level文本分类模型 。
本文提出了一种基于CNN+Attention的文本分类模型。作者认为已有的基于CNN的文本分类模型大都使用的是固定大小的卷积核，因此其学习到的表示也是固定的n-gram表示，这个n与CNN filter大小相关。但是在进行句子的语义表示时，不同句子发挥重要作用的ngram词语常常是不同的，也即是变化的。因此，模型能根据句子来自适应的选择每个句子最佳的n-gram对于提升模型的语义表示能力是非常关键的。本文便是由此思路提出了一种自适应的来选择不同n-gram表示的模型。
本文模型在主题结构上参照了CV中的DenseNet，借由DenseNet中的稠密连接来提取到丰富的n-gram特征表示。举例来说，在layer3的特征不仅能学习到f(x1, x2, x3)，还能学习到f(x1(x2,x3))这种更多层次，更加丰富的特征。网络的结构主要包括三部分：DenseCNN主网络，Attention mole和最后的全连接层分类网络。下面对这三部分进行简单的说明：
本文通过Dense connection + Attention来自动获取对于文本语义最重要的n-gram特征，结果很好。但是缺点是，这个网络比较适合较短的文本，文中对输入文本进行了padding补齐，对于不同数据集最大长度分别为50，100等，但这对于较长的文本明显是不足的。因此对于较长的文本或许HAN这种借用RNN来不限制输入长短的网络会更好。
本文提出了一种结合循环神经网络（RNN）和卷积神经网络来进行文本分类的方法，其结构如上图所示，该网络可以分为三部分：
虽然说是RNN与CNN的结合，但是其实只用到了CNN中的pooling，多少有一点噱头的意思。文中还提到了RCNN为什么比CNN效果好的原因，即为什么RCNN能比CNN更好的捕捉到上下文信息：CNN使用了固定大小window（也即kernel size）来提取上下文信息，其实就是一个n-gram。因此CNN的表现很大程度上受window大小的影响，太小了会丢失一些长距离信息，太大了又会导致稀疏性问题，而且会增加计算量。
在众多自然语言处理任务中，一个非常突出的问题就是训练数据不足，且标注难度大。因此文本提出了一种多任务共享的RNN模型框架，其使用多个不同任务数据集来训练同一个模型共享参数，已达到扩充数据集的作用。
文中作者提出了三个模型，如上图所示：
三个模型的训练方式相同：
本文提出了一个层次LSTM+Attention模型。作者认为，虽然一篇文章有多个句子组成但真正其关键作用的可能是其中的某几个，因此对各个句子施加了注意力机制，以使得对文章语义贡献较多的句子占有更多的权重。同样的，组成一个句子的单词有多个，但是发挥重要作用的可能就那么几个，因此使用注意力机制以使得重要单词发挥更大的作用，这些便是本文的核心思想。整个网络可分为三层，两个LSTM层分别用来进行word encode和sentence encode，最顶上为一个全连接分类层。若加上两层注意力层，则可认为网络为5层。下面简单聊聊这五层网络的结构：
总体来说，本文看起来还是比较有意思的，符合人阅读文章的习惯，我们写文章的时候也是有中心词和中心句的。但是由于这个层级结构是否会导致训练慢或者不好训练还不得而知。最后，文中还提出对文章按长短先进行排序，长度相似的进入一个batch，这将训练速度加快了3倍。
本文提出了一个基于图神经网络的文本分类方法。该方法的主要思想是将所有文章及其包含的词汇都放到一个图网络里面去，图网络中的节点分为两种类型：单词节点和文章节点。其中连接单词节点和文章节点的边的权重使用TF-IDF来表示，而单词与单词之间边的权重则是使用点互信息（PMI）来表示。点互信息与传统语言模型中的条件概率计算方式非常相似。只不过PMI采用的是滑窗方式而条件概率是直接在所有语料中进行统计，可以认为是将所有语料当做一个大窗口，这时就又与PMI相同了。
A表示图网络的邻接矩阵，表示如下：
GCN同样也是可以含有多层隐藏层的，其各个层的计算方式如下：
其中A'为归一化对称邻接矩阵， W0 ∈ R^(m×k) 为权重矩阵，ρ是激活函数，例如 ReLU ρ(x) = max(0,x) 如前所述，可以通过叠加多个GCN层来合并更高阶的邻域信息：
其中j表示层数。
损失函数定义为所有已标记文档的交叉熵误差:
文中提到Text GCN运行良好的原因有两个方面：
但是其也有一些缺：
总的来说，文章的idea还是挺有意思的，效果也还不错。初识GCN可能还是有一点难以理解，可以参考如下资料进行进一步学习：
基于图卷积网络的文本分类算法
如何理解 Graph Convolutional Network（GCN）？
④ 自编码器和分类器python
你好，下面是一个keras的softmax分类器+自编码器的python代码。你需要安装最新的theano1.0.4才可以跑。
importos;
os.environ['KERAS_BACKEND']='theano'
importkeras
fromkeras.datasetsimportmnist
fromkeras.modelsimportModel
fromkeras.layersimportInput,Conv2D,MaxPooling2D,Flatten,Dense,UpSampling2D
batch_size=128
num_classes=10
epochs=12
#inputimagedimensions
img_rows,img_cols=28,28
#Data
(x_train,y_train),(x_test,y_test)=mnist.load_data()
x_train=x_train.reshape(x_train.shape[0],img_rows,img_cols,1).astype('float32')/255
x_test=x_test.reshape(x_test.shape[0],img_rows,img_cols,1).astype('float32')/255
y_train=keras.utils.to_categorical(y_train,num_classes)
y_test=keras.utils.to_categorical(y_test,num_classes)
#ConvolutionalEncoder
input_img=Input(shape=(img_rows,img_cols,1))
conv_1=Conv2D(16,(3,3),activation='relu',padding='same')(input_img)
pool_1=MaxPooling2D((2,2),padding='same')(conv_1)
conv_2=Conv2D(8,(3,3),activation='relu',padding='same')(pool_1)
pool_2=MaxPooling2D((2,2),padding='same')(conv_2)
conv_3=Conv2D(8,(3,3),activation='relu',padding='same')(pool_2)
encoded=MaxPooling2D((2,2),padding='same')(conv_3)
#Classification
flatten=Flatten()(encoded)
fc=Dense(128,activation='relu')(flatten)
softmax=Dense(num_classes,activation='softmax',name='classification')(fc)
#Decoder
conv_4=Conv2D(8,(3,3),activation='relu',padding='same')(encoded)
up_1=UpSampling2D((2,2))(conv_4)
conv_5=Conv2D(8,(3,3),activation='relu',padding='same')(up_1)
up_2=UpSampling2D((2,2))(conv_5)
conv_6=Conv2D(16,(3,3),activation='relu')(up_2)
up_3=UpSampling2D((2,2))(conv_6)
decoded=Conv2D(1,(3,3),activation='sigmoid',padding='same',name='autoencoder')(up_3)
model=Model(inputs=input_img,outputs=[softmax,decoded])
model.compile(loss={'classification':'categorical_crossentropy',
'autoencoder':'binary_crossentropy'},
optimizer='adam',
metrics={'classification':'accuracy'})
model.fit(x_train,
{'classification':y_train,'autoencoder':x_train},
batch_size=batch_size,
epochs=epochs,
validation_data=(x_test,{'classification':y_test,'autoencoder':x_test}),
verbose=1)
⑤ 【山外笔记-计算机网络·第7版】第02章：物理层
[学习笔记]第02章_物理层-打印版.pdf
本章最重要的内容是：
（1）物理层的任务。
（2）几种常用的信道复用技术。
（3）几种常用的宽带接入技术，主要是ADSL和FTTx。
1、物理层简介
（1）物理层在连接各种计算机的传输媒体上传输数据比特流，而不是指具体的传输媒体。
（2）物理层的作用是尽可能地屏蔽掉传输媒体和通信手段的差异。
（3）用于物理层的协议常称为物理层规程（procere），其实物理层规程就是物理层协议。
2、物理层的主要任务 ：确定与传输媒体的接口有关的一些特性。
（1）机械特性：指明接口所用接线器的形状和尺寸、引脚数目和排列、固定和锁定装置等。
（2）电气特性：指明在接口电缆的各条线上出现的电压的范围。
（3）功能特性：指明某条线上出现的某一电平的电压的意义。
（4）过程特性：指明对于不同功能的各种可能事件的出现顺序。
3、物理层要完成传输方式的转换。
（1）数据在计算机内部多采用并行传输方式。
（2）数据在通信线路（传输媒体）上的传输方式一般都是串行传输，即逐个比特按照时间顺序传输。
（3）物理连接的方式：点对点、多点连接或广播连接。
（4）传输媒体的种类：架空明线、双绞线、对称电缆、同轴电缆、光缆，以及各种波段的无线信道等。
1、数据通信系统的组成
一个数据通信系统可划分为源系统（或发送端、发送方）、传输系统（或传输网络）和目的系统（或接收端、接收方）三大部分。
（1）源系统：一般包括以下两个部分：
（2）目的系统：一般也包括以下两个部分：
（3）传输系统：可以是简单的传输线，也可以是连接在源系统和目的系统之间的复杂网络系统。
2、通信常用术语
（1）通信的目的是传送消息（message），数据（data）是运送消息的实体。
（2）数据是使用特定方式表示的信息，通常是有意义的符号序列。
（3）信息的表示可用计算机或其他机器（或人）处理或产生。
（4）信号（signal）则是数据的电气或电磁的表现。
3、信号的分类 ：根据信号中代表消息的参数的取值方式不同
（1）模拟信号/连续信号：代表消息的参数的取值是连续的。
（2）数字信号/离散信号：代表消息的参数的取值是离散的。
1、信道
（1）信道一般都是用来表示向某一个方向传送信息的媒体。
（2）一条通信电路往往包含一条发送信道和一条接收信道。
（3）单向通信只需要一条信道，而双向交替通信或双向同时通信则都需要两条信道（每个方向各一条）。
2、通信的基本方式 ：
（1）单向通信又称为单工通信，只能有一个方向的通信而没有反方向的交互。如无线电广播、有线电广播、电视广播。
（2）双向交替通信又称为半双工通信，即通信的双方都可以发送信息，但不能双方同时发送/接收。
（3）双向同时通信又称为全双工通信，即通信的双方可以同时发送和接收信息。
3、调制 （molation）
（1）基带信号：来自信源的信号，即基本频带信号。许多信道不能传输基带信号，必须对其进行调制。
（2）调制的分类
4、基带调制常用的编码方式 （如图2-2）
（1）不归零制：正电平代表1，负电平代表0。
（2）归零制：正脉冲代表1，负脉冲代表0。
（3）曼彻斯特：编码位周期中心的向上跳变代表0，位周期中心的向下跳变代表1。也可反过来定义。
（4）差分曼彻斯特：编码在每一位的中心处始终都有跳变。位开始边界有跳变代表0，而位开始边界没有跳变代表1。
5、带通调制的基本方法
（1）调幅（AM）即载波的振幅随基带数字信号而变化。例如，0或1分别对应于无载波或有载波输出。
（2）调频（FM）即载波的频率随基带数字信号而变化。例如，0或1分别对应于频率f1或f2。
（3）调相（PM）即载波的初始相位随基带数字信号而变化。例如，0或1分别对应于相位0度或180度。
（4）多元制的振幅相位混合调制方法：正交振幅调制QAM（Quadrature Amplitude Molation）。
1、信号失真
（1）信号在信道上传输时会不可避免地产生失真，但在接收端只要从失真的波形中能够识别并恢复出原来的码元信号，那么这种失真对通信质量就没有影响。
（2）码元传输的速率越高，或信号传输的距离越远，或噪声干扰越大，或传输媒体质量越差，在接收端的波形的失真就越严重。
2、限制码元在信道上的传输速率的因素
（1）信道能够通过的频率范围
（2）信噪比
3、香农公式 （Shannon）
（1）香农公式（Shannon）：C = W*log2(1+S/N) (bit/s)
（2）香农公式表明：信道的带宽或信道中的信噪比越大，信息的极限传输速率就越高。
（3）香农公式指出了信息传输速率的上限。
（4）香农公式的意义：只要信息传输速率低于信道的极限信息传输速率，就一定存在某种办法来实现无差错的传输。
（5）在实际信道上能够达到的信息传输速率要比香农的极限传输速率低不少,是因为香农公式的推导过程中并未考虑如各种脉冲干扰和在传输中产生的失真等信号损伤。
1、传输媒体
传输媒体也称为传输介质或传输媒介，是数据传输系统中在发送器和接收器之间的物理通路。
2、传输媒体的分类
（1）导引型传输媒体：电磁波被导引沿着固体媒体（双绞线、同轴电缆或光纤）传播。
（2）非导引型传输媒体：是指自由空间，电磁波的传输常称为无线传输。
1、双绞线
（1）双绞线也称为双扭线， 即把两根互相绝缘的铜导线并排放在一起，然后用规则的方法绞合（twist）起来。绞合可减少对相邻导线的电磁干扰。
（2）电缆：通常由一定数量的双绞线捆成，在其外面包上护套。
（3）屏蔽双绞线STP（Shielded Twisted Pair）：在双绞线的外面再加上一层用金属丝编织成的屏蔽层，提高了双绞线抗电磁干扰的能力。价格比无屏蔽双绞线UTP（Unshielded Twisted Pair）要贵一些。
（4）模拟传输和数字传输都可以使用双绞线，其通信距离一般为几到十几公里。
（5）双绞线布线标准
（6）双绞线的使用
2、同轴电缆
（1）同轴电缆由内导体铜质芯线（单股实心线或多股绞合线）、绝缘层、网状编织的外导体屏蔽层（也可以是单股的）以及保护塑料外层所组成。
（2）由于外导体屏蔽层的作用，同轴电缆具有很好的抗干扰特性，被广泛用于传输较高速率的数据。
（3）同轴电缆主要用在有线电视网的居民小区中。
（4）同轴电缆的带宽取决于电缆的质量。目前高质量的同轴电缆的带宽已接近1GHz。
3、光缆
（1）光纤通信就是利用光导纤维（简称光纤）传递光脉冲来进行通信。有光脉冲为1，没有光脉冲为0。
（2）光纤是光纤通信的传输媒体。
（3）多模光纤：可以存在多条不同角度入射的光线在一条光纤中传输。光脉冲在多模光纤中传输时会逐渐展宽，造成失真，多模光纤只适合于近距离传输。
（4）单模光纤：若光纤的直径减小到只有一个光的波长，则光纤就像一根波导那样，可使光线一直向前传播，而不会产生多次反射。单模光纤的纤芯很细，其直径只有几个微米，制造起来成本较高。
（5）光纤通信中常用的三个波段中心：850nm，1300nm和1550nm。
（6）光缆：一根光缆少则只有一根光纤，多则可包括数十至数百根光纤，再加上加强芯和填充物，必要时还可放入远供电源线，最后加上包带层和外护套。
（7）光纤的优点
1、无线传输
（1）无线传输是利用无线信道进行信息的传输，可使用的频段很广。
（2）LF，MF和HF分别是低频（30kHz-300kHz）、中频（300kHz-3MH z）和高频（3MHz-30MHz）。
（3）V，U，S和E分别是甚高频（30MHz-300MHz）、特高频（300MHz-3GHz）、超高频（3GHz-30GHz）和极高频（30GHz-300GHz），最高的一个频段中的T是Tremendously。
2、短波通信： 即高频通信，主要是靠电离层的反射传播到地面上很远的地方，通信质量较差。
3、无线电微波通信
（1）微波的频率范围为300M Hz-300GHz（波长1m-1mm），但主要使用2~40GHz的频率范围。
（2）微波在空间中直线传播，会穿透电离层而进入宇宙空间，传播距离受到限制，一般只有50km左右。
（3）传统的微波通信主要有两种方式，即地面微波接力通信和卫星通信。
（4）微波接力通信：在一条微波通信信道的两个终端之间建立若干个中继站，中继站把前一站送来的信号经过放大后再发送到下一站，故称为“接力”，可传输电话、电报、图像、数据等信息。
（5）卫星通信：利用高空的人造同步地球卫星作为中继器的一种微波接力通信。
（6）无线局域网使用ISM无线电频段中的2.4GHz和5.8GHz频段。
（7）红外通信、激光通信也使用非导引型媒体，可用于近距离的笔记本电脑相互传送数据。
1、复用（multiplexing）技术原理
（1）在发送端使用一个复用器，就可以使用一个共享信道进行通信。
（2）在接收端再使用分用器，把合起来传输的信息分别送到相应的终点。
（3）复用器和分用器总是成对使用，在复用器和分用器之间是用户共享的高速信道。
（4）分用器（demultiplexer）的作用：把高速信道传送过来的数据进行分用，分别送交到相应的用户。
2、最基本的复用
（1）频分复用FDM（Frequency Division Multiplexing）
（2）时分复用TDM（Time Division Multiplexing）：
3、统计时分复用STDM （Statistic TDM）
（1）统计时分复用STDM是一种改进的时分复用，能明显地提高信道的利用率。
（2）集中器（concentrator）：将多个用户的数据集中起来通过高速线路发送到一个远地计算机。
（3）统计时分复用使用STDM帧来传送数据，每一个STDM帧中的时隙数小于连接在集中器上的用户数。
（4）STDM帧不是固定分配时隙，而是按需动态地分配时隙，提高了线路的利用率。
（5）统计复用又称为异步时分复用，而普通的时分复用称为同步时分复用。
（6）STDM帧中每个时隙必须有用户的地址信息，这是统计时分复用必须要有的和不可避免的一些开销。
（7）TDM帧和STDM帧都是在物理层传送的比特流中所划分的帧。和数据链路层的帧是完全不同的概念。
（8）使用统计时分复用的集中器也叫做智能复用器，能提供对整个报文的存储转发能力，通过排队方式使各用户更合理地共享信道。此外，许多集中器还可能具有路由选择、数据压缩、前向纠错等功能。
1、波分复用WDM （Wavelength Division Multiplexing）
波分复用WDM是光的频分复用，在一根光纤上用波长来复用两路光载波信号。
2、密集波分复用DWDM （Dense Wavelength Division Multiplexing）
密集波分复用DWDM是在一根光纤上复用几十路或更多路数的光载波信号。
1、码分复用CDM （Code Division Multiplexing）
（1）每一个用户可以在同样的时间使用同样的频带进行通信。
（2）各用户使用经过特殊挑选的不同码型，因此各用户之间不会造成干扰。
（3）码分复用最初用于军事通信，现已广泛用于民用的移动通信中，特别是在无线局域网中。
2、码分多址CDMA （Code Division Multiple Access）。
（1）在CDMA中，每一个比特时间再划分为m个短的间隔，称为码片（chip）。通常m的值是64或128。
（2）使用CDMA的每一个站被指派一个唯一的m bit码片序列（chip sequence）。
（3）一个站如果发送比特1，则发送m bit码片序列。如果发送比特0，则发送该码片序列的二进制反码。
（4）发送信息的每一个比特要转换成m个比特的码片，这种通信方式是扩频通信中的直接序列扩频DSSS。
（5）CDMA系统给每一个站分配的码片序列必须各不相同，并且还互相正交（orthogonal）。
（6）CDMA的工作原理：现假定有一个X站要接收S站发送的数据。
（7）扩频通信（spread spectrum）分为直接序列扩频DSSS（Direct Sequence Spread Spectrum）和跳频扩频FHSS（Frequency Hopping Spread Spectrum）两大类。
早起电话机用户使用双绞线电缆。长途干线采用的是频分复用FDM的模拟传输方式，现在大都采用时分复用PCM的数字传输方式。现代电信网，在数字化的同时，光纤开始成为长途干线最主要的传输媒体。
1、早期的数字传输系统最主要的缺点：
（1）速率标准不统一。互不兼容的国际标准使国际范围的基于光纤的高速数据传输就很难实现。
（2）不是同步传输。为了节约经费，各国的数字网主要采用准同步方式。
2、数字传输标准
（1）同步光纤网SONET（Synchronous Optical Network）
（2）同步数字系列SDH（Synchronous Digital Hierarchy）
（3）SDH/SONET定义了标准光信号，规定了波长为1310nm和1550nm的激光源。在物理层定义了帧结构。
（4）SDH/SONET标准的制定，使北美、日本和欧洲三种不同的数字传输体制在STM-1等级上获得了统一，第一次真正实现了数字传输体制上的世界性标准。
互联网的发展初期，用户利用电话的用户线通过调制解调器连接到ISP，速率最高只能达到56kbit/s。
从宽带接入的媒体来看，宽带接入技术可以分为有线宽带接入和无线宽带接入两大类。
1、非对称数字用户线ADSL （Asymmetric Digital Subscriber Line）
（1）ADSL技术是用数字技术对现有的模拟电话用户线进行改造，使它能够承载宽带数字业务。
（2）ADSL技术把0-4kHz低端频谱留给传统电话使用，把原来没有被利用的高端频谱留给用户上网使用。
（3）ADSL的ITU的标准是G.992.1（或称G.dmt，表示它使用DMT技术）。
（4）“非对称”是指ADSL的下行（从ISP到用户）带宽都远远大于上行（从用户到ISP）带宽。
（5）ADSL的传输距离取决于数据率和用户线的线径（用户线越细，信号传输时的衰减就越大）。
（6）ADSL所能得到的最高数据传输速率还与实际的用户线上的信噪比密切相关。
2、ADSL调制解调器的实现方案 ：离散多音调DMT（Discrete Multi-Tone）调制技术
（1）ADSL在用户线（铜线）的两端各安装一个ADSL调制解调器。
（2）“多音调”就是“多载波”或“多子信道”的意思。
（3）DMT调制技术采用频分复用的方法，把40kHz-1.1MHz的高端频谱划分为许多子信道。
（4）当ADSL启动时，用户线两端的ADSL调制解调器就测试可用的频率、各子信道受到的干扰情况，以及在每一个频率上测试信号的传输质量。
（5）ADSL能够选择合适的调制方案以获得尽可能高的数据率，但不能保证固定的数据率。
3、数字用户线接入复用器DSLAM （DSL Access Multiplexer）
（1）数字用户线接入复用器包括许多ADSL调制解调器。
（2）ADSL调制解调器又称为接入端接单元ATU（Access Termination Unit）。
（3）ADSL调制解调器必须成对使用，因此把在电话端局记为ATU-C，用户家中记为ATU-R。
（4）ADSL最大的好处就是可以利用现有电话网中的用户线（铜线），而不需要重新布线。
（5）ADSL调制解调器有两个插口：
（6）一个DSLAM可支持多达500-1000个用户。
4、第二代ADSL
（1）ITU-T已颁布了G系列标准，被称为第二代ADSL，ADSL2。
（1）第二代ADSL通过提高调制效率得到了更高的数据率。
（2）第二代ADSL采用了无缝速率自适应技术SRA（Seamless Rate Adaptation），可在运营中不中断通信和不产生误码的情况下，根据线路的实时状况，自适应地调整数据率。
（3）第二代ADSL改善了线路质量评测和故障定位功能。
5、ADSL技术的变型 ：xDSL
ADSL并不适合于企业，为了满足企业的需要，产生了ADSL技术的变型：xDSL。
（1）对称DSL（Symmetric DSL，SDSL）：把带宽平均分配到下行和上行两个方向，每个方向的速度分别为384kbit/s或1.5Mbit/s，距离分别为5.5km或3km。
（2）HDSL（High speed DSL）：使用一对线或两对线的对称DSL，是用来取代T1线路的高速数字用户线，数据速率可达768KBit/s或1.5Mbit/s，距离为2.7-3.6km。
（3）VDSL（Very high speed DSL）：比ADSL更快的、用于短距离传送（300-1800m），即甚高速数字用户线，是ADSL的快速版本。
1、光纤同轴混合网HFC （Hybrid Fiber Coax）
（1）光纤同轴混合网HFC是在有线电视网的基础上改造开发的一种居民宽带接入网。
（2）光纤同轴混合网HFC可传送电视节目，能提供电话、数据和其他宽带交互型业务。
（3）有线电视网最早是树形拓扑结构的同轴电缆网络，采用模拟技术的频分复用进行单向广播传输。
2、光纤同轴混合网HFC的主要特点：
（1）HFC网把原有线电视网中的同轴电缆主干部分改换为光纤，光纤从头端连接到光纤结点（fiber node）。
（2）在光纤结点光信号被转换为电信号，然后通过同轴电缆传送到每个用户家庭。
（3）HFC网具有双向传输功能，而且扩展了传输频带。
（4）连接到一个光纤结点的典型用户数是500左右，但不超过2000。
3、电缆调制解调器 （cable modem）
（1）模拟电视机接收数字电视信号需要把机顶盒（set-top box）的设备连接在同轴电缆和电视机之间。
（2）电缆调制解调器：用于用户接入互联网，以及在上行信道中传送交互数字电视所需的一些信息。
（3）电缆调制解调器可以做成一个单独的设备，也可以做成内置式的，安装在电视机的机顶盒里面。
（4）电缆调制解调器不需要成对使用，而只需安装在用户端。
（5）电缆调制解调器必须解决共享信道中可能出现的冲突问题，比ADSL调制解调器复杂得多。
信号在陆地上长距离的传输，已经基本实现了光纤化。远距离的传输媒体使用光缆。只是到了临近用户家庭的地方，才转为铜缆（电话的用户线和同轴电缆）。
1、多种宽带光纤接入方式FTTx
（1）多种宽带光纤接入方式FTTx，x可代表不同的光纤接入地点，即光电转换的地方。
（2）光纤到户FTTH（Fiber To The Home）：把光纤一直铺设到用户家庭，在光纤进入用户后，把光信号转换为电信号，可以使用户获得最高的上网速率。
（3）光纤到路边FTTC（C表示Curb）
（4）光纤到小区FTTZ（Z表示Zone）
（5）光纤到大楼FTTB（B表示Building）
（6）光纤到楼层FTTF（F表示Floor）
（7）光纤到办公室FTTO（O表示Office）
（8）光纤到桌面FTTD（D表示Desk）
2、无源光网络PON （Passive Optical Network）
（1）光配线网ODN（Optical Distribution Network）：在光纤干线和广大用户之间，铺设的转换装置，使得数十个家庭用户能够共享一根光纤干线。
（2）无源光网络PON（Passive Optical Network），即无源的光配线网。
（3） 无源：表明在光配线网中无须配备电源，因此基本上不用维护，其长期运营成本和管理成本都很低。
（4）光配线网采用波分复用，上行和下行分别使用不同的波长。
（5）光线路终端OLT（ Optical Line Terminal）是连接到光纤干线的终端设备。
（6）无源光网络PON下行数据传输
（7）无源光网络PON上行数据传输
当ONU发送上行数据时，先把电信号转换为光信号，光分路器把各ONU发来的上行数据汇总后，以TDMA方式发往OLT，而发送时间和长度都由OLT集中控制，以便有序地共享光纤主干。
（8）从ONU到用户的个人电脑一般使用以太网连接，使用5类线作为传输媒体。
（9）从总的趋势来看，光网络单元ONU越来越靠近用户的家庭，即“光进铜退”。
3、无源光网络PON的种类
（1）以太网无源光网络EPON（Ethernet PON）
（2）吉比特无源光网络GPON（Gigabit PON）