稠密连接网络过渡层中

❶ 现在全国5G可以用了吗

截至2020年8月，5G网络没有实现全国覆盖。目前主要是省会和一线城市覆盖较为好些，其他地方特别是到地桐御芹市和县份基本没有。

预计到2020年年底，5G信号基站能覆盖全国所有地市。在第六届世界互联网大会期间中国移动董事长杨杰表示，2019年年底将在全国50个以上的城市提供5G商用服务，明年年底将覆盖所有地市以上城市。中国电信和中国联通之前也拆悔宣传合作共建5g基站。

(1)稠密连接网络过渡层中扩展阅读

贝尔实验室无线研究部副总裁西奥多·赛泽表示，5G并不会完全替代4G、WiFi，而是将4G、WiFi等网络融入其中，为用户带来更为丰富的体验。通过将4G、WiFi等整合进5G里面，用户不用关心自己所处的网络，不用再通过手动连接到WiFi网络等，系统会自动根据现场网络质量情况连接到体验最佳的网络之中，真正实现无缝切换。

欧盟数字经济和社会委员古泽·奥廷格表示，5G必须是灵活的，能够满足人口稠密地区、人口稀疏地区以及主要的交通线等各种场景的需要。

2019年6月，新京报评论：5G不仅是一场技术革命更蕴含千万亿级市场。

5G移动网络与早期的2G、3G和4G移动网络一样局毕，5G网络是数字蜂窝网络，在这种网络中，供应商覆盖的服务区域被划分为许多被称为蜂窝的小地理区域。表示声音和图像的模拟信号在手机中被数字化，由模数转换器转换并作为比特流传输。蜂窝中的所有5G无线设备通过无线电波与蜂窝中的本地天线阵和低功率自动收发器（发射机和接收机）进行通信。

收发器从公共频率池分配频道，这些频道在地理上分离的蜂窝中可以重复使用。本地天线通过高带宽光纤或无线回程连接与电话网络和互联网连接。与现有的手机一样，当用户从一个蜂窝穿越到另一个蜂窝时，他们的移动设备将自动“切换”到新蜂窝中的天线 。

❷ 5g的研发历程

2014年5月13日，三星电子宣布，其已率先开发出了首个基于5G核心技术的移动传输网络，并表示将在2020年之前进行5G网络的商业推广。

2016年8月4日，诺基亚与电信传媒公司贝尔再次在加拿大完成了5G信号的测试。

在测试中诺基亚使用了73GHz范围内的频谱，数据传输速度也达到了现有4G网络的6倍。

2020年三星电子计划实现该技术的商用化为目标，全面研发5G移动通信核心技术。

随着三星电子研发出这一技术，世界各国的第五代移动通信技术的研究将更加活跃，其国际标准的出台和商用化也将提速。

2017年8月22日，德国电信联合华为在商用网络中成功部署基于最新3GPP标准的5G新空口连接，该5G新空口承载在Sub 6GHz（3.7GHz），可支持移动性、广覆盖以及室内覆盖等场景，速率直达Gbps级，时延低至毫秒级；同时采用5G新空口与4GLTE非独立组网架构，实现无处不在、实时在线的用户体验。

2017年12月21日，在国际电信标准组织3GPP RAN第78次全体会议上，5G NR首发版本正式发布，这是全球第一个可商用部署的5G标准。

2018年6月14日11:18，3GPP全会（TSG#80）批准了第五代移动通信技术标准（5G NR）独立组网功能冻结。

加之去年12月完成的非独立组网NR标准，5G 已经完成第一阶段全功能标准化工作，进入了产业全面冲刺新阶段。此次SA功能冻结，不仅使5G NR具备了独立部署的能力，也带来全新的端到端新架构，赋能企业级客户和垂直行业的智慧化发展，为运营商和产业合作伙伴带来新的商业模式，开启一个全连接的新时代。

(2)稠密连接网络过渡层中扩展阅读：

5G网络作为第五代移动通信网络，其峰值理论传输速度可达每秒数十Gb，这比4G网络的传输速度快数百倍，整部超高画质电影可在1秒之内下载完成。

随着5G技术的诞生，用智能终端分享3D电影、游戏以及超高画质（UHD）节目的时代已向我们走来。

2018年6月1日，长三角地区主要领导座谈会发布的成果显示，三省一市正在积极谋划制定5G先试先用行动。

❸ 现在全国5G可以用了吗

截至2020年8月，5G网络没有实现全国覆盖。目前主要是省会和一线城市覆盖较为好些，其他地方特别是到地市和县份基本没有。

预计到2020年年底，5G信号基站能覆盖全国所有地市。在第六届世界互联网大会期间中国移动董事长杨杰表示，2019年年底将在全国50个以上的城市提供5G商用服务，明年年底将覆盖所有地市以上城市。中国电信和中国联通之前也宣传合作共建5g基站。

(3)稠密连接网络过渡层中扩展阅读

贝尔实验室无线研究部副总裁西奥多·赛泽表示，5G并不会完全替代4G、WiFi，而是将4G、WiFi等网络融入其中，为用户带来更为丰富的体验。通过将4G、WiFi等整合进5G里面，用户不用关心自己所处的网络，不用再通过手动连接到WiFi网络等，系统会自动根据现场网络质量情况连接到体验最佳的网络之中，真正实现无缝切换。

欧盟数字经济和社会委员古泽·奥廷格表示，5G必须是灵活的，能够满足人口稠密地区、人口稀疏地区以及主要的交通线等各种场景的需要。

2019年6月，新京报评论：5G不仅是一场技术革命更蕴含千万亿级市场。

5G移动网络与早期的2G、3G和4G移动网络一样，5G网络是数字蜂窝网络，在这种网络中，供应商覆盖的服务区域被划分为许多被称为蜂窝的小地理区域。表示声音和图像的模拟信号在手机中被数字化，由模数转换器转换并作为比特流传输。蜂窝中的所有5G无线设备通过无线电波与蜂窝中的本地天线阵和低功率自动收发器（发射机和接收机）进行通信。

收发器从公共频率池分配频道，这些频道在地理上分离的蜂窝中可以重复使用。本地天线通过高带宽光纤或无线回程连接与电话网络和互联网连接。与现有的手机一样，当用户从一个蜂窝穿越到另一个蜂窝时，他们的移动设备将自动“切换”到新蜂窝中的天线 。

❹ 利用神经网络进行文本分类算法综述（持续更新中）

传统的文本分类一般都是使用词袋模型/Tf-idf作为特征+机器学习分类器来进行分类的。随着深度学习的发展，越来越多的神经网络模型被用来进行文本分类。本文将对这些神经网络模型做一个简单的介绍。

本文介绍了一种词向量模型，虽然算不得文本分类模型，但由于其可以说是fasttext的基础。因此也简单提一下。

作者认为cbow和skipgram及大部分词向量模型都没有考虑到单词的多态性，而简单的将一个单词的多种形态视为独立的单词。例如like的不同形式有likes，liking，liked，likes，这些单词的意思其实是相同的，但cbow/skipgram模型却认为这些单词是各自独立的，没有考虑到其形态多样性。

因此作者提出了一个可以有效利用单词字符级别信息的n-gram词向量模型，该模型是以skipgram模式实现的。例如单词 where，其n-gram表示为<wh, whe, her, ere, re>, where。其中<>分别表示前后缀。在原始的skipgram模型中，输入仅仅只是where的onehot向量，而在此模型中输入则变成了<wh, whe, her, ere, re>, where的onehot编码的加和，有效的利用了字符级别的信息，因此效果更加好。

而在loss方面，文中采用了负采样+binary LogisticRegression的策略。即对每一个目标单词都预测为正负中的一种。

在本文中作者提供了一个基于神经网络的文本分类模型，这个模型是基于cbow的，与cbow非常类似。

和CBOW一样，fastText模型也只有三层：输入层、隐含层、输出层（Hierarchical Softmax），输入都是多个经向量表示的单词，输出都是一个特定的target，隐含层都是对多个词向量的叠加平均。不同的是，CBOW的输入是目标单词的上下文，fastText的输入是多个单词及其n-gram特征的embeding表示方式，这些特征用来表示单个文档；CBOW的输入单词被onehot编码过，fastText的输入特征是被embedding过；CBOW的输出是目标词汇，fastText的输出是文档对应的类标。输出层的实现同样使用了层次softmax，当然如果自己实现的话，对于类别数不是很多的任务，个人认为是可以直接使用softmax的。

最后，贴一个Keras的模型fasttext简化版。

基于词向量表示，本文提出利用卷积神经网络来进行文本分类。其算法如上图所示：

在本文中，作者尝试了多种不同的词向量模式：

在上一篇文章中CNN网络的输入一般是预训练好的词向量，而在本文中作者提出一种直接将embedding训练与分类任务结合在一起，且能有效提取/保留词序信息，也即有效训练出n-gram的模型方法，其实也可以理解为一种利用CNN来进行embedding的方法。

此外，另一个问题是输入序列长度变化问题（在上一篇文章textCNN中通过padding解决的？），在本文作者提出使用一个动态可变的pooling层来解决这个问题，使得卷积层输出的大小是相同的。关于可变pooling其实与图像识别中的 空间金字塔池化 (Spatial Pyramid Pooling) 是类似的。

这篇文章有点将fastText与TextCNN结合在一起的感觉，将n-gram embedding与分类任务结合在了一起进行训练，通过CNN来进行Embedding。

Text Categorization via Region Embedding》

在本篇文章中作者提出了一个tv-embedding（即two-view embedding），它也属于region embedding（也可以理解为ngram embedding）。这种方法与上面的bow-CNN表示相似，使用bow（bag of words）的方式来表示一个区域的词句，然后通过某个区域（region，左右邻域的单词或词句）来预测其前后的区域（单词或词句），即输入区域是view1，target区域是view2。tv-embedding是单独训练的，在使用的时候与CNN中的embedding组合在一起（形成多个channel？）。作者认为，word2vec方法预训练得到的embedding向量是普适性的，而通过特定任务的数据集的训练得到tv-embedding具有任务相关的一些信息，更有利于提升我们的模型效果。

吐槽一下，这篇文章没太看懂，也可能是英语太差，作者文章中没有那种一眼就能让人理解的网络图，像textCNN的图就非常一目了然，看图就知道是怎么做的了。

本文提出了一个使用监督学习加半监督预训练的基于LSTM的文本分类模型。文章作者与上面相同，所以用到的很多技术可以说与上面也是同出一辙。因此简单说下本文的一些思路。

作者认为已有的直接使用LSTM作为文本分类模型并直接将LSTM的最后一个输出作为后续全连接分类器的方法面临两个问题：（1）这种方式一般都是与word embedding整合在一起（即输入onehot经过一个embedding层再进入LSTM），但是embedding训练不稳定，不好训练；（2）直接使用LSTM最后一个输出来表示整个文档不准确，一般来说LSTM输入中后面的单词会在最后输出中占有较重的权重，但是这对于文章表示来说并不总是对的。因此作者对这两点进行了改进：

本文其实可以看作是作者将自己前面的tv-embedding半监督训练与RCNN的一个融合吧，大有一种一顿操作猛如虎，一看人头0-5的感觉（因为作者的实验结果跟一般的CNN相比其实也抢不了多少）。

本文的作者也是前面两篇使用CNN来进行文本分类处理的文章的作者。因此在本文中，结合了前面两篇文章提出的一些方法，并使用了一个深层的卷积神经网络。具体的细节包括：

更多详细的关于DPCNN的细节可以查看 从DPCNN出发，撩一下深层word-level文本分类模型 。

本文提出了一种基于CNN+Attention的文本分类模型。作者认为已有的基于CNN的文本分类模型大都使用的是固定大小的卷积核，因此其学习到的表示也是固定的n-gram表示，这个n与CNN filter大小相关。但是在进行句子的语义表示时，不同句子发挥重要作用的ngram词语常常是不同的，也即是变化的。因此，模型能根据句子来自适应的选择每个句子最佳的n-gram对于提升模型的语义表示能力是非常关键的。本文便是由此思路提出了一种自适应的来选择不同n-gram表示的模型。

本文模型在主题结构上参照了CV中的DenseNet，借由DenseNet中的稠密连接来提取到丰富的n-gram特征表示。举例来说，在layer3的特征不仅能学习到f(x1, x2, x3)，还能学习到f(x1(x2,x3))这种更多层次，更加丰富的特征。网络的结构主要包括三部分：DenseCNN主网络，Attention mole和最后的全连接层分类网络。下面对这三部分进行简单的说明：

本文通过Dense connection + Attention来自动获取对于文本语义最重要的n-gram特征，结果很好。但是缺点是，这个网络比较适合较短的文本，文中对输入文本进行了padding补齐，对于不同数据集最大长度分别为50，100等，但这对于较长的文本明显是不足的。因此对于较长的文本或许HAN这种借用RNN来不限制输入长短的网络会更好。

本文提出了一种结合循环神经网络（RNN）和卷积神经网络来进行文本分类的方法，其结构如上图所示，该网络可以分为三部分：

虽然说是RNN与CNN的结合，但是其实只用到了CNN中的pooling，多少有一点噱头的意思。文中还提到了RCNN为什么比CNN效果好的原因，即为什么RCNN能比CNN更好的捕捉到上下文信息：CNN使用了固定大小window（也即kernel size）来提取上下文信息，其实就是一个n-gram。因此CNN的表现很大程度上受window大小的影响，太小了会丢失一些长距离信息，太大了又会导致稀疏性问题，而且会增加计算量。

在众多自然语言处理任务中，一个非常突出的问题就是训练数据不足，且标注难度大。因此文本提出了一种多任务共享的RNN模型框架，其使用多个不同任务数据集来训练同一个模型共享参数，已达到扩充数据集的作用。

文中作者提出了三个模型，如上图所示：

三个模型的训练方式相同：

本文提出了一个层次LSTM+Attention模型。作者认为，虽然一篇文章有多个句子组成但真正其关键作用的可能是其中的某几个，因此对各个句子施加了注意力机制，以使得对文章语义贡献较多的句子占有更多的权重。同样的，组成一个句子的单词有多个，但是发挥重要作用的可能就那么几个，因此使用注意力机制以使得重要单词发挥更大的作用，这些便是本文的核心思想。整个网络可分为三层，两个LSTM层分别用来进行word encode和sentence encode，最顶上为一个全连接分类层。若加上两层注意力层，则可认为网络为5层。下面简单聊聊这五层网络的结构：

总体来说，本文看起来还是比较有意思的，符合人阅读文章的习惯，我们写文章的时候也是有中心词和中心句的。但是由于这个层级结构是否会导致训练慢或者不好训练还不得而知。最后，文中还提出对文章按长短先进行排序，长度相似的进入一个batch，这将训练速度加快了3倍。

本文提出了一个基于图神经网络的文本分类方法。该方法的主要思想是将所有文章及其包含的词汇都放到一个图网络里面去，图网络中的节点分为两种类型：单词节点和文章节点。其中连接单词节点和文章节点的边的权重使用TF-IDF来表示，而单词与单词之间边的权重则是使用点互信息（PMI）来表示。点互信息与传统语言模型中的条件概率计算方式非常相似。只不过PMI采用的是滑窗方式而条件概率是直接在所有语料中进行统计，可以认为是将所有语料当做一个大窗口，这时就又与PMI相同了。

A表示图网络的邻接矩阵，表示如下：

GCN同样也是可以含有多层隐藏层的，其各个层的计算方式如下：

其中A'为归一化对称邻接矩阵， W0 ∈ R^(m×k) 为权重矩阵，ρ是激活函数，例如 ReLU ρ(x) = max(0,x) 如前所述，可以通过叠加多个GCN层来合并更高阶的邻域信息：

其中j表示层数。
损失函数定义为所有已标记文档的交叉熵误差:

文中提到Text GCN运行良好的原因有两个方面：

但是其也有一些缺：

总的来说，文章的idea还是挺有意思的，效果也还不错。初识GCN可能还是有一点难以理解，可以参考如下资料进行进一步学习：
基于图卷积网络的文本分类算法
如何理解 Graph Convolutional Network（GCN）？