稠密連接網路過渡層中

❶ 現在全國5G可以用了嗎

截至2020年8月，5G網路沒有實現全國覆蓋。目前主要是省會和一線城市覆蓋較為好些，其他地方特別是到地桐御芹市和縣份基本沒有。

預計到2020年年底，5G信號基站能覆蓋全國所有地市。在第六屆世界互聯網大會期間中國移動董事長楊傑表示，2019年年底將在全國50個以上的城市提供5G商用服務，明年年底將覆蓋所有地市以上城市。中國電信和中國聯通之前也拆悔宣傳合作共建5g基站。

(1)稠密連接網路過渡層中擴展閱讀

貝爾實驗室無線研究部副總裁西奧多·賽澤表示，5G並不會完全替代4G、WiFi，而是將4G、WiFi等網路融入其中，為用戶帶來更為豐富的體驗。通過將4G、WiFi等整合進5G裡面，用戶不用關心自己所處的網路，不用再通過手動連接到WiFi網路等，系統會自動根據現場網路質量情況連接到體驗最佳的網路之中，真正實現無縫切換。

歐盟數字經濟和社會委員古澤·奧廷格表示，5G必須是靈活的，能夠滿足人口稠密地區、人口稀疏地區以及主要的交通線等各種場景的需要。

2019年6月，新京報評論：5G不僅是一場技術革命更蘊含千萬億級市場。

5G移動網路與早期的2G、3G和4G移動網路一樣局畢，5G網路是數字蜂窩網路，在這種網路中，供應商覆蓋的服務區域被劃分為許多被稱為蜂窩的小地理區域。表示聲音和圖像的模擬信號在手機中被數字化，由模數轉換器轉換並作為比特流傳輸。蜂窩中的所有5G無線設備通過無線電波與蜂窩中的本地天線陣和低功率自動收發器（發射機和接收機）進行通信。

收發器從公共頻率池分配頻道，這些頻道在地理上分離的蜂窩中可以重復使用。本地天線通過高帶寬光纖或無線回程連接與電話網路和互聯網連接。與現有的手機一樣，當用戶從一個蜂窩穿越到另一個蜂窩時，他們的移動設備將自動「切換」到新蜂窩中的天線 。

❷ 5g的研發歷程

2014年5月13日，三星電子宣布，其已率先開發出了首個基於5G核心技術的移動傳輸網路，並表示將在2020年之前進行5G網路的商業推廣。

2016年8月4日，諾基亞與電信傳媒公司貝爾再次在加拿大完成了5G信號的測試。

在測試中諾基亞使用了73GHz范圍內的頻譜，數據傳輸速度也達到了現有4G網路的6倍。

2020年三星電子計劃實現該技術的商用化為目標，全面研發5G移動通信核心技術。

隨著三星電子研發出這一技術，世界各國的第五代移動通信技術的研究將更加活躍，其國際標準的出台和商用化也將提速。

2017年8月22日，德國電信聯合華為在商用網路中成功部署基於最新3GPP標準的5G新空口連接，該5G新空口承載在Sub 6GHz（3.7GHz），可支持移動性、廣覆蓋以及室內覆蓋等場景，速率直達Gbps級，時延低至毫秒級；同時採用5G新空口與4GLTE非獨立組網架構，實現無處不在、實時在線的用戶體驗。

2017年12月21日，在國際電信標准組織3GPP RAN第78次全體會議上，5G NR首發版本正式發布，這是全球第一個可商用部署的5G標准。

2018年6月14日11:18，3GPP全會（TSG#80）批准了第五代移動通信技術標准（5G NR）獨立組網功能凍結。

加之去年12月完成的非獨立組網NR標准，5G 已經完成第一階段全功能標准化工作，進入了產業全面沖刺新階段。此次SA功能凍結，不僅使5G NR具備了獨立部署的能力，也帶來全新的端到端新架構，賦能企業級客戶和垂直行業的智慧化發展，為運營商和產業合作夥伴帶來新的商業模式，開啟一個全連接的新時代。

(2)稠密連接網路過渡層中擴展閱讀：

5G網路作為第五代移動通信網路，其峰值理論傳輸速度可達每秒數十Gb，這比4G網路的傳輸速度快數百倍，整部超高畫質電影可在1秒之內下載完成。

隨著5G技術的誕生，用智能終端分享3D電影、游戲以及超高畫質（UHD）節目的時代已向我們走來。

2018年6月1日，長三角地區主要領導座談會發布的成果顯示，三省一市正在積極謀劃制定5G先試先用行動。

❸ 現在全國5G可以用了嗎

截至2020年8月，5G網路沒有實現全國覆蓋。目前主要是省會和一線城市覆蓋較為好些，其他地方特別是到地市和縣份基本沒有。

預計到2020年年底，5G信號基站能覆蓋全國所有地市。在第六屆世界互聯網大會期間中國移動董事長楊傑表示，2019年年底將在全國50個以上的城市提供5G商用服務，明年年底將覆蓋所有地市以上城市。中國電信和中國聯通之前也宣傳合作共建5g基站。

(3)稠密連接網路過渡層中擴展閱讀

貝爾實驗室無線研究部副總裁西奧多·賽澤表示，5G並不會完全替代4G、WiFi，而是將4G、WiFi等網路融入其中，為用戶帶來更為豐富的體驗。通過將4G、WiFi等整合進5G裡面，用戶不用關心自己所處的網路，不用再通過手動連接到WiFi網路等，系統會自動根據現場網路質量情況連接到體驗最佳的網路之中，真正實現無縫切換。

歐盟數字經濟和社會委員古澤·奧廷格表示，5G必須是靈活的，能夠滿足人口稠密地區、人口稀疏地區以及主要的交通線等各種場景的需要。

2019年6月，新京報評論：5G不僅是一場技術革命更蘊含千萬億級市場。

5G移動網路與早期的2G、3G和4G移動網路一樣，5G網路是數字蜂窩網路，在這種網路中，供應商覆蓋的服務區域被劃分為許多被稱為蜂窩的小地理區域。表示聲音和圖像的模擬信號在手機中被數字化，由模數轉換器轉換並作為比特流傳輸。蜂窩中的所有5G無線設備通過無線電波與蜂窩中的本地天線陣和低功率自動收發器（發射機和接收機）進行通信。

收發器從公共頻率池分配頻道，這些頻道在地理上分離的蜂窩中可以重復使用。本地天線通過高帶寬光纖或無線回程連接與電話網路和互聯網連接。與現有的手機一樣，當用戶從一個蜂窩穿越到另一個蜂窩時，他們的移動設備將自動「切換」到新蜂窩中的天線 。

❹ 利用神經網路進行文本分類演算法綜述（持續更新中）

傳統的文本分類一般都是使用詞袋模型/Tf-idf作為特徵+機器學習分類器來進行分類的。隨著深度學習的發展，越來越多的神經網路模型被用來進行文本分類。本文將對這些神經網路模型做一個簡單的介紹。

本文介紹了一種詞向量模型，雖然算不得文本分類模型，但由於其可以說是fasttext的基礎。因此也簡單提一下。

作者認為cbow和skipgram及大部分詞向量模型都沒有考慮到單詞的多態性，而簡單的將一個單詞的多種形態視為獨立的單詞。例如like的不同形式有likes，liking，liked，likes，這些單詞的意思其實是相同的，但cbow/skipgram模型卻認為這些單詞是各自獨立的，沒有考慮到其形態多樣性。

因此作者提出了一個可以有效利用單詞字元級別信息的n-gram詞向量模型，該模型是以skipgram模式實現的。例如單詞 where，其n-gram表示為<wh, whe, her, ere, re>, where。其中<>分別表示前後綴。在原始的skipgram模型中，輸入僅僅只是where的onehot向量，而在此模型中輸入則變成了<wh, whe, her, ere, re>, where的onehot編碼的加和，有效的利用了字元級別的信息，因此效果更加好。

而在loss方面，文中採用了負采樣+binary LogisticRegression的策略。即對每一個目標單詞都預測為正負中的一種。

在本文中作者提供了一個基於神經網路的文本分類模型，這個模型是基於cbow的，與cbow非常類似。

和CBOW一樣，fastText模型也只有三層：輸入層、隱含層、輸出層（Hierarchical Softmax），輸入都是多個經向量表示的單詞，輸出都是一個特定的target，隱含層都是對多個詞向量的疊加平均。不同的是，CBOW的輸入是目標單詞的上下文，fastText的輸入是多個單詞及其n-gram特徵的embeding表示方式，這些特徵用來表示單個文檔；CBOW的輸入單詞被onehot編碼過，fastText的輸入特徵是被embedding過；CBOW的輸出是目標詞彙，fastText的輸出是文檔對應的類標。輸出層的實現同樣使用了層次softmax，當然如果自己實現的話，對於類別數不是很多的任務，個人認為是可以直接使用softmax的。

最後，貼一個Keras的模型fasttext簡化版。

基於詞向量表示，本文提出利用卷積神經網路來進行文本分類。其演算法如上圖所示：

在本文中，作者嘗試了多種不同的詞向量模式：

在上一篇文章中CNN網路的輸入一般是預訓練好的詞向量，而在本文中作者提出一種直接將embedding訓練與分類任務結合在一起，且能有效提取/保留詞序信息，也即有效訓練出n-gram的模型方法，其實也可以理解為一種利用CNN來進行embedding的方法。

此外，另一個問題是輸入序列長度變化問題（在上一篇文章textCNN中通過padding解決的？），在本文作者提出使用一個動態可變的pooling層來解決這個問題，使得卷積層輸出的大小是相同的。關於可變pooling其實與圖像識別中的 空間金字塔池化 (Spatial Pyramid Pooling) 是類似的。

這篇文章有點將fastText與TextCNN結合在一起的感覺，將n-gram embedding與分類任務結合在了一起進行訓練，通過CNN來進行Embedding。

Text Categorization via Region Embedding》

在本篇文章中作者提出了一個tv-embedding（即two-view embedding），它也屬於region embedding（也可以理解為ngram embedding）。這種方法與上面的bow-CNN表示相似，使用bow（bag of words）的方式來表示一個區域的詞句，然後通過某個區域（region，左右鄰域的單詞或詞句）來預測其前後的區域（單詞或詞句），即輸入區域是view1，target區域是view2。tv-embedding是單獨訓練的，在使用的時候與CNN中的embedding組合在一起（形成多個channel？）。作者認為，word2vec方法預訓練得到的embedding向量是普適性的，而通過特定任務的數據集的訓練得到tv-embedding具有任務相關的一些信息，更有利於提升我們的模型效果。

吐槽一下，這篇文章沒太看懂，也可能是英語太差，作者文章中沒有那種一眼就能讓人理解的網路圖，像textCNN的圖就非常一目瞭然，看圖就知道是怎麼做的了。

本文提出了一個使用監督學習加半監督預訓練的基於LSTM的文本分類模型。文章作者與上面相同，所以用到的很多技術可以說與上面也是同出一轍。因此簡單說下本文的一些思路。

作者認為已有的直接使用LSTM作為文本分類模型並直接將LSTM的最後一個輸出作為後續全連接分類器的方法面臨兩個問題：（1）這種方式一般都是與word embedding整合在一起（即輸入onehot經過一個embedding層再進入LSTM），但是embedding訓練不穩定，不好訓練；（2）直接使用LSTM最後一個輸出來表示整個文檔不準確，一般來說LSTM輸入中後面的單詞會在最後輸出中佔有較重的權重，但是這對於文章表示來說並不總是對的。因此作者對這兩點進行了改進：

本文其實可以看作是作者將自己前面的tv-embedding半監督訓練與RCNN的一個融合吧，大有一種一頓操作猛如虎，一看人頭0-5的感覺（因為作者的實驗結果跟一般的CNN相比其實也搶不了多少）。

本文的作者也是前面兩篇使用CNN來進行文本分類處理的文章的作者。因此在本文中，結合了前面兩篇文章提出的一些方法，並使用了一個深層的卷積神經網路。具體的細節包括：

更多詳細的關於DPCNN的細節可以查看 從DPCNN出發，撩一下深層word-level文本分類模型 。

本文提出了一種基於CNN+Attention的文本分類模型。作者認為已有的基於CNN的文本分類模型大都使用的是固定大小的卷積核，因此其學習到的表示也是固定的n-gram表示，這個n與CNN filter大小相關。但是在進行句子的語義表示時，不同句子發揮重要作用的ngram詞語常常是不同的，也即是變化的。因此，模型能根據句子來自適應的選擇每個句子最佳的n-gram對於提升模型的語義表示能力是非常關鍵的。本文便是由此思路提出了一種自適應的來選擇不同n-gram表示的模型。

本文模型在主題結構上參照了CV中的DenseNet，藉由DenseNet中的稠密連接來提取到豐富的n-gram特徵表示。舉例來說，在layer3的特徵不僅能學習到f(x1, x2, x3)，還能學習到f(x1(x2,x3))這種更多層次，更加豐富的特徵。網路的結構主要包括三部分：DenseCNN主網路，Attention mole和最後的全連接層分類網路。下面對這三部分進行簡單的說明：

本文通過Dense connection + Attention來自動獲取對於文本語義最重要的n-gram特徵，結果很好。但是缺點是，這個網路比較適合較短的文本，文中對輸入文本進行了padding補齊，對於不同數據集最大長度分別為50，100等，但這對於較長的文本明顯是不足的。因此對於較長的文本或許HAN這種借用RNN來不限制輸入長短的網路會更好。

本文提出了一種結合循環神經網路（RNN）和卷積神經網路來進行文本分類的方法，其結構如上圖所示，該網路可以分為三部分：

雖然說是RNN與CNN的結合，但是其實只用到了CNN中的pooling，多少有一點噱頭的意思。文中還提到了RCNN為什麼比CNN效果好的原因，即為什麼RCNN能比CNN更好的捕捉到上下文信息：CNN使用了固定大小window（也即kernel size）來提取上下文信息，其實就是一個n-gram。因此CNN的表現很大程度上受window大小的影響，太小了會丟失一些長距離信息，太大了又會導致稀疏性問題，而且會增加計算量。

在眾多自然語言處理任務中，一個非常突出的問題就是訓練數據不足，且標注難度大。因此文本提出了一種多任務共享的RNN模型框架，其使用多個不同任務數據集來訓練同一個模型共享參數，已達到擴充數據集的作用。

文中作者提出了三個模型，如上圖所示：

三個模型的訓練方式相同：

本文提出了一個層次LSTM+Attention模型。作者認為，雖然一篇文章有多個句子組成但真正其關鍵作用的可能是其中的某幾個，因此對各個句子施加了注意力機制，以使得對文章語義貢獻較多的句子佔有更多的權重。同樣的，組成一個句子的單詞有多個，但是發揮重要作用的可能就那麼幾個，因此使用注意力機制以使得重要單詞發揮更大的作用，這些便是本文的核心思想。整個網路可分為三層，兩個LSTM層分別用來進行word encode和sentence encode，最頂上為一個全連接分類層。若加上兩層注意力層，則可認為網路為5層。下面簡單聊聊這五層網路的結構：

總體來說，本文看起來還是比較有意思的，符合人閱讀文章的習慣，我們寫文章的時候也是有中心詞和中心句的。但是由於這個層級結構是否會導致訓練慢或者不好訓練還不得而知。最後，文中還提出對文章按長短先進行排序，長度相似的進入一個batch，這將訓練速度加快了3倍。

本文提出了一個基於圖神經網路的文本分類方法。該方法的主要思想是將所有文章及其包含的詞彙都放到一個圖網路裡面去，圖網路中的節點分為兩種類型：單詞節點和文章節點。其中連接單詞節點和文章節點的邊的權重使用TF-IDF來表示，而單詞與單詞之間邊的權重則是使用點互信息（PMI）來表示。點互信息與傳統語言模型中的條件概率計算方式非常相似。只不過PMI採用的是滑窗方式而條件概率是直接在所有語料中進行統計，可以認為是將所有語料當做一個大窗口，這時就又與PMI相同了。

A表示圖網路的鄰接矩陣，表示如下：

GCN同樣也是可以含有多層隱藏層的，其各個層的計算方式如下：

其中A'為歸一化對稱鄰接矩陣， W0 ∈ R^(m×k) 為權重矩陣，ρ是激活函數，例如 ReLU ρ(x) = max(0,x) 如前所述，可以通過疊加多個GCN層來合並更高階的鄰域信息：

其中j表示層數。
損失函數定義為所有已標記文檔的交叉熵誤差:

文中提到Text GCN運行良好的原因有兩個方面：

但是其也有一些缺：

總的來說，文章的idea還是挺有意思的，效果也還不錯。初識GCN可能還是有一點難以理解，可以參考如下資料進行進一步學習：
基於圖卷積網路的文本分類演算法
如何理解 Graph Convolutional Network（GCN）？