神經網路異常檢測

⑤ 機械編程還能自己檢測出BUG，機械編程帶來了哪些好處

首先，ControlFlag是完全自我監督的機器編程系統，不需要人類對其進行訓練及指導。ControlFlag的無監督模式識別方法使它可以在本質上學習適應開發者的風格。在要評估的控制工具的有限輸入信息中，ControlFlag可以識別編程語言中的各種樣式，不受代碼使用的編程語言限制。

第二，ControlFlag檢測bug的功能集成了機器學習、形式化方法、編程語言、編譯器和計算機系統。據悉，ControlFlag通過一個稱為異常檢測的功能來進行bug檢測，通過學習經驗證的例子來檢測正常的編程模式，並找出代碼中可能導致bug的異常。該工具將學會識別和標記這些風格選擇，並根據其見解進行自動的錯誤識別和建議解決方案，以便ControlFlag能夠盡可能地避免將兩個開發團隊之間的風格差異視為代碼錯誤。

圖：英特爾與麻省理工學院研究人員聯合發表的願景論文提出機器編程有三大支柱，分別是意圖（intention）、創造（invention）、適應（adaptation）

如前所述，異構系統非常復雜，能夠切實掌握異構系統編程技術的工程師少之又少，英特爾研究院機器編程研究正在開發某種機制，讓程序員或非程序員不僅能夠輕松訪問異構硬體，還能充分使用其他系統可用資源，以大幅降低異構編程難度。這也是英特爾機器編程的基本驅動力之一。

⑥ BP神經網路的原理的BP什麼意思

原文鏈接：http://tecdat.cn/?p=19936

在本教程中，您將學習如何在R語言中創建神經網路模型。

神經網路（或人工神經網路）具有通過樣本進行學習的能力。人工神經網路是一種受生物神經元系統啟發的信息處理模型。它由大量高度互連的處理元件（稱為神經元）組成，以解決問題。它遵循非線性路徑，並在整個節點中並行處理信息。神經網路是一個復雜的自適應系統。自適應意味著它可以通過調整輸入權重來更改其內部結構。

該神經網路旨在解決人類容易遇到的問題和機器難以解決的問題，例如識別貓和狗的圖片，識別編號的圖片。這些問題通常稱為模式識別。它的應用范圍從光學字元識別到目標檢測。

本教程將涵蓋以下主題：

• 神經網路概論

• 正向傳播和反向傳播

• 激活函數

• R中神經網路的實現

• 案例

• 利弊

• 結論

神經網路概論

神經網路是受人腦啟發執行特定任務的演算法。它是一組連接的輸入/輸出單元，其中每個連接都具有與之關聯的權重。在學習階段，網路通過調整權重進行學習，來預測給定輸入的正確類別標簽。

人腦由數十億個處理信息的神經細胞組成。每個神經細胞都認為是一個簡單的處理系統。被稱為生物神經網路的神經元通過電信號傳輸信息。這種並行的交互系統使大腦能夠思考和處理信息。一個神經元的樹突接收來自另一個神經元的輸入信號，並根據這些輸入將輸出響應到某個其他神經元的軸突。



創建測試數據集

創建測試數據集：專業知識得分和溝通技能得分

• # 創建測試集test=data.frame(專業知識,溝通技能得分)



預測測試集的結果

使用計算函數預測測試數據的概率得分。

• ## 使用神經網路進行預測Pred$result


• 0.99282020800.33355439250.9775153014



現在，將概率轉換為二進制類。

• # 將概率轉換為設置閾值0.5的二進制類別pred <- ifelse(prob>0.5, 1, 0)pred


• 101



預測結果為1,0和1。

利弊

神經網路更靈活，可以用於回歸和分類問題。神經網路非常適合具有大量輸入（例如圖像）的非線性數據集，可以使用任意數量的輸入和層，可以並行執行工作。

還有更多可供選擇的演算法，例如SVM，決策樹和回歸演算法，這些演算法簡單，快速，易於訓練並提供更好的性能。神經網路更多的是黑盒子，需要更多的開發時間和更多的計算能力。與其他機器學習演算法相比，神經網路需要更多的數據。NN僅可用於數字輸入和非缺失值數據集。一位著名的神經網路研究人員說：「神經網路是解決任何問題的第二好的方法。最好的方法是真正理解問題。」

神經網路的用途

神經網路的特性提供了許多應用方面，例如：

• 模式識別：神經網路非常適合模式識別問題，例如面部識別，物體檢測，指紋識別等。

• 異常檢測：神經網路擅長異常檢測，它們可以輕松檢測出不適合常規模式的異常模式。

• 時間序列預測：神經網路可用於預測時間序列問題，例如股票價格，天氣預報。

• 自然語言處理：神經網路在自然語言處理任務中提供了廣泛的應用，例如文本分類，命名實體識別（NER），詞性標記，語音識別和拼寫檢查。

最受歡迎的見解

1.r語言用神經網路改進nelson-siegel模型擬合收益率曲線分析

2.r語言實現擬合神經網路預測和結果可視化

3.python用遺傳演算法-神經網路-模糊邏輯控制演算法對樂透分析

4.用於nlp的python：使用keras的多標簽文本lstm神經網路分類

5.用r語言實現神經網路預測股票實例

6.R語言基於Keras的小數據集深度學習圖像分類

7.用於NLP的seq2seq模型實例用Keras實現神經機器翻譯

8.python中基於網格搜索演算法優化的深度學習模型分析糖

9.matlab使用貝葉斯優化的深度學習

⑦ 異常檢測有哪些主要的分析方法

1. 概率統計方法
在基於異常檢測技術的IDS中應用最早也是最多的一種方法。
首先要對系統或用戶的行為按照一定的時間間隔進行采樣，樣本的內容包括每個會話的登錄、退出情況，CPU和內存的佔用情況，硬碟等存儲介質的使用情況等。
將每次採集到的樣本進行計算，得出一系列的參數變數對這些行為進行描述，從而產生行為輪廓，將每次采樣後得到的行為輪廓與已有輪廓進行合並，最終得到系統和用戶的正常行為輪廓。IDS通過將當前採集到的行為輪廓與正常行為輪廓相比較，來檢測是否存在網路入侵行為。
2. 預測模式生成法
假設條件是事件序列不是隨機的而是遵循可辨別的模式。這種檢測方法的特點是考慮了事件的序列及其相互聯系，利用時間規則識別用戶行為正常模式的特徵。通過歸納學習產生這些規則集，並能動態地修改系統中的這些規則，使之具有較高的預測性、准確性。如果規則在大部分時間是正確的，並能夠成功地運用預測所觀察到的數據，那麼規則就具有高可信度。
3. 神經網路方法
基本思想是用一系列信息單元(命令)訓練神經單元，這樣在給定一組輸入後、就可能預測出輸出。與統計理論相比，神經網路更好地表達了變數間的非線性關系，並且能自動學習並更新。實驗表明UNIX系統管理員的行為幾乎全是可以預測的，對於一般用戶，不可預測的行為也只佔了很少的一部分。

⑧ BP神經網路建模後，想知道模型的RMSE(root mean squre error)不知道該怎麼做,請高手指教

如果是自己編寫神經網路代碼的話，只需要在迭代完成以後加入一步正向學習的過程，把樣本再輸入一遍算出來預測值，然後按照定義，同樣本輸出做一步范數求和就能算出來。
如果是使用已有的工具箱那麼很容易辦，你把matlab更新到2010b以後的版本，工具箱會自動給你畫出來。方法是訓練完成以後點擊performance，並且最佳收斂點也會給你自動標出來，同理，ROC曲線，錯誤直方圖，各類檢測概率漏報概率都會給你寫的一清二楚。

⑨ 用機器學習檢測異常點擊流

用機器學習檢測異常點擊流
本文內容是我學習ML時做的一個練手項目，描述應用機器學習的一般步驟。該項目的目標是從點擊流數據中找出惡意用戶的請求。點擊流數據長下圖這樣子，包括請求時間、IP、平台等特徵：

該項目從開始做到階段性完成，大致可分為兩個階段：演算法選擇和工程優化。演算法選擇階段挑選合適的ML模型，嘗試了神經網路、高斯分布、Isolation Forest等三個模型。由於點擊流數據本身的特性，導致神經網路和高斯分布並不適用於該場景，最終選擇了Isolation Forest。工程優化階段，最初使用單機訓練模型和預測結果，但隨著數據量的增加，最初的單機系統出現了性能瓶頸；然後開始優化性能，嘗試了分布化訓練，最終通過單機非同步化達到了性能要求。
1 演算法選擇
1.1 神經網路
剛開始沒經驗，受TensorFlow熱潮影響，先嘗試了神經網路。選用的神經網路是MLP（Multilayer Perceptron，多層感知器），一種全連接的多層網路。MLP是有監督學習，需要帶標簽的樣本，這里「帶標簽」的意思是樣本數據標注了哪些用戶請求是惡意的、哪些是正常的。但後台並沒有現成帶標簽的惡意用戶樣本數據。後來通過安全側的一些數據「間接」給用戶請求打上了標簽，然後選擇IP、平台、版本號、操作碼等數據作為MLP的輸入數據。結果當然是失敗，想了下原因有兩個：
1， 樣本的標簽質量非常差，用這些樣本訓練出來的模型性能當然也很差；
2， 輸入的特徵不足以刻畫惡意用戶。
數據的質量問題目前很難解決，所以只能棄用MLP。
1.2 高斯分布
然後嘗試其他模型。通過搜索發現，有一類ML模型專門用於異常檢測，找到了Andrew Ng介紹的基於高斯分布的異常檢測演算法：高斯分布如下圖所示：

這個演算法的思想比較簡單：與大部分樣本不一致的樣本就是異常；通過概率密度量化「不一致」。具體做法是：選擇符合高斯分布或能轉換為高斯分布的特徵，利用收集到的數據對高斯分布做參數估計，把概率密度函數值小於某個閾值的點判定為異常。
所謂的參數估計是指，給定分布數據，求分布的參數。對高斯分布來說，就是求μ和σ。用極大似然估計可以得到高斯分布參數的解析解：

得到高斯分布參數後，用下式計算概率密度：

X表示一個特徵輸入。若有多個特徵x0、x1、…、xn，一種簡單的處理方法是將其結果連乘起來即可：f(x) = f(x0)f(x1)…f(xn)。
然後選定一個閾值ε，把f(x) < ε的樣本判定為異常。ε值需根據實際情況動態調整，默認可設定ε = f(μ- 3σ)。
把這個模型初步應用於點擊流異常檢測時，效果還不錯，但在進一步實施過程中碰到一個棘手問題：樣本中最重要的一個特徵是操作碼，當前操作碼在微信後台的取值范圍是[101,1000]，每個操作碼的請求次數是模型的基礎輸入，對900個特徵計算概率密度再相乘，非常容易導致結果下溢出，以致無法計算出精度合適的概率密度值。這個現象被稱為維度災難（Dimension Disaster）。
解決維度災難的一個常見做法是降維，降維的手段有多種，這里不展開討論了。在點擊流分析的實踐中，降維的效果並不好，主要原因有兩個：
1， 正常用戶和惡意用戶的訪問模式並不固定，導致很難分解出有效的特徵矩陣或特徵向量；
2， 降維的本質是有損壓縮，有損壓縮必定導致信息丟失。但在本例中每一維的信息都是關鍵信息，有損壓縮會極大破壞樣本的有效性。
高斯分布模型的維度災難在本例中較難解決，只能再嘗試其他模型了
1.3 Isolation Forest
Isolation Forest，可翻譯為孤異森林，該演算法的基本思想是：隨機選擇樣本的一個特徵，再隨機選擇該特徵取值范圍中的一個值，對樣本集做拆分，迭代該過程，生成一顆Isolation Tree；樹上葉子節點離根節點越近，其異常值越高。迭代生成多顆Isolation Tree，生成Isolation Forest，預測時，融合多顆樹的結果形成最終預測結果。Isolation Forest的基礎結構有點類似經典的隨機森林（Random Forest）。
這個異常檢測模型有效利用了異常樣本「量少」和「與正常樣本表現不一樣」的兩個特點，不依賴概率密度因此不會導致高維輸入的下溢出問題。提取少量點擊流樣本測試，它在900維輸入的情況下也表現良好，最終選擇它作為系統的模型。
2 工程優化
工程實現經歷了單機訓練、分布式訓練、單機非同步化訓練3個方案，下面內容介紹實現過程中碰到的問題和解決方法。
2.1 單機訓練
整個系統主要包括收集數據、訓練模型、預測異常、上報結果四個部分。
2.1.1 收集數據
剛開始嘗試該模型時，是通過手工方式從mmstreamstorage獲取樣本的：
1，通過logid 11357，得到手工登錄成功用戶的uin和登錄時間；
2，利用mmstreamstorage提供的介面，得到用戶登錄後10分鍾的點擊流；
但這樣做有兩個缺點：
1，上述步驟1是離線手工操作的，需要做成自動化；
2，mmstreamstorage的介面性能較差，只能提供2萬/min的查詢性能，上海IDC登錄的峰值有9萬/min。
改進辦法是復用點擊流上報模塊mmstreamstorage，增加一個旁路數據的邏輯：
1，手工登錄時在presence中記錄手工登錄時間，mmstreamstorage基於該時間旁路一份數據給mmguardstore。由於mmstreamstorage每次只能提供單挑點擊流數據，所以需要在mmguardstore中緩存；
2，mmguardstore做完數據清洗和特徵提取，然後把樣本數據落地，最後利用crontab定期將該數據同步到Hadoop集群中。
最終的數據收集模塊結構圖如下所示：

點擊流數據提供了IP、平台、版本號、操作碼等特徵，經過多次試驗，選定用戶手工登錄後一段時間內操作碼的訪問次數作為模型的輸入。
上面我們提到過點擊流的操作碼有900個有效取值，所以一個顯然的處理方法是，在mmguardstore中把用戶的點擊流數據轉化為一個900維的向量，key是cgi id，value是對應cgi的訪問次數。該向量刻畫了用戶的行為，可稱為行為特徵向量。
2.1.2 訓練模型
初起為了控制不確定性，只輸入1萬/分鍾的樣本給模型訓練和預測。系統的工作流程是先從Hadoop載入上一分鍾的樣本數據，然後用數據訓練Isolation Forest模型，最後用訓練好的模型做異常檢測，並將檢測結果同步到tdw。
在1萬/分鍾輸入下取得較好的檢測結果後，開始導入全量數據，全量數據數據的峰值為20萬/分鍾左右。出現的第一個問題是，一分鍾內無法完成載入數據、訓練模型、預測結果，單載入數據就耗時10分鍾左右。這里先解釋下為什麼有「一分鍾」的時間周期限制，主要原因有兩個：
1， 想盡快獲取檢測結果；
2， 由於點擊流異常檢測場景的特殊性，模型性能有時效性，需要經常用最新數據訓練新的模型。
解決性能問題的第一步是要知道性能瓶頸在哪裡，抽樣發現主要是載入數據和訓練模型耗時較多，預測異常和上報結果的耗時並沒有隨數據量的增加而快速上漲。
載入數據的耗時主要消耗在網路通信上：樣本文件太大了，導致系統從Hadoop同步樣本數據時碰到網路帶寬瓶頸。但由於樣本是文本類數據，對數據先壓縮再傳輸可極大減少通信量，這里的耗時比較容易優化。
訓練模型的耗時增加源於輸入數據量的增加。下圖是1萬樣本/min的輸入下，系統個階段的耗時：

其中：
載入程序： 2s
載入數據： 6s
訓練模型：11s
分類異常： 2s
保存結果： 4s
單輪總耗時：25s
需處理全量數據時，按線性關系換算，「訓練模型」耗時為：11s * 24 = 264s，約為4.4分鍾，單機下無法在1分鍾內完成計算。
最先想到的優化訓練模型耗時的辦法是分布式訓練。
2.2 分布式訓練
由於scikit-learn只提供單機版的Isolation Forest實現，所以只能自己實現它的分布式版本。了解了下目前最常用的分布式訓練方法是參數伺服器（Parameter Server，PS）模式，其想法比較簡單：訓練模型並行跑在多機上，訓練結果在PS合並。示意圖如下所示：

分布式訓練對演算法有一定要求，而Isolation Forest正好適用於分布式訓練。
然後嘗試在TensorFlow上實現Isolation Forest的分布式訓練版本。選擇TensorFlow的原因有主要兩個：
1， TensorFlow已經實現了一個分布式訓練框架；
2， TensorFlow的tf.contrib.learn包已經實現的Random Forest可作參考（Isolation Forest在結構上與Random Forest類似），只需對Isolation Forest定製一個Operation即可。
寫完代碼測試時，發現了個巨坑的問題：TenforFlow內部的序列化操作非常頻繁、性能十分差。構造了110個測試樣本，scikit-learn耗時只有0.340秒，29萬次函數調用；而TensorFlow耗時達207.831秒，有2.48億次函數調用。
TensorFlow性能抽樣：

Scikit-learn性能抽樣：

從TensorFlow的性能抽樣數據可以看到，耗時排前排的函數都不是實現Isolation Forest演算法的函數，其原因應該與TensorFlow基於Graph、Session的實現方式有關。感覺這里坑比較深，遂放棄填坑。
也了解了下基於Spark的spark-sklearn，該項目暫時還未支持Isolation Forest，也因為坑太深，一時半會搞不定而放棄了。
2.3 單機非同步化訓練
沒搞定分布式訓練，只能回到單機場景再想辦法。單機優化有兩個著力點：優化演算法實現和優化系統結構。
首先看了下scikit-learn中Isoaltion Forest的實現，底層專門用Cython優化了，再加上Joblib庫的多CPU並行，演算法實現上的優化空間已經很小了，只能從系統結構上想辦法。
系統結構上的優化有兩個利器：並行化和非同步化。之前的單機模型，載入數據、訓練模型、預測異常、上報結果在單進程中串列執行，由此想到的辦法是啟動4個工作進程分別處理相應的四個任務：非同步訓練模型、預測異常和上報結果，並行載入數據。工作進程之間用隊列通信，隊列的一個優勢是容易實現流量控制。
寫完代碼測試，卻發現YARD環境中的Python HDFS庫在多進程並發下直接拋異常。嘗試多個方法發現這個問題較難解決，暫時只能想辦法規避。經測試發現，直接從Hadoop同步所有壓縮過的樣本數據只需2秒左右，由此想到規避方法是：先單進程同步所有樣本數據，再多進程並發解壓、載入和預測。
按上述想法修改代碼測試，效果較好，處理所有樣本只需20秒左右，達到了1分鍾處理完所有樣本的要求。然後提交YARD作業線上跑，處理所有樣本耗時卻達到200～400秒：

咨詢YARD側同學，得知YARD對提交的離線作業有CPU配額的硬限制，分時段配額如下表：
00:00~09:00 80%
09:00~19:00 50%
19:00~23:00 15%
23:00~24:00 50%
晚高峰時段的配額只有15%。
與YARD側同學溝通，他們答應後續會支持scikit-learn庫的在線服務。目前通過手工方式在一台有scikit-learn的mmguardstore機器上運行在線服務，晚高峰時段處理全量數據耗時為20秒左右。
最終的系統結構圖如下圖所示：

模型訓練進程定期訓練最新的模型，並把模型通過隊列傳給預測進程。預測進程每分鍾運行一次，檢查模型隊列上是否有新模型可使用，然後載入數據、檢測異常，將檢測結果通過上報隊列傳給上報進程。上報進程block在上報隊列上，一旦發現有新數據，就根據數據類型執行上報監控、上報tdw等操作。
2.4 評估性能
安全側將異常用戶分為以下幾類：盜號、LBS/加好友、養號、欺詐、外掛/多開等。由於這些分類的異常打擊是由不同同學負責，不便於對Isolation Forest的分類結果做評估，因此需要在Isolation Forest的基礎上，再加一個分類器，標記「異常樣本」的小類。利用操作碼實現了該分類器。
接入全量數據後，每天准實時分析1億量級的樣本，檢測出500萬左右的異常，精確分類出15萬左右的惡意請求。惡意請求的uin、類型、發生時間通過tdw中轉給安全側。安全側通過線下人工分析和線上打擊，從結果看檢測效果較好。
2.5 持續優化
再回過頭觀察點擊流數據，我們使用的Isolation Forest模型只利用了操作碼的統計數據。可以明顯看到，點擊流是一個具備時間序列信息的時序數據。而自然語言處理（Natural LanguageProcessing，NLP）領域已經積累了非常多的處理時序數據的理論和實戰經驗，如LSTM、word2vec等模型。後續期望能引入NLP的相關工具挖掘出更多惡意用戶。

⑩ 入侵檢測技術基礎的異常檢測技術

●概率統計異常檢測
原理：每一個輪廓保存記錄主體當前行為，並定時將當前輪廓與歷史輪廓合並形成統計輪廓（更新），通過比較當前輪廓與統計輪廓來判定異常行為。
優點：可應用成熟的概率統計理論
缺點：①由於用戶行為的復雜性，要想准確地匹配一個用戶的歷史行為非常困難，容易造成系統誤報和漏報；
②定義入侵閾值比較困難，閾值高則誤報率提高，閾值低則漏報率增高。
●神經網路異常檢測
原理：對下一事件的預測錯誤率在一定程度上反映了用戶行為的異常程度。
優點：①更好地表達了變數間的非線性關系，能更好地處理原始數據的隨機特徵，即不需要對這些數據做任何統計假設，並且能自動學習和更新；②有較好的抗干擾能力
缺點：網路拓撲結構以及各元素的權重很難確定