1. 大數據與大規模網路安全感知技術初探
大數據與大規模網路安全感知技術初探
快速發展的互聯網技術不斷地改變人們的生活方式,然而,多層面的安全威脅和安全風險也不斷出現。對於一個大型網路,在網路安全層面,除了訪問控制、入侵檢測、身份識別等基礎技術手段,需要安全運維和管理人員能夠及時感知網路中的異常事件與整體安全態勢。對於安全運維人員來說,如何從成千上萬的安全事件和日誌中找到最有價值、最需要處理和解決的安全問題,從而保障網路的安全狀態,是他們最關心也是最需要解決的問題。與此同時,對於安全管理者和高層管理者而言,如何描述當前網路安全的整體狀況,如何預測和判斷風險發展的趨勢,如何指導下一步安全建設與規劃,則是一道持久的難題。
隨著大數據技術的成熟、應用與推廣,網路安全態勢感知技術有了新的發展方向,大數據技術特有的海量存儲、並行計算、高效查詢等特點,為大規模網路安全態勢感知的關鍵技術創造了突破的機遇。本文將對大規模網路環境下的安全態勢感知、大數據技術在安全感知方面的促進做一些探討。
對於一個大規模的網路而言,面臨的風險也是巨大的,可分為廣度風險和深度風險。從廣度上講,以中國移動的CMNET網路為例,所轄IP地址超過3000萬個,提供對外服務的網站數千個,規模大、節點類型豐富多樣,伴隨其中的安全問題隨網路節點數量的增加呈指數級上升。從深度上講,下一代移動互聯網安全威脅主要表現在傳統攻擊依然存在且手段多樣、APT(高級持續性威脅)攻擊逐漸增多且造成的損失不斷增大。而攻擊者的工具和手段呈現平台化、集成化和自動化的特點,具有更強的隱蔽性、更長的攻擊與潛伏時間、更加明確和特定的攻擊目標。以上造成了下一代安全威脅具有更強的殺傷能力與逃避能力。結合廣度風險與深度風險來看,大規模網路所引發的安全保障的復雜度激增,主要面臨的問題包括:安全數據量巨大;安全事件被割裂,從而難以感知;安全的整體狀況無法描述。
網路安全感知能力具體可分為資產感知、脆弱性感知、安全事件感知和異常行為感知4個方面。資產感知是指自動化快速發現和收集大規模網路資產的分布情況、更新情況、屬性等信息;脆弱性感知則包括3個層面的脆弱性感知能力:不可見、可見、可利用;安全事件感知是指能夠確定安全事件發生的時間、地點、人物、起因、經過和結果;異常行為感知是指通過異常行為判定風險,以彌補對不可見脆弱性、未知安全事件發現的不足,主要面向的是感知未知的攻擊。
一個相對完整的網路安全感知的能力模型與架構設計如下圖所示:
隨著Hadoop、NoSQL等技術的興起,BigData大數據的應用逐漸增多和成熟,而大數據自身擁有Velocity快速處理、Volume大數據量存儲、Variety支持多類數據格式三大特性。大數據的這些天生特性,恰巧可以用於大規模網路的安全感知。首先,多類數據格式可以使網路安全感知獲取更多類型的日誌數據,包括網路與安全設備的日誌、網路運行情況信息、業務與應用的日誌記錄等;其次,大數據量存儲與快速處理為高速網路流量的深度安全分析提供了技術支持,可以為高智能模型演算法提供計算資源;最後,在異常行為的識別過程中,核心是對正常業務行為與異常攻擊行為之間的未識別行為進行離群度分析,大數據使得在分析過程中採用更小的匹配顆粒與更長的匹配時間成為可能。
中國移動自2010年起在雲計算和大數據方面就開始了積極探索。中國移動的「大雲」系統目前已實現了分布式海量數據倉庫、分布式計算框架、雲存儲系統、彈性計算系統、並行數據挖掘工具等關鍵功能。在「大雲」系統的基礎上,中國移動的網路安全感知也具備了一定的技術積累,進行了大規模網路安全感知和防禦體系的技術研究,在利用雲平台進行脆弱性發現方面的智能型任務調度演算法、主機和網路異常行為發現模式等關鍵技術上均有突破,在安全運維中取得了一些顯著的效果。
大數據的出現,擴展了計算和存儲資源,提供了基礎平台和大數據量處理的技術支撐,為安全態勢的分析、預測創造了無限可能。