Ⅰ 大數據與大規模網路安全感知技術初探
大數據與大規模網路安全感知技術初探
快速發展的互聯網技術不斷地改變人們的生活方式，然而，多層面的安全威脅和安全風險也不斷出現。對於一個大型網路，在網路安全層面，除了訪問控制、入侵檢測、身份識別等基礎技術手段，需要安全運維和管理人員能夠及時感知網路中的異常事件與整體安全態勢。對於安全運維人員來說，如何從成千上萬的安全事件和日誌中找到最有價值、最需要處理和解決的安全問題，從而保障網路的安全狀態，是他們最關心也是最需要解決的問題。與此同時，對於安全管理者和高層管理者而言，如何描述當前網路安全的整體狀況，如何預測和判斷風險發展的趨勢，如何指導下一步安全建設與規劃，則是一道持久的難題。
隨著大數據技術的成熟、應用與推廣，網路安全態勢感知技術有了新的發展方向，大數據技術特有的海量存儲、並行計算、高效查詢等特點，為大規模網路安全態勢感知的關鍵技術創造了突破的機遇。本文將對大規模網路環境下的安全態勢感知、大數據技術在安全感知方面的促進做一些探討。
對於一個大規模的網路而言，面臨的風險也是巨大的，可分為廣度風險和深度風險。從廣度上講，以中國移動的CMNET網路為例，所轄IP地址超過3000萬個，提供對外服務的網站數千個，規模大、節點類型豐富多樣，伴隨其中的安全問題隨網路節點數量的增加呈指數級上升。從深度上講，下一代移動互聯網安全威脅主要表現在傳統攻擊依然存在且手段多樣、APT（高級持續性威脅）攻擊逐漸增多且造成的損失不斷增大。而攻擊者的工具和手段呈現平台化、集成化和自動化的特點，具有更強的隱蔽性、更長的攻擊與潛伏時間、更加明確和特定的攻擊目標。以上造成了下一代安全威脅具有更強的殺傷能力與逃避能力。結合廣度風險與深度風險來看，大規模網路所引發的安全保障的復雜度激增，主要面臨的問題包括：安全數據量巨大；安全事件被割裂，從而難以感知；安全的整體狀況無法描述。
網路安全感知能力具體可分為資產感知、脆弱性感知、安全事件感知和異常行為感知4個方面。資產感知是指自動化快速發現和收集大規模網路資產的分布情況、更新情況、屬性等信息；脆弱性感知則包括3個層面的脆弱性感知能力：不可見、可見、可利用；安全事件感知是指能夠確定安全事件發生的時間、地點、人物、起因、經過和結果；異常行為感知是指通過異常行為判定風險，以彌補對不可見脆弱性、未知安全事件發現的不足，主要面向的是感知未知的攻擊。
一個相對完整的網路安全感知的能力模型與架構設計如下圖所示：
隨著Hadoop、NoSQL等技術的興起，BigData大數據的應用逐漸增多和成熟，而大數據自身擁有Velocity快速處理、Volume大數據量存儲、Variety支持多類數據格式三大特性。大數據的這些天生特性，恰巧可以用於大規模網路的安全感知。首先，多類數據格式可以使網路安全感知獲取更多類型的日誌數據，包括網路與安全設備的日誌、網路運行情況信息、業務與應用的日誌記錄等；其次，大數據量存儲與快速處理為高速網路流量的深度安全分析提供了技術支持，可以為高智能模型演算法提供計算資源；最後，在異常行為的識別過程中，核心是對正常業務行為與異常攻擊行為之間的未識別行為進行離群度分析，大數據使得在分析過程中採用更小的匹配顆粒與更長的匹配時間成為可能。
中國移動自2010年起在雲計算和大數據方面就開始了積極探索。中國移動的「大雲」系統目前已實現了分布式海量數據倉庫、分布式計算框架、雲存儲系統、彈性計算系統、並行數據挖掘工具等關鍵功能。在「大雲」系統的基礎上，中國移動的網路安全感知也具備了一定的技術積累，進行了大規模網路安全感知和防禦體系的技術研究，在利用雲平台進行脆弱性發現方面的智能型任務調度演算法、主機和網路異常行為發現模式等關鍵技術上均有突破，在安全運維中取得了一些顯著的效果。
大數據的出現，擴展了計算和存儲資源，提供了基礎平台和大數據量處理的技術支撐，為安全態勢的分析、預測創造了無限可能。
Ⅱ 大數據時代的信息安全和未來展望
大數據時代的信息安全和未來展望
隨著高級可持續性攻擊的出現以及惡意軟體的復雜性與日俱增，企業急需一種突破傳統信息安全保障模式的、靈活的技術和方案來應對未來不斷變化的安全威脅。大數據徹底的改變了信息安全行業，基於大數據分析的智能驅動型安全戰略將幫助信息安全從業人員重獲警惕性和時間的優勢，以使他們更好地檢測和防禦高級網路威脅。
大數據時代信息安全面臨挑戰
在大數據時代，無處不在的智能終端、隨時在線的網路傳輸、互動頻繁的社交網路使得互聯網時時刻刻都在產生著海量的數據。隨著產生、存儲、分析的數據量越來越大，在這些海量數據背後隱藏著大量的經濟與政治利益。大數據如同一把雙刃劍，在我們享受大數據分析帶來的精準信息的同時，其所帶來的安全問題也開始成為企業的隱患。
1、黑客更顯著的攻擊目標：在網路空間里，大數據是更容易被「發現」的大目標。一方面，大數據意味著海量的數據，也意味著更復雜、更敏感的數據，這些數據會吸引更多的潛在攻擊者。另一方面，數據的大量匯集，使得黑客成功攻擊一次就能獲得更多數據，無形中降低了黑客的攻擊成本，增加了其「收益率」。
2、隱私泄露風險增加：大量數據的匯集不可避免地加大了用戶隱私泄露的風險。一方面，數據集中存儲增加了泄露風險，而這些數據不被濫用，也成為人身安全的一部分。另一方面，一些敏感數據的所有權和使用權並沒有明確界定，很多基於大數據的分析都未考慮到其中涉及的個體隱私問題。
3、威脅現有的存儲和防護措施：大數據存儲帶來新的安全問題。數據大集中的後果是復雜多樣的數據存儲在一起，很可能會出現將某些生產數據放在經營數據存儲位置的情況，致使企業安全管理不合規。大數據的大小也影響到安全控制措施能否正確運行。安全防護手段的更新升級速度無法跟上數據量非線性增長的步伐，就會暴露大數據安全防護的漏洞。
4、大數據技術成為黑客的攻擊手段：在企業用數據挖掘和數據分析等大數據技術獲取商業價值的同時，黑客也在利用這些大數據技術向企業發起攻擊。黑客會最大限度地收集更多有用信息，比如社交網路、郵件、微博、電子商務、電話和家庭住址等信息，大數據分析使黑客的攻擊更加精準。此外，大數據也為黑客發起攻擊提供了更多機會。黑客利用大數據發起僵屍網路攻擊，可能會同時控制上百萬台傀儡機並發起攻擊。
5、成為高級可持續攻擊的載體：傳統的檢測是基於單個時間點進行的基於威脅特徵的實時匹配檢測，而高級可持續攻擊（APT）是一個實施過程，無法被實時檢測。此外，由於大數據的價值低密度特性，使得安全分析工具很難聚焦在價值點上，黑客可以將攻擊隱藏在大數據中，給安全服務提供商的分析製造很大困難。黑客設置的任何一個會誤導安全廠商目標信息提取和檢索的攻擊，都會導致安全監測偏離應有方向。
6、信息安全產業面臨變革：大數據的到來也為信息安全產業的發展帶來了新的契機，還沒有意識到這場變革的安全廠商將在這場變革大潮中被拋棄。大數據正在為安全分析提供新的可能性，在未來的安全架構體系中，通過大數據智能分析有效的將原來分割的安全產品更好的融合起來，成為不同的安全智能節點，這將是在大數據時代安全產業需要研究突破的重點。
大數據安全未來趨勢展望
據MacDonald預測，到2016年，40%的企業（銀行、保險、醫葯和國防行業為主）將積極地對至少10TB數據進行分析，以找出潛在危險的活動。然而，供應商的產品格局卻無法在短期內進行轉變。現在，企業通常依賴於SIEM系統來關聯和分析安全相關的數據，MacDonald表示目前的SIEM產品無法處理這么大的工作量，大多數SIEM產品提供接近實時數據，但只能處理規范化數據，還有些SIEM產品能夠處理大量原始交易數據，但無法提供實時情報信息。
Gartner公司分析師表示，使用「大數據」來提高企業信息安全不完全是炒作，這在未來幾年內這將成為現實。大數據將為安全團隊帶來新的工作方式，通過了解大數據的優勢、制定切合實際的目標以及利用現有安全技術的優勢，安全管理人員將會發現他們在大數據進行的投資是值得的。
RSA大中國區總經理胡軍表示，「大數據將帶動安全行業方向性的改變，安全與數據互相影響，未來共同促進發展。現今的安全需要更全面和廣泛的可視性，敏捷的分析，可採取行動的情報和可擴展的基礎設施。」
我們可以看到，大數據安全已經成為不可阻擋的趨勢。在未來，不論是從商業需求角度，還是產業技術角度，大數據安全都將成為業界關注的熱點。而在這場大數據安全的盛宴中，也必然會出現新老更替、推陳出新，這一切就讓我們拭目以待吧！
Ⅲ 大數據時代，如何保證網路安全
從兩態則個方面說下這個安全問題:
1.數據泄露，這是最常見的安全問題。作為普通個人，需要注意如下幾點:
（1）不要隨意瀏覽賭博色情網站、注冊賬號、安裝軟體、甚至使用破解軟體，其中很可能包含木馬或者釣魚程序，一定要清楚自己的操作會有什麼後果，不清楚的情況下可以問問身邊的朋友。
（2）保護好自己的密碼，因為基本上每個網站或應用都需要賬號密碼，要記住很多密碼確實很難，所帆中棚以很多人就記錄在電腦中，沒有任何保護，這也是比較危險的。簡單點的防範措施就培坦是使用幾個能記得住的密碼，切記不要使用生日，過於簡單的數字，很容易被猜出來。另外注意不要在來歷不明的網站上注冊賬號，以免密碼被偷窺。
（3）現在使用指紋、刷臉的應用很多，一定不要在不知名的應用上提交這些信息，免得身份被盜用。平時在社交媒體上分享時也要注意，不要暴露太多個人信息，比如家庭情況、孩子學校情況等，以免被別有用心的人利用。前段時間還有新聞報道從照片中成功提取指紋信息的案例，所以一定要注意盡量少分享隱私信息。
2.數據丟失或損壞，這也是一件很讓人抓狂的事。電腦硬碟壞了，手機進水了，網站倒閉了，都有可能導致數據找不回來的情況發生。對於企業一般會把自己的核心數據存儲多份，多個機房備份，甚至多個城市備份，很少發生數據找不回來的情況。對於個人，建議使用知名的雲備份服務，將自己的數據在雲端存儲一份，當然也要注意設置好訪問許可權，避免數據泄露。
安全沒有百分百，只能做到盡量安全。不僅是個人需要注意保護自己的信息，企業也有責任保護好自己用戶的信息，政府也有責任監督企業做好信息安全。
Ⅳ 大數據環境下的網路安全分析
大數據環境下的網路安全分析
「大數據」一詞常被誤解。事實上，使用頻率太高反而使它幾乎沒有什麼意義了。大數據確實存儲並處理大量的數據集合，但其特性體現遠不止於此。
在著手解決大數據問題時，將其看作是一種觀念而不是特定的規模或技術非常有益。就其最簡單的表現來說，大數據現象由三個大趨勢的交集所推動：包含寶貴信息的大量數據、廉價的計算資源、幾乎免費的分析工具。
大數據架構和平台算是新事物，而且還在以一種非凡的速度不斷發展著。商業和開源的開發團隊幾乎每月都在發布其平台的新功能。當今的大數據集群將會與將來我們看到的數據集群有極大不同。適應這種新困難的安全工具也將發生變化。在採用大數據的生命周期中，業界仍處於早期階段，但公司越早開始應對大數據的安全問題，任務就越容易。如果安全成為大數據集群發展過程中的一種重要需求，集群就不容易被黑客破壞。此外，公司也能夠避免把不成熟的安全功能放在關鍵的生產環境中。
如今，有很多特別重視不同數據類型（例如，地理位置數據）的大數據管理系統。這些系統使用多種不同的查詢模式、不同的數據存儲模式、不同的任務管理和協調、不同的資源管理工具。雖然大數據常被描述為「反關系型」的，但這個概念還無法抓住大數據的本質。為了避免性能問題，大數據確實拋棄了許多關系型資料庫的核心功能，卻也沒犯什麼錯誤：有些大數據環境提供關系型結構、業務連續性和結構化查詢處理。
由於傳統的定義無法抓住大數據的本質，我們不妨根據組成大數據環境的關鍵要素思考一下大數據。這些關鍵要素使用了許多分布式的數據存儲和管理節點。這些要素存儲多個數據副本，在多個節點之間將數據變成「碎片」。這意味著在單一節點發生故障時，數據查詢將會轉向處理資源可用的數據。正是這種能夠彼此協作的分布式數據節點集群，可以解決數據管理和數據查詢問題，才使得大數據如此不同。
節點的鬆散聯系帶來了許多性能優勢，但也帶來了獨特的安全挑戰。大數據資料庫並不使用集中化的「圍牆花園」模式（與「完全開放」的互聯網相對而言，它指的是一個控制用戶對網頁內容或相關服務進行訪問的環境），內部的資料庫並不隱藏自己而使其它應用程序無法訪問。在這兒沒有「內部的」概念，而大數據並不依賴數據訪問的集中點。大數據將其架構暴露給使用它的應用程序，而客戶端在操作過程中與許多不同的節點進行通信。
規模、實時性和分布式處理：大數據的本質特徵（使大數據解決超過以前數據管理系統的數據管理和處理需求，例如，在容量、實時性、分布式架構和並行處理等方面）使得保障這些系統的安全更為困難。大數據集群具有開放性和自我組織性，並可以使用戶與多個數據節點同時通信。驗證哪些數據節點和哪些客戶應當訪問信息是很困難的。別忘了，大數據的本質屬性意味著新節點自動連接到集群中，共享數據和查詢結果，解決客戶任務。
嵌入式安全：在涉及大數據的瘋狂競賽中，大部分的開發資源都用於改善大數據的可升級、易用性和分析功能上。只有很少的功能用於增加安全功能。但是，你希望得到嵌入到大數據平台中的安全功能。你希望開發人員在設計和部署階段能夠支持所需要的功能。你希望安全功能就像大數據集群一樣可升級、高性能、自組織。問題是，開源系統或多數商業系統一般都不包括安全產品。而且許多安全產品無法嵌入到Hadoop或其它的非關系型資料庫中。多數系統提供最少的安全功能，但不足以包括所有的常見威脅。在很大程度上，你需要自己構建安全策略。
應用程序：面向大數據集群的大多數應用都是Web應用。它們利用基於Web的技術和無狀態的基於REST的API。雖然全面討論大數據安全的這個問題超出了本文的范圍，但基於Web的應用程序和API給這些大數據集群帶來了一種最重大的威脅。在遭受攻擊或破壞後，它們可以提供對大數據集群中所存儲數據的無限制訪問。應用程序安全、用戶訪問管理及授權控制非常重要，與重點保障大數據集群安全的安全措施一樣都不可或缺。
數據安全：存儲在大數據集群中的數據基本上都保存在文件中。每一個客戶端應用都可以維持其自己的包含數據的設計，但這種數據是存儲在大量節點上的。存儲在集群中的數據易於遭受正常文件容易感染的所有威脅，因而需要對這些文件進行保護，避免遭受非法的查看和復制。
Ⅳ 大數據時代下網路安全的重要性
隨著互聯網的飛速發展，出現了海量的數據信息，人類 社會 也逐步邁進了大數據時代。大數據時代可以為人們帶來更多的關於時代發展的實時信息，使人類的思想能夠跟上時代發展的腳步，為人們之啟州間的交流與溝通帶來便利。即使大數據時代互聯網技術自身擁有諸多的優點，但是在應用過程中依然存在很多的網路信息安全風險，這將會導致信息數據不真實，同時又會對人們使用信息的時效性造成不良影響。所以，在大數據時代，我們應該更加重視網路信息的安全性，依託科學合理的網路信息安全管理方案來防止網路安全問題的發生，從而加快中虧螞國現代化信息建設的腳步。
大數據時代網路存在的安全問 題
由於網路具有較強的開放性特質，能夠實現跨越時空的交流與互動，但於此同時，也容易遭受不同空間與主題的入侵和攻擊，這就會導致數據信息發生泄露，繼而造成嚴重的網路安全問題。其次就是人為操作失誤，由於網民在上網過程中沒有清晰的安全意識，容易下載並點擊危險的軟體和網站，導致手機或電腦遭受病毒的襲擊，進而丟失私人信息、賬戶信息等。再次就是網路黑客問題，黑客能夠通過竊取網路信息或網路密鑰的方式，破壞用戶的網路系統，使用戶的私人信息受到威脅，甚至會導致整個網路系統出現故障或癱瘓。
大數據時代下網路安全的防護措施
1、使用安全的殺毒軟體和加強監管工作
計算機不僅需要採用適當的防火牆技術，營造優良的網路運營氛圍，且還需要悄空蔽安裝殺毒軟體。這樣一來便可詳細檢查計算機當中的數據信息，全面提高計算機的安全性，防止因為病毒入侵帶來的安全隱患。另一方面，企業也需要做好計算機網路安全的監管工作，集中管理企業現有賬號，強化自身安全管理的意識。
2、加強網路安全意識
相關工作人員應深入了解計算機的操作步驟和注意事項，注意可能存在的危險，不下載、不點擊來源不明的鏈接，提升自身的網路安全意識。此外，還需要強化學習，拓展知識面，提升防範能力，養成正確的使用計算機的習慣。
3、加強網路管控能力
影響計算機安全的主要原因是工作人員對網路維護的重視程度不夠，只是計算機安全受到影響。網路管理者應加強對信息安全的維護力度，構建出相應的網路管控機制。可通過相關的防控軟體對網路病毒、黑客入侵的行為進行監控，同時該系統也能夠對用戶所參與的網路活動進行分析和把控，及時彈出安全彈窗，以此避免網路安全問題的發生。
4、加強網路安全管理
加強網路安全管理，注重技術應用，為網路安全提供基礎保障。即通過網路維護，定期檢查網路安全問題，提升對網路安全及數據安全的管理力度，保障信息網路的正常運作。在這個過程中，網路管理者需要定期檢查系統漏洞，及時地更新殺毒軟體的病毒庫等。
結語
Ⅵ 如何利用大數據來處理網路安全攻擊
「大數據」已經成為時下最火熱的IT行業詞彙，各行各業的大數據解決方案層出不窮。究竟什麼是大數據、大數據給信息安全帶來哪些挑戰和機遇、為什麼網路安全需要大數據，以及怎樣把大數據思想應用於網路安全技術，本文給出解答。
一切都源於APT
APT（Advanced Persistent Threat）攻擊是一類特定的攻擊，為了獲取某個組織甚至是國家的重要信息，有針對性的進行的一系列攻擊行為的整個過程。APT攻擊利用了多種攻擊手段，包括各種最先進的手段和社會工程學方法，一步一步的獲取進入組織內部的許可權。APT往往利用組織內部的人員作為攻擊跳板。有時候，攻擊者會針對被攻擊對象編寫專門的攻擊程序，而非使用一些通用的攻擊代碼。此外，APT攻擊具有持續性，甚至長達數年。這種持續體現在攻擊者不斷嘗試各種攻擊手段，以及在滲透到網路內部後長期蟄伏，不斷收集各種信息，直到收集到重要情報。更加危險的是，這些新型的攻擊和威脅主要就針對國家重要的基礎設施和單位進行，包括能源、電力、金融、國防等關繫到國計民生，或者是國家核心利益的網路基礎設施。
現有技術為什麼失靈
先看兩個典型APT攻擊案例，分析一下盲點在哪裡：
1、 RSA SecureID竊取攻擊
1) 攻擊者給RSA的母公司EMC的4名員工發送了兩組惡意郵件。郵件標題為「2011 Recruitment Plan」，寄件人是[email protected]，正文很簡單，寫著「I forward this file to you for review. Please open and view it.」;裡面有個EXCEL附件名為「2011 Recruitment plan.xls」；
2) 很不幸，其中一位員工對此郵件感到興趣，並將其從垃圾郵件中取出來閱讀，殊不知此電子表格其實含有當時最新的Adobe Flash的0day漏洞(CVE-2011-0609)。這個Excel打開後啥也沒有，除了在一個表單的第一個格子裡面有個「X」(叉)。而這個叉實際上就是內嵌的一個Flash；
3) 該主機被植入臭名昭著的Poison Ivy遠端控制工具，並開始自BotNet的C&C伺服器(位於 good.mincesur.com)下載指令進行任務；
4) 首批受害的使用者並非「位高權重」人物，緊接著相關聯的人士包括IT與非IT等伺服器管理員相繼被黑；
5) RSA發現開發用伺服器(Staging server)遭入侵，攻擊方隨即進行撤離，加密並壓縮所有資料(都是rar格式)，並以FTP傳送至遠端主機，又迅速再次搬離該主機，清除任何蹤跡；
6) 在拿到了SecurID的信息後，攻擊者就開始對使用SecurID的公司(例如上述防務公司等)進行攻擊了。
2、 震網攻擊
遭遇超級工廠病毒攻擊的核電站計算機系統實際上是與外界物理隔離的，理論上不會遭遇外界攻擊。堅固的堡壘只有從內部才能被攻破，超級工廠病毒也正充分的利用了這一點。超級工廠病毒的攻擊者並沒有廣泛的去傳播病毒，而是針對核電站相關工作人員的家用電腦、個人電腦等能夠接觸到互聯網的計算機發起感染攻擊，以此 為第一道攻擊跳板，進一步感染相關人員的U盤，病毒以U盤為橋梁進入「堡壘」內部，隨即潛伏下來。病毒很有耐心的逐步擴散，利用多種漏洞，包括當時的一個 0day漏洞，一點一點的進行破壞。這是一次十分成功的APT攻擊，而其最為恐怖的地方就在於極為巧妙的控制了攻擊范圍，攻擊十分精準。
以上兩個典型的APT攻擊案例中可以看出，對於APT攻擊，現代安全防禦手段有三個主要盲點：
1、0day漏洞與遠程加密通信
支撐現代網路安全技術的理論基礎最重要的就是特徵匹配，廣泛應用於各類主流網路安全產品，如殺毒、入侵檢測/防禦、漏洞掃描、深度包檢測。Oday漏洞和遠程加密通信都意味著沒有特徵，或者說還沒來得及積累特徵，這是基於特徵匹配的邊界防護技術難以應對的。
2、長期持續性的攻擊
現代網路安全產品把實時性作為衡量系統能力的一項重要指標，追求的目標就是精準的識別威脅，並實時的阻斷。而對於APT這種Salami式的攻擊，則是基於實時時間點的檢測技術難以應對的。
3、內網攻擊
任何防禦體系都會做安全域劃分，內網通常被劃成信任域，信任域內部的通信不被監控，成為了盲點。需要做接入側的安全方案加固，但不在本文討論范圍。
大數據怎麼解決問題
大數據可總結為基於分布式計算的數據挖掘，可以跟傳統數據處理模式對比去理解大數據：
1、數據采樣——>全集原始數據（Raw Data）
2、小數據+大演算法——>大數據+小演算法+上下文關聯+知識積累
3、基於模型的演算法——>機械窮舉（不帶假設條件）
4、精確性+實時性——>過程中的預測
使用大數據思想，可對現代網路安全技術做如下改進：
1、特定協議報文分析——>全流量原始數據抓取（Raw Data）
2、實時數據+復雜模型演算法——>長期全流量數據+多種簡單挖掘演算法+上下文關聯+知識積累
3、實時性+自動化——>過程中的預警+人工調查
通過傳統安全防禦措施很難檢測高級持續性攻擊，企業必須先確定日常網路中各用戶、業務系統的正常行為模型是什麼，才能盡早確定企業的網路和數據是否受到了攻擊。而安全廠商可利用大數據技術對事件的模式、攻擊的模式、時間、空間、行為上的特徵進行處理，總結抽象出來一些模型，變成大數據安全工具。為了精準地描述威脅特徵，建模的過程可能耗費幾個月甚至幾年時間，企業需要耗費大量人力、物力、財力成本，才能達到目的。但可以通過整合大數據處理資源，協調大數據處理和分析機制，共享資料庫之間的關鍵模型數據，加快對高級可持續攻擊的建模進程，消除和控制高級可持續攻擊的危害。
Ⅶ 信息與網路安全需要大數據安全分析
信息與網路安全需要大數據安全分析
毫無疑問，我們已經進入了大數據（Big Data）時代。人類的生產生活每天都在產生大量的數據，並且產生的速度越來越快。根據IDC和EMC的聯合調查，到2020年全球數據總量將達到40ZB。2013年，Gartner將大數據列為未來信息架構發展的10大趨勢之首。Gartner預測將在2011年到2016年間累計創造2320億美元的產值。
大數據早就存在，只是一直沒有足夠的基礎實施和技術來對這些數據進行有價值的挖據。隨著存儲成本的不斷下降、以及分析技術的不斷進步，尤其是雲計算的出現，不少公司已經發現了大數據的巨大價值：它們能揭示其他手段所看不到的新變化趨勢，包括需求、供給和顧客習慣等等。比如，銀行可以以此對自己的客戶有更深入的了解，提供更有個性的定製化服務；銀行和保險公司可以發現詐騙和騙保；零售企業更精確探知顧客需求變化，為不同的細分客戶群體提供更有針對性的選擇；制葯企業可以以此為依據開發新葯，詳細追蹤葯物療效，並監測潛在的副作用；安全公司則可以識別更具隱蔽性的攻擊、入侵和違規。
當前網路與信息安全領域，正在面臨著多種挑戰。一方面，企業和組織安全體系架構的日趨復雜，各種類型的安全數據越來越多，傳統的分析能力明顯力不從心；另一方面，新型威脅的興起，內控與合規的深入，傳統的分析方法存在諸多缺陷，越來越需要分析更多的安全信息、並且要更加快速的做出判定和響應。信息安全也面臨大數據帶來的挑戰。安全數據的大數據化
安全數據的大數據化主要體現在以下三個方面：
1） 數據量越來越大：網路已經從千兆邁向了萬兆，網路安全設備要分析的數據包數據量急劇上升。同時，隨著NGFW的出現，安全網關要進行應用層協議的分析，分析的數據量更是大增。與此同時，隨著安全防禦的縱深化，安全監測的內容不斷細化，除了傳統的攻擊監測，還出現了合規監測、應用監測、用戶行為監測、性能檢測、事務監測，等等，這些都意味著要監測和分析比以往更多的數據。此外，隨著APT等新型威脅的興起，全包捕獲技術逐步應用，海量數據處理問題也日益凸顯。
2） 速度越來越快：對於網路設備而言，包處理和轉發的速度需要更快；對於安管平台、事件分析平台而言，數據源的事件發送速率（EPS，Event per Second，事件數每秒）越來越快。
3） 種類越來越多：除了數據包、日誌、資產數據，安全要素信息還加入了漏洞信息、配置信息、身份與訪問信息、用戶行為信息、應用信息、業務信息、外部情報信息等。
安全數據的大數據化，自然引發人們思考如何將大數據技術應用於安全領域。
傳統的安全分析面臨挑戰
安全數據的數量、速度、種類的迅速膨脹，不僅帶來了海量異構數據的融合、存儲和管理的問題，甚至動搖了傳統的安全分析方法。
當前絕大多數安全分析工具和方法都是針對小數據量設計的，在面對大數據量時難以為繼。新的攻擊手段層出不窮，需要檢測的數據越來越多，現有的分析技術不堪重負。面對天量的安全要素信息，我們如何才能更加迅捷地感知網路安全態勢？
傳統的分析方法大都採用基於規則和特徵的分析引擎，必須要有規則庫和特徵庫才能工作，而規則和特徵只能對已知的攻擊和威脅進行描述，無法識別未知的攻擊，或者是尚未被描述成規則的攻擊和威脅。面對未知攻擊和復雜攻擊如APT等，需要更有效的分析方法和技術！如何做到知所未知？
面對天量安全數據，傳統的集中化安全分析平台（譬如SIEM，安全管理平台等）也遭遇到了諸多瓶頸，主要表現在以下幾方面：
——高速海量安全數據的採集和存儲變得困難
——異構數據的存儲和管理變得困難
——威脅數據源較小，導致系統判斷能力有限
——對歷史數據的檢測能力很弱
——安全事件的調查效率太低
——安全系統相互獨立，無有效手段協同工作
——分析的方法較少
——對於趨勢性的東西預測較難，對早期預警的能力比較差
——系統交互能力有限，數據展示效果有待提高
從上世紀80年代入侵檢測技術的誕生和確立以來，安全分析已經發展了很長的時間。當前，信息與網路安全分析存在兩個基本的發展趨勢：情境感知的安全分析與智能化的安全分析。
Gartner在2010年的一份報告中指出，「未來的信息安全將是情境感知的和自適應的」。所謂情境感知，就是利用更多的相關性要素信息的綜合研判來提升安全決策的能力，包括資產感知、位置感知、拓撲感知、應用感知、身份感知、內容感知，等等。情境感知極大地擴展了安全分析的縱深，納入了更多的安全要素信息，拉升了分析的空間和時間范圍，也必然對傳統的安全分析方法提出了挑戰。
同樣是在2010年，Gartner的另一份報告指出，要「為企業安全智能的興起做好准備」。在這份報告中，Gartner提出了安全智能的概念，強調必須將過去分散的安全信息進行集成與關聯，獨立的分析方法和工具進行整合形成交互，從而實現智能化的安全分析與決策。而信息的集成、技術的整合必然導致安全要素信息的迅猛增長，智能的分析必然要求將機器學習、數據挖據等技術應用於安全分析，並且要更快更好地的進行安全決策。
信息與網路安全需要大數據安全分析
安全數據的大數據化，以及傳統安全分析所面臨的挑戰和發展趨勢，都指向了同一個技術——大數據分析。正如Gartner在2011年明確指出，「信息安全正在變成一個大數據分析問題」。
於是，業界出現了將大數據分析技術應用於信息安全的技術——大數據安全分析（Big Data Security Analysis，簡稱BDSA），也有人稱做針對安全的大數據分析（Big Data Analysis for Security）。
藉助大數據安全分析技術，能夠更好地解決天量安全要素信息的採集、存儲的問題，藉助基於大數據分析技術的機器學習和數據挖據演算法，能夠更加智能地洞悉信息與網路安全的態勢，更加主動、彈性地去應對新型復雜的威脅和未知多變的風險。
Ⅷ 大數據時代:如何守護我們的數據安全
大數據時代:如何守護我們的數據安全
不管你承認不承認，我們已經全面進入了大數據時代。無時無刻，我們的很多信息都被通過各種途徑傳播出去，這就必然導致安全問題的產生。
大數據的安全問題有多嚴重？在此前舉辦的「2016中國大數據產業峰會」上發生的一個實例，就可見一斑。
在360展區，市民嚴女士隨手將錢包、手機放到安檢筐里，空手走過安檢門。她通過安檢門，突然發現大屏幕上顯示出自己銀行卡的姓名拼音、身份證號、銀行卡號、卡片有效期、最近10次的消費時間、消費地點、取現記錄、轉賬記錄等等。嚴女士驚呼：「遇到了魔術師」。
360安全專家劉洋解釋，實際上，存放手機錢包的安檢筐里存有一張具有NFC(近距離通信)功能的無線讀卡器，旁邊還有配套的信號接收器和電腦等設備，就像公交車刷卡器，只要銀行卡靠近讀卡器，卡片的信息就顯示出來，安檢門其實就是「安全魔術師」手中的障眼法。就在嚴女士將錢包放進安檢筐的那一刻，嚴女士的個人信息就已經泄露了。
那麼，我們靠什麼來保障我們的數據安全呢？難道我們只能看著個人的數據和隱私到處泄露嗎？
數據安全事件日益高發
近來，大數據安全事件呈高發之勢。日前，廣東警方破獲一起高科技經濟犯罪案件，17歲的「黑客」葉世廣，攻破了多個商業銀行網站，竊取了儲戶的身份證號、銀行卡號、支付密碼等數據，帶領一批人在網上大肆盜刷別人的信用卡，涉案金額近15億元，涉及銀行49家。
今年2月，發生了世界上有史以來規模最大的網路盜竊案。黑客入侵了孟加拉國央行在紐約聯邦儲備銀行的賬戶，盜走了8100萬美元，後來孟加拉國官方表示，黑客出現了一個拼寫錯誤，否則隨後還將進行一筆近10億美元的轉賬。
今年3月，與敘利亞有關聯的激進黑客組織對一個自來水廠發起網路攻擊。黑客操縱系統改變了進入到自來水中的化學物含量，阻礙凈水過程。
類似的案例不勝枚舉。
360公司總裁齊向東向《中國科學報》記者表示，接入互聯網的設備越多，網路攻擊的發生幾率就越高，網路攻擊首先瞄準大數據，攻擊造成大數據丟失、情報泄密和破壞網路安全運行。大數據技術是一把雙刃劍，既可以造福社會、造福人民，又可以被一些人用來損害社會公共利益和民眾利益。
大數據安全體系構建勢在必行
「在互聯網乃至物聯網時代，如果我們不能很好地解決安全問題，就會影響社會各方面的發展。因此，各級政府在鼓勵發展大數據的同時，要同步考慮構建大數據安全體系。」齊向東表示。
值得注意的是，傳統的網路安全思路已經無法保障大數據時代的安全。劉洋向記者介紹，傳統網路安全的防護思路是劃分邊界，將內網、外網分開，業務網和公眾網分離，用終端設備將潛在風險隔離。通過在每個邊界設立網關設備和網路流量設備，來守住「邊界」，以期解決安全問題。但隨著移動互聯網、雲服務的出現，移動終端在4G信號、Wi-Fi信號、電纜之間穿梭，網路邊界實際上已經消亡。
「很多傳統的大企業認為，只要自己購買伺服器並搭建獨立的機房，安排專門的技術人員就能夠保護企業的數據不被泄露，能夠保護企業的信息安全。但實際上，在如今的互聯網時代，這種傳統的方法更加容易被不法分子所攻破。」阿里雲安全資深總監肖力向《中國科學報》記者介紹，這是因為從技術實力來看，絕大部分企業並不是專門做網路安全、數據安全，其設置的技術壁壘難以阻擋專業的黑客。
齊向東介紹，360安全中心每天發現木馬樣本近千萬個，每天發現的各種軟硬體漏洞、網站漏洞超過120個，「每一個木馬每一個漏洞，都可能攻破預先部署的安全設備和安全軟體」。這種情況下，企業的傳統防護的確難以奏效。
雲平台和大數據需「雙劍合璧」
在采訪中，有專家認為，對付大數據時代的數據安全問題，防止信息泄露，除了完善相關法製法規，更加需要雲平台的防護技術，結合大數據技術來應對數據安全。
「在雲計算不斷深入發展的當下，將數據存儲在雲平台上，或許比傳統的企業信息防護更加安全。」肖力介紹，以阿里雲為例，阿里雲在架構設計之初就同步考慮了安全架構，不僅將安全的基因植入到整個雲平台和各個雲產品中，也將數據安全要求嵌入產品開發生命周期的各個環節。依靠專業的雲計算平台，強大的技術團隊能夠更好地應付來自黑客的攻擊。
不同用戶之間，無論是CPU、內存，還是存儲和網路，都默認相互隔離，既看不到對方的數據，也不會相互影響。「就像一間五星級酒店被分割成多個房間，他們之間是相互獨立和封閉的，從而確保不同租戶互不幹擾和數據隔離。」肖力表示。
據介紹，目前全國35%的網站的數據安全防護都依託於阿里雲平台的防護。阿里雲的雲盾，涵蓋網路安全、伺服器安全、數據安全、業務安全和移動安全這五個安全領域，來保護數據安全。
360也有自己的雲安全管理平台。劉洋介紹，該平台將360獨有的雲安全漏洞挖掘能力輸出給廣大用戶，通過統一管理、安全可見以及網路、主機、應用、數據的分層縱深防禦，為用戶全面解決雲安全問題。
「用大數據技術來解決大數據時代的安全問題十分必要。」齊向東進一步指出，必須建立「數據驅動安全」的思維，搭建全新的互聯網安全體系—「傳統安全+互聯網+大數據」。也就是說，要利用漏洞挖掘技術、網路攻擊技術、軟體樣行為分析技術以及由網路地址解析資料庫、網路訪問日誌資料庫、文件黑白名單資料庫等組成大數據系統與分析技術，構建全天候全方位感知網路安全態勢。「要基於強大的大資料庫、利用先進的大數據技術和廣泛的用戶覆蓋率，提前感知網路威脅態勢，為大眾提供未知威脅的發現與回溯功能並進行有效防護。」齊向東說。
「未來還應當聯合各方力量，共建互聯網安全產業鏈生態，來應對大數據時代的安全風險。」肖力表示。