Ⅰ 信息與網路安全需要大數據安全分析
信息與網路安全需要大數據安全分析
毫無疑問,我們已經進入了大數據(Big Data)時代。人類的生產生活每天都在產生大量的數據,並且產生的速度越來越快。根據IDC和EMC的聯合調查,到2020年全球數據總量將達到40ZB。2013年,Gartner將大數據列為未來信息架構發展的10大趨勢之首。Gartner預測將在2011年到2016年間累計創造2320億美元的產值。
大數據早就存在,只是一直沒有足夠的基礎實施和技術來對這些數據進行有價值的挖據。隨著存儲成本的不斷下降、以及分析技術的不斷進步,尤其是雲計算的出現,不少公司已經發現了大數據的巨大價值:它們能揭示其他手段所看不到的新變化趨勢,包括需求、供給和顧客習慣等等。比如,銀行可以以此對自己的客戶有更深入的了解,提供更有個性的定製化服務;銀行和保險公司可以發現詐騙和騙保;零售企業更精確探知顧客需求變化,為不同的細分客戶群體提供更有針對性的選擇;制葯企業可以以此為依據開發新葯,詳細追蹤葯物療效,並監測潛在的副作用;安全公司則可以識別更具隱蔽性的攻擊、入侵和違規。
當前網路與信息安全領域,正在面臨著多種挑戰。一方面,企業和組織安全體系架構的日趨復雜,各種類型的安全數據越來越多,傳統的分析能力明顯力不從心;另一方面,新型威脅的興起,內控與合規的深入,傳統的分析方法存在諸多缺陷,越來越需要分析更多的安全信息、並且要更加快速的做出判定和響應。信息安全也面臨大數據帶來的挑戰。安全數據的大數據化
安全數據的大數據化主要體現在以下三個方面:
1) 數據量越來越大:網路已經從千兆邁向了萬兆,網路安全設備要分析的數據包數據量急劇上升。同時,隨著NGFW的出現,安全網關要進行應用層協議的分析,分析的數據量更是大增。與此同時,隨著安全防禦的縱深化,安全監測的內容不斷細化,除了傳統的攻擊監測,還出現了合規監測、應用監測、用戶行為監測、性能檢測、事務監測,等等,這些都意味著要監測和分析比以往更多的數據。此外,隨著APT等新型威脅的興起,全包捕獲技術逐步應用,海量數據處理問題也日益凸顯。
2) 速度越來越快:對於網路設備而言,包處理和轉發的速度需要更快;對於安管平台、事件分析平台而言,數據源的事件發送速率(EPS,Event per Second,事件數每秒)越來越快。
3) 種類越來越多:除了數據包、日誌、資產數據,安全要素信息還加入了漏洞信息、配置信息、身份與訪問信息、用戶行為信息、應用信息、業務信息、外部情報信息等。
安全數據的大數據化,自然引發人們思考如何將大數據技術應用於安全領域。
傳統的安全分析面臨挑戰
安全數據的數量、速度、種類的迅速膨脹,不僅帶來了海量異構數據的融合、存儲和管理的問題,甚至動搖了傳統的安全分析方法。
當前絕大多數安全分析工具和方法都是針對小數據量設計的,在面對大數據量時難以為繼。新的攻擊手段層出不窮,需要檢測的數據越來越多,現有的分析技術不堪重負。面對天量的安全要素信息,我們如何才能更加迅捷地感知網路安全態勢?
傳統的分析方法大都採用基於規則和特徵的分析引擎,必須要有規則庫和特徵庫才能工作,而規則和特徵只能對已知的攻擊和威脅進行描述,無法識別未知的攻擊,或者是尚未被描述成規則的攻擊和威脅。面對未知攻擊和復雜攻擊如APT等,需要更有效的分析方法和技術!如何做到知所未知?
面對天量安全數據,傳統的集中化安全分析平台(譬如SIEM,安全管理平台等)也遭遇到了諸多瓶頸,主要表現在以下幾方面:
——高速海量安全數據的採集和存儲變得困難
——異構數據的存儲和管理變得困難
——威脅數據源較小,導致系統判斷能力有限
——對歷史數據的檢測能力很弱
——安全事件的調查效率太低
——安全系統相互獨立,無有效手段協同工作
——分析的方法較少
——對於趨勢性的東西預測較難,對早期預警的能力比較差
——系統交互能力有限,數據展示效果有待提高
從上世紀80年代入侵檢測技術的誕生和確立以來,安全分析已經發展了很長的時間。當前,信息與網路安全分析存在兩個基本的發展趨勢:情境感知的安全分析與智能化的安全分析。
Gartner在2010年的一份報告中指出,「未來的信息安全將是情境感知的和自適應的」。所謂情境感知,就是利用更多的相關性要素信息的綜合研判來提升安全決策的能力,包括資產感知、位置感知、拓撲感知、應用感知、身份感知、內容感知,等等。情境感知極大地擴展了安全分析的縱深,納入了更多的安全要素信息,拉升了分析的空間和時間范圍,也必然對傳統的安全分析方法提出了挑戰。
同樣是在2010年,Gartner的另一份報告指出,要「為企業安全智能的興起做好准備」。在這份報告中,Gartner提出了安全智能的概念,強調必須將過去分散的安全信息進行集成與關聯,獨立的分析方法和工具進行整合形成交互,從而實現智能化的安全分析與決策。而信息的集成、技術的整合必然導致安全要素信息的迅猛增長,智能的分析必然要求將機器學習、數據挖據等技術應用於安全分析,並且要更快更好地的進行安全決策。
信息與網路安全需要大數據安全分析
安全數據的大數據化,以及傳統安全分析所面臨的挑戰和發展趨勢,都指向了同一個技術——大數據分析。正如Gartner在2011年明確指出,「信息安全正在變成一個大數據分析問題」。
於是,業界出現了將大數據分析技術應用於信息安全的技術——大數據安全分析(Big Data Security Analysis,簡稱BDSA),也有人稱做針對安全的大數據分析(Big Data Analysis for Security)。
藉助大數據安全分析技術,能夠更好地解決天量安全要素信息的採集、存儲的問題,藉助基於大數據分析技術的機器學習和數據挖據演算法,能夠更加智能地洞悉信息與網路安全的態勢,更加主動、彈性地去應對新型復雜的威脅和未知多變的風險。
Ⅱ java、web、大數據、網路安全就業環境有好嗎至少需要什麼學歷
大數據主要的三大就業方向:
大數據系統研發類人才;
大數據應用開發類人才;
大數據分析類人才。
大數據十大就業職位:
一、ETL研發
隨著數據種類的不斷增加,企業對數據整合專業人才的需求越來越旺盛。ETL開發者與不同的數據來源和組織打交道,從不同的源頭抽取數據,轉換並導入數據倉庫以滿足企業的需要。
ETL研發,主要負責將分散的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成,最後載入到數據倉庫或數據集市中,成為聯機分析處理、數據挖掘的基礎。
目前,ETL行業相對成熟,相關崗位的工作生命周期比較長,通常由內部員工和外包合同商之間通力完成。ETL人才在大數據時代炙手可熱的原因之一是:在企業大數據應用的早期階段,Hadoop只是窮人的ETL。
二、Hadoop開發
Hadoop的核心是HDFS和MapRece.HDFS提供了海量數據的存儲,MapRece提供了對數據的計算。隨著數據集規模不斷增大,而傳統BI的數據處理成本過高,企業對Hadoop及相關的廉價數據處理技術如Hive、HBase、MapRece、Pig等的需求將持續增長。如今具備Hadoop框架經驗的技術人員是最搶手的大數據人才。
三、可視化(前端展現)工具開發
海量數據的分析是個大挑戰,而新型數據可視化工具如Spotifre,Qlikview和Tableau可以直觀高效地展示數據。
可視化開發就是在可視開發工具提供的圖形用戶界面上,通過操作界面元素,由可視開發工具自動生成應用軟體。還可輕松跨越多個資源和層次連接您的所有數據,經過時間考驗,完全可擴展的,功能豐富全面的可視化組件庫為開發人員提供了功能完整並且簡單易用的組件集合,以用來構建極其豐富的用戶界面。
過去,數據可視化屬於商業智能開發者類別,但是隨著Hadoop的崛起,數據可視化已經成了一項獨立的專業技能和崗位。
四、信息架構開發
大數據重新激發了主數據管理的熱潮。充分開發利用企業數據並支持決策需要非常專業的技能。信息架構師必須了解如何定義和存檔關鍵元素,確保以最有效的方式進行數據管理和利用。信息架構師的關鍵技能包括主數據管理、業務知識和數據建模等。
五、數據倉庫研究
數據倉庫是為企業所有級別的決策制定過程提供支持的所有類型數據的戰略集合。它是單個數據存儲,出於分析性報告和決策支持的目的而創建。為企業提供需要業務智能來指導業務流程改進和監視時間、成本、質量和控制。
數據倉庫的專家熟悉Teradata、Neteeza和Exadata等公司的大數據一體機。能夠在這些一體機上完成數據集成、管理和性能優化等工作。
六、OLAP開發
隨著資料庫技術的發展和應用,資料庫存儲的數據量從20世紀80年代的兆(M)位元組及千兆(G)位元組過渡到現在的兆兆(T)位元組和千兆兆(P)位元組,同時,用戶的查詢需求也越來越復雜,涉及的已不僅是查詢或操縱一張關系表中的一條或幾條記錄,而且要對多張表中千萬條記錄的數據進行數據分析和信息綜合。聯機分析處理(OLAP)系統就負責解決此類海量數據處理的問題。
OLAP在線聯機分析開發者,負責將數據從關系型或非關系型數據源中抽取出來建立模型,然後創建數據訪問的用戶界面,提供高性能的預定義查詢功能。
七、數據科學研究
這一職位過去也被稱為數據架構研究,數據科學家是一個全新的工種,能夠將企業的數據和技術轉化為企業的商業價值。隨著數據學的進展,越來越多的實際工作將會直接針對數據進行,這將使人類認識數據,從而認識自然和行為。因此,數據科學家首先應當具備優秀的溝通技能,能夠同時將數據分析結果解釋給IT部門和業務部門領導。
總的來說,數據科學家是分析師、藝術家的合體,需要具備多種交叉科學和商業技能。
八、數據預測(數據挖掘)分析
營銷部門經常使用預測分析預測用戶行為或鎖定目標用戶。預測分析開發者有些場景看上有有些類似數據科學家,即在企業歷史數據的基礎上通過假設來測試閾值並預測未來的表現。
九、企業數據管理
企業要提高數據質量必須考慮進行數據管理,並需要為此設立數據管家職位,這一職位的人員需要能夠利用各種技術工具匯集企業周圍的大量數據,並將數據清洗和規范化,將數據導入數據倉庫中,成為一個可用的版本。然後,通過報表和分析技術,數據被切片、切塊,並交付給成千上萬的人。擔當數據管家的人,需要保證市場數據的完整性,准確性,唯一性,真實性和不冗餘。
十、數據安全研究
數據安全這一職位,主要負責企業內部大型伺服器、存儲、數據安全管理工作,並對網路、信息安全項目進行規劃、設計和實施。數據安全研究員還需要具有較強的管理經驗,具備運維管理方面的知識和能力,對企業傳統業務有較深刻的理解,才能確保企業數據安全做到一絲不漏。
Ⅲ 大數據有前途,還是網路安全有前途
大數據和網路安全都屬於目前很熱門的產業,都很有前景,至於哪個更有前途,就不好說了。
Ⅳ 網路安全.大數據和IT哪個專業好就業
就業前景:網路安全大數據和IT都屬於信息技術領域,就業前景都比較廣闊,但兩個專業的方向略有不同。網路安全大數據更偏重於數據分析和安全技術,而IT則更側重於軟體開發和技術支持。
就業前景可以根據當前市場需求和趨勢來考慮。
專業技能:網路安全大數據和IT都需要掌握相應的專業技能,但具體技能要求略有不同。
網路安全大數據需租搏鏈要掌握數據分析、機器學習、網路安全等方面的技能;而IT則需要掌握軟體開發、數弊孫據庫、網路通信等方面的技能。就業前景與專業技能銀搭密切相關,需要根據自身興趣和優勢來選擇。
行業需求:不同行業對專業需求也不同。網路安全大數據可以在金融、互聯網、電商等行業中發揮作用;而IT則可以在軟體、電子、通信等行業中就業。就業前景也需要結合不同行業的需求來考慮。
綜上所述,網路安全大數據和IT這兩個專業就業形勢都比較好,具體哪個更好就業需要根據自身興趣、優勢、市場需求和行業趨勢等因素綜合考慮。
Ⅳ 大數據和網路安全哪個方向更好
隨著工業物聯網(IIoT)在製造企業的全面鋪開,安全專家必須准備好弄懂這些網路應有的樣子與操作。同時,所有安全計劃都需擁有足夠的彈性,要能扛住迎面而來的各種攻擊。未來十年將給網路安全帶來最大影響的是什麼?簡單講,這個問題的答案有兩個方向:人工智慧(AI)和大數據分析。
鑒於這些技術發展會給未來時光帶來重大影響,未來的安全環境,將取決於AI和分析如何融入囊括了網路及物理安全的全面彈性安全計劃。
網路安全-工業物聯網
至於如何構建該整體安全項目,能夠賦予製造商資產清單與網路可見性的網路監視技術是個不錯的開始。隨著公司企業越來越依賴數字環境,擁有該總體安全觀也變得越來越重要了。如果十年內發生的攻擊類似烏克蘭兩次遭遇的大斷電,或挪威鋁業巨頭NorskHydro遭遇的勒索軟體攻擊,公司企業需准備備用工廠,以便在必要的時候能夠手動運營以阻止攻擊。
未來5~10年,物聯網對工業運營的意義愈加重大,工業系統也將接入可大幅降低設備間通信延遲的5G網路,因而工業系統聯網程度增加幾乎已成不爭的事實。物聯網設備安全通常天生不怎麼強,所以當物聯網設備大規模部署的時候,工業系統便面臨相當棘手的設備安全管理挑戰了。
網路安全-工業運營
更糟的是,連接性增加意味著能嘗試突破系統的黑客也增加了,更高端的黑客或許能夠窺探系統,而網路安全問題也隨著連接性的增長而愈加惡化。而且,很多工業系統如果以特定方式操縱可能傷及人命,所以連接性增加不僅影響到工業系統管理和保護,也影響公共政策制定。
網路安全-數字轉型
工業網路安全遭受的最大影響將是數字轉型的非預期結果。數字轉型很好,也很有必要,但同時伴隨著風險。隨著我們引入越來越多的數字終端,數據流隨之產生。數據流的飛速增長將超出我們的處理范圍,無法現場有效分析全部數據。而且,我們將以這些數據驅動有關過程的決策,甚或驅動過程本身。最終,我們或許會開始通過人工智慧/機器學習將這些分析性數據產品饋送回過程。
換句話說,過程產生數據,數據離開過程網路流向雲、霧、湖、現場、外部等等地方,被分析、重用再饋送回過程。所有這些都會以我們剛剛才開始考慮的方式,往過程數據及該控制/過程網路外部相關系統,引入新的風險。