Ⅰ 信息与网络安全需要大数据安全分析
信息与网络安全需要大数据安全分析
毫无疑问,我们已经进入了大数据(Big Data)时代。人类的生产生活每天都在产生大量的数据,并且产生的速度越来越快。根据IDC和EMC的联合调查,到2020年全球数据总量将达到40ZB。2013年,Gartner将大数据列为未来信息架构发展的10大趋势之首。Gartner预测将在2011年到2016年间累计创造2320亿美元的产值。
大数据早就存在,只是一直没有足够的基础实施和技术来对这些数据进行有价值的挖据。随着存储成本的不断下降、以及分析技术的不断进步,尤其是云计算的出现,不少公司已经发现了大数据的巨大价值:它们能揭示其他手段所看不到的新变化趋势,包括需求、供给和顾客习惯等等。比如,银行可以以此对自己的客户有更深入的了解,提供更有个性的定制化服务;银行和保险公司可以发现诈骗和骗保;零售企业更精确探知顾客需求变化,为不同的细分客户群体提供更有针对性的选择;制药企业可以以此为依据开发新药,详细追踪药物疗效,并监测潜在的副作用;安全公司则可以识别更具隐蔽性的攻击、入侵和违规。
当前网络与信息安全领域,正在面临着多种挑战。一方面,企业和组织安全体系架构的日趋复杂,各种类型的安全数据越来越多,传统的分析能力明显力不从心;另一方面,新型威胁的兴起,内控与合规的深入,传统的分析方法存在诸多缺陷,越来越需要分析更多的安全信息、并且要更加快速的做出判定和响应。信息安全也面临大数据带来的挑战。安全数据的大数据化
安全数据的大数据化主要体现在以下三个方面:
1) 数据量越来越大:网络已经从千兆迈向了万兆,网络安全设备要分析的数据包数据量急剧上升。同时,随着NGFW的出现,安全网关要进行应用层协议的分析,分析的数据量更是大增。与此同时,随着安全防御的纵深化,安全监测的内容不断细化,除了传统的攻击监测,还出现了合规监测、应用监测、用户行为监测、性能检测、事务监测,等等,这些都意味着要监测和分析比以往更多的数据。此外,随着APT等新型威胁的兴起,全包捕获技术逐步应用,海量数据处理问题也日益凸显。
2) 速度越来越快:对于网络设备而言,包处理和转发的速度需要更快;对于安管平台、事件分析平台而言,数据源的事件发送速率(EPS,Event per Second,事件数每秒)越来越快。
3) 种类越来越多:除了数据包、日志、资产数据,安全要素信息还加入了漏洞信息、配置信息、身份与访问信息、用户行为信息、应用信息、业务信息、外部情报信息等。
安全数据的大数据化,自然引发人们思考如何将大数据技术应用于安全领域。
传统的安全分析面临挑战
安全数据的数量、速度、种类的迅速膨胀,不仅带来了海量异构数据的融合、存储和管理的问题,甚至动摇了传统的安全分析方法。
当前绝大多数安全分析工具和方法都是针对小数据量设计的,在面对大数据量时难以为继。新的攻击手段层出不穷,需要检测的数据越来越多,现有的分析技术不堪重负。面对天量的安全要素信息,我们如何才能更加迅捷地感知网络安全态势?
传统的分析方法大都采用基于规则和特征的分析引擎,必须要有规则库和特征库才能工作,而规则和特征只能对已知的攻击和威胁进行描述,无法识别未知的攻击,或者是尚未被描述成规则的攻击和威胁。面对未知攻击和复杂攻击如APT等,需要更有效的分析方法和技术!如何做到知所未知?
面对天量安全数据,传统的集中化安全分析平台(譬如SIEM,安全管理平台等)也遭遇到了诸多瓶颈,主要表现在以下几方面:
——高速海量安全数据的采集和存储变得困难
——异构数据的存储和管理变得困难
——威胁数据源较小,导致系统判断能力有限
——对历史数据的检测能力很弱
——安全事件的调查效率太低
——安全系统相互独立,无有效手段协同工作
——分析的方法较少
——对于趋势性的东西预测较难,对早期预警的能力比较差
——系统交互能力有限,数据展示效果有待提高
从上世纪80年代入侵检测技术的诞生和确立以来,安全分析已经发展了很长的时间。当前,信息与网络安全分析存在两个基本的发展趋势:情境感知的安全分析与智能化的安全分析。
Gartner在2010年的一份报告中指出,“未来的信息安全将是情境感知的和自适应的”。所谓情境感知,就是利用更多的相关性要素信息的综合研判来提升安全决策的能力,包括资产感知、位置感知、拓扑感知、应用感知、身份感知、内容感知,等等。情境感知极大地扩展了安全分析的纵深,纳入了更多的安全要素信息,拉升了分析的空间和时间范围,也必然对传统的安全分析方法提出了挑战。
同样是在2010年,Gartner的另一份报告指出,要“为企业安全智能的兴起做好准备”。在这份报告中,Gartner提出了安全智能的概念,强调必须将过去分散的安全信息进行集成与关联,独立的分析方法和工具进行整合形成交互,从而实现智能化的安全分析与决策。而信息的集成、技术的整合必然导致安全要素信息的迅猛增长,智能的分析必然要求将机器学习、数据挖据等技术应用于安全分析,并且要更快更好地的进行安全决策。
信息与网络安全需要大数据安全分析
安全数据的大数据化,以及传统安全分析所面临的挑战和发展趋势,都指向了同一个技术——大数据分析。正如Gartner在2011年明确指出,“信息安全正在变成一个大数据分析问题”。
于是,业界出现了将大数据分析技术应用于信息安全的技术——大数据安全分析(Big Data Security Analysis,简称BDSA),也有人称做针对安全的大数据分析(Big Data Analysis for Security)。
借助大数据安全分析技术,能够更好地解决天量安全要素信息的采集、存储的问题,借助基于大数据分析技术的机器学习和数据挖据算法,能够更加智能地洞悉信息与网络安全的态势,更加主动、弹性地去应对新型复杂的威胁和未知多变的风险。
Ⅱ java、web、大数据、网络安全就业环境有好吗至少需要什么学历
大数据主要的三大就业方向:
大数据系统研发类人才;
大数据应用开发类人才;
大数据分析类人才。
大数据十大就业职位:
一、ETL研发
随着数据种类的不断增加,企业对数据整合专业人才的需求越来越旺盛。ETL开发者与不同的数据来源和组织打交道,从不同的源头抽取数据,转换并导入数据仓库以满足企业的需要。
ETL研发,主要负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
目前,ETL行业相对成熟,相关岗位的工作生命周期比较长,通常由内部员工和外包合同商之间通力完成。ETL人才在大数据时代炙手可热的原因之一是:在企业大数据应用的早期阶段,Hadoop只是穷人的ETL。
二、Hadoop开发
Hadoop的核心是HDFS和MapRece.HDFS提供了海量数据的存储,MapRece提供了对数据的计算。随着数据集规模不断增大,而传统BI的数据处理成本过高,企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapRece、Pig等的需求将持续增长。如今具备Hadoop框架经验的技术人员是最抢手的大数据人才。
三、可视化(前端展现)工具开发
海量数据的分析是个大挑战,而新型数据可视化工具如Spotifre,Qlikview和Tableau可以直观高效地展示数据。
可视化开发就是在可视开发工具提供的图形用户界面上,通过操作界面元素,由可视开发工具自动生成应用软件。还可轻松跨越多个资源和层次连接您的所有数据,经过时间考验,完全可扩展的,功能丰富全面的可视化组件库为开发人员提供了功能完整并且简单易用的组件集合,以用来构建极其丰富的用户界面。
过去,数据可视化属于商业智能开发者类别,但是随着Hadoop的崛起,数据可视化已经成了一项独立的专业技能和岗位。
四、信息架构开发
大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素,确保以最有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等。
五、数据仓库研究
数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储,出于分析性报告和决策支持的目的而创建。为企业提供需要业务智能来指导业务流程改进和监视时间、成本、质量和控制。
数据仓库的专家熟悉Teradata、Neteeza和Exadata等公司的大数据一体机。能够在这些一体机上完成数据集成、管理和性能优化等工作。
六、OLAP开发
随着数据库技术的发展和应用,数据库存储的数据量从20世纪80年代的兆(M)字节及千兆(G)字节过渡到现在的兆兆(T)字节和千兆兆(P)字节,同时,用户的查询需求也越来越复杂,涉及的已不仅是查询或操纵一张关系表中的一条或几条记录,而且要对多张表中千万条记录的数据进行数据分析和信息综合。联机分析处理(OLAP)系统就负责解决此类海量数据处理的问题。
OLAP在线联机分析开发者,负责将数据从关系型或非关系型数据源中抽取出来建立模型,然后创建数据访问的用户界面,提供高性能的预定义查询功能。
七、数据科学研究
这一职位过去也被称为数据架构研究,数据科学家是一个全新的工种,能够将企业的数据和技术转化为企业的商业价值。随着数据学的进展,越来越多的实际工作将会直接针对数据进行,这将使人类认识数据,从而认识自然和行为。因此,数据科学家首先应当具备优秀的沟通技能,能够同时将数据分析结果解释给IT部门和业务部门领导。
总的来说,数据科学家是分析师、艺术家的合体,需要具备多种交叉科学和商业技能。
八、数据预测(数据挖掘)分析
营销部门经常使用预测分析预测用户行为或锁定目标用户。预测分析开发者有些场景看上有有些类似数据科学家,即在企业历史数据的基础上通过假设来测试阈值并预测未来的表现。
九、企业数据管理
企业要提高数据质量必须考虑进行数据管理,并需要为此设立数据管家职位,这一职位的人员需要能够利用各种技术工具汇集企业周围的大量数据,并将数据清洗和规范化,将数据导入数据仓库中,成为一个可用的版本。然后,通过报表和分析技术,数据被切片、切块,并交付给成千上万的人。担当数据管家的人,需要保证市场数据的完整性,准确性,唯一性,真实性和不冗余。
十、数据安全研究
数据安全这一职位,主要负责企业内部大型服务器、存储、数据安全管理工作,并对网络、信息安全项目进行规划、设计和实施。数据安全研究员还需要具有较强的管理经验,具备运维管理方面的知识和能力,对企业传统业务有较深刻的理解,才能确保企业数据安全做到一丝不漏。
Ⅲ 大数据有前途,还是网络安全有前途
大数据和网络安全都属于目前很热门的产业,都很有前景,至于哪个更有前途,就不好说了。
Ⅳ 网络安全.大数据和IT哪个专业好就业
就业前景:网络安全大数据和IT都属于信息技术领域,就业前景都比较广阔,但两个专业的方向略有不同。网络安全大数据更偏重于数据分析和安全技术,而IT则更侧重于软件开发和技术支持。
就业前景可以根据当前市场需求和趋势来考虑。
专业技能:网络安全大数据和IT都需要掌握相应的专业技能,但具体技能要求略有不同。
网络安全大数据需租搏链要掌握数据分析、机器学习、网络安全等方面的技能;而IT则需要掌握软件开发、数弊孙据库、网络通信等方面的技能。就业前景与专业技能银搭密切相关,需要根据自身兴趣和优势来选择。
行业需求:不同行业对专业需求也不同。网络安全大数据可以在金融、互联网、电商等行业中发挥作用;而IT则可以在软件、电子、通信等行业中就业。就业前景也需要结合不同行业的需求来考虑。
综上所述,网络安全大数据和IT这两个专业就业形势都比较好,具体哪个更好就业需要根据自身兴趣、优势、市场需求和行业趋势等因素综合考虑。
Ⅳ 大数据和网络安全哪个方向更好
随着工业物联网(IIoT)在制造企业的全面铺开,安全专家必须准备好弄懂这些网络应有的样子与操作。同时,所有安全计划都需拥有足够的弹性,要能扛住迎面而来的各种攻击。未来十年将给网络安全带来最大影响的是什么?简单讲,这个问题的答案有两个方向:人工智能(AI)和大数据分析。
鉴于这些技术发展会给未来时光带来重大影响,未来的安全环境,将取决于AI和分析如何融入囊括了网络及物理安全的全面弹性安全计划。
网络安全-工业物联网
至于如何构建该整体安全项目,能够赋予制造商资产清单与网络可见性的网络监视技术是个不错的开始。随着公司企业越来越依赖数字环境,拥有该总体安全观也变得越来越重要了。如果十年内发生的攻击类似乌克兰两次遭遇的大断电,或挪威铝业巨头NorskHydro遭遇的勒索软件攻击,公司企业需准备备用工厂,以便在必要的时候能够手动运营以阻止攻击。
未来5~10年,物联网对工业运营的意义愈加重大,工业系统也将接入可大幅降低设备间通信延迟的5G网络,因而工业系统联网程度增加几乎已成不争的事实。物联网设备安全通常天生不怎么强,所以当物联网设备大规模部署的时候,工业系统便面临相当棘手的设备安全管理挑战了。
网络安全-工业运营
更糟的是,连接性增加意味着能尝试突破系统的黑客也增加了,更高端的黑客或许能够窥探系统,而网络安全问题也随着连接性的增长而愈加恶化。而且,很多工业系统如果以特定方式操纵可能伤及人命,所以连接性增加不仅影响到工业系统管理和保护,也影响公共政策制定。
网络安全-数字转型
工业网络安全遭受的最大影响将是数字转型的非预期结果。数字转型很好,也很有必要,但同时伴随着风险。随着我们引入越来越多的数字终端,数据流随之产生。数据流的飞速增长将超出我们的处理范围,无法现场有效分析全部数据。而且,我们将以这些数据驱动有关过程的决策,甚或驱动过程本身。最终,我们或许会开始通过人工智能/机器学习将这些分析性数据产品馈送回过程。
换句话说,过程产生数据,数据离开过程网络流向云、雾、湖、现场、外部等等地方,被分析、重用再馈送回过程。所有这些都会以我们刚刚才开始考虑的方式,往过程数据及该控制/过程网络外部相关系统,引入新的风险。