Ⅰ 知识普及-安全态势
随着网络规模和复杂性不断增大,网络的攻击技术不断革新,新型攻击工具大量涌现,传统的网络安全技术显得力不从心,网络入侵不可避免,网络安全问题越发严峻。
单凭一种或几种安全技术很难应对复杂的安全问题,网络安全人员的关注点也从单个安全问题的解决,发展到研究整个网络的安全状态及其变化趋势。
网络安全态势感知对影响网络安全的诸多要素进行获取、理解、评估以及预测未来的发展趋势,是对网络安全性定量分析的一种手段,是对网络安全性的精细度量,态势感知成已经为网络安全2.0时代安全技术的焦点,对保障网络安全起着非常重要的作用。
一、态势感知基本概念
1.1 态势感知通用定义
随着网络安全态势感知研究领域的不同,人们对于态势感知的定义和理解也有很大的不同,其中认同度较高的是Endsley博士所给出的动态环境中态势感知的通用定义:
态势感知是感知大量的时间和空间中的环境要素,理解它们的意义,并预测它们在不久将来的状态。
在这个定义中,我们可以提炼出态势感知的三个要素:感知、理解和预测,也就是说态势感知可以分成感知、理解和预测三个层次的信息处理,即:
感知:感知和获取环境中的重要线索或元素;
理解:整合感知到的数据和信息,分析其相关性;
预测:基于对环境信息的感知和理解,预测相关知识的未来的发展趋势。
1.2 网络安全态势感知概念
目前,对网络安全态势感知并未有一个统一而全面的定义,我们可以结合态势感知通用定义来对对网络安全态势感知给出一个基本描述,即:
网络安全态势感知是综合分析网络安全要素,评估网络安全状况,预测其发展趋势,并以可视化的方式展现给用户,并给出相应的报表和应对措施。
根据上述概念模型,网络安全态势感知过程可以分为一下四个过程:
1)数据采集:通过各种检测工具,对各种影响系统安全性的要素进行检测采集获取,这一步是态势感知的前提;
2)态势理解:对各种网络安全要素数据进行分类、归并、关联分析等手段进行处理融合,对融合的信息进行综合分析,得出影响网络的整体安全状况,这一步是态势感知基础;
3)态势评估:定性、定量分析网络当前的安全状态和薄弱环节,并给出相应的应对措施,这一步是态势感知的核心;
4)态势预测:通过对态势评估输出的数据,预测网络安全状况的发展趋势,这一步是态势感知的目标。
网络安全态势感知要做到深度和广度兼备,从多层次、多角度、多粒度分析系统的安全性并提供应对措施,以图、表和安全报表的形式展现给用户。
二、态势感知常用分析模型
在网络安全态势感知的分析过程中,会应用到很多成熟的分析模型,这些模型的分析方法虽各不相同,但多数都包含了感知、理解和预测的三个要素。
2.1 始于感知:Endsley模型
Endsley模型中,态势感知始于感知。
感知包含对网络环境中重要组成要素的状态、属性及动态等信息,以及将其归类整理的过程。
理解则是对这些重要组成要素的信息的融合与解读,不仅是对单个分析对象的判断分析,还包括对多个关联对象的整合梳理。同时,理解是随着态势的变化而不断更新演变的,不断将新的信息融合进来形成新的理解。
在了解态势要素的状态和变化的基础上,对态势中各要素即将呈现的状态和变化进行预测。
2.2 循环对抗:OODA模型
OODA是指观察(Oberve)、调整(Orient)、决策(Decide)以及行动(Act),它是信息战领域的一个概念。OODA是一个不断收集信息、评估决策和采取行动的过程。
将OODA循环应用在网络安全态势感知中,攻击者与分析者都面临这样的循环过程:在观察中感知攻击与被攻击,在理解中调整并决策攻击与防御方法,预测对手下一个动作并发起行动,同时进入下一轮的观察。
如果分析者的OODA循环比攻击者快,那么分析者有可能“进入”对方的循环中,从而占据优势。例如通过关注对方正在进行或者可能进行的事情,即分析对手的OODA环,来判断对手下一步将采取的动作,而先于对方采取行动。
2.3 数据融合:JDL模型
JDL(Joint Directors of Laboratories)模型是信息融合系统中的一种信息处理方式,由美国国防部成立的数据融合联合指挥实验室提出。
JDL模型将来自不同数据源的数据和信息进行综合分析,根据它们之间的相互关系,进行目标识别、身份估计、态势评估和威胁评估,融合过程会通过不断的精炼评估结果来提高评估的准确性。
在网络安全态势感知中,面对来自内外部大量的安全数据,通过JDL模型进行数据的融合分析,能够实现对分析目标的感知、理解与影响评估,为后续的预测提供重要的分析基础和支撑。
2.4 假设与推理:RPD模型
RPD(Recognition Primed Decision)模型中定义态势感知分为两个阶段:感知和评估。
感知阶段通过特征匹配的方式,将现有态势与过去态势进行对比,选取相似度高的过去态势,找出当时采取的哪些行动方案是有效的。评估阶段分析过去相似态势有效的行动方案,推测当前态势可能的演化过程,并调整行动方案。
以上方式若遇到匹配结果不理想的情况,则采取构造故事的方式,即根据经验探索潜在的假设,再评估每个假设与实际发生情况的相符度。在RPD模型中对感知、理解和预测三要素的主要体现为:基于假设进行相关信息的收集(感知),特征匹配和故事构造(理解),假设驱动思维模拟与推测(预测)。
三、态势感知应用关键点
当前,单维度的网络安全防御技术手段,已经难以应对复杂的网络环境和大量存在的安全问题,对网络安全态势感知具体模型和技术的研究,已经成为2.0时代网络安全技术的焦点,同时很多机构也已经推出了网络安全态势感知产品和解决方案。
但是,目前市场上的的相关产品和解决方案,都相对偏重于网络安全态势的某一个或某几个方面的感知,网络安全态势感知的数据分析的深度和广度还需要进一步加强,同时网络安全态势感知与其它系统平台的联动不足,无法将态势感知与安全运营深入融合。
为此,太极信安认为网络安全态势感知平台的建设,应着重考虑以下几个方面的内容:
1、在数据采集方面,网络安全数据来源要尽可能的丰富,应该包括网络结构数据、网络服务数据、漏洞数据、脆弱性数据、威胁与入侵数据、用户异常行为数据等等,只有这样态势评估结果才能准确。
2、在态势评估方面,态势感评估要对多个层次、多个角度进行评估,能够评估网络的业务安全、数据安全、基础设施安全和整体安全状况,并且应该针对不同的应用背景和不同的网络规模选择不同的评估方法。
3、在态势感知流程方面,态势感知流程要规范,所采用的算法要简单,应该选择规范化的、易操作的评估模型和预测模型,能够做到实时准确的评估网络安全态势。
4、在态势预测方面,态势感知要能支持对不同的评估结果预测其发展趋势,预防大规模安全事件的发生。
5、在态势感知结果显示方面,态势感知能支持多种形式的可视化显示,支持与用户的交互,能根据不同的应用需求生成态势评测报表,并提供相应的改进措施。
四、总结
上述几种模型和应用关键点对网络安全态势感知来讲至关重要,将这些基本概念和关键点进行深入理解并付诸于实践,才能真正帮助决策者获得网络安全态势感知能力。
太极信安认为,建设网络安全态势感知平台,应以“业务+数据定义安全”战略为核心驱动,基于更广、更深的数据来源分析,以用户实际需求为出发点,从综合安全、业务安全、数据安全、信息基础设施安全等多个维度为用户提供全面的安全态势感知,在认知、理解、预测的基础上,真正帮助用户实现看见业务、看懂威胁、看透风险、辅助决策。
摘自 CSDN 道法一自然
Ⅱ 智慧城市基石有哪些
智慧城市基石有:数据安全,SaaS服务,区域威胁情报,工业互联网,物联网安全及AI安全,网络安全态势感知,智能安全运营中心。
1、数据安全
2020年4月9日,中共中央、国务院印发的《关于构建更加完善的要素市场化配置的体制机制的意见》中明确数据成为五大生产要素之一。数据安全不仅仅是保护数据,相反要利用安全的手段来开放数据促进经济发展,让大数据释放价值。
Ⅲ 态势感知技术盘点,安全态势感知与管控平台评测
众所周知,态势感知的“前世”是应用在军事领域的。而时至今日,态势感知却已然是网络安全的基本和基础性工作,是在实现安全态势“理解”和“预测”之前的重要阶段。
现阶段,为应对网络安全挑战,弥补传统防御手段的不足,大多企业都在逐步构建一套网络安全分析及管控平台,用以整合企业信息安全的事件响应、技术平台、管理流程,实现总部、分支范围内安全风险的集中监控、安全事件的集中处置、安全策略的合规检查以及安全态势的统一展示,将信息安全管理和技术进行有机结合,完善提升企业的的信息安全保障体系 。
本次我们挑选的产品是来自南京聚铭网络的安全态势感知与管控平台。据悉,该平台是由聚铭网络自主开发的基于大数据技术的安全态势感知与管控平台,可以统一采集各类结构化和非结构化的数据,包括各类设备、应用日志以及网络流量和各种脆弱性,通过实时分析、离线分析、关联分析、统计分析、机器学习、规则库、专家经验库以及强大的安全情报源碰撞进行多方位风险分析。
现在,就让我们具体操作体验下,一探究竟。
平台概览
首先,我们通过账号信息登录进入这款产品的界面。
我们可以看到,在这款产品的首页界面上左边是一个整体安全态势感知概览模块,然后是从南北向东西向三个方向的 威胁和风险访问的大屏展现,还有脆弱性、违规行为的态势展现大屏。中间还有一个动态3D的全球威胁态势感知,动态展现全球 的情况,画面看上去十分有科技感。
整体环顾下来,产品的界面给我们的感觉就是风格比较简约明了,内容上基本体现了安全的整体情况,画面上所罗列的功能也很全面,符合市场上各企业对于态感产品的需求,产品放在企业的安全监控大屏上将会有很好的视觉效果。整体环顾下来,产品的界面给我们的感觉就是风格比较简约明了,内容上基本体现了安全的整体情况,画面上所罗列的功能也很全面,符合市场上各企业对于态感产品的需求,产品放在企业的安全监控大屏上将会有很好的视觉效果。
数据采集
首先我们来看下数据采集情况,目前我们的采集数据量大概每秒有近6000条数据,算下来一天就会有5亿条的数据量,还是挺恐怖的。从界面操作查询来看,感觉也非常流畅,没有感觉到卡顿不适的现象,这个在做溯源查询的时候就会非常方便了。另外,这个产品采集数据的兼容能力也是比较亮眼,能支持近500种类型第三方设备日志的接入和处理,这点相当不错。
现在我们可以看到采集的数据都在这里,看起来的确如同之前对厂家的了解一样,他们这款态感产品的数据采集能力相对其他平台而言,在采集的广度和深度上更为全面一些,一般我们接触的此类产品主要是通过流量维度来进行分析,很少有能有同时内置流量、日志、漏洞扫描和配置合规检测能力的,这一点确实是在我们接触的同类产品中很少见,值得夸赞一番,说明这家厂商至少在态势感知这一块考虑的点是相当全面的。
接下来我们就看看,对于采集到的这么多类型的数据,这款态感产品又分析的怎么样,能不能实现精准的分析呢?
风险分析
从失陷分析维度的场景来看,通过查看分析的过程和数据情况,对服务器日志、安全设备日志、流量分析等数据综合分析的结果,展现了设备整个安全生命周期的过程,另外也从漏扫维度佐证了此问题的发现。
我们可以看到,产品呈现的分析的结果还是比较准确全面的,充分利用了现有安全建设的资源,又结合了产品本身的分析能力和威胁情报能力,较全面展现了企业和设备风险情况。从这一点看来,这款由聚铭网络厂商打造的态感产品,是完全可以符合企业态势感知建设需求的。
今天,我们对于这款态感产品的测试也就先到这里,除了采集和分析能力外,其他的合规审计、基线检查等功能就不再一一介绍。
总结
总体上来讲,这款态势感知与管控平台是完全可以满足企业对于态感平台建设的基本需求的。这款态感产品能完成网络安全分析及管控平台框架的搭建,对总部、分支、专业安全系统重要数据进行接入,实现总部-分支范围内安全风险的集中监控、安全事件的集中处置、安全态势的统一展示,而且不用再做任何额外的开发。
值得一提的是,根据我们对厂商的侧面了解,他们使用的是“腾讯+聚铭”的双情报库模式,在各类威胁检测方面非常全面精准,这一点也在我们本次评测中和其他同类产品对比测试中也得到了验证。
另外,不足的地方可能就是在产品界面操作上引导性还有改进空间,产品经理请拿小本本记下来。
综合而言,这款产品无论是在日志、流量等数据采集方面的广度和深度,还是分析能力以及和情报库的结合等方面的核心能力上,在我们以往测评产品中都可以算是相当突出的。
以上就是本次评测的所有内容,仅供业界同仁参考,今天的内容就到这里,更多安全产品体验我们后期再见。
Ⅳ 什么是网络安全态势感知
在大规模网络环境中,对能够引起网络态势发生变化的安全要素进行获取、理解、显示并据此预测未来的网络安全发展趋势。简而言之就是根据网络安全数据,预测未来网络安全的趋势。
Ⅳ 网络安全态势感知做的好的有哪几家
目前国内厂商做网络安全态势感知比较大而全的有这么几家深信服、天融信、奇安信、启明星辰;但是态势感知这个产品重点在于交付层面而非标准版产品所能解决的(标准版无法解决用户的各种细节要求,风险探针各家的又不兼容)。所以综合还是要看各个厂商在当地的服务能力。
Ⅵ 网络安全态势感知平台总体功能除了平台安全功能及平台接口,还有哪些
网络安全态势感知平台是一个用于实时监控、分析和预警网络安全威胁的综合性系统。除了平台安全功能和平台接口,网络安全态势感知平台还包括以下总体功能:
数据采集与整合:平台需要从各种来源收集大量网络安全数据,包括但不限于网络流量、系统日志、威胁情报、漏洞信息等。数据采集模块负责实时监控这些数据源,并将数据整合到统一的数据存储中心。
数据分析与处理:平台需要对收集到的数据进行深入分析,以识别潜在的安全威胁和漏洞。分析模块通常包括基于规则的引擎、机器学习算法、沙箱技术等,以识别恶意行为、异常流量或未知威胁。
威胁评估与情报共享:平台需要评估识别到的威胁的等级和影响,以便优先处理。此外,平台还需要将威胁情报与其他安全组织共享,以提高整个行业的安全防护能力。
可视化与报表:平台需要提供可视化工具和报表功能,以便用户直观地了解网络安全状况。可视化模块可以包括实时态势地图、统计图表、仪表板等,方便用户查看和分析安全事件。
预警与响应:平台需要实时旦携监控安全事件,对高风险威胁进行预警,并提供自动化或人工响应措施。响应模块可以包括生成告警信息、阻断恶意流量、隔离受影响系统等功能。
合规与审计:平台需要提供合规和审计功能,以确保企业遵守相关的法规和政策。审计模块可以包括日志管理、配置审查、合规报告等,帮助企业满足监管要求。
系统管理与维护:平台需要具备系统管理和模薯伏维护功能,以确保平台的稳定运行。管理模块可以包括用户权手岩限管理、系统配置、软件更新、故障排查等功能。
这些功能共同支持网络安全态势感知平台的有效运行,帮助企业及时发现并应对网络安全威胁。
Ⅶ 人工智能在网络安全领域的应用有哪些
近年来,在网络安全防御中出现了多智能体系统、神经网络、专家系统、机器学习等人工智能技术。一般来说,AI主要应用于网络安全入侵检测、恶意软件检测、态势分析等领域。
1、人工智能在网络安全领域的应用——在网络入侵检测中。
入侵检测技术利用各种手段收集、过滤、处理网络异常流量等数据,并为用户自动生成安全报告,如DDoS检测、僵尸网络检测等。目前,神经网络、分布式代理系统和专家系统都是重要的人工智能入侵检测技术。2016年4月,麻省理工学院计算机科学与人工智能实验室(CSAIL)与人工智能初创企业PatternEx联合开发了基于人工智能的网络安全平台AI2。通过分析挖掘360亿条安全相关数据,AI2能够准确预测、检测和防范85%的网络攻击。其他专注于该领域的初创企业包括Vectra Networks、DarkTrace、Exabeam、CyberX和BluVector。
2、人工智能在网络安全领域的应用——预测恶意软件防御。
预测恶意软件防御使用机器学习和统计模型来发现恶意软件家族的特征,预测进化方向,并提前防御。目前,随着恶意病毒的增多和勒索软件的突然出现,企业对恶意软件的保护需求日益迫切,市场上出现了大量应用人工智能技术的产品和系统。2016年9月,安全公司SparkCognition推出了DeepArmor,这是一款由人工智能驱动的“Cognition”杀毒系统,可以准确地检测和删除恶意文件,保护网络免受未知的网络安全威胁。在2017年2月举行的RSA2017大会上,国内外专家就人工智能在下一代防病毒领域的应用进行了热烈讨论。预测恶意软件防御的公司包括SparkCognition、Cylance、Deep Instinct和Invincea。
3、人工智能在网络安全领域的应用——在动态感知网络安全方面。
网络安全态势感知技术利用数据融合、数据挖掘、智能分析和可视化技术,直观地显示和预测网络安全态势,为网络安全预警和防护提供保障,在不断自我学习的过程中提高系统的防御水平。美国公司Invincea开发了基于人工智能的旗舰产品X,以检测未知的威胁,而英国公司Darktrace开发了一种企业安全免疫系统。国内伟达安防展示了自主研发的“智能动态防御”技术,以及“人工智能”与“动态防御”六大“魔法”系列产品的整合。其他参与此类研究的初创企业包括LogRhythm、SecBI、Avata Intelligence等。
此外,人工智能应用场景被广泛应用于网络安全运行管理、网络系统安全风险自评估、物联网安全问题等方面。一些公司正在使用人工智能技术来应对物联网安全挑战,包括CyberX、network security、PFP、Dojo-Labs等。
以上就是《人工智能在网络安全领域的应用是什么?这个领域才是最关键的》,近年来,在网络安全防御中出现了多智能体系统、神经网络、专家系统、机器学习等人工智能技术,如果你想知道更多的人工智能安全的发展,可以点击本站其他文章进行学习。
Ⅷ 计算机科学与技术学术研究方向
(一)计算机视觉与智能认知。本研究方向的主要研究领域乱纳包括计算机视觉系统、目标跟踪与检测、人类行为识别、图像处理技术。在视频监控、智能机器人、人类行为分析与扰伍识别、车载视频等视觉系统所涉及的模式识别,分形小波自适应图像去噪、图像增强,目标跟踪与检测、单/多智能体 行为识别,系统协同控制和智能算法及聚类算法等方面开展深入研究。就 业的行业和方向非常广泛,包括目标追踪、人脸识别、视频分析、图像识 别、人机交互、图像识别、遥感3D建模、医疗图像、机器视觉等。
(三)复杂系统结构与理论。本研究方向的主要研究领域,包括复杂系统分析与建模、复杂系统优化与控制、复杂网络理论与应用。在复杂网络的建模与网络传播,网络挖掘及应用,无线传感器网络的建模与控制,交通流建模与仿真中的应用等方面开展深入研究。就业的行业和方向非常广泛,包括方向社交网络、互联网、智能交通、生物信息、化学信息等。
(四)网络与信息安全。本研究方向的主要研究领域包括网络攻防建模、入侵检测与控制、网络行为分析、风险评估、网络安全态势感知、数据安全以及数据容灾等。结合人工智能、区块链、大数据等技术,针对物联网、云计算等领域,开展下一代互联网络、语义网络与网络服务、容迟网络、网络安全、安全协议、内容安全等方面的研究。本方向的学生毕业后,可在政府机关、国家安全部门、银行、金融、证券、通信领域从事各类信息安全系统、计算机安全系统的研究、设计、开发和管理工作。
Ⅸ 态势感知,懂的人不用解释,现在对于态势感知更多的是信息网络的安全态势感知,
大数据时代,除在信息网络的安全方面外,在无人机、无人驾驶、气象分析、军事、交通轨道等等方面,态势感知的应用研究日益广泛和必要!
一般来说,态势感知在大规模系统环境中,对能够引起系统状态发生变化的安全要素进行获取、理解、显示以及预测未来的发展趋势。联合作战、网络中心战的提出,推动了态势感知的产生和不断发展,作为实现态势感知的重要平台和物质基础,态势图对数据和信息复杂的需求和特性构成了突出的大数据问题.从大数据的高度思考,解决态势感知面临的信息处理难题,是研究联合作战态势感知的重要方法.通过分析联合作战态势感知的数据类型、结构和特点,得出态势感知面临着大数据挑战的结论.初步探讨了可能需要解决的问题和前沿信息技术的应用需求,最后对关键数据和信息处理技术进行了研究.该研究对于“大数据”在军事信息处理和数据化决策等领域的研究具有重要探索价值。
相关参考(摘录网上):
1 引言
随着计算机和通信技术的迅速发展, 计算机网络的应用越来越广泛, 其规模越来越庞大, 多层面的网络安全威胁和安全风险也在不断增加, 网络病毒、 Dos/DDos攻击等构成的威胁和损失越来越大, 网络攻击行为向着分布化、 规模化、 复杂化等趋势发展, 仅仅依靠防火墙、 入侵检测、 防病毒、 访问控制等单一的网络安全防护技术, 已不能满足网络安全的需求, 迫切需要新的技术, 及时发现网络中的异常事件, 实时掌握网络安全状况, 将之前很多时候亡羊补牢的事中、 事后处理,转向事前自动评估预测, 降低网络安全风险, 提高网络安全防护能力。
网络安全态势感知技术能够综合各方面的安全因素, 从整体上动态反映网络安全状况, 并对网络安全的发展趋势进行预测和预警。 大数据技术特有的海量存储、 并行计算、 高效查询等特点, 为大规模网络安全态势感知技术的突破创造了机遇, 借助大数据分析, 对成千上万的网络日志等信息进行自动分析处理与深度挖掘, 对网络的安全状态进行分析评价, 感知网络中的异常事件与整体安全态势。
2 网络安全态势相关概念
2.1 网络态势感知
态势感知(Situation Awareness, SA) 的概念是1988年Endsley提出的, 态势感知是在一定时间和空间内对环境因素的获取, 理解和对未来短期的预测。 整个态势感知过程可由图1所示的三级模型直观地表示出来。
所谓网络态势是指由各种网络设备运行状况、 网络行为以及用户行为等因素所构成的整个网络当前状态和变化趋势。
网络态势感知(Cyberspace Situation Awareness,CSA) 是1999年Tim Bass首次提出的, 网络态势感知是在大规模网络环境中, 对能够引起网络态势发生变化的安全要素进行获取、 理解、 显示以及预测最近的发展趋势。
态势是一种状态、 一种趋势, 是整体和全局的概念, 任何单一的情况或状态都不能称之为态势。 因此对态势的理解特别强调环境性、 动态性和整体性, 环境性是指态势感知的应用环境是在一个较大的范围内具有一定规模的网络; 动态性是态势随时间不断变化, 态势信息不仅包括过去和当前的状态, 还要对未来的趋势做出预测; 整体性是态势各实体间相互关系的体现,某些网络实体状态发生变化, 会影响到其他网络实体的状态, 进而影响整个网络的态势。
2.2 网络安全态势感知
网络安全态势感知就是利用数据融合、 数据挖掘、智能分析和可视化等技术, 直观显示网络环境的实时安全状况, 为网络安全提供保障。 借助网络安全态势感知, 网络监管人员可以及时了解网络的状态、 受攻击情况、 攻击来源以及哪些服务易受到攻击等情况, 对发起攻击的网络采取措施; 网络用户可以清楚地掌握所在网络的安全状态和趋势, 做好相应的防范准备, 避免和减少网络中病毒和恶意攻击带来的损失; 应急响应组织也可以从网 络安全态势中了解所服务网 络的安全状况和发展趋势, 为 制定有预见性的应急预案提供基础。
3 网络安全态势感知相关技术
对于大规模网络而言, 一方面网络节点众多、 分支复杂、 数据流量大, 存在多种异构网络环境和应用平台; 另一方面网络攻击技术和手段呈平台化、 集成化和自 动化的发展趋势, 网络攻击具有更强的隐蔽性和更长的潜伏时间, 网络威胁不断增多且造成的损失不断增大。 为了实时、 准确地显示整个网络安全态势状况, 检测出潜在、 恶意的攻击行为, 网络安全态势感知要在对网络资源进行要素采集的基础上, 通过数据预处理、 网络安全态势特征提取、 态势评估、 态势预测和态势展示等过程来完成, 这其中涉及许多相关的技术问题, 主要包括数据融合技术、 数据挖掘技术、 特征提取技术、 态势预测技术和可视化技术等。
3.1 数据融合技术
由于网络空间态势感知的数据来自众多的网络设备, 其数据格式、 数据内容、 数据质量千差万别, 存储形式各异, 表达的语义也不尽相同。 如果能够将这些使用不同途径、 来源于不同网络位置、 具有不同格式的数据进行预处理, 并在此基础上进行归一化融合操作,就可以为网络安全态势感知提供更为全面、 精准的数据源, 从而得到更为准确的网络态势。 数据融合技术是一个多级、 多层面的数据处理过程, 主要完成对来自网络中具有相似或不同特征模式的多源信息进行互补集成, 完成对数据的自动监测、 关联、 相关、 估计及组合等处理, 从而得到更为准确、 可靠的结论。 数据融合按信息抽象程度可分为从低到高的三个层次: 数据级融合、 特征级融合和决策级融合, 其中特征级融合和决策级融合在态势感知中具有较为广泛的应用。
3.2 数据挖掘技术
网络安全态势感知将采集的大量网络设备的数据经过数据融合处理后, 转化为格式统一的数据单元。这些数据单元数量庞大, 携带的信息众多, 有用信息与无用信息鱼龙混杂, 难以辨识。 要掌握相对准确、 实时的网络安全态势, 必须剔除干扰信息。 数据挖掘就是指从大量的数据中挖掘出有用的信息, 即从大量的、 不完全的、 有噪声的、 模糊的、 随机的实际应用数据中发现隐含的、 规律的、 事先未知的, 但又有潜在用处的并且最终可理解的信息和知识的非平凡过程( NontrivialProcess) [1 ]。 数据挖掘可分为描述性挖掘和预测性挖掘, 描述性挖掘用于刻画数据库中数据的一般特性; 预测性挖掘在当前数据上进行推断, 并加以预测。 数据挖掘方法主要有: 关联分析法、 序列模式分析法、 分类分析法和聚类分析法。 关联分析法用于挖掘数据之间的联系; 序列模式分析法侧重于分析数据间的因果关系;分类分析法通过对预先定义好的类建立分析模型, 对数据进行分类, 常用的模型有决策树模型、 贝叶斯分类模型、 神经网络模型等; 聚类分析不依赖预先定义好的类, 它的划分是未知的, 常用的方法有模糊聚类法、 动态聚类法、 基于密度的方法等。
3.3 特征提取技术
网络安全态势特征提取技术是通过一系列数学方法处理, 将大规模网络安全信息归并融合成一组或者几组在一定值域范围内的数值, 这些数值具有表现网络实时运行状况的一系列特征, 用以反映网络安全状况和受威胁程度等情况。 网络安全态势特征提取是网络安全态势评估和预测的基础, 对整个态势评估和预测有着重要的影响, 网络安全态势特征提取方法主要有层次分析法、 模糊层次分析法、 德尔菲法和综合分析法。
3.4 态势预测技术
网络安全态势预测就是根据网络运行状况发展变化的实际数据和历史资料, 运用科学的理论、 方法和各种经验、 判断、 知识去推测、 估计、 分析其在未来一定时期内可能的变化情况, 是网络安全态势感知的一个重要组成部分。 网络在不同时刻的安全态势彼此相关, 安全态势的变化有一定的内部规律, 这种规律可以预测网络在将来时刻的安全态势, 从而可以有预见性地进行安全策略的配置, 实现动态的网络安全管理, 预防大规模网络安全事件的发生。 网络安全态势预测方法主要有神经网络预测法、 时间序列预测法、 基于灰色理论预测法。
3.5 可视化技术
网络安全态势生成是依据大量数据的分析结果来显示当前状态和未来趋势, 而通过传统的文本或简单图形表示, 使得寻找有用、 关键的信息非常困难。 可视化技术是利用计算机图形学和图像处理技术, 将数据转换成图形或图像在屏幕上显示出来, 并进行交互处理的理论、 方法和技术。 它涉及计算机图形学、 图像处理、 计算机视觉、 计算机辅助设计等多个领域。 目前已有很多研究将可视化技术和可视化工具应用于态势感知领域, 在网络安全态势感知的每一个阶段都充分利用可视化方法, 将网络安全态势合并为连贯的网络安全态势图, 快速发现网络安全威胁, 直观把握网络安全状况。
4 基于多源日志的网络安全态势感知
随着网 络规模的 扩大以及网 络攻击复杂度的增加, 入侵检测、 防火墙、 防病毒、 安全审计等众多的安全设备在网络中得到广泛的应用, 虽然这些安全设备对网络安全发挥了一定的作用, 但存在着很大的局限,主要表现在: 一是各安全设备的海量报警和日志, 语义级别低, 冗余度高, 占用存储空间大, 且存在大量的误报, 导致真实报警信息被淹没。 二是各安全设备大多功能单一, 产生的报警信息格式各不相同, 难以进行综合分析整理, 无法实现信息共享和数据交互, 致使各安全设备的总体防护效能无法得以充分的发挥。 三是各安全设备的处理结果仅能单一体现网络某方面的运行状况, 难以提供全面直观的网络整体安全状况和趋势信息。 为了有效克服这些网络安全管理的局限, 我们提出了基于多源日志的网络安全态势感知。
4.1 基于多源日志的网络安全态势感知要素获取
基于多源日志的网络安全态势感知是对部署在网络中的多种安全设备提供的日志信息进行提取、 分析和处理, 实现对网络态势状况进行实时监控, 对潜在的、恶意的网络攻击行为进行识别和预警, 充分发挥各安全设备的整体效能, 提高网络安全管理能力。
基于多源日志的网络安全态势感知主要采集网络入口处防火墙日志、 入侵检测日志, 网络中关键主机日志以及主机漏洞信息, 通过融合分析这些来自不同设备的日志信息, 全面深刻地挖掘出真实有效的网络安全态势相关信息, 与仅基于单一日志源分析网络的安全态
势相比, 可以提高网络安全态势的全面性和准确性。
4.2 利用大数据进行多源日志分析处理
基于多源日志的网络安全态势感知采集了多种安全设备上以多样的检测方式和事件报告机制生成的海量数据, 而这些原始的日 志信息存在海量、 冗余和错误等缺陷, 不能作为态势感知的直接信息来源, 必须进行关联分析和数据融合等处理。 采用什么样的技术才能快速分析处理这些海量且格式多样的数据?
大数据的出现, 扩展了计算和存储资源, 大数据自身拥有的Variety支持多类型数据格式、 Volume大数据量存储、Velocity快速处理三大特征, 恰巧是基于多源日志的网络安全态势感知分析处理所需要的。 大数据的多类型数据格式, 可以使网络安全态势感知获取更多类型的日志数据, 包括网络与安全设备的日志、 网络运行情况信息、 业务与应用的日志记录等; 大数据的大数据量存储正是海量日志存储与处理所需要的; 大数据的快速处理为高速网络流量的深度安全分析提供了技术支持, 为高智能模型算法提供计算资源。 因此, 我们利用大数据所提供的基础平台和大数据量处理的技术支撑, 进行网络安全态势的分析处理。
关联分析。 网络中的防火墙日志和入侵检测日志都是对进入网络的安全事件的流量的刻画, 针对某一个可能的攻击事件, 会产生大量的日志和相关报警记录,这些记录存在着很多的冗余和关联, 因此首先要对得到的原始日志进行单源上的关联分析, 把海量的原始日志转换为直观的、 能够为人所理解的、 可能对网络造成危害的安全事件。 基于多源日志的网络安全态势感知采用基于相似度的报警关联, 可以较好地控制关联后的报警数量, 有利于减少复杂度。 其处理过程是: 首先提取报警日志中的主要属性, 形成原始报警; 再通过重复报警聚合, 生成聚合报警; 对聚合报警的各个属性定义相似度的计算方法, 并分配权重; 计算两个聚合报警的相似度, 通过与相似度阀值的比较, 来决定是否对聚合报警进行超报警; 最终输出属于同一类报警的地址范围和报警信息, 生成安全事件。
融合分析。 多源日志存在冗余性、 互补性等特点,态势感知借助数据融合技术, 能够使得多个数据源之间取长补短, 从而为感知过程提供保障, 以便更准确地生成安全态势。 经过单源日志报警关联过程, 分别得到各自的安全事件。 而对于来自防火墙和入侵检测日志的的多源安全事件, 采用D-S证据理论(由Dempster于1967年提出, 后由Shafer于1976年加以推广和发展而得名) 方法进行融合判别, 对安全事件的可信度进行评估, 进一步提高准确率, 减少误报。 D-S证据理论应用到安全事件融合的基本思路: 首先研究一种切实可行的初始信任分配方法, 对防火墙和入侵检测分配信息度函数; 然后通过D-S的合成规则, 得到融合之后的安全事件的可信度。
态势要素分析。 通过对网络入口处安全设备日 志的安全分析, 得到的只是进入目 标网络的可能的攻击信息, 而真正对网络安全状况产生决定性影响的安全事件, 则需要通过综合分析攻击知识库和具体的网络环境进行最终确认。 主要分为三个步骤: 一是通过对大量网络攻击实例的研究, 得到可用的攻击知识库, 主要包括各种网络攻击的原理、 特点, 以及它们的作用环境等; 二是分析关键主机上存在的系统漏洞和承载的服务的可能漏洞, 建立当前网络环境的漏洞知识库, 分析当前网络环境的拓扑结构、 性能指标等, 得到网络环境知识库; 三是通过漏洞知识库来确认安全事件的有效性, 也即对当前网络产生影响的网络攻击事件。 在网络安全事件生成和攻击事件确认的过程中, 提取出用于对整个网络安全态势进行评估的态势要素, 主要包括整个网络面临的安全威胁、 分支网络面临的安全威胁、 主机受到的安全威胁以及这些威胁的程度等。
5 结语
为了解决日益严重的网络安全威胁和挑战, 将态势感知技术应用于网络安全中, 不仅能够全面掌握当前网络安全状态, 还可以预测未来网络安全趋势。 本文在介绍网络安全态势相关概念和技术的基础上, 对基于多源日志的网络安全态势感知进行了探讨, 着重对基于多源日志的网络安全态势感知要素获取, 以及利用大数据进行多源日志的关联分析、 融合分析和态势要素分析等内容进行了研究, 对于态势评估、 态势预测和态势展示等相关内容, 还有待于进一步探讨和研究。
Ⅹ 基于隐马尔可夫模型的网络安全态势预测方法
论文:文志诚,陈志刚.基于隐马尔可夫模型的网络安全态势预测方法[J].中南大学学报(自然科学版),2015,46(10):3689-3695.
摘要
为了给网络管理员制定决策和防御措施提供可靠的依据,通过考察网络安全态势变化特点,提出构建隐马 尔可夫预测模型。利用时间序列分析方法刻画不同时刻安全态势的前后依赖关系,当安全态势处于亚状态或偏离 正常状态时,采用安全态势预测机制,分析其变化规律,预测系统的安全态势变化趋势。最后利用仿真数据,对 所提出的网络安全态势预测算法进行验证。访真结果验证了该方法的正确性。
隐马尔可夫模型(Hidden Markov Model,HMM)是统计模型,其难点是从可观察的参数中确定该过程的隐含参数。隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测而产生观测随机序列的过程。如果要利用隐马尔可夫模型,模型的状态集合和观测集合应该事先给出。
举个例子:有个孩子叫小明,小明每天早起上学晚上放学。假设小明在学校里的状态有三种,分别是丢钱了,捡钱了,和没丢没捡钱,我们记作{q0,q1,q2}。
那么对于如何确定他的丢钱状态?如果小明丢钱了,那他今天应该心情不好,如果捡钱了,他回来肯定心情好,如果没丢没捡,那他肯定心情平淡。我们将他的心情状态记作{v0,v1v2}。我们这里观测了小明一周的心情状态,心情状态序列是{v0,v0,v1,v1,v2,v0,v1}。那么小明这一周的丢捡钱状态是什么呢?这里引入隐马尔科夫模型。
隐马尔科夫模型的形式定义如下:
一个HMM模型可以由状态转移矩阵A、观测概率矩阵B、以及初始状态概率π确定,因此一个HMM模型可以表示为λ(A,B,π)。
利用隐马尔可夫模型时,通常涉及三个问题,分别是:
后面的计算啥的和马尔科夫差不多我就不写了。。。。。。
2.1网络安全态势
在网络态势方面,国内外相关研究多见于军事战 场的态势获取,网络安全领域的态势获取研究尚处于 起步阶段,还未有普遍认可的解决方法。张海霞等[9] 提出了一种计算综合威胁值的网络安全分级量化方 法。该方法生成的态势值满足越危险的网络实体,威 胁值越高。本文定义网络安全态势由网络基础运行性 (runnability)、网络脆弱性(vulnerability)和网络威胁性 (threat)三维组成,从 3 个不同的维度(或称作分量)以 直观的形式向用户展示整个网络当前安全态势 SA=( runnability, vulnerability, threat)。每个维度可通过 网络安全态势感知,从网络上各运行组件经信息融合 而得到量化分级。为了方便计算实验与降低复杂度, 本文中,安全态势每个维度取“高、中、差”或“1,2, 3”共 3 个等级取值。本文主要进行网络安全态势预测
2.2构建预测模型
隐马尔可夫模型易解决一类对于给定的观测符号序列,预测新的观测符号序列出现概率的基本问题。 隐马尔可夫模型是一个关于可观测变量O与隐藏变量 S 之间关系的随机过程,与安全态势系统的内部状态 (隐状态)及外部状态(可观测状态)相比,具有很大的相 似性,因此,利用隐马尔可夫模型能很好地分析网络 安全态势问题。本文利用隐马尔可夫的时间序列分析 方法刻画不同时刻安全态势的前后依赖关系。
已知 T 时刻网络安全态势,预测 T+1,T+2,⋯, T+n 时刻可能的网络安全态势。以网络安全态势的网络基础运行性(runnability)、网络脆弱性(vulnerability) 和网络威胁性(threat)三维组成隐马尔可夫模型的外在表现特征,即可观测状态或外部状态,它们分别具有 “高、中、差” 或“1, 2,3”取值,则安全态势共有 33=27 种外部组合状态。模型的内部状态(隐状态)为安全态 势 SA的“高、中高、中、中差、差”取值。注意:在本 文中外部特征的 3 个维度,每个维度三等取值,而内部 状态 SA为五等取值。模型示例如图 1 所示。
网络安全态势SA一般以某个概率aij在“高、中高、 中、中差、差”这 5 个状态之间相互转换,从一个状态 向另一个状态迁移,这些状态称为内部状态或隐状态, 外界无法监测到。然而,可以通过监测工具监测到安 全态势外在的表现特征,如网络基础运行性 (runnability)、网络脆弱性(vulnerability)和网络威胁性 (threat)三维。监测到的这些参数值组合一个整体可以 认为是一个可观测状态(外部状态,此观测状态由 L 个 分量构成,是 1 个向量)。图 1 中,设状态 1 为安全态 势“高”状态,状态 5 为安全态势“差”状态。在实际应 用中,根据具体情况可自行设定,本文取安全态势每 维外在表现特征 L=3,则有 27 种安全态势可观测外部 状态,而其内部状态(隐状态)N 共为 5 种。
定义 1: 设网络安全态势 SA内部隐状态可表示为S1,S2,⋯,S5,则网络安全态势将在这 5 个隐状态之 间以某个概率 aij自由转移,其中 0≤aij≤1。
定义 2: 网络安全态势 SA外在表现特征可用 L 个 随机变量 xi(1≤i≤L, 本处 L=3)表示,令 v=(x1, x2,⋯, xL)构成 1 个 L 维随机变量 v;在时刻 I,1 次具体观测 oi的观测值表示为 vi,则经过 T 个时刻对 v 观测得到 1 个安全态势状态观测序列 O={o1,o2,⋯,oT}。
本文基本思路是:建立相应的隐马尔可夫模型, 收集内、外部状态总数训练隐马尔可夫模型;当网络安全态势异常时,通过监测器收集网络外在表现特征数据,利用已训练好 HMM 的模型对网络安全态势进行预测,为管理员提供决策服务。
基本步骤如下:首先,按引理 1 赋 给隐马尔可夫模型 λ=(π,A,B)这 3 个参数的先验值; 其次,按照一定规则随机采集样本训练 HMM 模型直 至收敛,获得 3 个参数的近似值;最后,由一组网络 安全态势样本观测序列预测下一阶段态势。
本实验采集一组 10 个观测样本数据为:
<高、高、 高>,<高、高、高>,<高、中、高>,
<高、中、中>, <中、中、中>,<中、中、中>,
<中、中、高>,<中、 高、高>,<高、高、高>和<高、高、高>。
输入到隐马尔可夫模型中,经解码为安全态势隐状态: “高、高、 中高、中高、中、中、中高、中高、高、高”。最后 1 个隐状态 qT=“高”。由于 a11=0.682 6(上一次为高,下一次为高的状态转移概率),在所有的隐状态 转移概率中为最高,所以,在 T+1 时刻的安全态势 SA 为 qT+1=“高”。网络安全态势预测对比图如图 4 所示, 其中,纵轴表示安全态势等级,“5”表示“高”,“0”表 示“低”;横轴表示时间,在采样序号 10 时,安全态势 为高,经预测下一个时刻 11 时,安全态势应该为高, 可信度达 68.26%。通过本实验,依据训练好的隐马尔 可夫预测模式可方便地预测下一时刻的网络安全态势 发展趋势。从图 4 可明显看出本文的 HMM 方法可信 度比贝叶斯预测方法的高。