Ⅰ 大数据与大规模网络安全感知技术初探
大数据与大规模网络安全感知技术初探
快速发展的互联网技术不断地改变人们的生活方式，然而，多层面的安全威胁和安全风险也不断出现。对于一个大型网络，在网络安全层面，除了访问控制、入侵检测、身份识别等基础技术手段，需要安全运维和管理人员能够及时感知网络中的异常事件与整体安全态势。对于安全运维人员来说，如何从成千上万的安全事件和日志中找到最有价值、最需要处理和解决的安全问题，从而保障网络的安全状态，是他们最关心也是最需要解决的问题。与此同时，对于安全管理者和高层管理者而言，如何描述当前网络安全的整体状况，如何预测和判断风险发展的趋势，如何指导下一步安全建设与规划，则是一道持久的难题。
随着大数据技术的成熟、应用与推广，网络安全态势感知技术有了新的发展方向，大数据技术特有的海量存储、并行计算、高效查询等特点，为大规模网络安全态势感知的关键技术创造了突破的机遇。本文将对大规模网络环境下的安全态势感知、大数据技术在安全感知方面的促进做一些探讨。
对于一个大规模的网络而言，面临的风险也是巨大的，可分为广度风险和深度风险。从广度上讲，以中国移动的CMNET网络为例，所辖IP地址超过3000万个，提供对外服务的网站数千个，规模大、节点类型丰富多样，伴随其中的安全问题随网络节点数量的增加呈指数级上升。从深度上讲，下一代移动互联网安全威胁主要表现在传统攻击依然存在且手段多样、APT（高级持续性威胁）攻击逐渐增多且造成的损失不断增大。而攻击者的工具和手段呈现平台化、集成化和自动化的特点，具有更强的隐蔽性、更长的攻击与潜伏时间、更加明确和特定的攻击目标。以上造成了下一代安全威胁具有更强的杀伤能力与逃避能力。结合广度风险与深度风险来看，大规模网络所引发的安全保障的复杂度激增，主要面临的问题包括：安全数据量巨大；安全事件被割裂，从而难以感知；安全的整体状况无法描述。
网络安全感知能力具体可分为资产感知、脆弱性感知、安全事件感知和异常行为感知4个方面。资产感知是指自动化快速发现和收集大规模网络资产的分布情况、更新情况、属性等信息；脆弱性感知则包括3个层面的脆弱性感知能力：不可见、可见、可利用；安全事件感知是指能够确定安全事件发生的时间、地点、人物、起因、经过和结果；异常行为感知是指通过异常行为判定风险，以弥补对不可见脆弱性、未知安全事件发现的不足，主要面向的是感知未知的攻击。
一个相对完整的网络安全感知的能力模型与架构设计如下图所示：
随着Hadoop、NoSQL等技术的兴起，BigData大数据的应用逐渐增多和成熟，而大数据自身拥有Velocity快速处理、Volume大数据量存储、Variety支持多类数据格式三大特性。大数据的这些天生特性，恰巧可以用于大规模网络的安全感知。首先，多类数据格式可以使网络安全感知获取更多类型的日志数据，包括网络与安全设备的日志、网络运行情况信息、业务与应用的日志记录等；其次，大数据量存储与快速处理为高速网络流量的深度安全分析提供了技术支持，可以为高智能模型算法提供计算资源；最后，在异常行为的识别过程中，核心是对正常业务行为与异常攻击行为之间的未识别行为进行离群度分析，大数据使得在分析过程中采用更小的匹配颗粒与更长的匹配时间成为可能。
中国移动自2010年起在云计算和大数据方面就开始了积极探索。中国移动的“大云”系统目前已实现了分布式海量数据仓库、分布式计算框架、云存储系统、弹性计算系统、并行数据挖掘工具等关键功能。在“大云”系统的基础上，中国移动的网络安全感知也具备了一定的技术积累，进行了大规模网络安全感知和防御体系的技术研究，在利用云平台进行脆弱性发现方面的智能型任务调度算法、主机和网络异常行为发现模式等关键技术上均有突破，在安全运维中取得了一些显着的效果。
大数据的出现，扩展了计算和存储资源，提供了基础平台和大数据量处理的技术支撑，为安全态势的分析、预测创造了无限可能。
Ⅱ 大数据时代的信息安全和未来展望
大数据时代的信息安全和未来展望
随着高级可持续性攻击的出现以及恶意软件的复杂性与日俱增，企业急需一种突破传统信息安全保障模式的、灵活的技术和方案来应对未来不断变化的安全威胁。大数据彻底的改变了信息安全行业，基于大数据分析的智能驱动型安全战略将帮助信息安全从业人员重获警惕性和时间的优势，以使他们更好地检测和防御高级网络威胁。
大数据时代信息安全面临挑战
在大数据时代，无处不在的智能终端、随时在线的网络传输、互动频繁的社交网络使得互联网时时刻刻都在产生着海量的数据。随着产生、存储、分析的数据量越来越大，在这些海量数据背后隐藏着大量的经济与政治利益。大数据如同一把双刃剑，在我们享受大数据分析带来的精准信息的同时，其所带来的安全问题也开始成为企业的隐患。
1、黑客更显着的攻击目标：在网络空间里，大数据是更容易被“发现”的大目标。一方面，大数据意味着海量的数据，也意味着更复杂、更敏感的数据，这些数据会吸引更多的潜在攻击者。另一方面，数据的大量汇集，使得黑客成功攻击一次就能获得更多数据，无形中降低了黑客的攻击成本，增加了其“收益率”。
2、隐私泄露风险增加：大量数据的汇集不可避免地加大了用户隐私泄露的风险。一方面，数据集中存储增加了泄露风险，而这些数据不被滥用，也成为人身安全的一部分。另一方面，一些敏感数据的所有权和使用权并没有明确界定，很多基于大数据的分析都未考虑到其中涉及的个体隐私问题。
3、威胁现有的存储和防护措施：大数据存储带来新的安全问题。数据大集中的后果是复杂多样的数据存储在一起，很可能会出现将某些生产数据放在经营数据存储位置的情况，致使企业安全管理不合规。大数据的大小也影响到安全控制措施能否正确运行。安全防护手段的更新升级速度无法跟上数据量非线性增长的步伐，就会暴露大数据安全防护的漏洞。
4、大数据技术成为黑客的攻击手段：在企业用数据挖掘和数据分析等大数据技术获取商业价值的同时，黑客也在利用这些大数据技术向企业发起攻击。黑客会最大限度地收集更多有用信息，比如社交网络、邮件、微博、电子商务、电话和家庭住址等信息，大数据分析使黑客的攻击更加精准。此外，大数据也为黑客发起攻击提供了更多机会。黑客利用大数据发起僵尸网络攻击，可能会同时控制上百万台傀儡机并发起攻击。
5、成为高级可持续攻击的载体：传统的检测是基于单个时间点进行的基于威胁特征的实时匹配检测，而高级可持续攻击（APT）是一个实施过程，无法被实时检测。此外，由于大数据的价值低密度特性，使得安全分析工具很难聚焦在价值点上，黑客可以将攻击隐藏在大数据中，给安全服务提供商的分析制造很大困难。黑客设置的任何一个会误导安全厂商目标信息提取和检索的攻击，都会导致安全监测偏离应有方向。
6、信息安全产业面临变革：大数据的到来也为信息安全产业的发展带来了新的契机，还没有意识到这场变革的安全厂商将在这场变革大潮中被抛弃。大数据正在为安全分析提供新的可能性，在未来的安全架构体系中，通过大数据智能分析有效的将原来分割的安全产品更好的融合起来，成为不同的安全智能节点，这将是在大数据时代安全产业需要研究突破的重点。
大数据安全未来趋势展望
据MacDonald预测，到2016年，40%的企业（银行、保险、医药和国防行业为主）将积极地对至少10TB数据进行分析，以找出潜在危险的活动。然而，供应商的产品格局却无法在短期内进行转变。现在，企业通常依赖于SIEM系统来关联和分析安全相关的数据，MacDonald表示目前的SIEM产品无法处理这么大的工作量，大多数SIEM产品提供接近实时数据，但只能处理规范化数据，还有些SIEM产品能够处理大量原始交易数据，但无法提供实时情报信息。
Gartner公司分析师表示，使用“大数据”来提高企业信息安全不完全是炒作，这在未来几年内这将成为现实。大数据将为安全团队带来新的工作方式，通过了解大数据的优势、制定切合实际的目标以及利用现有安全技术的优势，安全管理人员将会发现他们在大数据进行的投资是值得的。
RSA大中国区总经理胡军表示，“大数据将带动安全行业方向性的改变，安全与数据互相影响，未来共同促进发展。现今的安全需要更全面和广泛的可视性，敏捷的分析，可采取行动的情报和可扩展的基础设施。”
我们可以看到，大数据安全已经成为不可阻挡的趋势。在未来，不论是从商业需求角度，还是产业技术角度，大数据安全都将成为业界关注的热点。而在这场大数据安全的盛宴中，也必然会出现新老更替、推陈出新，这一切就让我们拭目以待吧！
Ⅲ 大数据时代，如何保证网络安全
从两态则个方面说下这个安全问题:
1.数据泄露，这是最常见的安全问题。作为普通个人，需要注意如下几点:
（1）不要随意浏览赌博色情网站、注册账号、安装软件、甚至使用破解软件，其中很可能包含木马或者钓鱼程序，一定要清楚自己的操作会有什么后果，不清楚的情况下可以问问身边的朋友。
（2）保护好自己的密码，因为基本上每个网站或应用都需要账号密码，要记住很多密码确实很难，所帆中棚以很多人就记录在电脑中，没有任何保护，这也是比较危险的。简单点的防范措施就培坦是使用几个能记得住的密码，切记不要使用生日，过于简单的数字，很容易被猜出来。另外注意不要在来历不明的网站上注册账号，以免密码被偷窥。
（3）现在使用指纹、刷脸的应用很多，一定不要在不知名的应用上提交这些信息，免得身份被盗用。平时在社交媒体上分享时也要注意，不要暴露太多个人信息，比如家庭情况、孩子学校情况等，以免被别有用心的人利用。前段时间还有新闻报道从照片中成功提取指纹信息的案例，所以一定要注意尽量少分享隐私信息。
2.数据丢失或损坏，这也是一件很让人抓狂的事。电脑硬盘坏了，手机进水了，网站倒闭了，都有可能导致数据找不回来的情况发生。对于企业一般会把自己的核心数据存储多份，多个机房备份，甚至多个城市备份，很少发生数据找不回来的情况。对于个人，建议使用知名的云备份服务，将自己的数据在云端存储一份，当然也要注意设置好访问权限，避免数据泄露。
安全没有百分百，只能做到尽量安全。不仅是个人需要注意保护自己的信息，企业也有责任保护好自己用户的信息，政府也有责任监督企业做好信息安全。
Ⅳ 大数据环境下的网络安全分析
大数据环境下的网络安全分析
“大数据”一词常被误解。事实上，使用频率太高反而使它几乎没有什么意义了。大数据确实存储并处理大量的数据集合，但其特性体现远不止于此。
在着手解决大数据问题时，将其看作是一种观念而不是特定的规模或技术非常有益。就其最简单的表现来说，大数据现象由三个大趋势的交集所推动：包含宝贵信息的大量数据、廉价的计算资源、几乎免费的分析工具。
大数据架构和平台算是新事物，而且还在以一种非凡的速度不断发展着。商业和开源的开发团队几乎每月都在发布其平台的新功能。当今的大数据集群将会与将来我们看到的数据集群有极大不同。适应这种新困难的安全工具也将发生变化。在采用大数据的生命周期中，业界仍处于早期阶段，但公司越早开始应对大数据的安全问题，任务就越容易。如果安全成为大数据集群发展过程中的一种重要需求，集群就不容易被黑客破坏。此外，公司也能够避免把不成熟的安全功能放在关键的生产环境中。
如今，有很多特别重视不同数据类型（例如，地理位置数据）的大数据管理系统。这些系统使用多种不同的查询模式、不同的数据存储模式、不同的任务管理和协调、不同的资源管理工具。虽然大数据常被描述为“反关系型”的，但这个概念还无法抓住大数据的本质。为了避免性能问题，大数据确实抛弃了许多关系型数据库的核心功能，却也没犯什么错误：有些大数据环境提供关系型结构、业务连续性和结构化查询处理。
由于传统的定义无法抓住大数据的本质，我们不妨根据组成大数据环境的关键要素思考一下大数据。这些关键要素使用了许多分布式的数据存储和管理节点。这些要素存储多个数据副本，在多个节点之间将数据变成“碎片”。这意味着在单一节点发生故障时，数据查询将会转向处理资源可用的数据。正是这种能够彼此协作的分布式数据节点集群，可以解决数据管理和数据查询问题，才使得大数据如此不同。
节点的松散联系带来了许多性能优势，但也带来了独特的安全挑战。大数据数据库并不使用集中化的“围墙花园”模式（与“完全开放”的互联网相对而言，它指的是一个控制用户对网页内容或相关服务进行访问的环境），内部的数据库并不隐藏自己而使其它应用程序无法访问。在这儿没有“内部的”概念，而大数据并不依赖数据访问的集中点。大数据将其架构暴露给使用它的应用程序，而客户端在操作过程中与许多不同的节点进行通信。
规模、实时性和分布式处理：大数据的本质特征（使大数据解决超过以前数据管理系统的数据管理和处理需求，例如，在容量、实时性、分布式架构和并行处理等方面）使得保障这些系统的安全更为困难。大数据集群具有开放性和自我组织性，并可以使用户与多个数据节点同时通信。验证哪些数据节点和哪些客户应当访问信息是很困难的。别忘了，大数据的本质属性意味着新节点自动连接到集群中，共享数据和查询结果，解决客户任务。
嵌入式安全：在涉及大数据的疯狂竞赛中，大部分的开发资源都用于改善大数据的可升级、易用性和分析功能上。只有很少的功能用于增加安全功能。但是，你希望得到嵌入到大数据平台中的安全功能。你希望开发人员在设计和部署阶段能够支持所需要的功能。你希望安全功能就像大数据集群一样可升级、高性能、自组织。问题是，开源系统或多数商业系统一般都不包括安全产品。而且许多安全产品无法嵌入到Hadoop或其它的非关系型数据库中。多数系统提供最少的安全功能，但不足以包括所有的常见威胁。在很大程度上，你需要自己构建安全策略。
应用程序：面向大数据集群的大多数应用都是Web应用。它们利用基于Web的技术和无状态的基于REST的API。虽然全面讨论大数据安全的这个问题超出了本文的范围，但基于Web的应用程序和API给这些大数据集群带来了一种最重大的威胁。在遭受攻击或破坏后，它们可以提供对大数据集群中所存储数据的无限制访问。应用程序安全、用户访问管理及授权控制非常重要，与重点保障大数据集群安全的安全措施一样都不可或缺。
数据安全：存储在大数据集群中的数据基本上都保存在文件中。每一个客户端应用都可以维持其自己的包含数据的设计，但这种数据是存储在大量节点上的。存储在集群中的数据易于遭受正常文件容易感染的所有威胁，因而需要对这些文件进行保护，避免遭受非法的查看和复制。
Ⅳ 大数据时代下网络安全的重要性
随着互联网的飞速发展，出现了海量的数据信息，人类 社会 也逐步迈进了大数据时代。大数据时代可以为人们带来更多的关于时代发展的实时信息，使人类的思想能够跟上时代发展的脚步，为人们之启州间的交流与沟通带来便利。即使大数据时代互联网技术自身拥有诸多的优点，但是在应用过程中依然存在很多的网络信息安全风险，这将会导致信息数据不真实，同时又会对人们使用信息的时效性造成不良影响。所以，在大数据时代，我们应该更加重视网络信息的安全性，依托科学合理的网络信息安全管理方案来防止网络安全问题的发生，从而加快中亏蚂国现代化信息建设的脚步。
大数据时代网络存在的安全问 题
由于网络具有较强的开放性特质，能够实现跨越时空的交流与互动，但于此同时，也容易遭受不同空间与主题的入侵和攻击，这就会导致数据信息发生泄露，继而造成严重的网络安全问题。其次就是人为操作失误，由于网民在上网过程中没有清晰的安全意识，容易下载并点击危险的软件和网站，导致手机或电脑遭受病毒的袭击，进而丢失私人信息、账户信息等。再次就是网络黑客问题，黑客能够通过窃取网络信息或网络密钥的方式，破坏用户的网络系统，使用户的私人信息受到威胁，甚至会导致整个网络系统出现故障或瘫痪。
大数据时代下网络安全的防护措施
1、使用安全的杀毒软件和加强监管工作
计算机不仅需要采用适当的防火墙技术，营造优良的网络运营氛围，且还需要悄空蔽安装杀毒软件。这样一来便可详细检查计算机当中的数据信息，全面提高计算机的安全性，防止因为病毒入侵带来的安全隐患。另一方面，企业也需要做好计算机网络安全的监管工作，集中管理企业现有账号，强化自身安全管理的意识。
2、加强网络安全意识
相关工作人员应深入了解计算机的操作步骤和注意事项，注意可能存在的危险，不下载、不点击来源不明的链接，提升自身的网络安全意识。此外，还需要强化学习，拓展知识面，提升防范能力，养成正确的使用计算机的习惯。
3、加强网络管控能力
影响计算机安全的主要原因是工作人员对网络维护的重视程度不够，只是计算机安全受到影响。网络管理者应加强对信息安全的维护力度，构建出相应的网络管控机制。可通过相关的防控软件对网络病毒、黑客入侵的行为进行监控，同时该系统也能够对用户所参与的网络活动进行分析和把控，及时弹出安全弹窗，以此避免网络安全问题的发生。
4、加强网络安全管理
加强网络安全管理，注重技术应用，为网络安全提供基础保障。即通过网络维护，定期检查网络安全问题，提升对网络安全及数据安全的管理力度，保障信息网络的正常运作。在这个过程中，网络管理者需要定期检查系统漏洞，及时地更新杀毒软件的病毒库等。
结语
Ⅵ 如何利用大数据来处理网络安全攻击
“大数据”已经成为时下最火热的IT行业词汇，各行各业的大数据解决方案层出不穷。究竟什么是大数据、大数据给信息安全带来哪些挑战和机遇、为什么网络安全需要大数据，以及怎样把大数据思想应用于网络安全技术，本文给出解答。
一切都源于APT
APT（Advanced Persistent Threat）攻击是一类特定的攻击，为了获取某个组织甚至是国家的重要信息，有针对性的进行的一系列攻击行为的整个过程。APT攻击利用了多种攻击手段，包括各种最先进的手段和社会工程学方法，一步一步的获取进入组织内部的权限。APT往往利用组织内部的人员作为攻击跳板。有时候，攻击者会针对被攻击对象编写专门的攻击程序，而非使用一些通用的攻击代码。此外，APT攻击具有持续性，甚至长达数年。这种持续体现在攻击者不断尝试各种攻击手段，以及在渗透到网络内部后长期蛰伏，不断收集各种信息，直到收集到重要情报。更加危险的是，这些新型的攻击和威胁主要就针对国家重要的基础设施和单位进行，包括能源、电力、金融、国防等关系到国计民生，或者是国家核心利益的网络基础设施。
现有技术为什么失灵
先看两个典型APT攻击案例，分析一下盲点在哪里：
1、 RSA SecureID窃取攻击
1) 攻击者给RSA的母公司EMC的4名员工发送了两组恶意邮件。邮件标题为“2011 Recruitment Plan”，寄件人是[email protected]，正文很简单，写着“I forward this file to you for review. Please open and view it.”;里面有个EXCEL附件名为“2011 Recruitment plan.xls”；
2) 很不幸，其中一位员工对此邮件感到兴趣，并将其从垃圾邮件中取出来阅读，殊不知此电子表格其实含有当时最新的Adobe Flash的0day漏洞(CVE-2011-0609)。这个Excel打开后啥也没有，除了在一个表单的第一个格子里面有个“X”(叉)。而这个叉实际上就是内嵌的一个Flash；
3) 该主机被植入臭名昭着的Poison Ivy远端控制工具，并开始自BotNet的C&C服务器(位于 good.mincesur.com)下载指令进行任务；
4) 首批受害的使用者并非“位高权重”人物，紧接着相关联的人士包括IT与非IT等服务器管理员相继被黑；
5) RSA发现开发用服务器(Staging server)遭入侵，攻击方随即进行撤离，加密并压缩所有资料(都是rar格式)，并以FTP传送至远端主机，又迅速再次搬离该主机，清除任何踪迹；
6) 在拿到了SecurID的信息后，攻击者就开始对使用SecurID的公司(例如上述防务公司等)进行攻击了。
2、 震网攻击
遭遇超级工厂病毒攻击的核电站计算机系统实际上是与外界物理隔离的，理论上不会遭遇外界攻击。坚固的堡垒只有从内部才能被攻破，超级工厂病毒也正充分的利用了这一点。超级工厂病毒的攻击者并没有广泛的去传播病毒，而是针对核电站相关工作人员的家用电脑、个人电脑等能够接触到互联网的计算机发起感染攻击，以此 为第一道攻击跳板，进一步感染相关人员的U盘，病毒以U盘为桥梁进入“堡垒”内部，随即潜伏下来。病毒很有耐心的逐步扩散，利用多种漏洞，包括当时的一个 0day漏洞，一点一点的进行破坏。这是一次十分成功的APT攻击，而其最为恐怖的地方就在于极为巧妙的控制了攻击范围，攻击十分精准。
以上两个典型的APT攻击案例中可以看出，对于APT攻击，现代安全防御手段有三个主要盲点：
1、0day漏洞与远程加密通信
支撑现代网络安全技术的理论基础最重要的就是特征匹配，广泛应用于各类主流网络安全产品，如杀毒、入侵检测/防御、漏洞扫描、深度包检测。Oday漏洞和远程加密通信都意味着没有特征，或者说还没来得及积累特征，这是基于特征匹配的边界防护技术难以应对的。
2、长期持续性的攻击
现代网络安全产品把实时性作为衡量系统能力的一项重要指标，追求的目标就是精准的识别威胁，并实时的阻断。而对于APT这种Salami式的攻击，则是基于实时时间点的检测技术难以应对的。
3、内网攻击
任何防御体系都会做安全域划分，内网通常被划成信任域，信任域内部的通信不被监控，成为了盲点。需要做接入侧的安全方案加固，但不在本文讨论范围。
大数据怎么解决问题
大数据可总结为基于分布式计算的数据挖掘，可以跟传统数据处理模式对比去理解大数据：
1、数据采样——>全集原始数据（Raw Data）
2、小数据+大算法——>大数据+小算法+上下文关联+知识积累
3、基于模型的算法——>机械穷举（不带假设条件）
4、精确性+实时性——>过程中的预测
使用大数据思想，可对现代网络安全技术做如下改进：
1、特定协议报文分析——>全流量原始数据抓取（Raw Data）
2、实时数据+复杂模型算法——>长期全流量数据+多种简单挖掘算法+上下文关联+知识积累
3、实时性+自动化——>过程中的预警+人工调查
通过传统安全防御措施很难检测高级持续性攻击，企业必须先确定日常网络中各用户、业务系统的正常行为模型是什么，才能尽早确定企业的网络和数据是否受到了攻击。而安全厂商可利用大数据技术对事件的模式、攻击的模式、时间、空间、行为上的特征进行处理，总结抽象出来一些模型，变成大数据安全工具。为了精准地描述威胁特征，建模的过程可能耗费几个月甚至几年时间，企业需要耗费大量人力、物力、财力成本，才能达到目的。但可以通过整合大数据处理资源，协调大数据处理和分析机制，共享数据库之间的关键模型数据，加快对高级可持续攻击的建模进程，消除和控制高级可持续攻击的危害。
Ⅶ 信息与网络安全需要大数据安全分析
信息与网络安全需要大数据安全分析
毫无疑问，我们已经进入了大数据（Big Data）时代。人类的生产生活每天都在产生大量的数据，并且产生的速度越来越快。根据IDC和EMC的联合调查，到2020年全球数据总量将达到40ZB。2013年，Gartner将大数据列为未来信息架构发展的10大趋势之首。Gartner预测将在2011年到2016年间累计创造2320亿美元的产值。
大数据早就存在，只是一直没有足够的基础实施和技术来对这些数据进行有价值的挖据。随着存储成本的不断下降、以及分析技术的不断进步，尤其是云计算的出现，不少公司已经发现了大数据的巨大价值：它们能揭示其他手段所看不到的新变化趋势，包括需求、供给和顾客习惯等等。比如，银行可以以此对自己的客户有更深入的了解，提供更有个性的定制化服务；银行和保险公司可以发现诈骗和骗保；零售企业更精确探知顾客需求变化，为不同的细分客户群体提供更有针对性的选择；制药企业可以以此为依据开发新药，详细追踪药物疗效，并监测潜在的副作用；安全公司则可以识别更具隐蔽性的攻击、入侵和违规。
当前网络与信息安全领域，正在面临着多种挑战。一方面，企业和组织安全体系架构的日趋复杂，各种类型的安全数据越来越多，传统的分析能力明显力不从心；另一方面，新型威胁的兴起，内控与合规的深入，传统的分析方法存在诸多缺陷，越来越需要分析更多的安全信息、并且要更加快速的做出判定和响应。信息安全也面临大数据带来的挑战。安全数据的大数据化
安全数据的大数据化主要体现在以下三个方面：
1） 数据量越来越大：网络已经从千兆迈向了万兆，网络安全设备要分析的数据包数据量急剧上升。同时，随着NGFW的出现，安全网关要进行应用层协议的分析，分析的数据量更是大增。与此同时，随着安全防御的纵深化，安全监测的内容不断细化，除了传统的攻击监测，还出现了合规监测、应用监测、用户行为监测、性能检测、事务监测，等等，这些都意味着要监测和分析比以往更多的数据。此外，随着APT等新型威胁的兴起，全包捕获技术逐步应用，海量数据处理问题也日益凸显。
2） 速度越来越快：对于网络设备而言，包处理和转发的速度需要更快；对于安管平台、事件分析平台而言，数据源的事件发送速率（EPS，Event per Second，事件数每秒）越来越快。
3） 种类越来越多：除了数据包、日志、资产数据，安全要素信息还加入了漏洞信息、配置信息、身份与访问信息、用户行为信息、应用信息、业务信息、外部情报信息等。
安全数据的大数据化，自然引发人们思考如何将大数据技术应用于安全领域。
传统的安全分析面临挑战
安全数据的数量、速度、种类的迅速膨胀，不仅带来了海量异构数据的融合、存储和管理的问题，甚至动摇了传统的安全分析方法。
当前绝大多数安全分析工具和方法都是针对小数据量设计的，在面对大数据量时难以为继。新的攻击手段层出不穷，需要检测的数据越来越多，现有的分析技术不堪重负。面对天量的安全要素信息，我们如何才能更加迅捷地感知网络安全态势？
传统的分析方法大都采用基于规则和特征的分析引擎，必须要有规则库和特征库才能工作，而规则和特征只能对已知的攻击和威胁进行描述，无法识别未知的攻击，或者是尚未被描述成规则的攻击和威胁。面对未知攻击和复杂攻击如APT等，需要更有效的分析方法和技术！如何做到知所未知？
面对天量安全数据，传统的集中化安全分析平台（譬如SIEM，安全管理平台等）也遭遇到了诸多瓶颈，主要表现在以下几方面：
——高速海量安全数据的采集和存储变得困难
——异构数据的存储和管理变得困难
——威胁数据源较小，导致系统判断能力有限
——对历史数据的检测能力很弱
——安全事件的调查效率太低
——安全系统相互独立，无有效手段协同工作
——分析的方法较少
——对于趋势性的东西预测较难，对早期预警的能力比较差
——系统交互能力有限，数据展示效果有待提高
从上世纪80年代入侵检测技术的诞生和确立以来，安全分析已经发展了很长的时间。当前，信息与网络安全分析存在两个基本的发展趋势：情境感知的安全分析与智能化的安全分析。
Gartner在2010年的一份报告中指出，“未来的信息安全将是情境感知的和自适应的”。所谓情境感知，就是利用更多的相关性要素信息的综合研判来提升安全决策的能力，包括资产感知、位置感知、拓扑感知、应用感知、身份感知、内容感知，等等。情境感知极大地扩展了安全分析的纵深，纳入了更多的安全要素信息，拉升了分析的空间和时间范围，也必然对传统的安全分析方法提出了挑战。
同样是在2010年，Gartner的另一份报告指出，要“为企业安全智能的兴起做好准备”。在这份报告中，Gartner提出了安全智能的概念，强调必须将过去分散的安全信息进行集成与关联，独立的分析方法和工具进行整合形成交互，从而实现智能化的安全分析与决策。而信息的集成、技术的整合必然导致安全要素信息的迅猛增长，智能的分析必然要求将机器学习、数据挖据等技术应用于安全分析，并且要更快更好地的进行安全决策。
信息与网络安全需要大数据安全分析
安全数据的大数据化，以及传统安全分析所面临的挑战和发展趋势，都指向了同一个技术——大数据分析。正如Gartner在2011年明确指出，“信息安全正在变成一个大数据分析问题”。
于是，业界出现了将大数据分析技术应用于信息安全的技术——大数据安全分析（Big Data Security Analysis，简称BDSA），也有人称做针对安全的大数据分析（Big Data Analysis for Security）。
借助大数据安全分析技术，能够更好地解决天量安全要素信息的采集、存储的问题，借助基于大数据分析技术的机器学习和数据挖据算法，能够更加智能地洞悉信息与网络安全的态势，更加主动、弹性地去应对新型复杂的威胁和未知多变的风险。
Ⅷ 大数据时代:如何守护我们的数据安全
大数据时代:如何守护我们的数据安全
不管你承认不承认，我们已经全面进入了大数据时代。无时无刻，我们的很多信息都被通过各种途径传播出去，这就必然导致安全问题的产生。
大数据的安全问题有多严重？在此前举办的“2016中国大数据产业峰会”上发生的一个实例，就可见一斑。
在360展区，市民严女士随手将钱包、手机放到安检筐里，空手走过安检门。她通过安检门，突然发现大屏幕上显示出自己银行卡的姓名拼音、身份证号、银行卡号、卡片有效期、最近10次的消费时间、消费地点、取现记录、转账记录等等。严女士惊呼：“遇到了魔术师”。
360安全专家刘洋解释，实际上，存放手机钱包的安检筐里存有一张具有NFC(近距离通信)功能的无线读卡器，旁边还有配套的信号接收器和电脑等设备，就像公交车刷卡器，只要银行卡靠近读卡器，卡片的信息就显示出来，安检门其实就是“安全魔术师”手中的障眼法。就在严女士将钱包放进安检筐的那一刻，严女士的个人信息就已经泄露了。
那么，我们靠什么来保障我们的数据安全呢？难道我们只能看着个人的数据和隐私到处泄露吗？
数据安全事件日益高发
近来，大数据安全事件呈高发之势。日前，广东警方破获一起高科技经济犯罪案件，17岁的“黑客”叶世广，攻破了多个商业银行网站，窃取了储户的身份证号、银行卡号、支付密码等数据，带领一批人在网上大肆盗刷别人的信用卡，涉案金额近15亿元，涉及银行49家。
今年2月，发生了世界上有史以来规模最大的网络盗窃案。黑客入侵了孟加拉国央行在纽约联邦储备银行的账户，盗走了8100万美元，后来孟加拉国官方表示，黑客出现了一个拼写错误，否则随后还将进行一笔近10亿美元的转账。
今年3月，与叙利亚有关联的激进黑客组织对一个自来水厂发起网络攻击。黑客操纵系统改变了进入到自来水中的化学物含量，阻碍净水过程。
类似的案例不胜枚举。
360公司总裁齐向东向《中国科学报》记者表示，接入互联网的设备越多，网络攻击的发生几率就越高，网络攻击首先瞄准大数据，攻击造成大数据丢失、情报泄密和破坏网络安全运行。大数据技术是一把双刃剑，既可以造福社会、造福人民，又可以被一些人用来损害社会公共利益和民众利益。
大数据安全体系构建势在必行
“在互联网乃至物联网时代，如果我们不能很好地解决安全问题，就会影响社会各方面的发展。因此，各级政府在鼓励发展大数据的同时，要同步考虑构建大数据安全体系。”齐向东表示。
值得注意的是，传统的网络安全思路已经无法保障大数据时代的安全。刘洋向记者介绍，传统网络安全的防护思路是划分边界，将内网、外网分开，业务网和公众网分离，用终端设备将潜在风险隔离。通过在每个边界设立网关设备和网络流量设备，来守住“边界”，以期解决安全问题。但随着移动互联网、云服务的出现，移动终端在4G信号、Wi-Fi信号、电缆之间穿梭，网络边界实际上已经消亡。
“很多传统的大企业认为，只要自己购买服务器并搭建独立的机房，安排专门的技术人员就能够保护企业的数据不被泄露，能够保护企业的信息安全。但实际上，在如今的互联网时代，这种传统的方法更加容易被不法分子所攻破。”阿里云安全资深总监肖力向《中国科学报》记者介绍，这是因为从技术实力来看，绝大部分企业并不是专门做网络安全、数据安全，其设置的技术壁垒难以阻挡专业的黑客。
齐向东介绍，360安全中心每天发现木马样本近千万个，每天发现的各种软硬件漏洞、网站漏洞超过120个，“每一个木马每一个漏洞，都可能攻破预先部署的安全设备和安全软件”。这种情况下，企业的传统防护的确难以奏效。
云平台和大数据需“双剑合璧”
在采访中，有专家认为，对付大数据时代的数据安全问题，防止信息泄露，除了完善相关法制法规，更加需要云平台的防护技术，结合大数据技术来应对数据安全。
“在云计算不断深入发展的当下，将数据存储在云平台上，或许比传统的企业信息防护更加安全。”肖力介绍，以阿里云为例，阿里云在架构设计之初就同步考虑了安全架构，不仅将安全的基因植入到整个云平台和各个云产品中，也将数据安全要求嵌入产品开发生命周期的各个环节。依靠专业的云计算平台，强大的技术团队能够更好地应付来自黑客的攻击。
不同用户之间，无论是CPU、内存，还是存储和网络，都默认相互隔离，既看不到对方的数据，也不会相互影响。“就像一间五星级酒店被分割成多个房间，他们之间是相互独立和封闭的，从而确保不同租户互不干扰和数据隔离。”肖力表示。
据介绍，目前全国35%的网站的数据安全防护都依托于阿里云平台的防护。阿里云的云盾，涵盖网络安全、服务器安全、数据安全、业务安全和移动安全这五个安全领域，来保护数据安全。
360也有自己的云安全管理平台。刘洋介绍，该平台将360独有的云安全漏洞挖掘能力输出给广大用户，通过统一管理、安全可见以及网络、主机、应用、数据的分层纵深防御，为用户全面解决云安全问题。
“用大数据技术来解决大数据时代的安全问题十分必要。”齐向东进一步指出，必须建立“数据驱动安全”的思维，搭建全新的互联网安全体系—“传统安全+互联网+大数据”。也就是说，要利用漏洞挖掘技术、网络攻击技术、软件样行为分析技术以及由网络地址解析数据库、网络访问日志数据库、文件黑白名单数据库等组成大数据系统与分析技术，构建全天候全方位感知网络安全态势。“要基于强大的大数据库、利用先进的大数据技术和广泛的用户覆盖率，提前感知网络威胁态势，为大众提供未知威胁的发现与回溯功能并进行有效防护。”齐向东说。
“未来还应当联合各方力量，共建互联网安全产业链生态，来应对大数据时代的安全风险。”肖力表示。