深度学习技术在网络安全应用

‘壹’ 网络安全中edr是什么意思

本教程操作环境：windows7系统、Dell G3电脑。
端点检测与响应(Endpoint Detection & Response，EDR)是一种主动式端点安全解决方案，通过记录终端与网络事件，将这些信息本地化存储在端点或者集中在数据库。EDR 会集合已知的攻击指示器、行为分析的数据库来连续搜索数据和机器学习技术来监测任何可能的安全威胁，并对这些安全威胁做出快速响应。还有助于快速调查攻击范围，并提供响应能力。
能力
预测：risk assessment（风险评估）；anticipate threats（预测威胁）；baseline security posture（基线安全态势）。
防护：harden systems（强化系统）；isolate system（隔离系统）；prevent attacks（防止攻击）。
检测：detect incidents（检测事件）；confirm and prioritize risk（确认风险并确键谨闭定优先顺序）。contain incidents（包含事件）。
响应：remediate（补救）；design policy change（设计规则变更）；investigate incidents（调查事件）。
安全模型
相比于传端点安全防护采用预设安全策略的静态防御技术，EDR 加强了威胁检测和响应取证能力，能够快速检测、识别、监控和处理端点事件，从而在威胁尚未造成危害前进行检测和阻止，帮助受保护网络免受零日威胁和各种新出现的威胁。安全模型如图所示：

1、资产发现
定期通过主动扫描、被动发现、手工录入和人工排查等多种方法收集当前网络中所有软硬件资产，包括全网所有的端点资产和在用的软件名称、版本，确保整个网络中没有安全盲点。
2、系统加固
需要定期进行漏洞扫描，打补丁、对安全策略进行更新和进一步细化，通过白名单现在未授权的软件进行运行，通过防火墙限制为授权就开启服务器端口和服务，最好能定期检查和修改清理内部人员的账号和密码还有授权信晌迅息。
3、威胁检测
通过端点本地的主机入侵检测进行异常行为分析，针对各类安全威胁，在其发生之前、发生中、和发生后作出相应的防护和检测行为。
4、响应取证
针对全网的安全威胁进行可视化展示，对威胁自动化地进行隔离、修复和抢救，降低事件响应和取证的门槛，这样就不需要依赖于外部专家就可以完成应急响应和取证分析。
功能
调查安全事件；
将端点修复为预感染状态；
检测安全事件；
包含终端事件；
工作原理
一旦安装了 EDR 技术，马上 EDR 就会使用先进的算法分析系统上单个用户的行为，并记住和连接他们的活动。
感知系统中的某个或者特定用户的异常行为，数据会被过滤，防止出现恶意行为的迹象，这些迹象会触发警报然后我们就去确定攻击的真假。
如果检测到恶意活动，算法将跟踪攻击路径并将其构建回入口点。 （关联跟踪）
然后，该技术将所有数据点合稿裂并到称为恶意操作 (MalOps) 的窄类别中，使分析人员更容易查看。
在发生真正的攻击事件时，客户会得到通知，并得到可采取行动的响应步骤和建议，以便进行进一步调查和高级取证。如果是误报，则警报关闭，只增加调查记录，不会通知客户
体系框架
EDR 的核心在于：一方面，利用已有的黑名单和基于病毒特征的端点静态防御技术来阻止已知威胁。另一方面，通过云端威胁情报、机器学习、异常行为分析、攻击指示器等方式，主动发现来自外部或内部的各类安全威胁。同时，基于端点的背景数据、恶意软件行为以及整体的高级威胁的生命周期的角度进行全面的检测和响应，并进行自动化阻止、取证、补救和溯源，从而有效地对端点进行安全防护。
EDR 包括：端点、端点检测与响应中心、可视化展现三个部分，体系框架如图所示：

端点：在 EDR 中，端点只具备信息上报、安全加固、行为监控、活动文件监控、快速响应和安全取证等基本功能，负责向端点检测与响应中心上报端点的运行信息，同时执行下发的安全策略和响应、取证指令等。
端点检测与响应中心：由资产发现、安全加固、威胁检测、响应取证等中心组成。
可视化：展现针对各类端点安全威胁提供实时的可视性、可控性，降低发现和处置安全威胁的复杂度，辅助用户更加快速、智能地应对安全威胁。
检测威胁类型
恶意软件 (犯罪软件、勒索软件等)
无文件型攻击
滥用合法应用程序
可疑的用户活动和行为
要素类型和收集类型
EDR 是独一无二的，因为它的算法不仅可以检测和打击威胁，还可以简化警报和攻击数据的管理。 使用行为分析来实时分析用户活动，可以在不干扰端点的情况下立即检测潜在威胁。 它通过将攻击数据合并到可以分析的事件中，与防病毒和其他工具一起使用可以为你提供一个安全的网络，从而增强了取证分析的能力。
端点检测和响应通过安装在端点上的传感器运行而不需要重新启动。 所有这些数据被拼接在一起，形成了一个完整的端点活动图，无论设备位于何处。
主要技术
智能沙箱技术
针对可疑代码进行动态行为分析的关键技术，通过模拟各类虚拟资源，创建严格受控和高度隔离的程序运行环境，运行并提取可疑代码运行过程中的行为信息，实现对未知恶意代码的快速识别。

机器学习技术
是一门多学科交叉知识，是人工智能领域的核心，专门研究计算机如何模拟实现人类的学习行为，通过获取新的技能知识重组已有的知识体系，并不断完善自身性能。在大规模数掘处理中，可以自动分析获得规律，然后利用这些规律预测未知的数据。

数字取证技术
数字取证是指对具有足够可靠和有说服力的，存在于计算机、网络、电子设备等数字设备中的数字证据，进行确认、保护、提取和归档的过程。在 EDR 中，数字取证要克服云计算环境取证、智能终端取证、大数据取证等关键技术，自动定位和采集端点人侵电子证据，降低取证分析的技术门槛，提高取证效率及其分析结果的准确性，为端点安全事件调查、打击网络犯罪提供技术支持。
EDR 优缺点
优点
EDR 具有精准识别攻击的先天优势。端点是攻防对抗的主战场，通过 EDR 在端点上实施防御能够更加全面地搜集安全数据，精准地识别安全威胁，准确判定安全攻击是否成功，准确还原安全事件发生过程。
EDR 完整覆盖端点安全防御全生命周期。对于各类安全威胁事件，EDR 在其发生前、发生中、发生后均能够进行相应的安全检测和响应动作。安全事件发生前，实时主动采集端 安全数据和针对性地进行安全加固；安全事件发生时，通过异常行为检测、智能沙箱分析等各类安全引擎，主动发现和阻止安全威胁；安全事件发生后，通过端点数据追踪溯源。
EDR 能够兼容各类网络架构。EDR 能够广泛适应传统计算机网络、云计算、边缘计算等各类网络架构，能够适用于各种类型的端点，且不受网络和数据加密的影响。
EDR 辅助管理员智能化应对安全威胁。EDR 对安全威胁的发现、隔离、修复、补救、调查、分析和取证等一系列工作均可自动化完成，大大降低了发现和处置安全威胁的复杂度，能够辅助用户更加快速、智能地应对安全威胁。
缺点
EDR 的局限性在于并不能完全取代现有的端点安全防御技术。EDR 与防病毒、主机防火墙、主机入侵检测、补丁加固、外设管控、软件白名单等传统端点安全防御技术属于互补关系，并不是取代关系。
技术前提
要想使用或者更好的的理解 EDR 就需要对一些知识有了解，这样才能更好地的使用和理解 EDR 的原理和使用方法。
熟悉 Linux 环境，python 或 shell，Java；
熟悉 hadoop，spark 等大数据组件；
熟悉数据挖掘与分析（比如进行风险等级划分），数据统计技术（比如一些置信度的计算），机器学习技术（分类检测等），深度学习技术，大数据分析技术（主要是关联分析），漏斗分析法等。
熟悉 mysql 或 nosql 数据库，集中存储的数据库，分布式存储的数据库。

‘贰’ 日本防卫省研发人工智能用深度学习防御网络攻击

据日本《产经新闻》1月7日报道称，日本防卫省于6日宣布：为强化对网络攻击的应对能力，已经确定要将人工智能（AI）引入日本自卫队信息通信网络的防御系统中。预计将于明年开始为期两年的调查研究，于2020年着手进行软件开发，2022年实际运用，并且也开始考虑在日本政府全体的网络防御系统中应用AI。

目前，军方人员介入网络安全战场早已成为常态，美国着名的网络安全公司Cybereason其创办人正是来自以色列国防部下属精英网络部队8200部队。值得注意的是，2015年该公司接受了来自日本软银的为数1亿美元的融资，不知《产经新闻》提到的“以色列技术”是否来自该公司呢？