BlackHat2017热点之DefPloreX---大规模网络犯罪取证的机器学习工具

简介: 本文讲的是BlackHat2017热点之DefPloreX---大规模网络犯罪取证的机器学习工具,Black Hat USA 2017是在通过四天(7月22日-7月25日)的技术培训后才举办的会议,为期两天的会议是在7月26日-7月27日召开的。
本文讲的是 BlackHat2017热点之DefPloreX---大规模网络犯罪取证的机器学习工具

前言

Black Hat USA 2017是在通过四天(7月22日-7月25日)的技术培训后才举办的会议,为期两天的会议是在7月26日-7月27日召开的。

在为期四天的培训中,培训者除了可以综合学习文件系统理论、应用分析、电子邮件、照片取证、事件日志审查等内容,还可以对Windows 8、Windows 10和其它操作系统的数字取证与事件响应方法进行了解。今天我们嘶吼就为大家具体剖析一下其中的一个工具——DefPloreX。

DefPloreX—大规模网络犯罪取证的机器学习工具

DefPloreX是一种大规模网络犯罪取证的机器学习工具,使用机器学习和可视化技术汇总开源库的数据,将非结构化数据转化为有意义的高级描述,从而提供事件、攻击和漏洞的实时信息,并将其压缩成适合高效大规模电子犯罪取证和调查的可浏览对象。

DefPloreX最有趣的一部分是,它将类似的被攻击的页面自动组合成一组,再进一步从中寻找相关的网络事件。整个过程只需要对数据进行一次传递,因为使用的聚类技术本质上是并行的,而不是内存限制。 DefPloreX提供基于文本和网络的用户操作界面,可以使用简单的语言查询进行调查和取证。由于它是基于弹性搜索,DefPloreX生成的数据可以轻松地与其他系统集成。

具体案例分析

以下是分析师如何使用DefPloreX调查“Operation France”(“#opfrance”作为与之相关联的Twitter处理程序)的活动的示例。这个运动是由在线的穆斯林活动分子运作的,目的是支持激进的伊斯兰教。

如下图所示,这一运动在4年(2013 – 2016年)中针对过1313个网站,其中主要针对法国域名。 DefPloreX分析了攻击中参与的人员和使用的头像。其中一些成员明确支持激进的伊斯兰教徒(例如恐怖主义)对法国的袭击。

BlackHat2017热点之DefPloreX---大规模网络犯罪取证的机器学习工具

BlackHat2017热点之DefPloreX---大规模网络犯罪取证的机器学习工具

BlackHat2017热点之DefPloreX---大规模网络犯罪取证的机器学习工具

BlackHat2017热点之DefPloreX---大规模网络犯罪取证的机器学习工具

DefPloreX已经公开发布了

在以下操作中DefPloreX可以很好的帮助分析人员:

1.从弹性指数导入和导出通用数据

2.完善索引的各种属性

3.以自动并行的方式访问网页,并提取数字和视觉特征,捕获HTML页面的结构及其呈现时的外观

4. 后期处理中对数字和视觉特征进行提取以描述每个网页的紧凑表示(compact representation)

5.使用紧凑表示来队原始网页进行重新调整,将它们分组成类似的页面组

6.执行弹性索引的通用浏览和查询。

DefPloreX的架构如下图所示:

BlackHat2017热点之DefPloreX---大规模网络犯罪取证的机器学习工具

利用DefPloreX,研究人员可以从每个网页中收集到同一个事件的两个不同侧面——页面的“静态”视图(例如,非解释资源,脚本,文本)和 “动态”视图(例如,渲染页面,DOM修改等)。完整版本的DefPloreX可以提取URL,电子邮件地址,社交网络昵称和句柄,主题标签,图像,文件元数据,汇总文本和其他信息。应该说,这些数据已经可以完整的描述一个被攻击的网页的主要特征,如下图所示,是从URL收集的数据。

BlackHat2017热点之DefPloreX---大规模网络犯罪取证的机器学习工具

如上所述,DefPloreX已经解决了如何找到一组相关的攻击网页(例如,黑客行为主义活动)来作为典型的数据挖掘。我们假设这些页面之间有重复和相似的特征,从而可以捕获和使用作为分组特征。例如,我们假设相同的攻击者会在同一个攻击系列中重复使用相同的网页片段(尽管最小的变体)。我们可以通过分析每个页面(静态和动态视图)从获得的数据中提取数值和分类特征来捕获相关的属性方面,下图就是从每个URL捕获的特征。

BlackHat2017热点之DefPloreX---大规模网络犯罪取证的机器学习工具

DefPloreX还具备了一个 “数据压缩”的功能,安全研究人员可以用它来导出每个记录的紧凑表示,然后使用这种紧凑的表示来实现快速分组。在我们以上所述的例子中,这个记录是一个被攻击的页面,但这个方法可以应用到其他域。当应用于数字特征时,通过仅使用有限的一组分类值(即,低,中等,高),紧凑表示就可以代表任意范围的实数。

弹性搜索本身支持执行从数值到分类值的转换所需的统计原语(例如百分位数),如果它应用于最初分类的紧凑表示(例如,网页中使用的字符编码),则此紧凑表示会代表所有现有的编码方案(例如“windows-1250”,“iso- *”),其中的地理区域通常使用每种编码来表示(例如,英语词汇,西里尔文,希腊文)。对于口语,顶级域名(TLD)等也可以这样做。

基于Web的UI基于React,由Flask编写的轻量级REST API支持。基于网络的UI本质上是无限变化的电子表格,因为智能分页可以将其扩展到任意数量的记录。基于Web的UI实现的主要任务是浏览分组和记录。例如,为了发现由同一网络犯罪分子执行的网络攻击 ,我们将查询DefPloreX来显示最多十个攻击者的分类,并检查每个分类的活动时间轴,以查看活动的周期性规律来并揭示同时执行攻击之间的关系。

在其所有操作中,DefPloreX会将内存量保持在最低限度,而不会阻碍其他性能。 DefPloreX可以在一个简单的笔记本电脑上运行的非常良好,但可以在更多的计算资源可用时进行扩展。

BlackHat2017热点之DefPloreX---大规模网络犯罪取证的机器学习工具

BlackHat2017热点之DefPloreX---大规模网络犯罪取证的机器学习工具

BlackHat2017热点之DefPloreX---大规模网络犯罪取证的机器学习工具

BlackHat2017热点之DefPloreX---大规模网络犯罪取证的机器学习工具

DefPloreX的具体下载地址如下:

https://github.com/trendmicro/defplorex

除了DefPloreX外, Black Hat USA 2017有关“数字取证与事件响应”的主题还有一些培训和其他具体的成果。

Windows企业事件响应

“Windows企业事件响应”介绍了最新的Windows分析探测工具。培训时,会模拟实际的攻击并为培训人员提供操做Windows系统和服务器的机会。

网络取证:持续监控与侦测

“网络取证:持续监控与测量”培训除了介绍相关工具外,还帮助培训者了解如何提取并保存安全、隔离环境中的网络证据。课程依赖培训者对TCP/IP网络和Linux系统的了解防止社会工程攻击,并接收网络取证专家专为网络取证培训者设计的全负荷取证工作站。

Revoke-Obfuscation:实现PowerShell混淆检测

Revoke-Obfuscation旨在解决PowerShell漏洞,并缓解嵌入式攻击。虽然PowerShell配备了反恶意软件检测工具,但对黑客来说,仍有办法绕过检测并实施攻击。所谓的Revoke-Obfuscation方法,就是利用统计分析、字符分配和命令调用检查的PowerShell框架。

Ochko123

美国政府就是利用该方法抓捕的俄罗斯黑客——罗曼•谢列兹尼奥夫(Roman Seleznev)。在这起复杂的关于网络安全取证和追捕中,美国的安全专家就是利用该方法模拟犯罪份子的数字足迹,进而获取他的具体犯罪过程和所使用的工具。

CyBot—开源威胁情报的分析

CyBot目前以低于35美元的价格汇集了多个网络端点的数据。CyBot是由以色列一家初创的网络安全公司Cronus Cyber开发的,CyBot采用预测性攻击路径场景解决方案,它可以模拟人类黑客的行为,实时发现、预测、分析网络攻击的风险和漏洞,然后再针对发现的威胁进行安全保护策略的调整。其独创点在于利用算法模拟黑客行为进行不间断的渗透测试,对所有基于IP的基础设施、应用和数据库进行扫描,可随时提供一幅动态的风险地图,让企业知道如何缓和网络攻击的风险。

Yalda 

Yalda能够自动对大量的相关数据进行收集工具并帮助安全人员进行自动化扫描、检测并对文件扩展数据进行挖掘。




原文发布时间为:2017年7月30日
本文作者:luochicun
本文来自云栖社区合作伙伴嘶吼,了解相关信息可以关注嘶吼网站。
目录
相关文章
|
21天前
|
运维 安全 网络架构
【计算巢】网络模拟工具:设计与测试网络架构的有效方法
【6月更文挑战第1天】成为网络世界的超级英雄,利用网络模拟工具解决复杂架构难题!此工具提供安全的虚拟环境,允许自由设计和测试网络拓扑,进行性能挑战和压力测试。简单示例代码展示了创建网络拓扑的便捷性,它是网络设计和故障排查的“魔法棒”。无论新手还是专家,都能借助它探索网络的无限可能,开启精彩冒险!快行动起来,你会发现网络世界前所未有的乐趣!
【计算巢】网络模拟工具:设计与测试网络架构的有效方法
|
6天前
|
安全 测试技术 网络架构
澳大利亚电信由断电引发的大规模网络中断给CIO带来的惨痛教训
澳大利亚电信由断电引发的大规模网络中断给CIO带来的惨痛教训
|
5天前
|
机器学习/深度学习 搜索推荐 PyTorch
【机器学习】图神经网络:深度解析图神经网络的基本构成和原理以及关键技术
【机器学习】图神经网络:深度解析图神经网络的基本构成和原理以及关键技术
28 2
|
9天前
|
机器学习/深度学习 边缘计算 TensorFlow
Python机器学习工具与库的现状,并展望其未来的发展趋势
【6月更文挑战第13天】本文探讨了Python在机器学习中的核心地位,重点介绍了Scikit-learn、TensorFlow、PyTorch等主流库的现状。未来发展趋势包括自动化、智能化的工具,增强可解释性和可信赖性的模型,跨领域融合创新,以及云端与边缘计算的结合。这些进展将降低机器学习门槛,推动技术在各领域的广泛应用。
17 3
|
18天前
|
机器学习/深度学习 安全 网络安全
【计算巢】数字取证:追踪和分析网络犯罪的方法
【6月更文挑战第4天】本文探讨了数字取证在网络安全中的关键作用,通过Python编程展示如何分析网络日志以发现线索。数字取证利用科学方法收集、分析电子数据,以应对黑客入侵、数据泄露等网络犯罪。文中提供的Python代码示例演示了从服务器日志中提取IP地址并统计访问次数,以识别异常行为。此外,实际的数字取证还包括数据恢复、恶意软件分析等复杂技术,并需遵循法律程序和伦理标准。随着技术发展,数字取证将更有效地保障网络空间的和平与秩序。
|
18天前
|
机器学习/深度学习 安全 算法
利用机器学习优化网络安全防御策略
【6月更文挑战第3天】随着网络攻击的日益猖獗,传统的安全防御机制已难以满足企业对数据保护的需求。本文探讨如何应用机器学习技术来预测和防御潜在的网络安全威胁,通过分析历史数据模式,自动调整安全策略,从而在不断变化的威胁环境中保持企业的网络安全。
|
20天前
|
监控 Python 调度
【计算巢】网络监控工具:保持网络健康与性能的重要性
【6月更文挑战第2天】网络监控工具扮演着数字高速公路上的“交警”角色,确保网络畅通无阻。它们监控网络状态,及时发现并定位故障,优化性能,如调整资源分配和管理带宽占用。Python的psutil库是一个简单示例,用于获取网络接口数据。选择合适的监控工具至关重要,但也不能完全依赖,需随着网络技术进步不断升级。网络监控工具是保障网络健康和效率的得力助手,让我们的数字世界运行更加顺畅。
|
1天前
|
机器学习/深度学习 自然语言处理 安全
探索机器学习在网络安全中的应用
本文旨在介绍机器学习技术如何增强现有的网络安全体系,通过具体案例分析展示其实际应用效果,并讨论面临的挑战与未来的发展方向。
5 0
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
【机器学习】深度神经网络的应用实例
【机器学习】深度神经网络的应用实例
6 0
|
2天前
|
机器学习/深度学习 人工智能 算法
【机器学习】深度神经网络(DNN):原理、应用与代码实践
【机器学习】深度神经网络(DNN):原理、应用与代码实践
12 0

热门文章

最新文章