超越黑名单,运用机器学习检测恶意URL

简介:

山石网科技术团队受邀在Blackhat Asia 2017上发表演讲,以下为论文简介:

许多类型的现代malwares使用基于http的通信。与传统的AV签名,或系统级的行为模型相比,网络级行为签名/建模在恶意软件检测方面有一定的优势。在这里,我们提出一个新颖的基于URL的恶意软件检测方法行为建模。该方法利用实践中常见的恶意软件代码重用的现象。基于大数据内已知的恶意软件样本,我们可以提炼出简洁的功能模型,代表许多不同的恶意软件中常用的相似性连接行为。这个模型可以用于检测有着共同的网络特征的未知恶意软件变种。

我们专注于HTTP连接,因为这个协议是最主要的恶意软件连接类型,用僵尸控制网络连接,得到更新和接收命令后开始攻击。检查在http连接层次的特征已被证明是一种来检测恶意连接的有效方式。

在山石网科的下一代防火墙设备中,我们有算法使用静态黑名单和特征签名来检查连接域名,URL路径和用户代理以确定是否恶意。结合DGA域检测的机器学习算法,我们取得很好的恶意URL检出率。然而,最复杂和富有挑战性的部分是查询URL字符串连接的动态内容。因为这些字符串非常多样化,几乎可以是任何东西,导致静态签名规则变得不那么有效。参数的变种和进化使签名生成费时。它还需要签名库为新连接特性执行频繁的更新。

我们这个演讲谈到的新颖的聚类算法是非常高效的,这个算法不仅可以检测已知的恶意URL,并且也能检测到从未暴露(0-day)的新变种。这个模型对来自于大约每周10 k更新的恶意软件样本的800000 url运用机器学习。


原文发布时间为: 2017年3月31日

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。


相关文章
|
7月前
|
机器学习/深度学习 数据采集 监控
探索机器学习在金融欺诈检测中的应用
【5月更文挑战第30天】在金融交易的复杂网络中,欺诈行为日益猖獗,传统的检测方法逐渐显得力不从心。随着人工智能技术的飞速发展,机器学习因其强大的数据分析和模式识别能力成为打击金融欺诈的新利器。本文将深入探讨机器学习在金融欺诈检测领域的应用情况,分析其优势与挑战,并展望其在未来的发展前景。
|
3月前
|
机器学习/深度学习 安全 网络安全
利用机器学习优化网络安全威胁检测
【9月更文挑战第20天】在数字时代,网络安全成为企业和个人面临的重大挑战。传统的安全措施往往无法有效应对日益复杂的网络攻击手段。本文将探讨如何通过机器学习技术来提升威胁检测的效率和准确性,旨在为读者提供一种创新的视角,以理解和实施机器学习在网络安全中的应用,从而更好地保护数据和系统免受侵害。
|
3月前
|
机器学习/深度学习 算法 数据可视化
如何在机器学习中检测异常值
如何在机器学习中检测异常值
|
4月前
使用URL方式进行人脸检测
【8月更文挑战第2天】使用URL方式进行人脸检测。
83 3
|
6月前
|
机器学习/深度学习 算法 网络安全
机器学习在网络安全威胁检测与防御中有广泛的应用
机器学习在网络安全威胁检测与防御中有广泛的应用
45 1
|
6月前
|
机器学习/深度学习 数据采集 安全
【机器学习】安全领域:突破威胁检测的边界
【机器学习】安全领域:突破威胁检测的边界
93 1
|
6月前
|
机器学习/深度学习 数据采集 运维
构建基于机器学习的异常检测系统
【6月更文挑战第7天】构建基于机器学习的异常检测系统,通过收集和预处理数据,进行特征提取和选择,然后选择SVM、随机森林等算法训练模型。评估指标包括准确率、召回率、F1值,旨在识别安全威胁、系统故障等异常,保障系统稳定。未来将持续优化性能并探索新技术。
|
7月前
|
机器学习/深度学习 数据采集 人工智能
【机器学习】怎样检测到线性回归模型中的过拟合?
【5月更文挑战第17天】【机器学习】怎样检测到线性回归模型中的过拟合?
|
7月前
|
机器学习/深度学习 运维 算法
利用机器学习进行异常检测的技术实践
【5月更文挑战第16天】本文探讨了利用机器学习进行异常检测的技术实践,强调了在大数据时代异常检测的重要性。机器学习通过无监督、有监督和半监督学习方法自动识别异常,常见算法包括KNN、LOF、K-means和GMM等。异常检测流程包括数据准备、特征工程、选择算法、训练模型、评估优化及部署。机器学习为异常检测提供了灵活性和准确性,但需结合具体问题选择合适方法。
|
6月前
|
机器学习/深度学习 算法 Windows
【阿旭机器学习实战】【34】使用SVM检测蘑菇是否有毒--支持向量机
【阿旭机器学习实战】【34】使用SVM检测蘑菇是否有毒--支持向量机
下一篇
DataWorks