数据科学如何应用到安全 六步创建内部DNS查询分析模型

本文涉及的产品
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
简介:

安全实践者总被教育说要更智慧地使用数据。但问题是,很多数据科学家都迷失在自己的数学和算法世界中,而疏于从业务角度阐述自己的研究价值。

c48e7f0ba0201c4d43c0c2ad0a79f044ac5f5d0d

大数据平台Dataiku分析架构师兼销售工程负责人肯尼斯·桑福德( Kenneth Sanford )博士称,安全专家需与数据科学家更紧密合作,理解公司企业想要达成的目标,比如是想要合规,还是想要确定如果遭遇勒索软件攻击会造成什么损失。

桑福德表示,“定义业务问题非常重要,像是宕机时间的业务损失和不合规的经济处罚之类的。”

Rapid7首席数据科学家罗博·路迪斯( Bob Rudis )补充道,公司企业需后退一步,观察他们的过程,确定哪些可以通过数据科学做得更好。

公司企业需问问自己安全问题与业务问题之间的联系。

桑福德和路迪斯构建了一套六步创建内部DNS查询分析模型的方法,可以有效减少甚至清除掉查询中的恶意代码。

1. 定义业务问题

安全实践者经常迷失在技术细节中而没有仔细考虑手头的业务问题。举个例子,如果目标是分析DNS查询请求,确定要分析的是成千上万的内部DNS请求还是某网站或电子商务站点的外部DNS请求就很重要。只要确定出哪些才是更重要的,数据科学家就能建立模型分析这些活动。

2. 确定哪些数据源最适合解决问题

这一步决定模型解决业务问题的样式。如果公司确定要解决的是内部用户点击网络钓鱼链接的问题,就需要建立针对所有内部DNS请求的模型。从所需数据类型的角度看,你将需要合法电子邮件集、被黑电子邮件集和电子邮件源IP及源域名的集合。数据科学家需能创造性地想象出一个所有数据都可用的世界。

3. 列出数据清单

这一步你需要盘点可用数据,列出数据清单。虽然应该尽善尽美,认识到局限所在也是必要的。说回DNS主题,大多数DNS数据来自于路由器、手机、服务器和工作站。你需要盘点所有查询类型,确定是否符合自己能处理的格式,确定自己是否具备恰当存储并访问这些数据的IT基础设施。如果你存储空间不够,那就需要搞清楚自己到底需要什么,配置这些基础设施需要花费多少预算。

4. 实验多种数据科学技术

现在可以坐下来打开电脑实验哪种数据科学技术最适合自己了。是高度可解释的线性模型,还是高深莫测的深度学习算法?无论哪种,切记不要为了追求高深的数学而部署算法。目标应该始终指向选出最佳方式,让机器给出人力所不及的分析,让公司能够做出明智的决策。DNS案例中,就是构建能持续以高置信度判定DNS请求是否恶意的模型。

5. 从现实世界视角测试

测试时,团队会希望确定模型是否产生过多误报或漏报,以及分析是否够快,是否能支撑业务所需。从现实世界角度测评模型很重要。DNS样例中,你应测试模型能否减少公司内部产生的恶意DNS查询请求的数量。

6. 监测与持续改进

测试过程可能持续数周,一旦测试完成,就是时候将模型应用到生产中了。但是,必须认识到,这些模型需要持续的监测和改进。这与部署杀毒软件不同,杀毒软件你每隔几周就会收到可用于更新的病毒特征码。模型则需要持续监测以确保能符合公司抵御恶意DNS请求的目标。


原文发布时间为:2018-05-29

本文作者:nana

本文来自云栖社区合作伙伴“安全牛”,了解相关信息可以关注“安全牛”。

相关文章
|
15天前
|
机器学习/深度学习 安全 大数据
揭秘!企业级大模型如何安全高效私有化部署?全面解析最佳实践,助你打造智能业务新引擎!
【10月更文挑战第24天】本文详细探讨了企业级大模型私有化部署的最佳实践,涵盖数据隐私与安全、定制化配置、部署流程、性能优化及安全措施。通过私有化部署,企业能够完全控制数据,确保敏感信息的安全,同时根据自身需求进行优化,提升计算性能和处理效率。示例代码展示了如何利用Python和TensorFlow进行文本分类任务的模型训练。
49 6
|
9天前
|
机器学习/深度学习 人工智能 自然语言处理
思通数科AI平台在尽职调查中的技术解析与应用
思通数科AI多模态能力平台结合OCR、NLP和深度学习技术,为IPO尽职调查、融资等重要交易环节提供智能化解决方案。平台自动识别、提取并分类海量文档,实现高效数据核验与合规性检查,显著提升审查速度和精准度,同时保障敏感信息管理和数据安全。
49 11
|
5天前
|
自然语言处理 并行计算 数据可视化
免费开源法律文档比对工具:技术解析与应用
这款免费开源的法律文档比对工具,利用先进的文本分析和自然语言处理技术,实现高效、精准的文档比对。核心功能包括文本差异检测、多格式支持、语义分析、批量处理及用户友好的可视化界面,广泛适用于法律行业的各类场景。
|
8天前
|
安全 编译器 PHP
PHP 8新特性解析与实践应用####
————探索PHP 8的创新功能及其在现代Web开发中的实际应用
|
9天前
|
机器学习/深度学习 人工智能 自然语言处理
医疗行业的语音识别技术解析:AI多模态能力平台的应用与架构
AI多模态能力平台通过语音识别技术,实现实时转录医患对话,自动生成结构化数据,提高医疗效率。平台具备强大的环境降噪、语音分离及自然语言处理能力,支持与医院系统无缝集成,广泛应用于门诊记录、多学科会诊和急诊场景,显著提升工作效率和数据准确性。
|
11天前
|
机器学习/深度学习 人工智能 安全
TPAMI:安全强化学习方法、理论与应用综述,慕工大、同济、伯克利等深度解析
【10月更文挑战第27天】强化学习(RL)在实际应用中展现出巨大潜力,但其安全性问题日益凸显。为此,安全强化学习(SRL)应运而生。近日,来自慕尼黑工业大学、同济大学和加州大学伯克利分校的研究人员在《IEEE模式分析与机器智能汇刊》上发表了一篇综述论文,系统介绍了SRL的方法、理论和应用。SRL主要面临安全性定义模糊、探索与利用平衡以及鲁棒性与可靠性等挑战。研究人员提出了基于约束、基于风险和基于监督学习等多种方法来应对这些挑战。
23 2
|
15天前
|
测试技术 开发者 Python
深入浅出:Python中的装饰器解析与应用###
【10月更文挑战第22天】 本文将带你走进Python装饰器的世界,揭示其背后的魔法。我们将一起探索装饰器的定义、工作原理、常见用法以及如何自定义装饰器,让你的代码更加简洁高效。无论你是Python新手还是有一定经验的开发者,相信这篇文章都能为你带来新的启发和收获。 ###
12 1
|
19天前
|
传感器 监控 安全
|
19天前
|
数据中心
|
19天前
|
人工智能 资源调度 数据可视化
【AI应用落地实战】智能文档处理本地部署——可视化文档解析前端TextIn ParseX实践
2024长沙·中国1024程序员节以“智能应用新生态”为主题,吸引了众多技术大咖。合合信息展示了“智能文档处理百宝箱”的三大工具:可视化文档解析前端TextIn ParseX、向量化acge-embedding模型和文档解析测评工具markdown_tester,助力智能文档处理与知识管理。

相关产品

  • 云解析DNS
  • 推荐镜像

    更多