数据科学如何应用到安全 六步创建内部DNS查询分析模型

本文涉及的产品
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
全局流量管理 GTM,标准版 1个月
简介:

安全实践者总被教育说要更智慧地使用数据。但问题是,很多数据科学家都迷失在自己的数学和算法世界中,而疏于从业务角度阐述自己的研究价值。

c48e7f0ba0201c4d43c0c2ad0a79f044ac5f5d0d

大数据平台Dataiku分析架构师兼销售工程负责人肯尼斯·桑福德( Kenneth Sanford )博士称,安全专家需与数据科学家更紧密合作,理解公司企业想要达成的目标,比如是想要合规,还是想要确定如果遭遇勒索软件攻击会造成什么损失。

桑福德表示,“定义业务问题非常重要,像是宕机时间的业务损失和不合规的经济处罚之类的。”

Rapid7首席数据科学家罗博·路迪斯( Bob Rudis )补充道,公司企业需后退一步,观察他们的过程,确定哪些可以通过数据科学做得更好。

公司企业需问问自己安全问题与业务问题之间的联系。

桑福德和路迪斯构建了一套六步创建内部DNS查询分析模型的方法,可以有效减少甚至清除掉查询中的恶意代码。

1. 定义业务问题

安全实践者经常迷失在技术细节中而没有仔细考虑手头的业务问题。举个例子,如果目标是分析DNS查询请求,确定要分析的是成千上万的内部DNS请求还是某网站或电子商务站点的外部DNS请求就很重要。只要确定出哪些才是更重要的,数据科学家就能建立模型分析这些活动。

2. 确定哪些数据源最适合解决问题

这一步决定模型解决业务问题的样式。如果公司确定要解决的是内部用户点击网络钓鱼链接的问题,就需要建立针对所有内部DNS请求的模型。从所需数据类型的角度看,你将需要合法电子邮件集、被黑电子邮件集和电子邮件源IP及源域名的集合。数据科学家需能创造性地想象出一个所有数据都可用的世界。

3. 列出数据清单

这一步你需要盘点可用数据,列出数据清单。虽然应该尽善尽美,认识到局限所在也是必要的。说回DNS主题,大多数DNS数据来自于路由器、手机、服务器和工作站。你需要盘点所有查询类型,确定是否符合自己能处理的格式,确定自己是否具备恰当存储并访问这些数据的IT基础设施。如果你存储空间不够,那就需要搞清楚自己到底需要什么,配置这些基础设施需要花费多少预算。

4. 实验多种数据科学技术

现在可以坐下来打开电脑实验哪种数据科学技术最适合自己了。是高度可解释的线性模型,还是高深莫测的深度学习算法?无论哪种,切记不要为了追求高深的数学而部署算法。目标应该始终指向选出最佳方式,让机器给出人力所不及的分析,让公司能够做出明智的决策。DNS案例中,就是构建能持续以高置信度判定DNS请求是否恶意的模型。

5. 从现实世界视角测试

测试时,团队会希望确定模型是否产生过多误报或漏报,以及分析是否够快,是否能支撑业务所需。从现实世界角度测评模型很重要。DNS样例中,你应测试模型能否减少公司内部产生的恶意DNS查询请求的数量。

6. 监测与持续改进

测试过程可能持续数周,一旦测试完成,就是时候将模型应用到生产中了。但是,必须认识到,这些模型需要持续的监测和改进。这与部署杀毒软件不同,杀毒软件你每隔几周就会收到可用于更新的病毒特征码。模型则需要持续监测以确保能符合公司抵御恶意DNS请求的目标。


原文发布时间为:2018-05-29

本文作者:nana

本文来自云栖社区合作伙伴“安全牛”,了解相关信息可以关注“安全牛”。

目录
打赏
0
0
0
0
73512
分享
相关文章
OSPFv2与OSPFv3的区别:全面解析与应用场景
OSPFv2与OSPFv3的区别:全面解析与应用场景
33 0
AI技术深度解析:从基础到应用的全面介绍
人工智能(AI)技术的迅猛发展,正在深刻改变着我们的生活和工作方式。从自然语言处理(NLP)到机器学习,从神经网络到大型语言模型(LLM),AI技术的每一次进步都带来了前所未有的机遇和挑战。本文将从背景、历史、业务场景、Python代码示例、流程图以及如何上手等多个方面,对AI技术中的关键组件进行深度解析,为读者呈现一个全面而深入的AI技术世界。
48 10
基于qwen2.5的长文本解析、数据预测与趋势分析、代码生成能力赋能esg报告分析
Qwen2.5是一款强大的生成式预训练语言模型,擅长自然语言理解和生成,支持长文本解析、数据预测、代码生成等复杂任务。Qwen-Long作为其变体,专为长上下文场景优化,适用于大型文档处理、知识图谱构建等。Qwen2.5在ESG报告解析、多Agent协作、数学模型生成等方面表现出色,提供灵活且高效的解决方案。
135 49
Transformer模型变长序列优化:解析PyTorch上的FlashAttention2与xFormers
本文探讨了Transformer模型中变长输入序列的优化策略,旨在解决深度学习中常见的计算效率问题。文章首先介绍了批处理变长输入的技术挑战,特别是填充方法导致的资源浪费。随后,提出了多种优化技术,包括动态填充、PyTorch NestedTensors、FlashAttention2和XFormers的memory_efficient_attention。这些技术通过减少冗余计算、优化内存管理和改进计算模式,显著提升了模型的性能。实验结果显示,使用FlashAttention2和无填充策略的组合可以将步骤时间减少至323毫秒,相比未优化版本提升了约2.5倍。
34 3
Transformer模型变长序列优化:解析PyTorch上的FlashAttention2与xFormers
淘宝/天猫按图搜索(拍立淘)API的深度解析与应用实践
在数字化时代,电商行业迅速发展,个性化、便捷性和高效性成为消费者新需求。淘宝/天猫推出的拍立淘API,利用图像识别技术,提供精准的购物搜索体验。本文深入探讨其原理、优势、应用场景及实现方法,助力电商技术和用户体验提升。
使用Python解析和分析源代码
本文介绍了如何使用Python的`ast`模块解析和分析Python源代码,包括安装准备、解析源代码、分析抽象语法树(AST)等步骤,展示了通过自定义`NodeVisitor`类遍历AST并提取信息的方法,为代码质量提升和自动化工具开发提供基础。
33 8
|
18天前
|
核心概念解析:进程与线程的对比分析
在操作系统和计算机编程领域,进程和线程是两个基本而核心的概念。它们是程序执行和资源管理的基础,但它们之间存在显著的差异。本文将深入探讨进程与线程的区别,并分析它们在现代软件开发中的应用和重要性。
38 4
PHP 8新特性解析与实战应用####
随着PHP 8的发布,这一经典编程语言迎来了诸多令人瞩目的新特性和性能优化。本文将深入探讨PHP 8中的几个关键新功能,包括命名参数、JIT编译器、新的字符串处理函数以及错误处理改进等。通过实际代码示例,展示如何在现有项目中有效利用这些新特性来提升代码的可读性、维护性和执行效率。无论你是PHP新手还是经验丰富的开发者,本文都将为你提供实用的技术洞察和最佳实践指导。 ####
27 1
Java多线程编程中的并发容器:深入解析与实战应用####
在本文中,我们将探讨Java多线程编程中的一个核心话题——并发容器。不同于传统单一线程环境下的数据结构,并发容器专为多线程场景设计,确保数据访问的线程安全性和高效性。我们将从基础概念出发,逐步深入到`java.util.concurrent`包下的核心并发容器实现,如`ConcurrentHashMap`、`CopyOnWriteArrayList`以及`BlockingQueue`等,通过实例代码演示其使用方法,并分析它们背后的设计原理与适用场景。无论你是Java并发编程的初学者还是希望深化理解的开发者,本文都将为你提供有价值的见解与实践指导。 --- ####
Java 反射机制:深入解析与应用实践
《Java反射机制:深入解析与应用实践》全面解析Java反射API,探讨其内部运作原理、应用场景及最佳实践,帮助开发者掌握利用反射增强程序灵活性与可扩展性的技巧。
78 4

相关产品

  • 云解析DNS
  • 推荐镜像

    更多
    AI助理

    阿里云 AI 助理已上线!

    快来体验一下吧。