《Apache Flink 案例集(2022版)》——3.机器学习——奇安信-如何设计信息安全领域的实时安全基线引擎(1)

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 《Apache Flink 案例集(2022版)》——3.机器学习——奇安信-如何设计信息安全领域的实时安全基线引擎(1)

作者:覃永靖


用户背景

奇安信集团,是中国网络安全公司之一,专门为政府、企业,教育、金融等机构和组织提供企业级网络安全技术、产品和服务,已覆盖90%以上的中央政府部门、中央企业和大型银行,已在印度尼西亚、新加坡、加拿大、中国香港等国家和地区开展了安全业务。


业务需求

近 10 年来,大数据技术发展日新月异。安全分析场景和方法也更新换代。  


安全领域主要有三个特点:  


快速响应。因为安全事件经常是突发的,比如漏洞的披露、病毒的爆发等常常是在很短的时间突然发生,所以需要以非常有效和简单易用的方式来快速地对突发的安全事件进行处理,能第一时间响应客户的需求、应对各类安全事件;


场景定制。因为安全分析和常规的大数据分析场景会有一些不同,安全分析检测的是异常而不是正常,还有领域独有的一些需求,所以这里会涉及到很多领域定制开发的需求;


资源受限。相比常规互联网大数据平台使用方式,安全分析可使用的资源会有很多的限制,通常用户受限于预算和资源的限制,会尽可能地压缩和优化可用计算和存储资源规模,这会导致大量的组件采用混合部署的方式,且将来硬件和集群扩展成本也很高,流程很长。  


在实时数据安全方面,一共有五点需求:  


第一是需要实时分析。安全检测对时延要求严格,攻防双方抢时间差,需要能第一时间检测到异常。同时由于是安全事件驱动,要求解决方案上线快,响应及时,能在最短时间形成防护能力;


第二是需要提供非常丰富的分析语义。安全检测的场景通常比较复杂的,需要提供丰富的安全分析语义,覆盖大部分安全分析场景;


第三是能灵活部署。因为客户的环境非常复杂,需要能支持各种大数据平台,比如客户自建的,或者是他购买的一些云平台,并且还要有最大的版本兼容性;


第四是需要实现最小的资源使用。支持部署从一到几十甚至上百台节点的集群,在资源占用尽可能小的同时支持大规模,比如上千条分析规则或安全基线同时运行;


最后是运行稳定。安全产品部署在客户侧,需要 7×24 小时不间断运行,需要提供极高的运行稳定性,尽可能减少人工维护和介入,让客户无感知。  


传统的安全分析方法一般是基于先验知识,采用基于特征检测技术来进行异常检测,一般是通过分析检测对象的数据或日志特点,然后人工归纳和统计出可检测特征,建立安全模型,比如安全规则、威胁情报等。这种方式比较简单和可靠,可以很好的应对已有的攻击方法,但是它对未知的没有对应检测特征的攻击方法则不能有效的进行检测。


《Apache Flink 案例集(2022版)》——3.机器学习——奇安信-如何设计信息安全领域的实时安全基线引擎(2) https://developer.aliyun.com/article/1228164




相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
3天前
|
存储 机器学习/深度学习 Apache
如何将Apache Hudi应用于机器学习
如何将Apache Hudi应用于机器学习
26 0
|
3天前
|
存储 监控 安全
360 企业安全浏览器基于阿里云数据库 SelectDB 版内核 Apache Doris 的数据架构升级实践
为了提供更好的日志数据服务,360 企业安全浏览器设计了统一运维管理平台,并引入 Apache Doris 替代了 Elasticsearch,实现日志检索与报表分析架构的统一,同时依赖 Doris 优异性能,聚合分析效率呈数量级提升、存储成本下降 60%....为日志数据的可视化和价值发挥提供了坚实的基础。
360 企业安全浏览器基于阿里云数据库 SelectDB 版内核 Apache Doris 的数据架构升级实践
|
3天前
|
消息中间件 Kafka Apache
Apache Flink 是一个开源的分布式流处理框架
Apache Flink 是一个开源的分布式流处理框架
722 5
|
3天前
|
消息中间件 API Apache
官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会
本文整理自阿里云开源大数据平台徐榜江 (雪尽),关于阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会。
1809 2
官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会
|
3天前
|
SQL Java API
官宣|Apache Flink 1.19 发布公告
Apache Flink PMC(项目管理委员)很高兴地宣布发布 Apache Flink 1.19.0。
1794 2
官宣|Apache Flink 1.19 发布公告
|
3天前
|
SQL Apache 流计算
Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
【2月更文挑战第25天】Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
348 3
|
3天前
|
Oracle 关系型数据库 流计算
flink cdc 同步问题之报错org.apache.flink.util.SerializedThrowable:如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
438 0
|
3天前
|
XML Java Apache
Apache Flink自定义 logback xml配置
Apache Flink自定义 logback xml配置
268 0
|
3天前
|
存储 机器学习/深度学习 Apache
Apache Hudi与机器学习特征存储
Apache Hudi与机器学习特征存储
37 0
|
3天前
|
消息中间件 Java Kafka
Apache Hudi + Flink作业运行指南
Apache Hudi + Flink作业运行指南
180 1

热门文章

最新文章

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多