基于SLS平台与日志审计构建Cloud SIEM方案

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 安全事件和事件管理(security information and event management,SIEM)通过对来自各种数据源安全事件的收集和分析,来实现威胁检测、安全事件管理和合规性检测。SIEM是在安全信息管理(SIM)——收集、分析并报告日志数据,与安全事件管理(SEM)——实时分析日志和事件数据以提供威胁监视、事件关联和事件响应的基础上发展而来的。本文为您介绍如何基于SLS平台与日志审计构建Cloud SIEM方案。

安全事件和事件管理(security information and event management,SIEM)通过对来自各种数据源安全事件的收集和分析,来实现威胁检测、安全事件管理和合规性检测。SIEM是在安全信息管理(SIM)——收集、分析并报告日志数据,与安全事件管理(SEM)——实时分析日志和事件数据以提供威胁监视、事件关联和事件响应的基础上发展而来的。本文为您介绍如何基于SLS平台与日志审计构建Cloud SIEM方案。

概述

SIEM技术主要关注于安全设备、网络基础设施、系统和应用程序产生的事件数据,数据源主要是日志数据,但SIEM技术也可以处理其他形式的数据,如网络telemetry数据(流和数据包)。SIEM同时提供了用于安全监控的事件实时分析、用户和实体行为的高级分析、针对大时间跨度的历史数据分析、事件调查和管理、报告(例如合规性要求)等。

方案架构

SLS 云原生可观测平台

image.png

SLS作为阿里巴巴、蚂蚁等日志中台产品,同时服务阿里云上万级客户的基础产品,每天处理几十PB 日志/Metric/Trace数据,为AIOps、大数据分析、运营服务、大数据安全等场景提供支撑,解决工程师可观察性的问题。

SLS核心平台能力在于围绕可观察性的各种监控数据,提供统一的存储与计算能力。

  • 统一的存储能力:

    • 针对日志(log)。

    • 时序(metric)。

    • trace等各类数据提供了统一等存储能力。

  • 强大的分析引擎:

    • 数据加工引擎(DSL):主要面向数据加工和与预处理场景,解决格式多样化的问题。

    • SQL查询分析引擎(SQL):面向存储数据提供清晰、计算能力。

    • 智能分析引擎(AIOps):面对特定问题提供智能算法。

  • 丰富的可视化能力:通过可视化大盘全面观测系统状态。

  • 事件管理和on-call管理机制,及时监控异常并通知。

基于此平台,在DevOps、ITOps、SecOps、BusinessOps等领域提供了丰富的场景支持。

方案实施

SIEM功能与SLS能力映射

image.png

从该图可以看出SLS已经具备了构建SIEM的基本能力。接下来从如下方面重点阐述使用SLS构建SIEM方案的关键点:

  • 丰富的数据采集、处理能力

  • 统一的查询分析能力:交互式的查询分析语法、ML算法支持、可视化分析能力

  • 威胁探测和响应:使用内置告警规则和自定义规则进行威胁探测,将发现的威胁事件通知给用户,并能够进行事件管理。

数据采集、处理能力

数据实时采集

SLS提供了丰富的采集手段,支持采集服务器与应用、开源软件、物联网、移动端、标准协议、阿里云产品等多种来源的数据。

应用日志主要的接入手段有:

  • 客户端使用SDK直接写入:在应用程序(或依赖的框架)中将日志直接写到SLS。

  • 语言覆盖:提供了多个语言版本(.NET、Java、Python、PHP、C等)的SDK。

  • 场景覆盖:服务器应用、移动端、H5等。

  • 通过logtail作为agent采集:应用只负责把日志打到本地,由logtail作为代理采集到SLS侧。

  • 场景覆盖:Linux、Windows、Docker等。

  • 能力支持:支持多种文本类型(正则、Json等)的采集。Logtail提供了简单的数据处理(字段提取,过滤等)能力,对于安全数据提供了采集时脱敏能力(详见sensitive_keys配置项)。

除此以外,还提供了对标准协议(HTTP/HTTPS、Syslog等)、第三方开源采集软件(Logstash、Fluentd)的对接。为了满足业务数据快速接入的需求,SLS在全球提供了20+接入点,同时对于跨域采集网络不稳定的问题,提供了全球加速方案。

image.png

SLS还跟阿里云多个云产品深度融合,提供了便捷的云产品日志接入方式。用户可以直接将各云产品的审计数据采集到SLS侧进行后续的分析处理。

支持的接入的云产品列表也在持续增加中。最新数据详见:

image.png

数据加工

数据加工是SLS推出的一项可托管、高可用、可扩展的数据处理服务,主要对结构化或非结构化的日志进行实时的ETL处理。该功能目前包含200+算子,广泛应用与数据规整、数据聚合、富化、分发、汇总等场景。数据加工提供的数据脱敏算子,可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。常见脱敏场景有为手机号、银行卡号、邮箱、IP、AK、身份证号网址、订单号、字符串等敏感信息脱敏。

SIEM场景下,往往需要采集多种数据源的数据(格式可能比较杂乱),同时也有长时间跨度、海量数据的分析需求,而数据加工通过Schema On Write的方式提前进行数据规整,能够为后续的分析处理提供很大的便捷。

image.png

日志审计

日志审计服务是在SLS平台能力基础上提供的一款审计服务,支持多账户场景下实时自动化、中心化地采集阿里云上的云产品日志。具有如下优点:

  • 丰富的云产品支持,目前覆盖基础(ActionTrail、容器服务Kubernetes版)、存储(OSS、NAS)、网络(SLB、API网关)、数据库(关系型数据库RDS、云原生分布式数据库PolarDB-X 1.0、云原生数据库PolarDB)、安全(WAF、DDoS防护、云防火墙、云安全中心)。

  • 跨账号:与阿里云资源目录集成,支持将多个主账号下的日志采集到一个中心主账号下。

  • 一键式采集:一次性配置采集规则后,即可完成自动实时发现新资源并实时采集日志。

  • 中心化存储:将采集到的日志存储到某个地域的中心化Project中,方便后续查询分析、可视化与告警、二次开发等。

  • 丰富的内置告警规则,一键建立安全防护网。

  • 生态开放对接:与开源软件、阿里云大数据产品、第三方SOC软件无缝对接,充分发挥数据价值。

image.png

查询分析能力

image.png

查询分析引擎

SLS以SQL作为查询和分析框架,同时在框架中融入PromQL语法和机器学习函数。可以说:

SLS SQL = Search + SQL92(Agg,WIndow,GroupBy...)+ PromQL + ...

在下图的例子中:

  • 先通过调用promql算子拿到主机每分钟的监控值。

  • 通过窗口函数对原始数据进行降采样,例如变为每秒的数值。

  • 通过外层的预测函数对查询结果进行预测。

image.png

机器学习加持

SLS内置了大量基于AI的巡检、预测、聚类、根因分析等算法,以SQL/DSL函数的形式向用户提供,在人工分析和自动巡检告警中都能使用到。

image.png

交互式可视化

SLS提供的可视化功能基于SLS统一的查询分析引擎,以图表的形式将查询与分析结果呈现出来,清晰呈现全局态势。同时,也可以与第三方可视化工具对接。

image.png

威胁探测和响应

智能告警运维系统

SLS告警是在SLS云原生可观测性平台上提供的一站式智能运维告警系统。它提供对日志、时序等各类数据的告警监控,亦可接受三方告警,对告警进行降噪、事件管理、通知管理等,新增40+功能场景,充分考虑研发、运维、安全以及运营人员的告警监控运维需求。

通过告警监控规则配置,定期检查评估,查询统计源日志、时序存储,按照监控编排逻辑评估结果,并触发告警或恢复通知。

image.png

SLS告警提供了超过数百个内置告警规则,开箱即用并持续增加中。这些规则库有覆盖了CIS(覆盖了账号安全、数据库安全等)和安全场景的最佳实践,用户仅需开启对应规则,即可享受到全天候的安全保障。

image.png

当告警规则探测到异常发生时,需要尽快的将威胁事件通知给相应的开发人员。SLS提供了丰富的通知渠道,便于威胁事件的全方位触达。

image.png

当开发人员接收到告警事件通知后,需要采取一系列的事件管理动作,例如事件确认、指派处理人、处理动作记录等。

告警

威胁情报

Gartner将威胁情报定位为某种基于证据的知识,包括上下文、机制、标示、含义和能够执行的建议。威胁情报描述了现存的、或者是即将出现针对资产的威胁或危险,并可以用于通知主体针对相关威胁或危险采取某种响应。业内大多数所说的威胁情报可以认为是狭义的威胁情报,其主要内容为用于识别和检测威胁的失陷标识,如文件HASH,IP,域名,程序运行路径,注册表项等,以及相关的归属标签。

威胁情报服务是阿里云提供的情报安全服务,结合威胁情报数据,通过对威胁来源进行实时自动化采集、分析、分类与关联,评估企业资产中存在的威胁并为改善安全状况提供建议。阿里云威胁情报服务可以展示了近30天全球所有网上用户和客户企业已遭受的威胁统计数据,目前支持针对IP、域名、文件提供威胁情报。

SLS日志审计服务与威胁情报服务深度集成,利用威胁情报服务提供的全球威胁情报评估能力,支持对接入SLS的多种云产品日志(ActionTrial、SLB、OSS、SAS等)进行威胁情报检测,有效识别云产品使用过程中存在的潜在威胁。也支持以告警方式将检测到的异常及时通知给相关的安全人员,从而提升威胁检查效率和响应速度。

下图展现了如何通过SLS日志审计服务进行云产品的威胁情报探测及响应的流程。

image.png

与第三方SIEM/SOC平台集成

SLS提供了与第三方SIEM方案(例如Splunk)对接的方式,以便确保阿里云上的所有法规、审计、与其他相关日志能够导入到用户的安全运维中心(SOC)中。

针对于Splunk对接的场景,SLS提供了Alibaba Cloud Log Service Add-on for Splunk,便于用户方便部署。

image.png image.png

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
927 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
2月前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
|
9天前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
|
4月前
|
存储 运维 监控
超越传统模型:从零开始构建高效的日志分析平台——基于Elasticsearch的实战指南
【10月更文挑战第8天】随着互联网应用和微服务架构的普及,系统产生的日志数据量日益增长。有效地收集、存储、检索和分析这些日志对于监控系统健康状态、快速定位问题以及优化性能至关重要。Elasticsearch 作为一种分布式的搜索和分析引擎,以其强大的全文检索能力和实时数据分析能力成为日志处理的理想选择。
332 6
|
4月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
464 3
|
25天前
|
存储 运维 监控
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
|
1月前
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
MySQL事务日志-Undo Log工作原理分析
|
2月前
|
存储 监控 安全
什么是事件日志管理系统?事件日志管理系统有哪些用处?
事件日志管理系统是IT安全的重要工具,用于集中收集、分析和解释来自组织IT基础设施各组件的事件日志,如防火墙、路由器、交换机等,帮助提升网络安全、实现主动威胁检测和促进合规性。系统支持多种日志类型,包括Windows事件日志、Syslog日志和应用程序日志,通过实时监测、告警及可视化分析,为企业提供强大的安全保障。然而,实施过程中也面临数据量大、日志管理和分析复杂等挑战。EventLog Analyzer作为一款高效工具,不仅提供实时监测与告警、可视化分析和报告功能,还支持多种合规性报告,帮助企业克服挑战,提升网络安全水平。
114 2
|
4月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1834 14
MySQL事务日志-Redo Log工作原理分析
|
3月前
|
消息中间件 存储 监控
微服务日志监控的挑战及应对方案
【10月更文挑战第23天】微服务化带来模块独立与快速扩展,但也使得日志监控复杂。日志作用包括业务记录、异常追踪和性能定位。