日志审计:开启RDS/PolarDB错误日志采集

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介: 本文主要介绍如何在日志审计中开启RDS错误日志以及Polardb错误日志的采集与监控

1.背景

1.1 日志审计

日志审计服务App是阿里云日志服务SLS(Simple Log Service)旗下的一款应用,它在继承了日志服务SLS的全部功能以外,还有强大的多账号管理及跨地域采集功能,支持通过资源目录(Resource Directory)的方式有组织性地统一地管理和记录多账号下云产品实例的日志信息,可以便于用户进行统一分析,问题排查,回溯复盘等操作。日志审计APP可以自动化、中心化地采集云产品日志并进行审计,其服务覆盖基础(操作审计、k8s)、存储(OSS、NAS)、网络(SLB、ALB、API网关、VPC)、数据库(RDS、PolarDB-X1.0,PolarDB)、安全(WAF、DDOS、SAS、CPS)等产品,还支持审计所需的存储、查询及信息汇总等功能。

1.2 RDS/PolarDB错误日志

日志审计原已支持RDS、PolarDB的审计日志类型、慢日志类型(mysql版)和性能日志类型(mysql版), 支持RDS错误日志和PolarDB错误的采集是补全日志审计数据库日志类型版图的重要一步。同数据库类其他日志类型一样,日志审计可以跨账号地自动化地采集RDS的错误日志和Polardb的错误日志,如果有数据库实例更新,将会自动化跟进其错误日志的采集,并支持采集策略配置使得可以对采集对象进行精细过滤和控制。同时日志审计还可以还具备强大的跨域能力,可以将采集的日志汇总到同一中心project下,方便用户的中心化查询分析和管理。

2 开启错误日志采集

2.1. 开启自动采集

2.2 多账号及跨域、自动采集能力

2.2.1 多账号汇总

日志审计对资源目录和自定义鉴权的支持使得其天然具备同时采集多账号下的日志信息的能力,下图是同时采集多个账号下RDS错误日志和PolarDB错误日志的一些示例。

通过日志审计多账号配置,可以将1023*账号所属的plardb实例*9a1o的错误日志采集到148中心账号下的project下。

2.2.2 跨地域与中心化

在日志审计下开启RDS/PolarDB错误日志采集之后,日志审计将自动将多账号、多地域下的日志通过直接采集汇总到是sls下名为slsaudit-center-${center_account}-${region} 的project的rds_log中。下图是一个RDS错误日志采集结果的一个示例,可以看到rds来自杭州地域实例的错误日志和来自上海地域实例的错误日志都被采集到同一中央project的logstore中。



2.2.3 自动采集能力

日志审计开启RDS/PolarDB错误日志采集功能之后,对于新创建的RDS/PolarDB实例,将会自动将其错误日志写入日志审计。日志审计下RDS日志字段参见RDS日志字段,PolarDB的日志字段参见PolarDB日志字段

2.3 精细化日志采集粒度

日志审计支持对RDS实例进行精细化采集粒度控制,用户可以通过账号、地域、实例ID、实例名、标签等属性进行精准采集设置。具体的采集策略可以参考日志审计采集策略一节。


云产品

采集对象

属性

说明

RDS

RDS实例

账号:account.id

RDS实例所属的阿里云账号ID

地域:region

RDS实例所属的地域,例如:cn-shanghai

实例ID:instance.id

RDS实例ID

实例名:instance.name

RDS实例名

DB类型:instance.db_type

RDS实例所属的DB类型

DB版本号:instance.db_version

DB版本号,例如:8.0。

标签:tag.*

用户自定义的标签名。

tag.*中的星号(*)替换为您自定义的标签名。

采集策略说明

云产品

采集对象

属性

说明

PolardDB

PolarDB集群

账号:account.id

PolarDB集群所属的阿里云账号ID。

地域:region

PolarDB集群所属的地域,如cn-shanghai。

集群ID:cluster.id

PolarDB集群ID。

集群名:cluster.name

PolarDB集群名称。

集群兼容的DB类型:cluster.db_type

PolarDB集群兼容的DB类型,目前只支持MySQL。

集群兼容的DB版本:cluster.db_version

DB版本号,可选值为8.0、5.7和5.6。

标签:tag.*

用户自定义的标签名。

tag.*中的星号(*)替换为您自定义的标签名。

下面将进行几个简单的采集策略示例帮助用户理解如何进行精细化RDS错误日志的采集。

# --------------example 1 ----------------

#only scan ap region

keep region == "ap-*"


# accept by default

accept "*"



#-------------example 2-------------------

# accept all high level instances and if not only accept rds instance that name starts with prod


accept tag.level == "high"


# only scan rds instance name start with “test”

keep instance.name == "prod*"


# accept by default

accept "*"

3.参考链接

日志审计

日志服务

资源目录

采集策略

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3月前
|
SQL 关系型数据库 MySQL
【揭秘】MySQL binlog日志与GTID:如何让数据库备份恢复变得轻松简单?
【8月更文挑战第22天】MySQL的binlog日志记录数据变更,用于恢复、复制和点恢复;GTID为每笔事务分配唯一ID,简化复制和恢复流程。开启binlog和GTID后,可通过`mysqldump`进行逻辑备份,包含binlog位置信息,或用`xtrabackup`做物理备份。恢复时,使用`mysql`命令执行备份文件,或通过`innobackupex`恢复物理备份。GTID模式下的主从复制配置更简便。
382 2
|
3月前
|
SQL 关系型数据库 MySQL
【MySQL】根据binlog日志获取回滚sql的一个开发思路
【MySQL】根据binlog日志获取回滚sql的一个开发思路
|
9天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
114 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1631 14
|
5天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL的撤销日志文件和错误日志文件
本文介绍了MySQL的物理存储结构,重点讲解了InnoDB存储引擎中的撤销日志文件(undo log)和错误日志文件。从MySQL 8.0开始,默认生成两个10MB的undo表空间文件,并支持动态扩容和收缩。错误日志文件记录了MySQL启动、运行、关闭过程中的问题,通过示例展示了如何查看和使用这些日志。
|
1月前
|
SQL 存储 关系型数据库
Mysql主从同步 清理二进制日志的技巧
Mysql主从同步 清理二进制日志的技巧
28 1
|
1月前
|
关系型数据库 MySQL 数据库
DZ社区 mysql日志清理 Discuz! X3.5数据库可以做定期常规清理的表
很多站长在网站日常维护中忽略了比较重要的一个环节,就是对于数据库的清理工作,造成数据库使用量增加必须多的原因一般有2个:后台站点功能开启了家园,此功能现在很少有论坛会用到,但是灌水机会灌入大量垃圾信息致使站长长时间未能发觉;再有就是程序默认的一些通知类表单会存放大量的、对于网站日常运行并无意义的通知信息。
71 2
|
3月前
|
SQL 监控 关系型数据库
使用 pt-query-digest 工具分析 MySQL 慢日志
【8月更文挑战第5天】使用 pt-query-digest 工具分析 MySQL 慢日志
66 3
使用 pt-query-digest 工具分析 MySQL 慢日志
|
3月前
|
SQL 关系型数据库 MySQL
MySQL 常见日志清理策略
MySQL 数据库服务器使用多种类型的日志来记录操作和事件,这对于故障诊断、审计和性能分析非常重要。然而,这些日志文件会随着时间的推移而不断增长,可能会占用大量的磁盘空间。因此,定期清理这些日志是必要的,本篇文章我们一起来学习下如何清理 MySQL 中的日志文件。
186 3
|
3月前
|
API C# 开发框架
WPF与Web服务集成大揭秘:手把手教你调用RESTful API,客户端与服务器端优劣对比全解析!
【8月更文挑战第31天】在现代软件开发中,WPF 和 Web 服务各具特色。WPF 以其出色的界面展示能力受到欢迎,而 Web 服务则凭借跨平台和易维护性在互联网应用中占有一席之地。本文探讨了 WPF 如何通过 HttpClient 类调用 RESTful API,并展示了基于 ASP.NET Core 的 Web 服务如何实现同样的功能。通过对比分析,揭示了两者各自的优缺点:WPF 客户端直接处理数据,减轻服务器负担,但需处理网络异常;Web 服务则能利用服务器端功能如缓存和权限验证,但可能增加服务器负载。希望本文能帮助开发者根据具体需求选择合适的技术方案。
159 0

相关产品

  • 日志服务