日志审计:开启RDS/PolarDB错误日志采集

本文涉及的产品
对象存储 OSS,20GB 3个月
云备份 Cloud Backup,100GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 本文主要介绍如何在日志审计中开启RDS错误日志以及Polardb错误日志的采集与监控

1.背景

1.1 日志审计

日志审计服务App是阿里云日志服务SLS(Simple Log Service)旗下的一款应用,它在继承了日志服务SLS的全部功能以外,还有强大的多账号管理及跨地域采集功能,支持通过资源目录(Resource Directory)的方式有组织性地统一地管理和记录多账号下云产品实例的日志信息,可以便于用户进行统一分析,问题排查,回溯复盘等操作。日志审计APP可以自动化、中心化地采集云产品日志并进行审计,其服务覆盖基础(操作审计、k8s)、存储(OSS、NAS)、网络(SLB、ALB、API网关、VPC)、数据库(RDS、PolarDB-X1.0,PolarDB)、安全(WAF、DDOS、SAS、CPS)等产品,还支持审计所需的存储、查询及信息汇总等功能。

1.2 RDS/PolarDB错误日志

日志审计原已支持RDS、PolarDB的审计日志类型、慢日志类型(mysql版)和性能日志类型(mysql版), 支持RDS错误日志和PolarDB错误的采集是补全日志审计数据库日志类型版图的重要一步。同数据库类其他日志类型一样,日志审计可以跨账号地自动化地采集RDS的错误日志和Polardb的错误日志,如果有数据库实例更新,将会自动化跟进其错误日志的采集,并支持采集策略配置使得可以对采集对象进行精细过滤和控制。同时日志审计还可以还具备强大的跨域能力,可以将采集的日志汇总到同一中心project下,方便用户的中心化查询分析和管理。

2 开启错误日志采集

2.1. 开启自动采集

2.2 多账号及跨域、自动采集能力

2.2.1 多账号汇总

日志审计对资源目录和自定义鉴权的支持使得其天然具备同时采集多账号下的日志信息的能力,下图是同时采集多个账号下RDS错误日志和PolarDB错误日志的一些示例。

通过日志审计多账号配置,可以将1023*账号所属的plardb实例*9a1o的错误日志采集到148中心账号下的project下。

2.2.2 跨地域与中心化

在日志审计下开启RDS/PolarDB错误日志采集之后,日志审计将自动将多账号、多地域下的日志通过直接采集汇总到是sls下名为slsaudit-center-${center_account}-${region} 的project的rds_log中。下图是一个RDS错误日志采集结果的一个示例,可以看到rds来自杭州地域实例的错误日志和来自上海地域实例的错误日志都被采集到同一中央project的logstore中。



2.2.3 自动采集能力

日志审计开启RDS/PolarDB错误日志采集功能之后,对于新创建的RDS/PolarDB实例,将会自动将其错误日志写入日志审计。日志审计下RDS日志字段参见RDS日志字段,PolarDB的日志字段参见PolarDB日志字段

2.3 精细化日志采集粒度

日志审计支持对RDS实例进行精细化采集粒度控制,用户可以通过账号、地域、实例ID、实例名、标签等属性进行精准采集设置。具体的采集策略可以参考日志审计采集策略一节。


云产品

采集对象

属性

说明

RDS

RDS实例

账号:account.id

RDS实例所属的阿里云账号ID

地域:region

RDS实例所属的地域,例如:cn-shanghai

实例ID:instance.id

RDS实例ID

实例名:instance.name

RDS实例名

DB类型:instance.db_type

RDS实例所属的DB类型

DB版本号:instance.db_version

DB版本号,例如:8.0。

标签:tag.*

用户自定义的标签名。

tag.*中的星号(*)替换为您自定义的标签名。

采集策略说明

云产品

采集对象

属性

说明

PolardDB

PolarDB集群

账号:account.id

PolarDB集群所属的阿里云账号ID。

地域:region

PolarDB集群所属的地域,如cn-shanghai。

集群ID:cluster.id

PolarDB集群ID。

集群名:cluster.name

PolarDB集群名称。

集群兼容的DB类型:cluster.db_type

PolarDB集群兼容的DB类型,目前只支持MySQL。

集群兼容的DB版本:cluster.db_version

DB版本号,可选值为8.0、5.7和5.6。

标签:tag.*

用户自定义的标签名。

tag.*中的星号(*)替换为您自定义的标签名。

下面将进行几个简单的采集策略示例帮助用户理解如何进行精细化RDS错误日志的采集。

# --------------example 1 ----------------

#only scan ap region

keep region == "ap-*"


# accept by default

accept "*"



#-------------example 2-------------------

# accept all high level instances and if not only accept rds instance that name starts with prod


accept tag.level == "high"


# only scan rds instance name start with “test”

keep instance.name == "prod*"


# accept by default

accept "*"

3.参考链接

日志审计

日志服务

资源目录

采集策略

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
6月前
|
SQL 运维 关系型数据库
PolarDB产品使用问题之慢日志会记录哪些
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
6月前
|
Prometheus 监控 Cloud Native
Prometheus结合Consul采集多个MySQL实例的监控指标
将 Prometheus 与 Consul 结合使用,实现对多个 MySQL 实例的自动发现与监控,不仅提高了监控的效率和准确性,也为管理动态扩缩容的数据库环境提供了强大的支持。通过细致配置每一部分,业务可以获得关键的性能指标和运行健康状况的即时反馈,进而优化资源配置,提高系统的稳定性和可用性。
198 3
|
6月前
|
关系型数据库 分布式数据库 数据库
PolarDB产品使用问题之将RDS切换到PolarDB-X 2.0时,代码层的SQL该如何改动
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
6月前
|
存储 关系型数据库 分布式数据库
PolarDB-SCC使用问题之为什么PolarDB-SCC选择基于RDMA的日志传输
PolarDB-SCC使用问题之为什么PolarDB-SCC选择基于RDMA的日志传输
|
6月前
|
关系型数据库 分布式数据库 数据库
PolarDB产品使用问题之如何设置Redo日志保存时间
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
6月前
|
存储 SQL Oracle
关系型数据库Oracle归档日志备份
【7月更文挑战第19天】
84 5
|
6月前
|
缓存 数据库 RDMA
PolarDB-SCC使用问题之为什么PolarDB-SCC选择使用基于RDMA的日志传输
PolarDB-SCC使用问题之为什么PolarDB-SCC选择使用基于RDMA的日志传输
|
3月前
|
关系型数据库 MySQL 分布式数据库
零基础教你用云数据库PolarDB搭建企业网站,完成就送桌面收纳桶!
零基础教你用云数据库PolarDB搭建企业网站,完成就送桌面收纳桶,邀请好友完成更有机会获得​小米Watch S3、小米体重称​等诸多好礼!
零基础教你用云数据库PolarDB搭建企业网站,完成就送桌面收纳桶!
|
4月前
|
关系型数据库 MySQL Serverless
探索PolarDB MySQL版:Serverless数据库的灵活性与性能
本文介绍了个人开发者对阿里云PolarDB MySQL版,特别是其Serverless特性的详细评测体验。评测涵盖了产品初体验、性能观测、Serverless特性深度评测及成本效益分析等方面。尽管试用过程中遇到一些小问题,但总体而言,PolarDB MySQL版表现出色,提供了高性能、高可用性和灵活的资源管理,是个人开发者和企业用户的优秀选择。
|
4天前
|
关系型数据库 分布式数据库 数据库
1月17日|阿里云云谷园区,PolarDB V2.0技术沙龙,畅聊国产数据库
为了助力国产化项目顺利推进,阿里云邀请企业开发者和数据库负责人到云谷园区,与PolarDB V2.0技术专家面对面交流。扫描海报二维码报名,我们将根据信息为您申请入园。欢迎参与,共同探讨PolarDB的最新技术和应用!

相关产品

  • 日志服务
  • 推荐镜像

    更多