背景
去年阿里云日志服务与云数据库RDS联合推出CloudLens for RDS，可以通过该产品实时查看RDS SQL审计日志的采集状态，集中管理采集配置，并可基于采集到的日志进行后续的审计、分析、告警等操作。近期，RDS Lens 在此基础上，针对无审计需求的客户场景，提供了可单独采集慢日志和错误日志的能力。用户可以在无需开启审计日志的情况下，单独使用慢日志和错误日志来满足自己的监控需求，从而降低使用成本。
本文将介绍如何开通RDS Lens、如何单个开启指定类型的日志采集，如何自动化批量开启指定类型的日志的采集，以及罗列一些基于这些采集日志的常见的使用场景，方便大家参考做更多场景的二次开发。
如何采集RDS日志
第一步：在SLS中的日志应用里的云产品Lens下，搜索 CloudLens for RDS进入，点击立即开启开通RDS Lens 
第二步：在RDS 的产品官网购买RDS 的实例，已经购买的可以忽略。
第三步：RDS lens 会自动同步您的RDS 实例信息。如果是刚购买实例，实例创建成功后，一分钟内，就可以在RDS Lens看到实例列表信息。
第四步：开启RDS 实例的日志采集。点击开启可以为单个实例单独做开启。。需要注意的是，审计日志依赖RDS 的sql洞察，所以开通审计日志的时候，RDS Lens 会默认帮您开启sql 洞察。
审计日志开启可以自由指定目标project logstore
其他日志采用固定project 和logstore 命名，不允许修改。慢日志和错误日志统一都投递到slow_error_log里
也可以通过自动化采集为一些特定属性的实例做批量的开启（按地域，实例名，引擎类型等）
下图为自动化采集，按区域进行自动化的采集。
不管通过哪种手段，开启后的实例，将会自动帮用户采集对应的日志类型的日志。
日志字段介绍
按照上一步就可以采集到您想要的指定类型的日志到目标logstore里了。下面为日志的具体字段名以及含义，了解这些含义方便我们写更多复杂的sql来适应自己的业务场景。
审计日志
慢日志
错误日志
典型应用场景
有了上述这三种类型的日志，我们可以根据业务的需求来写sql分析。
这三种日志里：审计是覆盖了错误日志和慢日志的。如果业务是本来就需要审计日志的，直接开启审计日志就可以获取下面大部分场景的运维能力，如果无审计要求，为了降低成本，只需单独开通错误日志和慢日志也可以完成下面的部分场景的能力。
场景一：
日常运营
sql：
## 统一pv 依赖开通审计日志
__topic__: rds_audit_log | select count(1) as PV
## 统计uv 依赖开通审计日志
__topic__: rds_audit_log | select approx_distinct(client_ip) as UV
## 统计累计插入行数 依赖开通审计日志
__topic__: rds_audit_log and sql: "insert " and update_rows > 0 | select coalesce(sum(update_rows), 0) as cnt where regexp_extract(sql, '(?is)\binsert\s+(?:into\s+)?`?(\w+)`?\b', 1) is not NULL
## 统计累计更新行数 依赖开通审计日志
__topic__: rds_audit_log and sql: "update " and update_rows > 0 | select coalesce(sum(update_rows), 0) as cnt where regexp_extract(sql, '(?is)\s*update\s+`?(\w+)`?\b', 1) is not NULL
## 统计累计删除行数 依赖开通审计日志
__topic__: rds_audit_log and sql: "delete from" and update_rows > 0 | select coalesce(sum(update_rows), 0) as cnt
## 统计执行错误日志 依赖开通审计日志
__topic__: rds_audit_log and fail > 0 | select *
## 统计执行错误日志 依赖开通错误日志
__topic__:rds_error_log | select *
场景二：数据库安全
## 统计登陆错误次数 依赖开通审计日志
__topic__: rds_audit_log and sql: "login failed!" | select count(1) as cnt
## 统计登陆错误次数 依赖开通错误日志
__topic__: rds_error_log and content: "Access denied for user" | select count(1) as cnt
## 统计大批量的删除次数 依赖开通审计日志
__topic__: rds_audit_log and sql: "delete from" and update_rows > 10 | select count(1) as cnt
## 统计危险类sql次数：注入或者元数据表访问 依赖开通审计日志
## 此处条件可以接入第三方语库从而实现更精确的危险检测查询逻辑
__topic__: rds_audit_log and (sql:information_schema or sql:1 or sql:a) | select count(1) as cnt where regexp_like(sql, '(?i)SELECT.+FROM\s+information_schema.+') or regexp_like(sql, '(?i)\b1\s*=\s*1\s+or\b') or regexp_like(sql, '(?i)\bor\s+1\s*=\s*1\b') or regexp_like(sql, '(?i)\bor\s+''a''\s*=\s*''a''\b')or regexp_like(sql, '(?i)\b''a''\s*=\s*''a''\s+or\b')
场景三：性能分析
-
慢sql记录
## 查询执行延迟1s的sql记录 依赖开通审计日志
(__topic__: rds_audit_log and latency > 1000000)| select *
## 查询执行延迟1s的sql记录 依赖开通慢日志
(__topic__: rds_slow_log and query_time > 1)| select *
上述罗列的场景，基本包含了 数据库运维场景的几大要素：安全、性能、运营。使用者可以基于采集过来的日志进行更复杂的组合来使用。通过sdk来调用日志查询结果来集成到自己的运维平台、也可以使用SLS提供的查询、仪表盘、告警功能来应用自己的数据库日志数据。
总结
除了RDS Lens，sls 在关系型数据库和nosql领域提供了诸如PolarDB Lens、Redis Lens等帮助用户快速接入云产品数据库的产品日志。通过统一的采集能力和形态，并基于sls 强大的查询分析能力、可视化、告警等功能，可以帮用户更全面稳定的使用好数据库的日志。
