Oracle Logminer 日志挖掘

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 生产环境中考虑到数据库的性能问题,很少会打开数据的审计功能,应用层也不会记录SQL的执行信息;但是生产上经常会遇到某张表的某几条被修改掉,但是应用又查不到是哪个接口修改的记录,这时候Logminer 就派上用场了。
生产环境中考虑到数据库的性能问题,很少会打开数据的审计功能,应用层也不会记录SQL的执行信息;但是生产上经常会遇到某张表的某几条被修改掉,但是应用又查不到是哪个接口修改的记录,这时候Logminer 就派上用场了。
Logminer 8i之后的一款免费日志分析工具:通过分析在线日志文件或者归档日志文件,返回数据库DDL/DML操作语句、执行时间、用户等等可以追查的信息,快速定位问题。
使用Logminer 工具,数据库需要开启强制日志和归档模式
数据库配置
# 开启强制日志模式

# 查看当前数据库日志模式
SQL> SELECT supplemental_log_data_min, force_logging FROM v$database;

# 如果返回结果为NO,则
SQL> ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
SQL> ALTER DATABASE FORCE LOGGING;

# 确认是否已经修改,输出为YES
SQL> SELECT supplemental_log_data_min, force_logging FROM v$database;

# 切换系统日志
SQL> ALTER SYSTEM SWITCH LOGFILE;

# 数据库处于归档模式
SQL> archive log list
Database log mode           Archive Mode
Automatic archival           Enabled
Archive destination           USE_DB_RECOVERY_FILE_DEST
Oldest online log sequence     107
Next log sequence to archive   109
Current log sequence           109
# 默认归档日志路径
SQL> show parameter db_recover

NAME                     TYPE     VALUE
------------------------------------ ----------- ------------------------------
db_recovery_file_dest             string     /u01/app/oracle/fast_recovery_area
db_recovery_file_dest_size         big integer 4977M
# 若数据库处于非归档模式,则需要
# 干净的关闭掉数据库
SQL> shutdown immediate
# 打开至mount状态
SQL> startup mount
# 设置为归档模式
SQL> alter database archivelog;
# 开启数据库
SQL> alter database open;
Logminer 配置
# 首先安装 logminer 使用到的包,将创建用于分析的过程和视图
SQL> @$ORACLE_HOME/rdbms/admin/dbmslm.sql
SQL> @$ORACLE_HOME/rdbms/admin/dbmslmd.sql

# 参数配置,用于创建字典文件
SQL> show parameter utl

NAME                     TYPE     VALUE
------------------------------------ ----------- ------------------------------
utl_file_dir                 string     /u01/app/oracle/logminer
# 如果VALUE 为 NULL,那么需要在线修改并重启实例生效
SQL> alter system set utl_file_dir='/u01/app/oracle/logminer' scope=spfile;

#  创建字典文件
SQL> CREATE DIRECTORY utlfile AS '/u01/app/oracle/logminer';

SQL> EXECUTE dbms_logmnr_d.build(dictionary_filename => 'dictionary.ora', dictionary_location =>'/u01/app/oracle/logminer');

SQL> !ls  /u01/app/oracle/logminer
dictionary.ora
对测试数据表进行操作
#  创建临时表
SQL>  create table u_logminer.dba_objects as select * from all_objects;
# 更新操作
SQL> select status,owner,object_name from U_LOGMINER.dba_objects where owner = 'U_LOGMINER';

STATUS    OWNER                   OBJECT_NAME
------- ------------------------------ --------------------
INVALID U_LOGMINER               ALL_OBJECTS
INVALID U_LOGMINER               ALL_OBJECTS
INVALID U_LOGMINER               ALL_OBJECTS
INVALID U_LOGMINER               ALL_OBJECTS
 # update 更新
SQL> update U_LOGMINER.dba_objects set STATUS = 'VALID' where owner = 'U_LOGMINER';

4 rows updated.

SQL> commit;

Commit complete.

SQL> select status,owner,object_name from U_LOGMINER.dba_objects where owner = 'U_LOGMINER';

STATUS    OWNER                   OBJECT_NAME
------- ------------------------------ --------------------
VALID    U_LOGMINER               ALL_OBJECTS
VALID    U_LOGMINER               ALL_OBJECTS
VALID    U_LOGMINER               ALL_OBJECTS
VALID    U_LOGMINER               ALL_OBJECTS
# insert 插入
SQL> insert into U_LOGMINER.dba_objects select * from dba_objects where owner = 'U_LOGMINER';

4 rows created.

SQL> commit;

Commit complete.

SQL> select status,owner,object_name from U_LOGMINER.dba_objects where owner = 'U_LOGMINER';

STATUS    OWNER                   OBJECT_NAME
------- ------------------------------ --------------------
VALID    U_LOGMINER               ALL_OBJECTS
VALID    U_LOGMINER               ALL_OBJECTS
VALID    U_LOGMINER               ALL_OBJECTS
VALID    U_LOGMINER               ALL_OBJECTS
VALID    U_LOGMINER               ALL_OBJECTS
VALID    U_LOGMINER               ALL_OBJECTS
VALID    U_LOGMINER               ALL_OBJECTS
VALID    U_LOGMINER               ALL_OBJECTS

8 rows selected.
# delete 删除
SQL> delete from U_LOGMINER.dba_objects where owner = 'U_LOGMINER';

8 rows deleted.

SQL> commit;

Commit complete.
使用Logminer 分析归档日志
# 添加日志文件进行分析,第一个文件 dbms_logmnr.NEW,后面的文件dbms_logmnr.ADDFILE
SQL> BEGIN
  2  dbms_logmnr.add_logfile(logfilename=>'/u01/app/oracle/fast_recovery_area/ORCL/archivelog/2017_08_19/o1_mf_1_106_dshlmn6r_.arc',options=>dbms_logmnr.NEW);
  3  dbms_logmnr.add_logfile(logfilename=>'/u01/app/oracle/fast_recovery_area/ORCL/archivelog/2017_08_19/o1_mf_1_107_dshlmoo2_.arc',options=>dbms_logmnr.ADDFILE);
  4  dbms_logmnr.add_logfile(logfilename=>'/u01/app/oracle/fast_recovery_area/ORCL/archivelog/2017_08_19/o1_mf_1_108_dshm5n1x_.arc',options=>dbms_logmnr.ADDFILE);
  5  end;
  6  /

PL/SQL procedure successfully completed.
# 开始分析,当前是完整分析日志文件的内容,可以操作时间、SCN等过滤需要分析的内容
SQL> EXECUTE dbms_logmnr.start_logmnr(dictfilename =>'/u01/app/oracle/logminer/dictionary.ora');
# 或者
SQL> EXECUTE dbms_logmnr.start_logmnr(DictFileName =>'/u01/app/oracle/logminer/dictionary.ora', StartTime =>to_date('2017-8-19 00:00:00','YYYY-MM-DD HH24:MI:SS'),EndTime =>to_date('2017-8-19 17:00:00','YYYY-MM-DD HH24:MI:SS '));
# 或者
SQL> 
SQL> EXECUTE dbms_logmnr.start_logmnr(DictFileName =>'/u01/app/oracle/logminer/dictionary.ora', StartScn>=20, EndScn<= 50);

PL/SQL procedure successfully completed.
# 结果放在视图中,注意当会话结束,临时表会被删除
SQL> SELECT count(*) FROM v$logmnr_contents; 

  COUNT(*)
----------
     42118
# 将临时表数据备份至物理表中
SQL> create table u_logMIner.logminer_tmp as select * from  v$logmnr_contents; 

Table created.
日志文件分析完成,接下来就看看对表到底做了什么操作
# 根据事务开始时间进行排序,查询数据表的变更记录
SQL > SELECT START_TIMESTAMP,COMMIT_TIMESTAMP,sql_redo,sql_undo,machine_name,os_username,username,table_name FROM u_logMIner.logminer_tmp WHERE username='U_LOGMINER' AND table_name='DBA_OBJECTS' order by START_TIMESTAMP;

# sql_redo 更改数据的SQL
# sql_undo 回滚数据的SQL
# machine_name,os_username,username 三位一体定位执行更新的机器、数据库用户名

# 如下:
SQL> SELECT sql_redo FROM u_logMIner.logminer_tmp WHERE username='U_LOGMINER' AND table_name='DBA_OBJECTS' order by START_TIMESTAMP;

SQL_REDO
--------------------------------------------------------------------------------
update "U_LOGMINER"."DBA_OBJECTS" set "STATUS" = 'INVALID' where "STATUS" = 'VAL
ID' and ROWID = 'AAAD8EAAIAAAAJAAAf';

update "U_LOGMINER"."DBA_OBJECTS" set "STATUS" = 'INVALID' where "STATUS" = 'VAL
ID' and ROWID = 'AAAD8EAAIAAAAKHAAv';
…………

# 如下:
SQL> SELECT sql_undo FROM u_logMIner.logminer_tmp WHERE username='U_LOGMINER' AND table_name='DBA_OBJECTS' order by START_TIMESTAMP;

SQL_UNDO
--------------------------------------------------------------------------------
update "U_LOGMINER"."DBA_OBJECTS" set "STATUS" = 'VALID' where "STATUS" = 'INVAL
ID' and ROWID = 'AAAD8EAAIAAAAJAAAf';

update "U_LOGMINER"."DBA_OBJECTS" set "STATUS" = 'VALID' where "STATUS" = 'INVAL
ID' and ROWID = 'AAAD8EAAIAAAAKHAAv';

update "U_LOGMINER"."DBA_OBJECTS" set "STATUS" = 'VALID' where "STATUS" = 'INVAL
ID' and ROWID = 'AAAD8EAAIAAAAPoAA0';
………………
SQL拿出来了,就可以定位问题,但是能不能立刻回滚到生产环境,还需要和业务部门进行沟通。
建议在创建数据库时,就打开强制日志、归档模式,配置 utl_file_dir 参数,避免数据库重启对线上的影像
当然也可以直接下其他环境下的数据库做日志分析工作,有两个点需要注意:数据字典和日志文件,其他和在本机处理没什么两样。
相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
10月前
|
监控 Oracle 关系型数据库
Mysql、Oracle审计日志的开启
通过上述步骤,可以在 MySQL 和 Oracle 数据库中启用和配置审计日志。这些日志对于监控数据库操作、提高安全性和满足合规性要求非常重要。确保正确配置审计参数和策略,定期查看和分析审计日志,有助于及时发现并处理潜在的安全问题。
644 11
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的控制文件与归档日志文件
本文介绍了Oracle数据库中的控制文件和归档日志文件。控制文件记录了数据库的物理结构信息,如数据库名、数据文件和联机日志文件的位置等。为了保护数据库,通常会进行控制文件的多路复用。归档日志文件是联机重做日志文件的副本,用于记录数据库的变更历史。文章还提供了相关SQL语句,帮助查看和设置数据库的日志模式。
283 1
【赵渝强老师】Oracle的控制文件与归档日志文件
|
Oracle 关系型数据库 数据库
【赵渝强老师】Oracle的参数文件与告警日志文件
本文介绍了Oracle数据库的参数文件和告警日志文件。参数文件分为初始化参数文件(PFile)和服务器端参数文件(SPFile),在数据库启动时读取并分配资源。告警日志文件记录了数据库的重要活动、错误和警告信息,帮助诊断问题。文中还提供了相关视频讲解和示例代码。
269 1
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的联机重做日志文件与数据写入过程
在Oracle数据库中,联机重做日志文件记录了数据库的变化,用于实例恢复。每个数据库有多组联机重做日志,每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
197 0
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
3605 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
6月前
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
802 54
|
11月前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
338 9
|
9月前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
772 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
|
8月前
|
监控 Java 应用服务中间件
Tomcat log日志解析
理解和解析Tomcat日志文件对于诊断和解决Web应用中的问题至关重要。通过分析 `catalina.out`、`localhost.log`、`localhost_access_log.*.txt`、`manager.log`和 `host-manager.log`等日志文件,可以快速定位和解决问题,确保Tomcat服务器的稳定运行。掌握这些日志解析技巧,可以显著提高运维和开发效率。
833 13

推荐镜像

更多