Oracle 物化视图和物化视图日志

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 物化视图是将查询预先定义在结构中,并手动或者定期刷新将结果存储在物化视图段中,也就是说跟普通视图不同,它是需要存储空间的,从而不需要重新或者反复的执行sql语句,支持增量刷新,快速获取结果,提高数据获取的效率。
一、相关概念
物化视图是将查询预先定义在结构中,并手动或者定期刷新将结果存储在物化视图段中,也就是说跟普通视图不同,它是需要存储空间的,从而不需要重新或者反复的执行sql语句,支持增量刷新,快速获取结果,提高数据获取的效率。
物化视图类型根据刷新模式,可分为on demand、on commit 。on demand 是需要刷新时才进行刷新,可以通过job或者手动进行刷新;on commit 是DML型的刷新,一旦事务commit立即刷新。
物化视图的刷新方式有四种:fast、complete、force、never。
--fast 刷新采用增量刷新,只刷新上次刷新以来的修改。
--complete 刷新针对整个物化视图刷新。
--force 在刷新时oracle自动选择刷新方式,满足fast就增量刷新,不满足则选择complete。
--never 不进行任何刷新

二、管理视图
在源数据库端的相关视图   
DBA_BASE_TABLE_MVIEWS   
DBA_REGISTERED_MVIEWS   
DBA_MVIEW_LOGS
在MView数据库端的相关视图    
DBA_MVIEWS    
DBA_MVIEW_REFRESH_TIMES   
DBA_REFRESH和DBA_REFRESH_CHILDREN

源端可以理解为基表所在的库,数据库端是视图存放的位置,基表和视图可以在同一个库中,也可以通过dblink创建分布式的远程的物化视图。

三、问题处理
客户环境Goldengate目标库发现有大表持续增长,表空间占用紧张。
首先根据段空间管理查看近期增长频繁的段,发现是MLOG$命名的表增长很快,MLOG$是物化视图基表上的日志表,根据上面的物化视图原理可以确定是有相关的物化视图没有进行快速刷新,因此这些日志表中的数据会一直增长下去。使用easydb可以轻松的获取资源增长情况,Easydb是袋鼠云研发,目前支持了众多云上云下的客户,有关Easydb的详情参考:https:// easydb.dtstack.com


处理步骤:
1、首先查看有多少物化视图注册到了刷新机制中
SQL> select OWNER,NAME,MVIEW_SITE,MVIEW_ID from DBA_REGISTERED_MVIEWS;
OWNER        NAME                   MVIEW_SITE            MVIEW_ID
--------------- ------------------------------ ------------------------------ ----------
SYSMAN        MGMT_ECM_MD_ALL_TBL_COLUMNS    SEEDDATA                    0
USER2   CIPMV_T_REPORT_2           USER1                      44
USER2    CIPMV_T_REPORT_1          USER1                      43
USER2    CIPMV_T_ORDER_2            USER1                     42
USER2    CIPMV_T_ORDER_1            USER1                      41
查看基表上的物化视图刷新依赖
SQL> SELECT * FROM DBA_BASE_TABLE_MVIEWS;
OWNER        MASTER                                               MVIEW_LAST_REFRESH_     MVIEW_ID
--------------- ------------------------------------------------------------------------------------------ ------------------- ----------
USER1        T_PATIENT                                           2017-09-20 20:00:12        1
USER1        T_REPORT                                           2017-09-20 20:00:47           46
USER1        T_ORDER                                            2017-09-20 20:03:02           45
USER1        T_ORDERREPORTLINK                                       2017-09-20 20:03:02           61
USER1        T_ORDER                                            2017-09-26 14:03:21           42
USER1        T_REPORT                                           2017-09-26 14:03:21           44
USER1        T_ORDER                                            2017-09-26 14:03:22           41
USER1        T_REPORT                                           2017-09-26 14:03:22           43
发现mvid是1、45、46、61四个视图没有注册到刷新中。

2、查找近期进行刷新的物化视图,确定哪些物化视图没有进行刷新,发现有几个MVID对应的物化视图是不存在的,有可能这些物化视图是远程数据库上的。
SQL> SELECT * FROM DBA_BASE_TABLE_MVIEWS;
OWNER        MASTER                                               MVIEW_LAST_REFRESH_     MVIEW_ID
--------------- --------------------------------------------------------------------------------
USER1        T_ORDER                                            2017-09-26 14:03:21           42
USER1        T_REPORT                                           2017-09-26 14:03:21           44
USER1        T_ORDER                                            2017-09-26 14:03:22           41
USER1        T_REPORT                                           2017-09-26 14:03:22           43
1、45、46、61四个视图没有刷新

3、跟客户确认环境,这个库是个灾备库,不需要这些视图刷新,此时我们把这些无效的且注册的物化视图信息去掉.
begin
DBMS_MVIEW.UNREGISTER_MVIEW('DBLINK','RIS_T_PATIENT_1', 'ORCL');
end;
/
4、根据刷新情况清空物化视图日志
EXEC DBMS_MVIEW.PURGE_MVIEW_FROM_LOG(46);
EXEC DBMS_MVIEW.PURGE_MVIEW_FROM_LOG(61);
EXEC DBMS_MVIEW.PURGE_MVIEW_FROM_LOG(1);
5、此时本地物化视图刷新后,MLOG$中的数据就会随着刷新而清空了。

6、存在的物化视图进行自动刷新
--快速刷新
begin
     dbms_mview.refresh('USER2.CIPMV_T_REPORT_2','F');
end;
/
begin
     dbms_mview.refresh('USER2.CIPMV_T_REPORT_1','F');
end;
/
begin
     dbms_mview.refresh('USER2.CIPMV_T_ORDER_2','F');
end;
/
begin
     dbms_mview.refresh('USER2.CIPMV_T_ORDER_1','F');
end;
/
--定时刷新
alter materialized view USER2.CIPMV_T_REPORT_2 refresh fast on demand start with sysdate next to_date(concat(to_char(sysdate+1,'dd-mm-yyyy'),' 22:00:00'),'dd-mm-yyyy hh24:mi:ss');
alter materialized view USER2.CIPMV_T_REPORT_1 refresh fast on demand start with sysdate next to_date(concat(to_char(sysdate+1,'dd-mm-yyyy'),' 22:01:00'),'dd-mm-yyyy hh24:mi:ss');
alter materialized view USER2.CIPMV_T_ORDER_2 refresh fast on demand start with sysdate next to_date(concat(to_char(sysdate+1,'dd-mm-yyyy'),' 22:02:00'),'dd-mm-yyyy hh24:mi:ss');
alter materialized view USER2.CIPMV_T_ORDER_1 refresh fast on demand start with sysdate next to_date(concat(to_char(sysdate+1,'dd-mm-yyyy'),' 22:03:00'),'dd-mm-yyyy hh24:mi:ss');


总结:本次问题的原因是表被多个物化视图使用,且包含远程物化视图,MLOG物化视图日志如果不被所有已注册的物化视图刷新是不会清空的,保留正常的物化视图即可。
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
SQL Oracle 关系型数据库
"揭秘!一键解锁Oracle日志清理魔法,让海量归档日志无处遁形,守护数据库健康,告别磁盘空间告急噩梦!"
【8月更文挑战第9天】随着Oracle数据库在企业应用中的普及,归档日志管理对保持数据库健康至关重要。归档日志记录所有更改,对数据恢复极为重要,但也可能迅速占用大量磁盘空间影响性能。利用Oracle提供的RMAN工具,可通过编写Shell脚本来自动清理归档日志。脚本包括设置环境变量、连接数据库、检查和删除指定时间前的日志,并记录执行情况。通过Cron作业定时运行脚本,可有效管理日志文件,确保数据库稳定运行。
83 7
|
2月前
|
SQL 监控 Oracle
Oracle数据误删不用怕,跟我来学日志挖掘
Oracle数据误删不用怕,跟我来学日志挖掘
29 0
|
3月前
|
存储 SQL Oracle
关系型数据库Oracle归档日志备份
【7月更文挑战第19天】
63 5
|
3月前
|
Oracle 关系型数据库 MySQL
实时计算 Flink版产品使用问题之在online模式下增量抓取Oracle数据时,在archive_log切换时,出现数据丢失的情况,是什么原因
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4月前
|
SQL Oracle 关系型数据库
探索 Linux 命令 `db_archive`:Oracle 数据库归档日志的工具
探索 Linux 中的 `db_archive`,实际与 Oracle 数据库归档日志管理相关。在 Oracle 中,归档日志用于恢复,当在线重做日志满时自动归档。管理员可使用 SQL*Plus 查看归档模式,通过 `RMAN` 进行备份和恢复操作。管理归档日志需谨慎,避免数据丢失。了解归档管理对 Oracle 管理员至关重要,确保故障时能快速恢复数据库。
|
4月前
|
SQL DataWorks Oracle
DataWorks产品使用合集之datax解析oracle增量log日志该如何操作
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
51 0
|
监控 Oracle 关系型数据库
|
2天前
|
存储 Oracle 关系型数据库
Oracle数据库的应用场景有哪些?
【10月更文挑战第15天】Oracle数据库的应用场景有哪些?
94 64
|
1天前
|
监控 Oracle 关系型数据库
Oracle数据库性能优化
【10月更文挑战第16天】Oracle数据库性能优化是
5 1

推荐镜像

更多