Oracle 物化视图和物化视图日志

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 物化视图是将查询预先定义在结构中,并手动或者定期刷新将结果存储在物化视图段中,也就是说跟普通视图不同,它是需要存储空间的,从而不需要重新或者反复的执行sql语句,支持增量刷新,快速获取结果,提高数据获取的效率。
一、相关概念
物化视图是将查询预先定义在结构中,并手动或者定期刷新将结果存储在物化视图段中,也就是说跟普通视图不同,它是需要存储空间的,从而不需要重新或者反复的执行sql语句,支持增量刷新,快速获取结果,提高数据获取的效率。
物化视图类型根据刷新模式,可分为on demand、on commit 。on demand 是需要刷新时才进行刷新,可以通过job或者手动进行刷新;on commit 是DML型的刷新,一旦事务commit立即刷新。
物化视图的刷新方式有四种:fast、complete、force、never。
--fast 刷新采用增量刷新,只刷新上次刷新以来的修改。
--complete 刷新针对整个物化视图刷新。
--force 在刷新时oracle自动选择刷新方式,满足fast就增量刷新,不满足则选择complete。
--never 不进行任何刷新

二、管理视图
在源数据库端的相关视图   
DBA_BASE_TABLE_MVIEWS   
DBA_REGISTERED_MVIEWS   
DBA_MVIEW_LOGS
在MView数据库端的相关视图    
DBA_MVIEWS    
DBA_MVIEW_REFRESH_TIMES   
DBA_REFRESH和DBA_REFRESH_CHILDREN

源端可以理解为基表所在的库,数据库端是视图存放的位置,基表和视图可以在同一个库中,也可以通过dblink创建分布式的远程的物化视图。

三、问题处理
客户环境Goldengate目标库发现有大表持续增长,表空间占用紧张。
首先根据段空间管理查看近期增长频繁的段,发现是MLOGMLOG是物化视图基表上的日志表,根据上面的物化视图原理可以确定是有相关的物化视图没有进行快速刷新,因此这些日志表中的数据会一直增长下去。使用easydb可以轻松的获取资源增长情况,Easydb是袋鼠云研发,目前支持了众多云上云下的客户,有关Easydb的详情参考:https:// easydb.dtstack.com


处理步骤:
1、首先查看有多少物化视图注册到了刷新机制中
SQL> select OWNER,NAME,MVIEW_SITE,MVIEW_ID from DBA_REGISTERED_MVIEWS;
OWNER        NAME                   MVIEW_SITE            MVIEW_ID
--------------- ------------------------------ ------------------------------ ----------
SYSMAN        MGMT_ECM_MD_ALL_TBL_COLUMNS    SEEDDATA                    0
USER2   CIPMV_T_REPORT_2           USER1                      44
USER2    CIPMV_T_REPORT_1          USER1                      43
USER2    CIPMV_T_ORDER_2            USER1                     42
USER2    CIPMV_T_ORDER_1            USER1                      41
查看基表上的物化视图刷新依赖
SQL> SELECT * FROM DBA_BASE_TABLE_MVIEWS;
OWNER        MASTER                                               MVIEW_LAST_REFRESH_     MVIEW_ID
--------------- ------------------------------------------------------------------------------------------ ------------------- ----------
USER1        T_PATIENT                                           2017-09-20 20:00:12        1
USER1        T_REPORT                                           2017-09-20 20:00:47           46
USER1        T_ORDER                                            2017-09-20 20:03:02           45
USER1        T_ORDERREPORTLINK                                       2017-09-20 20:03:02           61
USER1        T_ORDER                                            2017-09-26 14:03:21           42
USER1        T_REPORT                                           2017-09-26 14:03:21           44
USER1        T_ORDER                                            2017-09-26 14:03:22           41
USER1        T_REPORT                                           2017-09-26 14:03:22           43
发现mvid是1、45、46、61四个视图没有注册到刷新中。

2、查找近期进行刷新的物化视图,确定哪些物化视图没有进行刷新,发现有几个MVID对应的物化视图是不存在的,有可能这些物化视图是远程数据库上的。
SQL> SELECT * FROM DBA_BASE_TABLE_MVIEWS;
OWNER        MASTER                                               MVIEW_LAST_REFRESH_     MVIEW_ID
--------------- --------------------------------------------------------------------------------
USER1        T_ORDER                                            2017-09-26 14:03:21           42
USER1        T_REPORT                                           2017-09-26 14:03:21           44
USER1        T_ORDER                                            2017-09-26 14:03:22           41
USER1        T_REPORT                                           2017-09-26 14:03:22           43
1、45、46、61四个视图没有刷新

3、跟客户确认环境,这个库是个灾备库,不需要这些视图刷新,此时我们把这些无效的且注册的物化视图信息去掉.
begin
DBMS_MVIEW.UNREGISTER_MVIEW('DBLINK','RIS_T_PATIENT_1', 'ORCL');
end;
/
4、根据刷新情况清空物化视图日志
EXEC DBMS_MVIEW.PURGE_MVIEW_FROM_LOG(46);
EXEC DBMS_MVIEW.PURGE_MVIEW_FROM_LOG(61);
EXEC DBMS_MVIEW.PURGE_MVIEW_FROM_LOG(1);
5、此时本地物化视图刷新后,MLOG$中的数据就会随着刷新而清空了。

6、存在的物化视图进行自动刷新
--快速刷新
begin
     dbms_mview.refresh('USER2.CIPMV_T_REPORT_2','F');
end;
/
begin
     dbms_mview.refresh('USER2.CIPMV_T_REPORT_1','F');
end;
/
begin
     dbms_mview.refresh('USER2.CIPMV_T_ORDER_2','F');
end;
/
begin
     dbms_mview.refresh('USER2.CIPMV_T_ORDER_1','F');
end;
/
--定时刷新
alter materialized view USER2.CIPMV_T_REPORT_2 refresh fast on demand start with sysdate next to_date(concat(to_char(sysdate+1,'dd-mm-yyyy'),' 22:00:00'),'dd-mm-yyyy hh24:mi:ss');
alter materialized view USER2.CIPMV_T_REPORT_1 refresh fast on demand start with sysdate next to_date(concat(to_char(sysdate+1,'dd-mm-yyyy'),' 22:01:00'),'dd-mm-yyyy hh24:mi:ss');
alter materialized view USER2.CIPMV_T_ORDER_2 refresh fast on demand start with sysdate next to_date(concat(to_char(sysdate+1,'dd-mm-yyyy'),' 22:02:00'),'dd-mm-yyyy hh24:mi:ss');
alter materialized view USER2.CIPMV_T_ORDER_1 refresh fast on demand start with sysdate next to_date(concat(to_char(sysdate+1,'dd-mm-yyyy'),' 22:03:00'),'dd-mm-yyyy hh24:mi:ss');


总结:本次问题的原因是表被多个物化视图使用,且包含远程物化视图,MLOG物化视图日志如果不被所有已注册的物化视图刷新是不会清空的,保留正常的物化视图即可。
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
打赏
0
0
0
0
32468
分享
相关文章
Mysql、Oracle审计日志的开启
通过上述步骤,可以在 MySQL 和 Oracle 数据库中启用和配置审计日志。这些日志对于监控数据库操作、提高安全性和满足合规性要求非常重要。确保正确配置审计参数和策略,定期查看和分析审计日志,有助于及时发现并处理潜在的安全问题。
125 11
【赵渝强老师】Oracle的控制文件与归档日志文件
本文介绍了Oracle数据库中的控制文件和归档日志文件。控制文件记录了数据库的物理结构信息,如数据库名、数据文件和联机日志文件的位置等。为了保护数据库,通常会进行控制文件的多路复用。归档日志文件是联机重做日志文件的副本,用于记录数据库的变更历史。文章还提供了相关SQL语句,帮助查看和设置数据库的日志模式。
149 1
【赵渝强老师】Oracle的控制文件与归档日志文件
【赵渝强老师】Oracle的参数文件与告警日志文件
本文介绍了Oracle数据库的参数文件和告警日志文件。参数文件分为初始化参数文件(PFile)和服务器端参数文件(SPFile),在数据库启动时读取并分配资源。告警日志文件记录了数据库的重要活动、错误和警告信息,帮助诊断问题。文中还提供了相关视频讲解和示例代码。
132 1
【赵渝强老师】Oracle的联机重做日志文件与数据写入过程
在Oracle数据库中,联机重做日志文件记录了数据库的变化,用于实例恢复。每个数据库有多组联机重做日志,每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
Oracle数据误删不用怕,跟我来学日志挖掘
Oracle数据误删不用怕,跟我来学日志挖掘
167 0
ORACLE物化视图入门
一  前言:        物化视图作为sql调优的高级技术,也是进行数据仓库调优的利器之一,总而言之这个技术还是比较炫的,也是比较少的能够在老板面前露一手的技术之一,很有必要了解一番;   二  概念:       视图是一个虚拟表(也可以认为是一条语句),基于它创建时指定的查询语句返回的结果集。
1381 0
【赵渝强老师】Oracle的闪回数据库
Oracle闪回数据库功能类似于“倒带按钮”,可快速将数据库恢复至 earlier 状态,无需还原备份。本文介绍了闪回数据库的使用方法及实战案例:包括设置归档模式、开启闪回功能、记录SCN号、执行误操作后的恢复步骤等。通过具体 SQL 操作演示了如何利用闪回数据库恢复被误删的用户数据。注意,使用此功能前需确保数据库为归档模式。
【赵渝强老师】Oracle数据库的闪回表
本文介绍了Oracle数据库中的闪回表(Flashback Table)功能,它能够将表的数据快速恢复到特定时间点或系统改变号(SCN),无需备份。文章通过实战示例详细演示了如何使用闪回表恢复数据,包括授权、创建测试表、记录时间与SCN号、删除数据、启用行移动功能、执行闪回操作以及验证恢复结果等步骤。同时,还展示了如何通过触发器禁止插入操作,并在闪回过程中处理触发器的启用问题。文末附有视频讲解,帮助读者更好地理解闪回表的使用方法。
44 10
【赵渝强老师】Oracle数据库的闪回查询
本文介绍了Oracle数据库的闪回查询(Flashback Query)功能及其实际应用。闪回查询通过`AS OF`子句,结合时间戳或SCN号,可查询历史数据状态,帮助分析数据差异。文中通过具体示例演示了如何使用闪回查询:创建测试表、记录当前SCN号、更新数据并提交事务,最后通过闪回查询获取历史数据。附带的视频和代码块详细展示了操作步骤与结果。
崖山异构数据库迁移利器YMP初体验-Oracle迁移YashanDB
文章是作者小草对崖山异构数据库迁移利器 YMP 的初体验分享,包括背景、YMP 简介、体验环境说明、YMP 部署(含安装前准备、安装、卸载、启动与停止)、数据迁移及遇到的问题与解决过程。重点介绍了 YMP 功能、部署的诸多细节和数据迁移流程,还提到了安装和迁移中遇到的问题及解决办法。

热门文章

最新文章

推荐镜像

更多