Oracle 物化视图和物化视图日志

简介: 物化视图是将查询预先定义在结构中,并手动或者定期刷新将结果存储在物化视图段中,也就是说跟普通视图不同,它是需要存储空间的,从而不需要重新或者反复的执行sql语句,支持增量刷新,快速获取结果,提高数据获取的效率。
一、相关概念
物化视图是将查询预先定义在结构中,并手动或者定期刷新将结果存储在物化视图段中,也就是说跟普通视图不同,它是需要存储空间的,从而不需要重新或者反复的执行sql语句,支持增量刷新,快速获取结果,提高数据获取的效率。
物化视图类型根据刷新模式,可分为on demand、on commit 。on demand 是需要刷新时才进行刷新,可以通过job或者手动进行刷新;on commit 是DML型的刷新,一旦事务commit立即刷新。
物化视图的刷新方式有四种:fast、complete、force、never。
--fast 刷新采用增量刷新,只刷新上次刷新以来的修改。
--complete 刷新针对整个物化视图刷新。
--force 在刷新时oracle自动选择刷新方式,满足fast就增量刷新,不满足则选择complete。
--never 不进行任何刷新

二、管理视图
在源数据库端的相关视图   
DBA_BASE_TABLE_MVIEWS   
DBA_REGISTERED_MVIEWS   
DBA_MVIEW_LOGS
在MView数据库端的相关视图    
DBA_MVIEWS    
DBA_MVIEW_REFRESH_TIMES   
DBA_REFRESH和DBA_REFRESH_CHILDREN

源端可以理解为基表所在的库,数据库端是视图存放的位置,基表和视图可以在同一个库中,也可以通过dblink创建分布式的远程的物化视图。

三、问题处理
客户环境Goldengate目标库发现有大表持续增长,表空间占用紧张。
首先根据段空间管理查看近期增长频繁的段,发现是MLOG$命名的表增长很快,MLOG$是物化视图基表上的日志表,根据上面的物化视图原理可以确定是有相关的物化视图没有进行快速刷新,因此这些日志表中的数据会一直增长下去。使用easydb可以轻松的获取资源增长情况,Easydb是袋鼠云研发,目前支持了众多云上云下的客户,有关Easydb的详情参考:https:// easydb.dtstack.com


处理步骤:
1、首先查看有多少物化视图注册到了刷新机制中
SQL> select OWNER,NAME,MVIEW_SITE,MVIEW_ID from DBA_REGISTERED_MVIEWS;
OWNER        NAME                   MVIEW_SITE            MVIEW_ID
--------------- ------------------------------ ------------------------------ ----------
SYSMAN        MGMT_ECM_MD_ALL_TBL_COLUMNS    SEEDDATA                    0
USER2   CIPMV_T_REPORT_2           USER1                      44
USER2    CIPMV_T_REPORT_1          USER1                      43
USER2    CIPMV_T_ORDER_2            USER1                     42
USER2    CIPMV_T_ORDER_1            USER1                      41
查看基表上的物化视图刷新依赖
SQL> SELECT * FROM DBA_BASE_TABLE_MVIEWS;
OWNER        MASTER                                               MVIEW_LAST_REFRESH_     MVIEW_ID
--------------- ------------------------------------------------------------------------------------------ ------------------- ----------
USER1        T_PATIENT                                           2017-09-20 20:00:12        1
USER1        T_REPORT                                           2017-09-20 20:00:47           46
USER1        T_ORDER                                            2017-09-20 20:03:02           45
USER1        T_ORDERREPORTLINK                                       2017-09-20 20:03:02           61
USER1        T_ORDER                                            2017-09-26 14:03:21           42
USER1        T_REPORT                                           2017-09-26 14:03:21           44
USER1        T_ORDER                                            2017-09-26 14:03:22           41
USER1        T_REPORT                                           2017-09-26 14:03:22           43
发现mvid是1、45、46、61四个视图没有注册到刷新中。

2、查找近期进行刷新的物化视图,确定哪些物化视图没有进行刷新,发现有几个MVID对应的物化视图是不存在的,有可能这些物化视图是远程数据库上的。
SQL> SELECT * FROM DBA_BASE_TABLE_MVIEWS;
OWNER        MASTER                                               MVIEW_LAST_REFRESH_     MVIEW_ID
--------------- --------------------------------------------------------------------------------
USER1        T_ORDER                                            2017-09-26 14:03:21           42
USER1        T_REPORT                                           2017-09-26 14:03:21           44
USER1        T_ORDER                                            2017-09-26 14:03:22           41
USER1        T_REPORT                                           2017-09-26 14:03:22           43
1、45、46、61四个视图没有刷新

3、跟客户确认环境,这个库是个灾备库,不需要这些视图刷新,此时我们把这些无效的且注册的物化视图信息去掉.
begin
DBMS_MVIEW.UNREGISTER_MVIEW('DBLINK','RIS_T_PATIENT_1', 'ORCL');
end;
/
4、根据刷新情况清空物化视图日志
EXEC DBMS_MVIEW.PURGE_MVIEW_FROM_LOG(46);
EXEC DBMS_MVIEW.PURGE_MVIEW_FROM_LOG(61);
EXEC DBMS_MVIEW.PURGE_MVIEW_FROM_LOG(1);
5、此时本地物化视图刷新后,MLOG$中的数据就会随着刷新而清空了。

6、存在的物化视图进行自动刷新
--快速刷新
begin
     dbms_mview.refresh('USER2.CIPMV_T_REPORT_2','F');
end;
/
begin
     dbms_mview.refresh('USER2.CIPMV_T_REPORT_1','F');
end;
/
begin
     dbms_mview.refresh('USER2.CIPMV_T_ORDER_2','F');
end;
/
begin
     dbms_mview.refresh('USER2.CIPMV_T_ORDER_1','F');
end;
/
--定时刷新
alter materialized view USER2.CIPMV_T_REPORT_2 refresh fast on demand start with sysdate next to_date(concat(to_char(sysdate+1,'dd-mm-yyyy'),' 22:00:00'),'dd-mm-yyyy hh24:mi:ss');
alter materialized view USER2.CIPMV_T_REPORT_1 refresh fast on demand start with sysdate next to_date(concat(to_char(sysdate+1,'dd-mm-yyyy'),' 22:01:00'),'dd-mm-yyyy hh24:mi:ss');
alter materialized view USER2.CIPMV_T_ORDER_2 refresh fast on demand start with sysdate next to_date(concat(to_char(sysdate+1,'dd-mm-yyyy'),' 22:02:00'),'dd-mm-yyyy hh24:mi:ss');
alter materialized view USER2.CIPMV_T_ORDER_1 refresh fast on demand start with sysdate next to_date(concat(to_char(sysdate+1,'dd-mm-yyyy'),' 22:03:00'),'dd-mm-yyyy hh24:mi:ss');


总结:本次问题的原因是表被多个物化视图使用,且包含远程物化视图,MLOG物化视图日志如果不被所有已注册的物化视图刷新是不会清空的,保留正常的物化视图即可。
相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
相关文章
|
12月前
|
监控 Oracle 关系型数据库
Mysql、Oracle审计日志的开启
通过上述步骤,可以在 MySQL 和 Oracle 数据库中启用和配置审计日志。这些日志对于监控数据库操作、提高安全性和满足合规性要求非常重要。确保正确配置审计参数和策略,定期查看和分析审计日志,有助于及时发现并处理潜在的安全问题。
727 11
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的控制文件与归档日志文件
本文介绍了Oracle数据库中的控制文件和归档日志文件。控制文件记录了数据库的物理结构信息,如数据库名、数据文件和联机日志文件的位置等。为了保护数据库,通常会进行控制文件的多路复用。归档日志文件是联机重做日志文件的副本,用于记录数据库的变更历史。文章还提供了相关SQL语句,帮助查看和设置数据库的日志模式。
319 1
【赵渝强老师】Oracle的控制文件与归档日志文件
|
Oracle 关系型数据库 数据库
【赵渝强老师】Oracle的参数文件与告警日志文件
本文介绍了Oracle数据库的参数文件和告警日志文件。参数文件分为初始化参数文件(PFile)和服务器端参数文件(SPFile),在数据库启动时读取并分配资源。告警日志文件记录了数据库的重要活动、错误和警告信息,帮助诊断问题。文中还提供了相关视频讲解和示例代码。
302 1
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的联机重做日志文件与数据写入过程
在Oracle数据库中,联机重做日志文件记录了数据库的变化,用于实例恢复。每个数据库有多组联机重做日志,每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
235 0
|
SQL 监控 Oracle
Oracle数据误删不用怕,跟我来学日志挖掘
Oracle数据误删不用怕,跟我来学日志挖掘
458 0
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
4112 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
8月前
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
909 56
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
417 9
|
11月前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
893 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log

推荐镜像

更多