Oracle-Materialized View解读

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: Oracle-Materialized View解读

物化视图概述


物化视图(Materialized View)在9i以前的版本叫做快照(SNAPSHOT),从9i开始改名叫做物化视图。


Oracle的物化视图是包括一个查询结果的数据库对像,它是远程数据的的本地副本,或者用来生成基于数据表求和的汇总表。


物化视图可以用于预先计算并保存表连接或聚集等耗时较多的操作的结果,这样,在执行查询时,就可以避免进行这些耗时的操作,而从快速的得到结果。


物化视图有很多方面和索引很相似:


使用物化视图的目的是为了提高查询性能;


物化视图对应用透明,增加和删除物化视图不会影响应用程序中SQL语句的正确性和有效性;


物化视图需要占用存储空间;

当基表发生变化时,物化视图也应当刷新。

物化视图可以查询表,视图和其它的物化视图。

物化视图由于是物理真实存在的,故可以创建索引。


物化视图分类


  • 包含聚集的物化视图;
  • 只包含连接的物化视图;
  • 嵌套物化视图。

三种物化视图的快速刷新的限制条件有很大区别,而对于其他方面则区别不大。


创建方式 Build Methods


分为两种:build immediate 和 build deferred,

build immediate是在创建物化视图的时候就生成数据。

build deferred则在创建时不生成数据,以后根据需要在生成数据。


如果不指定,则默认为build immediate。


查询重写 Query Rewrite


包括 enable query rewrite 和 disable query rewrite 两种,分别指出创建的物化视图是否支持查询重写。

查询重写是指当对物化视图的基表进行查询时,oracle会自动判断能否通过查询物化视图来得到结果,如果可以,则避免了聚集或连接操作,而直接从已经计算好的物化视图中读取数据。

默认为disable query rewrite。


刷新 Refresh

物化视图有二种刷新模式


在创建时refresh mode是 on demand 还是 on commit。


on demand 顾名思义,仅在该物化视图“需要”被刷新了,才进行刷新(REFRESH),即更新物化视图,以保证和基表数据的一致性;


on commit 提交触发,一旦基表有了commit,即事务提交,则立刻刷新,立刻更新物化视图,使得数据和基表一致。一般用这种方法在操作基表时速度会比较慢。


对基表,平常的COMMIT在0.01秒内可以完成,但在有了ON COMMIT视图后,居然要6秒。速度减低了很多倍。ON COMMIT视图对基表的影响可见一斑。


创建物化视图时未作指定,则Oracle按 on demand 模式来创建。


设置REFRESH ON COMMIT的物化视图不能访问远端对象。


20161129231010303.png

ORA-12054: cannot set the ON COMMIT refresh attribute for the materialized view


在建立物化视图的时候可以指定ORDER BY语句,使生成的数据按照一定的顺序进行保存。不过这个语句不会写入物化视图的定义中,而且对以后的刷新也无效。


如何刷新,则有三种刷新方法


完全刷新(COMPLETE):

会删除表中所有的记录(如果是单表刷新,可能会采用TRUNCATE的方式),然后根据物化视图中查询语句的定义重新生成物化视图。

快速刷新(FAST):

采用增量刷新的机制,只将自上次刷新以后对基表进行的所有操作刷新到物化视图中去。FAST必须创建基于主表的视图日志。对于增量刷新选项,如果在子查询中存在分析函数,则物化视图不起作用。


FORCE方式(默认方式)

这是默认的数据刷新方式。Oracle会自动判断是否满足快速刷新的条件,如果满足则进行快速刷新,否则进行完全刷新。


关于快速刷新:Oracle物化视图的快速刷新机制是通过物化视图日志完成的。Oracle通过一个物化视图日志还可以支持多个物化视图的快速刷新。物化视图日志根据不同物化视图的快速刷新的需要,可以建立为ROWID或PRIMARY KEY类型的。还可以选择是否包括SEQUENCE、INCLUDING NEW VALUES以及指定列的列表。


REFRESH 子句

可以包含如下部分:
       [refresh [fast|complete|force]
       [on demand | commit]
       [start with date] [next date]
       [with {primary key|rowid}]]



WITH PRIMARY KEY选项生成主键物化视图,也就是说物化视图是基于主表的主键,而不是ROWID(对应于ROWID子句).


PRIMARY KEY是默认选项,为了生成PRIMARY KEY子句,应该在主表上定义主键,否则应该用基于ROWID的物化视图.


基于ROWID物化视图只有一个单一的主表,不能包括下面任何一项:

(1)Distinct 或者聚合函数.

(2)Group by,子查询,连接和SET操作


当用FAST选项创建物化视图,必须创建基于主表的视图日志.

CREATE MATERIALIZED VIEW  LOG  ON tableName;


主键(PrimaryKey)物化视图


PRIMARY KEY是默认选项

在远程数据库表acct_price_Plan上创建主键物化视图

20161125005147356.png

-- Create database link 
create database link PROD_DB_LINK
  connect to CC
  using '(DESCRIPTION =
    (ADDRESS_LIST =
      (ADDRESS = (PROTOCOL = TCP)(HOST = 10.xx.xx.xx)(PORT = 1521))
    )
    (CONNECT_DATA =
      (SERVICE_NAME = xgj)
    )
  )';


Rowid物化视图

两个库 CC 和ZMC ,以zmc的emp表为操作栗子。

  1. 在CC用户下,创建连接zmc的dblink
-- Create database link   cc to zmc
create database link DB_LINK_cc_2_zmc
  connect to zmc identified by smart
  using '(DESCRIPTION =
    (ADDRESS_LIST =
      (ADDRESS = (PROTOCOL = TCP)(HOST = 10.45.7.198)(PORT = 1521))
    )
    (CONNECT_DATA =
      (SERVICE_NAME = cc)
    )
  )';


验证DBLINK的有效性

20161129225138290.png


创建基于rowid的物化视图

SQL> CREATE MATERIALIZED VIEW mv_emp_rowid
  2  REFRESH WITH ROWID
  3  AS SELECT * FROM emp@db_link_cc_2_zmc ;
Materialized view created


查询创建的物化视图


20161129225628838.png


子查询物化视图

在远程数据库表emp上创建基于emp和dept表的子查询物化视图

CREATE MATERIALIZED VIEW  mv_empdept
AS SELECT * FROM emp@db_link_cc_2_zmc e
WHERE EXISTS
(SELECT * FROM dept@db_link_cc_2_zmc  d
WHEREe.dept_no = d.dept_no)



语法:

create materialized view view_name
refresh [fast|complete|force]
[
on [commit|demand] |
start with (start_time) next (next_time)
]
AS subquery;


操作

创建物化视图需要的权限

grant create materialized view to user_name;

在源表建立物化视图日志

create materialized view log on test_table  
tablespace test_space -- 日志空间  
with primary key;     -- 指定为主键类型


在目标数据库上创建MATERIALIZED VIEW


START WITH子句通知数据库完成从主表到本地表第一次复制的时间,应该及时估计下一次运行的时间点, NEXT 子句说明了刷新的间隔时间.

create materialized view mv_materialized_test 
refresh force 
on demand 
--第一次刷新时间  
start with sysdate
--刷新时间间隔。每1天刷新一次,在每天10:25进行刷新 
next to_date(concat(to_char(sysdate+1,'dd-mm-yyyy'),'10:25:00'),'dd-mm-yyyy hh24:mi:ss')
 as
select * from user_info; 


修改刷新时间

alter materialized view mv_materialized_test refresh force on demand start with sysdate 
next to_date(concat(to_char(sysdate+1,'dd-mm-yyyy'),' 23:00:00'),'dd-mm-yyyy hh24:mi:ss');


alter materialized view mv_materialized_test refresh force on demand start with sysdate 
next trunc(sysdate,'dd')+1+1/24; -- 每天1点刷新 


建立索引

create index IDX_MMT_IU_TEST
on mv_materialized_test(ID,UNAME)  
tablespace test_space;


删除物化视图及日志

drop materialized view log on test_table;    --删除物化视图日志:
drop materialized view mv_materialized_test; --删除物化视图  


物化视图刷新

使用dbms_mview.refresh 手工刷新

EXEC DBMS_MVIEW.REFRESH('mv_emp_rowid');
--完全刷新
EXEC DBMS_MVIEW.REFRESH(LIST => 'mv_emp_rowid',METHOD => 'c');
EXEC DBMS_MVIEW.REFRESH('mv_emp_rowid','C');
--快速刷新
EXEC DBMS_MVIEW.REFRESH(LIST => 'mv_emp_rowid',METHOD => 'f');
EXEC DBMS_MVIEW.REFRESH('mv_emp_rowid','F');


栗子

SQL> EXEC DBMS_MVIEW.REFRESH(LIST => 'mv_emp_rowid',METHOD => 'c');
PL/SQL procedure successfully completed
SQL> EXEC DBMS_MVIEW.REFRESH('mv_emp_rowid','C');
PL/SQL procedure successfully completed


批量完全刷新

begin
  for rec in (select mview_name mview_name from user_mviews)
  loop
    DBMS_MVIEW.REFRESH(rec.mview_name,'C');
  end loop;
end;

使用dbms_refresh.refresh 过程来批量刷新MV


如果我们在创建物化视图的过程指定start 和next time的刷新时间,那么Oracle 会自动创建刷新的job,并采用dbms_refresh.refresh 的方式。


使用这种方式刷新之前需要先make refresh group,然后才可以刷新。


Refreshmake官方语法


示例:


假设存在物化视图MV_T1, MV_T2, MV_T3. 创建refresh group的语法如下:

SQL> EXEC DBMS_REFRESH.MAKE('REP_TEST', 'MV_T1,MV_T2,MV_T3', SYSDATE, 'SYSDATE+ 1')
--刷新整个refresh group 组:
SQL> EXEC DBMS_REFRESH.REFRESH('REP_TEST')


查看物化视图刷新状态信息

select mview_name, refresh_method last_refresh_date, last_refresh_type,staleness  from


20161129232326384.png



select  * from user_mview_refresh_times;  

查询物化视图日志


物化视图日志的名称为MLOG$_后面跟基表的名称,如果表名的长度超过20位,则只取前20位,当截短后出现名称重复时,Oracle会自动在物化视图日志名称后面加上数字作为序号。

SELECT MASTER, LOG_TABLE FROM USER_MVIEW_LOGS WHERE LOG_OWNER = UPPER(?)

找到log_table 一般都是 MLOG$_ 开头 ,然后

select * from  查询到的log_table


注意

在物化视图的编写过程中不可使用select * from 的形式


当发生DML 操作时,内部的触发器会把变化记录到物化视图日志里,也就是说物化视图不支持DDL的同步,所以在物化视图的编写过程中不可使用select * from 的形式,因为这样当基表发生变化时,物化视图就会失效。


DDL:CREATE 、 ALTER 、DROP、 TRUNCATE、 COMMENT 、RENAME

DML:SELECT、 INSERT 、UPDATE、 DELETE、MERGE、 CALL、 EXPLAIN PLAN、LOCK TABLE


测试过程:


更新zmc.emp:

alter table emp add(sex char(5));
update emp a set a.sex='male' ;
commit;

20161129234111502.png


刷新cc库的物化视图

begin
  for rec in (select mview_name mview_name from user_mviews)
  loop
    DBMS_MVIEW.REFRESH(rec.mview_name,'C');
  end loop;
end;


重新查询

20161129234038578.png


INSERT-ONLY物化视图


当物化视图属于下面的某种情况,则快速刷新只支持常规DML插入和直接装载,这种类型的物化视图又称为INSERT-ONLY物化视图;

物化视图包含MIN或MAX聚集函数;

物化视图包含SUM(expr),但是没有包括COUNT(expr);

物化视图没有包含COUNT(*)。


注意:如果建立了这种物化视图且刷新机制是ON COMMIT的,则会存在潜在的问题。当出现了UPDATE或DELETE语句,除非手工完全刷新解决这个问题,否则物化视图至此以后都不再自动刷新,且不会报任何错误。


Oracle 物化视图 快速刷新 限制 说明

Oracle 物化视图日志 与 快速刷新 说明

Oracle 物化视图 详细错误描述 查看方法

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
6月前
ALTER MATERIALIZED VIEW
Use the ALTER MATERIALIZED VIEW statement to modify an existing materialized view in one or more of the following ways: To change its storage characteristics To change its refresh method, mode, or time To alter its structure so that it is a different type of materialized view To enable or disabl
33 0
|
SQL
Oracle-view小结
Oracle-view小结
47 0
|
SQL Oracle 关系型数据库
ORACLE不可见索引(Invisible Indexes)
不可见索引概念   不可见索引(Invisible Index)是ORACLE 11g引入的新特性。不可见索引是会被优化器忽略的不可见索引,除非在会话或系统级别上将OPTIMIZER_USE_INVISIBLE_INDEXES初始化参数显式设置为TRUE。
1539 0
|
关系型数据库 Oracle
|
关系型数据库 Oracle
|
关系型数据库 Oracle
|
Oracle 关系型数据库 数据库