明明白白使用数据块 ----数据块格式深入解析

本文涉及的产品
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
简介: 理解数据块格式对没有备份的特殊恢复有非常大的帮助,Data Block是数据库中最小的I/O单元,下面我来简单介绍下数据块的基本结构。OK!跟着我一步步实验:

一、建表空间
SQL>create tablespace tp1 datafile '/oradata/bxocp/tp01.dbf' size 10M;

二、建用户及授权
SQL>create user gyj identified by gyj default tablespace tp1;
SQL>grant dba to gyj;

三、建表
SQL>conn gyj/gyj
SQL>create table t1 (id int,name varchar2(100));

四、插入一行数据
SQL>insert into t1 values(1,'AAAAA');
SQL>commit;

五、手动发生一个检查点,使上面一行数据写到数据文件
alter system checkpoint;

六、查这行数据所在的文件号和块号
SQL>col name for a10
SQL>select id,name,dbms_rowid.rowid_relative_fno(rowid) file#,dbms_rowid.rowid_block_number(rowid) block# from t1;

    ID       NAME        FILE#     BLOCK#
   ----------   ---------       ----------    ----------
     1      AAAAA        6        135

七、转储6号文件135号块,新开个窗口
[oracle@guoyj ~]$ sqlplus / as sysdba
SQL> alter system dump datafile 6 block 135;

八、找到转储的文件
SQL> show parameter dump
NAME TYPE VALUE


background_core_dump string partial
background_dump_dest string /u01/app/oracle/diag/rdbms/bxo

                                             cp/bxocp/trace

再开一新窗口
[oracle@guoyj ~]$ cd /u01/app/oracle/diag/rdbms/bxocp/bxocp/trace
[oracle@guoyj trace]$ ls -lFtr
下面这个跟踪日志就是6号文件135号块转储出来的数据块信息
-rw-r----- 1 oracle oinstall 3363 Dec 11 18:02 bxocp_ora_5429.trc -

九、分析数据块结构
[oracle@guoyj trace]$ vi bxocp_ora_5429.trc
Trace file /u01/app/oracle/diag/rdbms/bxocp/bxocp/trace/bxocp_ora_5429.trc
Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options
ORACLE_HOME = /u01/app/oracle/product/11.2.0
System name: Linux
Node name: guoyj
Release: 2.6.18-128.el5
Version: #1 SMP Wed Dec 17 11:41:38 EST 2008
Machine: x86_64
VM name: VMWare Version: 6
Instance name: bxocp
Redo thread mounted by this instance: 1
Oracle process number: 28
Unix process pid: 5429, image: oracle@guoyj (TNS V1-V3)
* 2012-12-11 18:02:31.307
* SESSION ID:(29.15) 2012-12-11 18:02:31.307
* CLIENT ID:() 2012-12-11 18:02:31.307
* SERVICE NAME:(SYS$USERS) 2012-12-11 18:02:31.307
* MODULE NAME:(sqlplus@guoyj (TNS V1-V3)) 2012-12-11 18:02:31.307
* ACTION NAME:() 2012-12-11 18:02:31.307
Start dump data blocks tsn: 7 file#:6 minblk 135 maxblk 135
Block dump from cache:
Dump of buffer cache at level 4 for tsn=7 rdba=25165959

BH (0x7f3f6958) file#: 6 rdba: 0x01800087 (6/135) class: 1 ba: 0x7f33a000
set: 3 pool: 3 bsz: 8192 bsi: 0 sflg: 1 pwc: 103,28
dbwrid: 0 obj: 76987 objn: 76987 tsn: 7 afn: 6 hint: f
hash: [0x908b5100,0x908b5100] lru: [0x7f3f6910,0x7f3f6b70]
ckptq: [NULL] fileq: [NULL] objq: [0x7f3f6938,0x8d148e00] objaq: [0x7f3f6948,0x8d148df0]
st: XCURRENT md: NULL fpin: 'ktspbwh2: ktspfmdb' tch: 3
flags: block_written_once redo_since_read
LRBA: [0x0.0.0] LSCN: [0x0.0] HSCN: [0xffff.ffffffff] HSUB: [1]
Block dump from disk:

1、数据块头部分

buffer tsn: 7 rdba: 0x01800087 (6/135)
scn: 0x0000.0015a3eb seq: 0x01 flg: 0x06 tail: 0xa3eb0601frmt: 0x02 chkval: 0xec19 type: 0x06=trans data

flg:0x01 (新建块)0x2(数据块延迟清洗推进scn和seq) 0X04(设置校验和) 0x08(临时块)
type:0x06(表/索引块)
frmt: 0x01(v7) 0x02(v8)

Hex dump of block: st=0, typ_found=1
Dump of memory from 0x00002B70E9566A00 to 0x00002B70E9568A00
2B70E9566A00 0000A206 01800087 0015A3EB 06010000 [................]
2B70E9566A10 0000EC19 00000001 00012CBB 0015A3EA [.........,......]
2B70E9566A20 00000000 0032F802 01800080 000F0004 [......2.........]
2B70E9566A30 00000346 00C00793 002200BB 00002001 [F.........".. ..]
2B70E9566A40 0015A3EB 00000000 00000000 00000000 [................]
2B70E9566A50 00000000 00000000 00000000 00000000 [................]
2B70E9566A60 00000000 00010100 0014FFFF 1F781F8C [..............x.]
2B70E9566A70 00001F78 1F8C0001 00000000 00000000 [x...............]
2B70E9566A80 00000000 00000000 00000000 00000000 [................]

    Repeat 502 times

2B70E95689F0 0202012C 410502C1 41414141 A3EB0601 [,......AAAAA....]

2.ITL

Block header dump: 0x01800087
Object id on Block? Y
seg/obj: 0x12cbb csc: 0x00.15a3ea itc: 2 flg: E typ: 1 - DATA

 brn: 0  bdba: 0x1800080 ver: 0x01 opc: 0
 inc: 0  exflg: 0

seg/obj: 0x12cbb --16进制转成10进制76987
SQL> select object_id from dba_objects where object_name='T1' and owner='GYJ';

OBJECT_ID

 76987

csc: 0x00.15a3ea --cleanoutSCN,块清除时的SCN
itc: 2 --ITL槽的数量
flg: E --指用的是ASSM,如果是O表示用的是free list
typ: 1 - DATA --事务型的数据块(并且:数据块头的type:0x06),存放表和索引数据。

Itl Xid Uba Flag Lck Scn/Fsc
0x01 0x0004.00f.00000346 0x00c00793.00bb.22 --U- 1 fsc 0x0000.0015a3eb
0x02 0x0000.000.00000000 0x00000000.0000.00 ---- 0 fsc 0x0000.00000000

Itl: ITL事务槽号的流水编号
Xid:transac[X]tion identified(事务ID),由und的段号+undo的槽号+undo槽号的覆盖次数三部分组成
Uba:undo block address记录了最近一次的该记录的前镜像(修改前的值)
Flag:C是提交,U是快速提交,---是未提交(Flg C=Committed U=Commit Upper Bound T=Active at CSC)
Lck:锁住了几行数据,对应有几个行锁
Scn/Fsc:Scn=SCN of commited TX; Fsc=Free space credit(bytes)
这里fsc 0x0000.0015a3eb是指提交的scn,这个值大于上次清除块时的scn=csc: 0x00.15a3ea(此scn是这个块中最小的SCN of commited)
SCN WRAP:如果事务已提交并完成清洗,该字段保存事务提交SCN的SCN WRAP部分,否则该字段保存空闲预支字节数(FSC).比如我删除了一行数据10个字节,在事务提前前,这10个字节就属于fsc(即会写到SCN WRAP),只有事务提交后,才能正式返回到空闲空间。

3.用户数据头

bdba: 0x01800087

data_block_dump,data header at 0x2b70e9566a64

tsiz: 0x1f98
hsiz: 0x14
pbl: 0x2b70e9566a64

 76543210

flag=--------
ntab=1
nrow=1
frre=-1
fsbo=0x14
fseo=0x1f8c
avsp=0x1f78
tosp=0x1f78
0xe:pti[0] nrow=1 offs=0
0x12:pri[0] offs=0x1f8c

bdba: 0x01800087 -- 数据块的地址:16进制转成2进制取前10位二进制为文件号0000 0001 1000 ..... 0000000110=5号文件,后面剩于的部分表示块号,0X87转成10进制为135号块
tsiz: 0x1f98 --top of size 块的总大小即8088个字节
hsiz: 0x14 --Data header size 数据头大小即20个字节
pbl: 0x2b70e9566a64 --Pointer to buffer holding the block

  76543210

flag=-------- N=pcrfree hit(clusters);F=do not put on free list;K=flushable cluster keys
ntab=1 --叫表数:表示这个块的数据在一个表(如果是聚簇表就有可能是2或2以上)
nrow=1 --叫行数:表示这个表有一行数据
frre=-1 -- The first free row entry in the row directory=you have to add one
fsbo=0x14 -- Free space begin offset 叫起始空间:可以存放数据空间的起始位置(即定义了数据层中空闲空间的起始offset)
fseo=0x1f8c -- Free space end offset 叫结束空间:可以存放数据空间的结束位置(即定义了数据层中空闲空间的结束offset)
avsp=0x1f78 --Available space for new entries 叫空闲空间:定义了数据层中空闲空间的字节数
tosp=0x1f78 --Total space 叫最终空闲空间:定义了ITL中事务提交后,数据层中空闲空间的字节数
0xe:pti[0] nrow=1 offs=0 --Table directory,整个表的开始,共一行数据 ,定义了该表在行索引中使用的插槽数
0x12:pri[0] offs=0x1f8c --Row index,叫行索引,定义了该块中包含的所有行数据的位置

4.用户数据

block_row_dump:
tab 0, row 0, @0x1f8c
tl: 12 fb: --H-FL-- lb: 0x1 cc: 2
col 0: [ 2] c1 02
col 1: [ 5] 41 41 41 41 41
end_of_block_dump
End dump data blocks tsn: 7 file#: 6 minblk 135 maxblk 135

tab 0, row 0, @0x1f8c --第一个表第一行的位置 ,定义了该表在行索引中的起始插槽号
tl: 12 fb: --H-FL-- lb: 0x1 cc: 2 --行头,tl: 12行长度12个字节,
fb: (Flag byte)--H-FL指H(Head piece of row)F(First data piece) L(Last data piece)
lb: 0x1 --Lock byte和上面的ITL的lck相对应,表示这行是否被lock了
cc: 2 --表示有两列,即这个表有两个字段
col 0: [ 2] c1 02 --第一行的第一个字段长度和值
col 1: [ 5] 41 41 41 41 41 --第一行的第二个字段长度和值

数据块的最后四字节tail: 0xa3eb0601=scnBASE+flg+seq,如果不相等会报块损坏!!!

5、下面对这些数据用SQL语句做相互转换

(1)把表中的数据转成16进制(即在ORACLE内部数据块看到的数据),用以下sql语句:
gyj@OCM> select id,name,dump(01,'16'), dump('AAAAA','16') from t1;

ID NAME DUMP(01,'16') DUMP('AAAAA','16')


1 AAAAA Typ=2 Len=2: c1,2 Typ=96 Len=5: 41,41,41,41,41

(2)反过来把16进制转成表中的数据(当然我这边的数据类型只考虑了number和varchar类型),用以sql下语句:

ggyj@OCM> col id for 999gyj@OCM> col id1 for 999
gyj@OCM> col name for a10
gyj@OCM> col name1 for a10

gyj@OCM> select id,UTL_RAW.CAST_TO_NUMBER(replace(' c1 02 ',' ')) id1,
2 name,UTL_RAW.CAST_TO_VARCHAR2(replace('41 41 41 41 41',' ')) name1
3 from t1;

ID ID1 NAME NAME1


1 1 AAAAA AAAAA


一、对于我上面讲的: 1、数据块头部分中讲的flg标志再做一些详细的补充0x01 (新建块)
0x2 (数据块延迟清洗推进scn和seq)
0X04 (设置校验和)
0x08 (临时块)
对于 flg标志的值是由上面一些位做组合运算的,下面我们来看几下例子:

1、先来看看0x01 (新建块)和0X04 (设置校验和) 的组合
我的版本是11gr2
gyj@OCM> select * from v$version;

BANNER

Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - Production

由于11gr2在创建表的时侯有个延迟段参数的控制,默认不分配EXTNETS空间
gyj@OCM> show show parameter deferred_segment_creation
showmode OFF

NAME TYPE VALUE


deferred_segment_creation boolean TRUE

那么我在建表的同时要立马分配EXTENTS,好我马上建个表,操作如下:
gyj@OCM> create table t20(id int ,name varchar2(10)) SEGMENT CREATION IMMEDIATE;

Table created.

查分配的区号,文件号,块号
gyj@OCM> select extent_id,file_id,block_id from dba_extents where segment_name='T20';

EXTENT_ID FILE_ID BLOCK_ID


     0          3        152

对3号文件的152号块做DUMP,做dump时最好新打会一个会话,避免产生不必要的日志,操作如下
[oracle@ocm ~]$ sqlplus / as sysdba

SQL*Plus: Release 11.2.0.1.0 Production on Mon Mar 18 07:40:55 2013

Copyright (c) 1982, 2009, Oracle. All rights reserved.

Connected to:
Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options

sys@OCM> alter system dump datafile 3 block 152;

System altered.

好,现在马上到找到跟踪日志
sys@OCM> show parameter dump

NAME TYPE VALUE


background_core_dump string partial
background_dump_dest string /u01/app/oracle/diag/rdbms/ocm

                                             /ocm/trace

core_dump_dest string /u01/app/oracle/diag/rdbms/ocm

                                             /ocm/cdump

max_dump_file_size string unlimited
shadow_core_dump string partial
user_dump_dest string /u01/app/oracle/diag/rdbms/ocm

                                             /ocm/trace


[oracle@ocm trace]$ cd /u01/app/oracle/diag/rdbms/ocm/ocm/trace
[oracle@ocm trace]$ ls -lFtr
[oracle@ocm trace]$ more ocm_ora_12910.trc
贴出数据块头的信息:
scn: 0x0000.00000000 seq: 0x01 flg: 0x05 tail: 0x00000001
frmt: 0x02 chkval: 0xa798 type: 0x00=unknown

从上面看出flg是flg: 0x05,就是0x01 +0x04的组合,
0x01说明这是一个新建的块,因为我的表的是刚刚创建的,没有向块中插入数据。
0x04说明有设置校验,chkval: 0xa798这个就是校验和,这个与参数db_block_checksum有关
gyj@OCM> show parameter db_block_checksum

NAME TYPE VALUE


db_block_checksum string TYPICAL

默认设置了db_block_checksum,就会启动校验和检查数据块的一致性。另外数据块尾部的4个字节也是配合数据块头来验证数据块的一致性。
如果一个块头被标识成软损坏,那么块头的序列号为0xff,标志为0x00

相关文章
|
7月前
|
JSON 前端开发 Java
Json格式数据解析
Json格式数据解析
128 1
|
4月前
|
JSON Java Android开发
Android 开发者必备秘籍:轻松攻克 JSON 格式数据解析难题,让你的应用更出色!
【8月更文挑战第18天】在Android开发中,解析JSON数据至关重要。JSON以其简洁和易读成为首选的数据交换格式。开发者可通过多种途径解析JSON,如使用内置的`JSONObject`和`JSONArray`类直接操作数据,或借助Google提供的Gson库将JSON自动映射为Java对象。无论哪种方法,正确解析JSON都是实现高效应用的关键,能帮助开发者处理网络请求返回的数据,并将其展示给用户,从而提升应用的功能性和用户体验。
106 1
|
7月前
|
XML 机器学习/深度学习 JSON
在火狐浏览器调ajax获取json数据时,控制台提示“XML 解析错误:格式不佳”。
在火狐浏览器调ajax获取json数据时,控制台提示“XML 解析错误:格式不佳”。
79 0
在火狐浏览器调ajax获取json数据时,控制台提示“XML 解析错误:格式不佳”。
|
6月前
|
Go
golang解析excel、csv编码格式
golang解析excel、csv编码格式
62 4
|
5月前
|
Unix Linux Shell
Sphinx是一个Python文档生成工具,它可以解析reStructuredText或Markdown格式的源代码注释,并生成多种输出格式,如HTML、LaTeX、PDF、ePub等。
Sphinx是一个Python文档生成工具,它可以解析reStructuredText或Markdown格式的源代码注释,并生成多种输出格式,如HTML、LaTeX、PDF、ePub等。
|
6月前
|
存储 SQL 关系型数据库
MySQL行格式原理深度解析
MySQL行格式原理深度解析
|
7月前
|
JSON 安全 前端开发
解析FormData格式数据:Python实践指南
解析FormData格式数据:Python实践指南
381 1
|
7月前
|
存储 安全 Linux
C++文件格式深度解析:从底层结构到关键特性
C++文件格式深度解析:从底层结构到关键特性
430 3
C++文件格式深度解析:从底层结构到关键特性
|
7月前
|
网络协议 数据格式
|
7月前
|
XML 数据格式
AXios接受XML格式的webservice并解析成数据格式
AXios接受XML格式的webservice并解析成数据格式
146 2

推荐镜像

更多