数据库性能调优架构师所需的skillset

简介:

 1.数据访问机制,如table full scanindex range scanindex full scanfast index scan等,这些内容让我明白SQL语句与Oracle的交互方式,数据是如何从物理的数据文件返回给界面的,是调整SQL语句必须的知识

2.表之间的连接方式,主要是nested looghash joinmerge sort,明白各个连接方式的运作机制,对于调整多表查询的SQL是必

3.索引结构,理解索引B树的数据分布,和物理表之间是怎样的对应关系,各个DML对索引空间有什么样的影响,在Oracle还包括了位图索引,函数索引,反向索

4.Oracle的空间存储机制,本地表空间管理与字典管理的区别,ASSM特性,表中 freelistpctfreepctusedHWM(高水位线)间有什么样的联系,他们对DML操作的性能影响

5.Oracle的内存结构,SGA区,包括db_cacheshared_poollarger_pooljava_poolPGA 区,对于各个区内部大小的设定,调整,监控等,其中db_cache习了LRU数据缓冲机制,划分不同块大小的缓冲块,及keeprecycle池的 使用,shared_pool包括其内部结构,Bucket划分,绑定变量,SQL查询计划,执行树,硬解析,软解析等,PGA调整包括大小设定,连接 话的PGA使用情况,磁盘排序

6.种等待事件的调整(OWI),磁IO方面的主要是db file sequential read  db file scattered readdirect path read等,这些事件的调整要看其等待的时间长短来进行,因为等待是不可能消失的,根据P1P2P3参数可以获取具体等待的数据库对象,结合话话的 SQL,用SQL_TRACEEXPLAIN做具体

锁定方面(enqueue)主要是判断会话为什么会阻塞,引起阻塞的会话正在执行什么语句,锁定的对象是什么,锁的类型是什么,出现非常频繁的 enqueue等待估计系统的设计存在很大的问题

锁存器(latch)这个是关于内存的锁定,调整起来比较棘手,需要理解内存的访问,修改,扫描机制,比如偌大一个db_cache区域,他里面 的数据是怎样定位的,修改,访问时又是怎样一种互斥的机制来保障内存块的一致性,等等,在9I中,这种机制大致如下,cache中有一定数量的 hash latch每一个hash latch下面挂载若干个hash bucket每一个hash bucket下面连接一条hash chainhash chain的内容就是链接起来的数据块缓存头,这样一个hash latch对应多个hash bucket每个hash bucket对应一条hash chain,当Oracle访问某一个块时,他要知道这个块是属于哪个数据文件,他是第几个块,根据这些信息对块做Hash运算,会得到相应的hash bucket内存地址,然后定位到内存中的bucket,再扫描跟着的hash chain,如果找到,则直接使用,如果不能找到,这hash chain链接新块,这整个过程的前提是进程必须获取控制这个bucketlatch,如果有多个进程,他们访问的数据块正好hash到相同的 Latch辖区,将出现针对这个管辖Latch的争用,体现的latch等待就是cache buffer chains.

再比如buffer busy wait事件,A话读取数据块CC不在内存中,将进行磁盘IO,此B话也进行C块的读取,那这时会产生C数据块的两次物理IO吗?答安是NO话会在内存中预留出以容纳C数据块的内存空间,并将他暂时锁定,以便进行随后的磁盘IOB话会等待锁定的结束,直到C块被读进内存空间,此时一个 BUFFER BUSY的等待事件就会被记录,当然以后对C块的访问就不会有什么障碍了,因为他已经被缓存

其他主要的latch等待包括library cacheshared pool等,关于这部分的学习我推荐Steve Adams编写的Oracle8i Internal Service for WaitsLatchesLocks and Memory,世界顶尖级高手的杰作,不看可惜,英文不行的请自备金山词

7.SQL_TRACE/TKPROF这个是调整的极佳工具,特别是调整不是自己写的程序,他可以对任何你认为可以的会话进行跟踪,捕获会话的 SQL语句,查询计划,CPU使用,消耗时间,一致性读次数,具体的等待事件等,这些信息是极有价值的,想充分利用的话最好能读懂原始的trace文件, 而不是通tkprof

8.statspack这是一个很好数据库调整工具,他采集数据库的系统信息,生成快照,通过对比两个快照之间的差异生成报表,反映系统在这段时 间内的运作情况,包括磁盘IOCPU,内存,锁定,等待事件,buffer gets最大的10SQL执行次数最多的SQL,表空间,数据文件IO分布等等等等,在调整时,如果实在没办法找出问题了我会使用他,他也是个很好的 统信息采集工

9.UNIX拟分页的运作机制,及些乱七八糟的OS性能调整的工具,这部分学的很差,很无味,不知道为什么





本文转自 charles_wang888 51CTO博客,原文链接:http://blog.51cto.com/supercharles888/840157,如需转载请自行联系原作者

目录
相关文章
|
22天前
|
存储 调度 C++
16 倍性能提升,成本降低 98%! 解读 SLS 向量索引架构升级改造
大规模数据如何进行语义检索? 当前 SLS 已经支持一站式的语义检索功能,能够用于 RAG、Memory、语义聚类、多模态数据等各种场景的应用。本文分享了 SLS 在语义检索功能上,对模型推理和部署、构建流水线等流程的优化,最终带给用户更高性能和更低成本的针对大规模数据的语义索引功能。
164 12
|
3月前
|
存储 数据挖掘 BI
2-5 倍性能提升,30% 成本降低,阿里云 SelectDB 存算分离架构助力波司登集团实现降本增效
波司登集团升级大数据架构,采用阿里云数据库 SelectDB 版,实现资源隔离与弹性扩缩容,查询性能提升 2-5 倍,总体成本降低 30% 以上,效率提升 30%,助力销售旺季高效运营。
260 9
|
2月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
103 3
|
5月前
|
人工智能 API 数据安全/隐私保护
Apifox 与 Apipost 的 API 文档引擎对比:底层架构、性能与可扩展性分析
深入探索市场上两大主流API工具——Apifox和Apipost的文档能力时,发现了令人惊讶的差距。这不仅仅是功能多寡的问题,更关乎开发效率与团队协作的质变。
|
2月前
|
存储 JSON 数据处理
ClkLog埋点与用户行为分析系统:架构升级与性能全面提升
随着越来越多企业在实际业务中使用 ClkLog,数据规模和分析需求也不断提升,部分用户日活已经超过10万,为了顺应这一趋势,ClkLog 秉持 “开放透明、持续演进”的理念,推出了迄今为止最重要的一次性能优化升级。新版本在大规模数据处理与复杂查询场景中,性能表现实现了跨越式提升。经过多轮研发与严格测试,新版本现已正式上线:在原有付费版 1.0 的基础上架构全面升级,并同步发布全新的 2.0 版本。为用户带来更强的性能与更广的适用场景。
|
2月前
|
缓存 监控 关系型数据库
使用MYSQL Report分析数据库性能(上)
最终建议:当前系统是完美的读密集型负载模型,优化重点应放在减少行读取量和提高数据定位效率。通过索引优化、分区策略和内存缓存,预期可降低30%的CPU负载,同时保持100%的缓冲池命中率。建议每百万次查询后刷新统计信息以持续优化
185 6
|
2月前
|
缓存 监控 关系型数据库
使用MYSQL Report分析数据库性能(中)
使用MYSQL Report分析数据库性能
124 1
|
3月前
|
缓存 关系型数据库 MySQL
MySQL数据库性能调优:实用技术与策略
通过秉持以上的策略实施具体的优化措施,可以确保MySQL数据库的高效稳定运行。务必结合具体情况,动态调整优化策略,才能充分发挥数据库的性能潜力。
169 0
|
5月前
|
关系型数据库 MySQL 分布式数据库
Super MySQL|揭秘PolarDB全异步执行架构,高并发场景性能利器
阿里云瑶池旗下的云原生数据库PolarDB MySQL版设计了基于协程的全异步执行架构,实现鉴权、事务提交、锁等待等核心逻辑的异步化执行,这是业界首个真正意义上实现全异步执行架构的MySQL数据库产品,显著提升了PolarDB MySQL的高并发处理能力,其中通用写入性能提升超过70%,长尾延迟降低60%以上。

热门文章

最新文章