关于纠结的recycle pool的设置

简介: 现在生产环境中目前有一个很大的中继表,作为多个流程的数据流动所用,数据量很大。里面有clob字段,加上庞大的数据量,表就显得很臃肿了。 目前在做大批量的数据处理的时候发现了一些问题,事物数在不断增加的情况下,数据的处理速度也在不断的降低。

现在生产环境中目前有一个很大的中继表,作为多个流程的数据流动所用,数据量很大。里面有clob字段,加上庞大的数据量,表就显得很臃肿了。
目前在做大批量的数据处理的时候发现了一些问题,事物数在不断增加的情况下,数据的处理速度也在不断的降低。最后出现了一些资源的问题。
在抓取了awr和同事的分析之后,产品部门建议把对应的clob放入recycle pool里面。一方面能够降低buffer cache的负载。让clob的部分尽快的从缓存中不断的刷新。
对于recycle pool的设置没有问题,可以设置db_recycle_cache_size来实现,但是这些操作在生产环境中一定要多评估和分析,因为有一些潜在的问题和风险。
首先就是来看sga中是否有足够的空间,因为这个库在开始的时候没有考虑recycle,keep pool的设置,根据很多的项目的反馈,目前用处还不是很大,所以就没有分配足够的空间,sga绝大部分都给了shared pool, buffer_cache,其他的pool都相应的分配了较少的一部分缓存。
这样如果要分配足够缓存,留给recycle pool的部分就很有限了。估算下来,不到200M左右的样子,直观感觉,这样的设置还不如不设置,可能没达到预期的目标还可能使问题更加严重。
第2个思路就是从sga的其他池中拿出一部分的缓存来,分配给recycle pool,这个思路也是很自然的。或者考虑设置sga_target来调高实现,不过这个部分,自己还是有阴影的。

 一条sql语句导致的数据库宕机问题及分析 http://blog.itpub.net/23718752/viewspace-1141131/
所以我是不敢自己往枪口上撞的。

还有一个思路就是根据系统的资源情况来分配更多的sga资源,可以调高sga_max_size,这个部分需要重启数据库实例。如果调高的幅度较大,还需要看看内核参数是否有潜在的影响,是否也需要相应的调高。
这个部分还是有影响的。

服务器增加内存后无法重启数据库的问题及解决 http://blog.itpub.net/23718752/viewspace-1137256/

考虑了如上的一些情况,就给产品部门去了封邮件,让他们来帮助评估一下设置的recycle pool最小或者建议值是多少,我来根据这个参数来考虑使用哪种方法。因为产品部门这方面要更专业一些。
自己琢磨了半天,最后的结果也不一定就是最优的。
过了一会,产品部门回邮件了,综合了我的顾虑,他们认为这部分的修改可以稍微延后一些,影响不是特别大,至少从目前的评估来看,不过从长远的情况来看他们建议还是需要这个变更。建议值为500M。
有了这些思路,我查看了这两天的系统负载。数据库负载时相当的高。如果做了以上的变更,可能得不偿失。所以就先把这部分的变更做了更为详细的实现步骤,在测试环境测试之后才能提交给客户。

 

最后的结果就是下面的步骤。
1.
Alter system set sga_max_size=20G scope=spfile;
Alter system set db_recycle_cache_size=2G scope=spfile;
2.
Bring down DB instance
Restart DB instance.
3.
Run below sql statement under PRDAPPO.
alter table trb1_pub_log modify lob(GENERAL_DATA_C) (storage (buffer_pool recycle) cache);   
4.
and  use below statement to check if recycle setting is properly, column buffer_pool value should be RECYCLE.
set linesize 200
col table_name format a30
col column_name format a30
col segment_name format a30
col buffer_pool format a20
set pages 50
select table_name,column_name,se.segment_name,buffer_pool from user_segments se,user_lobs sl
where se.segment_name=sl.segment_name
and sl.table_name='TRB1_PUB_LOG';


example like below.


TABLE_NAME                     COLUMN_NAME                    SEGMENT_NAME                   BUFFER_POOL
------------------------------ ------------------------------ ------------------------------ --------------------
PUB_LOG                       GENERAL_DATA_C                 SYS_LOB0002403829C00014$$      RECYCLE
PUB_LOG                       GENERAL_DATA_C                 SYS_LOB0002403829C00014$$      RECYCLE
PUB_LOG                       GENERAL_DATA_C                 SYS_LOB0002403829C00014$$      RECYCLE
PUB_LOG                       GENERAL_DATA_C                 SYS_LOB0002403829C00014$$      RECYCLE
PUB_LOG                       GENERAL_DATA_C                 SYS_LOB0002403829C00014$$      RECYCLE
PUB_LOG                       GENERAL_DATA_C                 SYS_LOB0002403829C00014$$      RECYCLE
PUB_LOG                       GENERAL_DATA_C                 SYS_LOB0002403829C00014$$      RECYCLE
PUB_LOG                       GENERAL_DATA_C                 SYS_LOB0002403829C00014$$      RECYCLE
PUB_LOG                       GENERAL_DATA_C                 SYS_LOB0002403829C00014$$      RECYCLE
PUB_LOG                       GENERAL_DATA_C                 SYS_LOB0002403829C00014$$      RECYCLE
PUB_LOG                       GENERAL_DATA_C                 SYS_LOB0002403829C00014$$      RECYCLE
PUB_LOG                       GENERAL_DATA_C                 SYS_LOB0002403829C00014$$      RECYCLE
PUB_LOG                       GENERAL_DATA_C                 SYS_LOB0002403829C00014$$      RECYCLE
PUB_LOG                       GENERAL_DATA_C                 SYS_LOB0002403829C00014$$      RECYCLE
PUB_LOG                       GENERAL_DATA_C                 SYS_LOB0002403829C00014$$      RECYCLE
PUB_LOG                       GENERAL_DATA_C                 SYS_LOB0002403829C00014$$      RECYCLE
PUB_LOG                       GENERAL_DATA_C                 SYS_LOB0002403829C00014$$      RECYCLE
PUB_LOG                       GENERAL_DATA_C                 SYS_LOB0002403829C00014$$      RECYCLE


18 rows selected.

目录
相关文章
|
消息中间件 数据库 开发者
深入理解Python中的异步编程:从基础到高级应用
在当今高并发、低延迟的应用需求下,异步编程已成为提升性能的关键技术之一。本文不仅剖析了Python中异步编程的基本原理,如事件循环、协程与async/await语法,还深入探讨了异步编程的高级应用场景,如Web框架(如FastAPI)中的异步IO操作、异步数据库交互及构建高效的任务处理系统。通过实战案例,引导读者从理论到实践,全面掌握Python异步编程的精髓,让代码飞起来,轻松应对大规模并发挑战。
|
关系型数据库 测试技术 分布式数据库
PolarDB | PostgreSQL 高并发队列处理业务的数据库性能优化实践
在电商业务中可能涉及这样的场景, 由于有上下游关系的存在, 1、用户下单后, 上下游厂商会在自己系统中生成一笔订单记录并反馈给对方, 2、在收到反馈订单后, 本地会先缓存反馈的订单记录队列, 3、然后后台再从缓存取出订单并进行处理. 如果是高并发的处理, 因为大家都按一个顺序获取, 容易产生热点, 可能遇到取出队列遇到锁冲突瓶颈、IO扫描浪费、CPU计算浪费的瓶颈. 以及在清除已处理订单后, 索引版本未及时清理导致的回表版本判断带来的IO浪费和CPU运算浪费瓶颈等. 本文将给出“队列处理业务的数据库性能优化”优化方法和demo演示. 性能提升10到20倍.
1328 4
|
机器学习/深度学习 算法 决策智能
基于PSO优化的LSTM网络数据预测matlab仿真
基于PSO优化的LSTM网络数据预测matlab仿真
342 0
|
SQL 关系型数据库 OLTP
PostgreSQL数据库 OLTP高并发请求性能优化
在多核系统中,一般TPS会随并发数的增加而提升,但是当并发数超过一定的数值(如CPU核数的2到3倍以后),性能开始下降,并发数越高,下降越严重。
2263 0
|
6天前
|
存储 JavaScript 前端开发
JavaScript基础
本节讲解JavaScript基础核心知识:涵盖值类型与引用类型区别、typeof检测类型及局限性、===与==差异及应用场景、内置函数与对象、原型链五规则、属性查找机制、instanceof原理,以及this指向和箭头函数中this的绑定时机。重点突出类型判断、原型继承与this机制,助力深入理解JS面向对象机制。(238字)
|
5天前
|
云安全 人工智能 安全
阿里云2026云上安全健康体检正式开启
新年启程,来为云上环境做一次“深度体检”
1609 6
|
7天前
|
安全 数据可视化 网络安全
安全无小事|阿里云先知众测,为企业筑牢防线
专为企业打造的漏洞信息收集平台
1333 2
|
1天前
|
消息中间件 人工智能 Kubernetes
阿里云云原生应用平台岗位急招,加入我们,打造 AI 最强基础设施
云原生应用平台作为中国最大云计算公司的基石,现全面转向 AI,打造 AI 时代最强基础设施。寻找热爱技术、具备工程极致追求的架构师、极客与算法专家,共同重构计算、定义未来。杭州、北京、深圳、上海热招中,让我们一起在云端,重构 AI 的未来。
|
6天前
|
缓存 算法 关系型数据库
深入浅出分布式 ID 生成方案:从原理到业界主流实现
本文深入探讨分布式ID的生成原理与主流解决方案,解析百度UidGenerator、滴滴TinyID及美团Leaf的核心设计,涵盖Snowflake算法、号段模式与双Buffer优化,助你掌握高并发下全局唯一ID的实现精髓。
358 160
|
6天前
|
人工智能 自然语言处理 API
n8n:流程自动化、智能化利器
流程自动化助你在重复的业务流程中节省时间,可通过自然语言直接创建工作流啦。
438 6
n8n:流程自动化、智能化利器