一场足球盛宴的终结:日帐延迟寻因记-阿里云开发者社区

开发者社区> 努力酱> 正文

一场足球盛宴的终结:日帐延迟寻因记

简介:
+关注继续查看
盛宴开端 


大年初三,酒足饭饱后,拉着亲朋好友就这么餐桌上一围,小赌正式开始。正要胡牌时,手机响了。一看竟然是客户的电话!难道是给我拜年么?!应该不是,昨天就拜过了。难道出什么问题了?!果然。。这来的也太不是时候了。不过作为一个资深的运维DBA,对于这种7*24*365式实时守候待命的日子早就习以为常。麻将顺势一推,迅速更换为笔记本,开始一段抽丝拨茧之旅!


> 2问题概述 


2016年02月10日,某省账务库日账出现严重延迟现象,期间其他应用运行正常。


> 3数据采集 


对于这种性能突变的问题,还是采取老套路,采集“凶案现场”情况如下:


注:(性能突变的数据库为11g R2 RAC)


1、两节点的数据库alert日志信息。


2、两节点问题时间段的snapshot(注:收集多份及正常时间段的AWR报告进行对比分析)。


3、两节点问题时间段及前后一小时的OSW日志。


4、两节点问题时间段所有相关trace信息。


20160328071304300.jpg


5、问题时间段的ASH DUMP数据。


20160328071311629.jpg


> 4日志剖析 


1、通过LGWR的trace信息,我们可以发现问题时段log write写超过500ms的告警,说明当时redo IO性能应该存在一些问题。


20160328071319420.jpg


2、通过分析ASH DUMP信息我们可发现,44%的会话被log file sync堵塞,同时 log file sync在等待log file parallel write 。


20160328071326679.jpg


3、通过查看AWR报告我们可以发现,log file sync等待高达431ms,同时出现大量GC等待事件,并且出现log buffer space等待事件。 


20160328071334664.jpg


那么导致该问题是由于log_buffer配置太小?还是redo log太小导致redo log切换过于频繁?如果是的话,那么为什么2月10号前的日账没有问题,该结论不成立!那么应用端是否存在变化?! 


4、针对TOP中大量的GC等待,我们对比分析了1月10日跟2月10日的Global Cache统计数据,发现事发时段GC接收的块较以往增幅20%,同时私网流量也从21M上升到26M,GC交互的增加是否可以说明应用侧做了调整呢?!


20160328071401155.jpg


通过咨询应用维护人员,我了解到,日账数据量会伴随时间的推移而增加,同时日账的时间同步也会有所延迟。如下图所示:


20160328071411632.jpg

 

20160328071424625.jpg


虽然日账数据量及执行时间在同一月内会伴随时间的推移而增加,但是通过上面的“日结时间对比”图可以看出,2月10日的日账时间明显突增,说明导致该问题的还有其他原因。


5、通过问题前后的AWR报告对比分析,我们发现,在2月10日之后,ROLLBACKS从之前的每秒0.5次增长至每秒3.5次,增长了7倍。


20160328071443871.jpg


6、通过分析log file sync发现,自10号凌晨开始数据库写入时间较之前出现明显上升。


20160328071451908.jpg


问题时段log file sync/log file parallel write较之前开始出现明显下降,如下表所示:


20160328071458912.jpg


7、通过OSW的VMSTAT数据,我们也可以发现,在批量日账未运行之时,B列值相对较低,在问题时间段B列在10以上,这说明所有的CPU都是pending在I/O层面。


20160328071507681.jpg


8、通过OSW的MPSTAT数据,我们也可以发现,问题时间段部分磁盘始终处于100%busy的状态,而且磁盘平均服务时间在80ms以上。 


20160328071514706.jpg

 

> 5剖析总结 


综上所述,主要有以下几方面的影响因素:


  • log file sync及log file parallel write 性能明显下降, redo IO性能变差导致GC严重及数据库性能严重下降。需要主机及存储厂商配合确认。

  • 应用侧是否存在调整,导致GC交互的增加及其他引发问题。需要应用侧配合确认。

  • 问题前后的每秒rollback次数增长了7倍,建议协调应用一起排查rollbacks异常增长的原因。


> 6足球大战 


通过分析,问题可能出现在主机or存储or应用层面上,通过逐个沟通确认,得到回复如下:


主机球员:


通过分析,主机侧未发现异常,还请知悉!


存储球员:


从我这边看是正常的,没有出现瓶颈或者非常慢的情况。


应用球员:


你好,

通过应用侧核实,在日账问题前后属于春节封网时段,无任何应用变更。


足联主席:


To DB运维组

请尽快完成日帐问题定位,为了避免影响月底出账,请务必在月底前完成定位并修复。


> 7点球终结 


通过一轮咨询,各组成员都反馈尚未发现异常,怎么办?!都没异常,那日账为何会突然延迟呢?!此时球兜了一圈又回到了咱们dba手上。此刻要冷静,再回首缕一缕。


从剖析日志及各组反馈的结果综合看来,问题肯定来自redo io层面,既然主机及存储侧都反馈无异常,那么问题是否在最底层(存储链路)? 马上联系HDS工程师,令其去查看存储链路是否存在异常。


30min后接收到HDS工程师的反馈,兄弟们,根源找到了!这才合上笔记本仰天长叹!!!


我们来看下底层架构:


20160328071520509.jpg


该省账务库物理容灾采用Veritas镜像技术实现存储底层同步。当应用发起变更数据请求时,必须等待生产、容灾两份存储全部完成写入后,方可反馈提交信息。事发当天该库对应的2条SAN级联链路中有一条出现了异常,到容灾存储的数据变更速率均减半,这样就导致了批量操作(日账)延迟!


作者介绍:张玉朋


  • 新炬网络高级技术专家。

  • 5年以上电信行业运维经验。

  • 擅长oracle架构规划,故障诊断、性能优化、shell编程等,对大型IT系统的oracle数据库运维有丰富的经验。

  • 曾主导某省移动核心CRM、BOSS升级项目。


本文来自云栖社区合作伙伴"DBAplus",原文发布时间:2016-03-07

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
怎么设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程
7435 0
阿里云服务器ECS远程登录用户名密码查询方法
阿里云服务器ECS远程连接登录输入用户名和密码,阿里云没有默认密码,如果购买时没设置需要先重置实例密码,Windows用户名是administrator,Linux账号是root,阿小云来详细说下阿里云服务器远程登录连接用户名和密码查询方法
3494 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4620 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
8268 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
5534 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
9514 0
腾讯云服务器 设置ngxin + fastdfs +tomcat 开机自启动
在tomcat中新建一个可以启动的 .sh 脚本文件 /usr/local/tomcat7/bin/ export JAVA_HOME=/usr/local/java/jdk7 export PATH=$JAVA_HOME/bin/:$PATH export CLASSPATH=.
2247 0
+关注
287
文章
3
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载