预热Amazon EBS Volumes

简介: 问题描述及分析处理:最近在做AWS Cloud从CentOS6.9升级到CentOS7.4.1708,系统上跑着oracle数据库,数据量大概1.5T,准备了一个全新的CentOS7.

问题描述及分析处理:

最近在做AWS Cloud从CentOS6.9升级到CentOS7.4.1708,系统上跑着oracle数据库,数据量大概1.5T,准备了一个全新的CentOS7.4.1708 instance,


Oracle数据也都rman还原好了,然后对新的instance做AMI,再用这个AMI重新launch一个instance,这个instance起来之后,要添加oracle redo文件组,命令如下:


ALTER DATABASE ADD LOGFILE GROUP 1 ('/redo1/redo0101.log','/redo3/redo0102.log') SIZE 5000M BLOCKSIZE 512 REUSE;


执行的大约30min还没有结束(测试环境5min执行完成),于是查看系统的负载情况,发现CPU,memory都没有瓶颈,然后又看了一下磁盘IO,如下:


[root@ec2-xxx-01 ~]# sar -d 1 5
Linux 3.10.0-693.17.1.el7.x86_64 (ec2-xxx-01) 05/13/2018 _x86_64_(8 CPU)
07:02:55 AM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
07:02:56 AM  dev259-0     58.00  14336.00      0.00    247.17     30.06    514.72     17.24    100.00
07:02:56 AM  dev259-1     72.00  17408.00     64.00    242.67     33.00    464.58     13.89    100.00
07:02:56 AM  dev259-2      2.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
07:02:56 AM  dev259-3      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
07:02:56 AM  dev259-4      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
07:02:56 AM  dev253-0      4.00      0.00     64.00     16.00      1.00    260.50    250.00    100.00

07:02:56 AM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
07:02:57 AM  dev259-0     47.00  11264.00      0.00    239.66     30.15    559.83     21.28    100.00
07:02:57 AM  dev259-1     86.00  20480.00     96.00    239.26     32.87    412.72     11.63    100.00
07:02:57 AM  dev259-2      3.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
07:02:57 AM  dev259-3      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
07:02:57 AM  dev259-4      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
07:02:57 AM  dev253-0      6.00      0.00     96.00     16.00      1.00    227.50    166.50     99.90

07:02:57 AM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
07:02:58 AM  dev259-0     54.00  13312.00      0.00    246.52     30.31    681.20     18.52    100.00
07:02:58 AM  dev259-1     63.00  15360.00     64.00    244.83     33.41    466.29     15.87    100.00
07:02:58 AM  dev259-2      2.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
07:02:58 AM  dev259-3      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
07:02:58 AM  dev259-4      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
07:02:58 AM  dev253-0      4.00      0.00     64.00     16.00      1.41    225.25    250.00    100.00


有两块盘磁盘的使用率%util是100%,await也高达681,tps即相当于iops还不到100,这可是AWS instance_type为m5.2xlarge的实例,AWS的EBS不可能这么差吧,当时就比较疑惑,难道AWS也这么水,


于是上AWS网站上面查找原因,最后发现,从snapshot还原的磁盘,需要initialization(即预热pre-warming),新建的instance却不需要initilization。


据AWS说,没有initilizaion的磁盘性能会下降50%。那么该如何预热EBS呢?AWS也给出了处理方法,使用系统自带的工具dd或者第三方磁盘IOPS测试工具fio.这里不再详细讲述如何预热磁盘,本文主要是想告诉大家 AWS snapshot还原的


EBS,需要提前预热,否则性能会下降很多,如果读者有兴趣,可以参考如下AWS链接了解如何预热.


参考链接:https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-initialize.html


目录
相关文章
|
存储 Kubernetes 测试技术
Kubernetes snapshots 快照是什么以及如何使用快照
Kubernetes snapshots 快照是什么以及如何使用快照
653 0
|
存储 弹性计算 Kubernetes
自建K8S通过PVC配置NAS动态磁盘要点回顾
在K8S上如何配置永久性PVC是大家在生产环境中比较关心的话题,那么如果通过阿里云的NAS来结合进行永久性磁盘的配置呢?本文通过其详细步骤和要点把成功配置的方法给大家做一个分享。本文不做理论性阐述,纯实战,有不严谨之处还望评论指正。
1414 0
自建K8S通过PVC配置NAS动态磁盘要点回顾
|
存储 对象存储
使用Ceph对象存储的Amazon S3接口(基于nautilus版本)
使用Ceph对象存储的Amazon S3接口(基于nautilus版本)
592 0
|
5月前
|
存储 安全 API
OpenStack的块存储卷管理快照 (Snapshot)
【8月更文挑战第26天】
241 13
|
4月前
|
存储 对象存储
Ceph Reef(18.2.X)的对象存储网关(rgw)组件搭建
这篇文章是关于Ceph Reef(18.2.X)版本中对象存储系统的配置和使用案例,包括对象存储网关的概述、核心资源介绍、Ceph RGW支持的接口、高可用radosgw的部署、s3cmd工具的使用以及如何通过HTTP方式访问对象存储。
191 3
Ceph Reef(18.2.X)的对象存储网关(rgw)组件搭建
|
7月前
|
缓存 运维 Serverless
Serverless 应用引擎产品使用合集之如何配置NAS文件系统
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
8月前
|
存储 Cloud Native 文件存储
云原生之使用Docker部署Nas-Cab个人NAS平台
【5月更文挑战第2天】云原生之使用Docker部署Nas-Cab个人NAS平台
787 4
|
存储 监控 安全
阿里云文件存储NAS(Apsara File Storage NAS)的测评体验报告
阿里云文件存储NAS(Apsara File Storage NAS)是一个弹性扩展的分布式文件系统,适用于各种企业级应用场景。本文将对其在内容管理系统和Web服务应用程序中的使用体验进行评估。
334 58
|
存储 弹性计算 Cloud Native
云原生-云应用挂载持久化存储卷NAS及通过NAS实现批量机器并发查找日志
云原生-云应用挂载持久化存储卷NAS及通过NAS实现批量机器并发查找日志
431 0
云原生-云应用挂载持久化存储卷NAS及通过NAS实现批量机器并发查找日志
|
存储 弹性计算 Kubernetes
云原生-ZK集群及ZK云应用(ZK镜像制作、镜像上传、部署ZK应用、挂载持久化存储卷NAS)
云原生-ZK集群及ZK云应用(ZK镜像制作、镜像上传、部署ZK应用、挂载持久化存储卷NAS)
326 0
云原生-ZK集群及ZK云应用(ZK镜像制作、镜像上传、部署ZK应用、挂载持久化存储卷NAS)