RDS实例的性能测试报告----基础总结篇

1、  首先登录DT，云数据库，通过bic子系统定位到生产上RDS的主实例ID，复制主实例的id到杜康上具体查看RDS的性能问题

2、  杜康点击实例诊断，实例性能信息，筛选时间12-13 16:30-17:30 的性能信息

a)         磁盘空间、磁盘空间详情：这段时间的数据是一条直线，空间状态都很稳定，没有性能问题。

MySQL RDS磁盘占用包括日志文件（binlog文件、错误日志等），数据文件（数据、索引文件），和一些其他文件（ibdata，logfile_0,临时文件等）

造成 MySQL 实例空间使用率过高，主要有如下四种原因：

Binlog 文件占用高。

数据文件占用高。

临时文件占用高。

系统文件占用高。

                   对应解决方法：

1、定期删除binlog，假如当前dml造成大量的binlog，可以通过RDS控制台即使清理binlog

2、通过truncate或者drop及时清除不需要的表

3、终止对应的回话

4、ibdata中undo占用高可以进行undo分离，或者进行数据转移；增加redo log file的大小和组数

b)         IOPS：每秒读写的次数。现在是比较小的。在0-0.2之间。

如果IOPS比较高的话，有可能是以下原因：

1、实例内存满足不了缓存数据或排序等需要，导致产生大量的物理 IO。

2、查询执行效率低，扫描过多数据行。

解决方法：

1、查询是否有慢SQL，优化慢SQL，可以参考杜康的实例卡慢诊断的优化建议，或者登录DMS，通过诊断报告、优化来进行SQL优化

2、终止查询语句

3、通过show processlist，或者DMS控制台、杜康等来kill查询回话id

c)         MySQL内存使用率：基本上是一条直线，没有变化。因为MySQL有innodb_buffer_pool，大约为物理内存的50%-80%，内存使用率高一些，相对的性能也会提高

d)         物理内存：直线保持基本无变化，物理内存就是实际的内存条的内存大小

e)         连接数：当前连接数在1500左右，后来增高至6000左右。但是活跃连接数一直在个位数，说明现在的空闲连接数过多。总连接数超过参考值2000。出现严重问题。

数据库的连接一般是使用长连接，可能是应用侧的连接池初始连接数设置过高，应用启动后建立多个到RDS的空闲连接

解决方法：
1、长连接建议启用连接池的复用连接功能。

2、对于交互式连接和非交互式连接，建议修改相应的wait_timeout和interactive_timeout参数。（空闲时间超过指定的时间后，RDS的连接会主动关闭）。通过DT，RDS控制台，性能优化，参数设置中修改。

3、kill当前的空闲会话。

f)       线程状态：线程数跟连接数是对应的。此时也是连接的总线程数远大于活跃的线程数。

g)      备库延迟：目前主备延迟(slave-lag)为0.

         主备延迟产生的原因：

1、  主库产生非常大的binlog

a)       主库上执行大量的dml语句

b)       主库上执行大事务

c)       主库上没有主键的全表扫描

2、  主库上执行ddl语句，时间过长

3、  备库上对myisam表长时间查询，阻塞主库的binlog同步语句

4、  备库实例的规格配置低，磁盘IO比较低

查看方法:

1、  首先查看备库的IOPS是否存在瓶颈

2、  备库show processlist查看是否存在大事务

3、  主库的写入压力是否过高，dml语句是否过多

4、  只读节点执行 show slave status \G，判断是否有 Waiting for table metadata lock；同时在主库排查下是否有DDL 操作

5、  只读节点执行 show slave status \G，判断是否有 Waiting for table level lock; 同时通过 show full processlist; 同时在主库检查下是否有长时间对 MyISAM 引擎表的查询

h)      QPS/TPS：QPS比较高，在90000左右，最高到达110000 。每秒的事务数在10000以上。正常，业务量比较高

         原因分析：

QPS比较高，每秒SQL的语句执行次数高，业务量上来，处于业务的高峰期，用户连接数增加，访问量增加。

如果QPS比较高，逻辑读不高，慢SQL也不是系统的瓶颈，QPS和cpu使用率的变化曲线吻合，这时候优化的余地就不高了，可以从实例规格、应用架构方面进行考虑。

如果QPS不高，查询执行效率低、执行时需要扫描大量表中数据、优化余地大，并且出现慢查询问题，QPS和CPU的变化曲线不吻合

如果QPS比较高，并且逻辑读也比较高，CPU的使用率增加，这时候可以优化优化相应的慢SQL，添加主实例的只读实例来缓解压力。

I )   cpu/mem的使用率：现在cpu的使用率在30%左右，不算高。内存的使用率基本平稳在30%左右，正常

         CPU的使用率高的原因：

系统执行应用提交查询（包括数据修改操作）时需要大量的逻 辑读，（逻辑 IO，执行查询所需访问的表的数据行数），需要消耗大量的 CPU 资源以维护从存储系统读取到内存中的数据一致性。造成逻辑读高的原因，很可能是异常SQL，扫描的数据行数过多导致。

j)       慢SQL：慢SQL数量的变化曲线跟CPU的使用率的变化曲线吻合，在CPU使用率高的时候，慢SQL也跟着增加。可以通过杜康对产生的慢SQL进行优化。

K)      全表扫描次数：随着业务量的增加，全表扫描的次数也随之增加。Sql要尽量避免全表扫描

主实例问题与建议：

QPS升高，业务量高的情况下，产生一些慢查询SQL，并且空闲连接数太多

    1、  连接数：连接数严重超过参考值，并且有过多的空闲线程。首先检查应用是否使用连接池，如果使用连接池，检查连接池的配置是否合理

    2、  优化慢SQL

a)

select id , inst_id , code , name_cn , aic_register_name , postcode , administrative_division , province_code , city_code , status , business_unit , org_level , org_category , manage_level , parent_org_code , distribution_org_flag , legal_entity_flag , address , approve_create_date , source_org_create_date , major , org_phase , main_category , detail_category , business_function , core , corporation_flag , department_flag , company_code , company_name , common_service , branch_emp_relationship , branch_urban_type , branch_func_type , branch_invest_type , create_date , modify_date , create_user_id , gmt_created , modify_user_id , gmt_modified , is_deleted from bic_base_org

优化建议：此类SQL没有where条件，一定要添加where条件并且有合适的索引。这样会造成全表扫描影响系统性能。如果一定要执行建议在业务低峰期执行

b)

select count ( * ) as cnt from ( select id , jdpt_employee_code , td_employee_code , td_employee_name , td_org_code , td_org_name , td_phone_number , td_id_number , td_employee_status , td_employee_role , create_user_id , gmt_created , modify_user_id , gmt_modified , is_deleted from bic_td_jdpt_employee_relation where :1 = :2 and is_deleted = :3 )

优化建议：此类SQL扫描行与发送行的比666184，并且查询使用了聚合函数，没有使用where条件。影响服务器性能，SQL锁行过多，可能影响其他更新语句。关联列上添加索引，子查询返回的行数尽量少

个人总结：

针对RDS的问题：CPU占有率持续高、QPS持续高、逻辑读一直高，用户连接线程增加，活跃线程数增加。

一般情况下：有慢SQL的情况，首先优化慢SQL，针对慢SQL主要注意查询多少数据和返回多少数据，如果查询的数据跟反回的数据都比较大，而且执行时间秒级别特别长，很有可能是慢SQL；没有慢SQL，或者慢SQL不是性能主导原因的话，可以考虑实例的规格配置和实例的架构，比如增加主实例的规格配置，增加只读实例缓解主实例的压力等。