数据库优化 - 实例参数优化

简介: 数据库优化 - 实例参数优化

一个新安装的数据库使用默认的参数配置,那么数据库的性能很难达到生产要求。要想更好的发挥数据库性能,对数据库参数优化是必不可少的。

本文涵盖目前市面上所有主流数据库的优化配置(Oralce、MySQL、POSTGRES、达梦),掌握本文的参数的配置可以让你数据库飞起来,更能让你成为别人眼中的数据库高手!


数据库优化方法论


数据库优化目标

根据使用数据库角色的不同,数据库优化分为以下几个目标:

  • 业务角度(关键用户):
    减少用户页面响应时间
  • 数据库角度(开发):
    减少数据库SQL响应时间
  • 数据库服务器角度(运维):
    充分使用数据库服务器物理资源
    减少数据库服务器CPU使用率
    减少数据库服务器IO使用率
    减少数据库服务器内存使用率

数据库优化指标


要优化数据库,我们得先给本次优化建立一个优化目标,也就是优化指标。一般来说数据库优化可以建立以下几个指标:

  • SQL平均响应时间变短
  • 优化前:数据库平均响应时间500ms
  • 优化目标:数据库平均响应时间200ms
  • 数据库服务器CPU占用率变少
  • 优化前:数据库高峰期CPU使用率70%
  • 优化目标:数据库高峰期CPU使用率50%
  • 数据库服务器IO使用率变低
  • 优化前:数据库IO WAIT为30%
  • 优化目标:数据库IO WAIT低于10%

数据库优化误区

在进行数据库优化的时候可能会有以下几个误区:

  • 优化之前一定要深入了解数据库内部原理
    其实数据库优化是有“套路”的,照着这些“套路”你也可以很好的完成数据库优化
  • 不断调整数据库参数就可以最终实现优化
    有时候设计不合理怎么调整参数都不行
  • 不断调整操作系统参数就可以最终实现优化
    同上
  • 数据库性能由应用、数据库架构决定,与应用开发关系不大
    恰恰相反,数据库性能与应用开发的关系很大
  • 必须要做读写分离,必须要弄分库分表
    数据量级只有达到一定的比例才有必要做读写分离,分表分库,否则徒增复杂度。一般来说Oracle的单表量级可以达到1亿,MySQL到1000万~2000万

数据库优化流程

完整的数据库优化流程如下:

首先我们需要尽可能的了解优化问题,收集问题期间系统信息并做好存档。

根据当前系统问题表现制定优化目标并与客户沟通目标达成一致;

通过一系列工具分析系统问题,制定优化方案,方案评审完成后由各负责人员进行实施。

若达到优化目标则编写优化报告,否则需要重新制定优化方案。


数据库实例优化


数据库实例优化大家只需记住三句口诀:日志不能小、缓存足够大、连接要够用。

在数据库事务提交后需要将事务对数据页的修改刷( fsync)到磁盘上,才能保证数据的持久性。这个刷盘,是一个随机写,性能较低,如果每次事务提交都要刷盘,会极大影响数据库的性能。

所有数据库在架构设计中都会采用如下两个优化手法:

  • 先将事务写到日志文件RedoLog(WAL),将随机写优化成顺序写
  • 加一层缓存结构Buffer,将每次写优化成顺序写

所以日志跟缓存对数据库实例尤其重要。而如果连接不够用,数据库会直接抛出异常,系统无法访问,所以也需要对连接数进行优化。

数据库参数优化

主流数据库架构都有如下几个共同关注点:

  • 数据缓存
  • SQL解析区
  • 排序内存
  • redo log及undo log
  • 锁、LATCH、MUTEX
  • 监听及连接
  • 文件读写性能

接下来我们根据不同的数据库调整参数以使数据库达到最佳性能。

ORACLE

参数分类 参数名 参数值 备注
数据缓存 SGA_TAGET、MEMORY_TARGET 物理内存70-80% 越大越好
数据缓存 DB_CACHE_SIZE 物理内存70-80% 越大越好
SQL解析 SHARED_POOL_SIZE 4-16G 不建议设置过大
监听及连接 PROCESSES、SESSIONS、OPEN_CURSORS 根据业务需求设置 一般为业务预估连接数的120%
其他 SESSION_CACHED_CURSORS 大于200 软软解析


MYSQL(INNODB)

参数分类 参数名 参数值 备注
数据缓存 INNODB_BUFFER_POOL_SIZE 物理内存50-80% 一般来说越大性能越好
日志相关 Innodb_log_buffer_size 16-32M 根据运行情况调整
日志相关 sync_binlog 1、100、0 1安全性最好
监听及连接 max_connections 根据业务情况调整 可以预留一部分值
文件读写性能 innodb_flush_log_at_trx_commit 2 安全和性能的折中考虑
其他 wait_timeout,interactive_timeout 28800 避免应用连接定时中断


POSTGRES

参数分类 参数名 参数值 备注
数据缓存 SHARED_BUFFERS 物理内存10-25%
数据缓存 CACHE_BUFFER_SIZE 物理内存50-60%
日志相关 wal_buffer 8-64M 不建议设置过大过小
监听及连接 max_connections 根据业务情况调整 一般为业务预估连接数的120%
其他 maintenance_work_mem 512M或更大
其他 work_mem 8-16M 原始配置1M过小
其他 checkpoint_segments 32或者更大


达梦数据库

参数分类 参数名 参数值 备注
数据缓存 MEMROY_TARGET、MEMROY_POOL 物理内存90%
数据缓存 BUFFER 物理内存60% 数据缓存
数据缓存 MAX_BUFFER 物理内存70% 最大数据缓存
监听及连接 max_sessions 根据业务需求设置 一般为业务预估连接数的120%


小结


数据库的优化手法有很多,比如有换磁盘阵列升级硬件的,有改写SQL脚本添加索引的,还有数据库参数调整优化性能,甚至还可以业务架构来对数据库进行优化。

本文从数据库参数的角度进行调优,大家根据上面几张表中的配置对数据库参数调整后可以让数据库性能达到数据库最佳性能的80%。


看完本文记得给我个三连哟:点赞,转发,评论咱们下期见!

收藏 等于白嫖点赞 才是真情!

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
6天前
|
SQL 存储 安全
sql server 数据库实例
SQL Server 数据库实例是指在 SQL Server 中创建的一个独立的数据库环境。每个数据库实例都拥有自己的一套完整的数据库文件、配置设置、用户和权限等,可以独立地进行管理和操作。以下是关于
|
2天前
|
数据可视化 Linux 数据库
探索 Linux 命令 `db_tuner`:优化数据库性能的利器
`db_tuner` 是一个假设的 Linux 工具,用于数据库性能优化,提供状态检查、查询分析、配置调优、索引建议及报告生成等功能。虽然不是真实命令,但类似工具如 `mysqltuner` 可实现这些功能。通过安装和运行 `db_tuner`,DBA 可以提升数据库性能,解决瓶颈问题。
|
4天前
|
SQL 关系型数据库 MySQL
MySQL数据库——SQL优化(3/3)-limit 优化、count 优化、update 优化、SQL优化 小结
MySQL数据库——SQL优化(3/3)-limit 优化、count 优化、update 优化、SQL优化 小结
10 0
|
4天前
|
SQL 关系型数据库 MySQL
MySQL数据库——SQL优化(2/3)-order by 优化、group by 优化
MySQL数据库——SQL优化(2/3)-order by 优化、group by 优化
8 0
|
4天前
|
存储 SQL 关系型数据库
MySQL数据库——SQL优化(1/3)-介绍、插入数据、主键优化
MySQL数据库——SQL优化(1/3)-介绍、插入数据、主键优化
10 1
|
4天前
|
存储 缓存 测试技术
数据库在云存储环境中的配置与优化
【6月更文挑战第6天】探讨数据库在云存储的配置与优化,包括选择合适云服务、设计高效架构、查询语句优化、参数调整、数据分区索引、备份恢复策略、资源监控及性能测试。通过实践与学习,提升应对云环境中的数据库挑战能力。如有问题,欢迎讨论。
13 0
|
5天前
|
存储 SQL 缓存
Java性能优化(十)-数据库调优-数据库参数设置优化
Java性能优化(十)-数据库调优-数据库参数设置优化
11 0
|
6天前
|
SQL 关系型数据库 数据库
17. Python 数据库操作之MySQL和SQLite实例
17. Python 数据库操作之MySQL和SQLite实例
40 2
|
7天前
|
数据库 SQL 存储
在编制代码时优化数据库操作性能
【6月更文挑战第3天】本文介绍了代码中可使用的SQL语句优化策略,了解并应用本文介绍的这些技巧可显著提升数据库性能。
20 2
|
7天前
|
数据库 关系型数据库 索引
通过实例理解数据库性能优化的方向
【6月更文挑战第3天】性能优化是提升用户体验的关键,尤其是对数据库的优化。慢速数据库可能导致页面加载延迟,造成用户流失。通过组合优化,可确保数据库高效运行,支持应用程序顺畅,提供无缝用户体验。
13 0
通过实例理解数据库性能优化的方向