【笔记】最佳实践—偏高并发场景的实践和优化

本文涉及的产品
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: 本文介绍了如何判断查询语句是否为“点查”,以及如何将查询优化为“点查”。 “点查”是应用访问OLTP数据库的一种常见方式,特点是返回结果前只扫描表中的少量数据,在淘宝上查看订单/商品信息对应到数据库上的操作就是点查。PolarDB-X对点查的响应时间(Response Time, RT)和资源占用做了较多优化,能够支持较高的吞吐,适合高并发读取场景使用。

什么是点查

顾名思义,“点查”是指只扫描少量数据的查询。注意这里说的是“扫描少量数据”而不是“返回少量数据”,比如select * from t1 order by c1 limit 1虽然只返回了一条数据,但如果c1上没有索引,需要先扫描t1上所有数据排序后才能返回结果,不符合“点查”的定义。

单机数据库中,最常见的点查是按照主键(Primary Key, PK)查询数据,通过扫描主键索引快速得到结果,平均只需要扫描logn条记录。如果通过其他条件查询,可以增加局部二级索引(Local Secondary Index,LSI),首先扫描局部二级索引得到主键,然后回表查出完整记录。特殊场景下,如果局部二级索引中包含了查询涉及的所有列,则回表的步骤也可以省略。

PolarDB-X是一个分布式数据库,为了将数据分散到不同数据节点(Data Node,DN)上,引入了分区表的概念,预先将数据切分成多个分区,然后建立分区和DN的映射,其中切分数据需要选取一个或多个列作为切分维度,这些列因此被称为“分区键”。分布式数据库中,查询性能除了与扫描的数据量线性相关,还与扫描的分片数量正相关,因此“点查”的定义还需要加上“扫描少量分区”。

PolarDB-X具备透明分布式能力,默认使用主键作为分区键,按照PK查询时首先定位到数据所在的分区,然后通过分区上的主键索引得到结果,性能最高。如果通过其他条件查询,可以增加全局二级索引(Global Secondary Index,GSI)。使用GSI优化查询的原理与LSI相同,首先查到主键然后回表获得完整记录,主要区别在于GSI本身也是一张分区表,数据与主表保存在不同DN上,回表操作大概率需要经过网络,回表代价高于单机数据库。因此,PolarDB-X支持创建聚簇索引来消除回表,达到与主键查询相同的性能。

注意事项

LSI和GSI本质上是以额外存储空间和写入开销为代价,换取查询性能的方案,使用时需要谨慎评估对写入性能的影响。索引表与主表的数据分布不同,为了保证GSI的数据与主表强一致,所有涉及GSI的写入操作都默认被包装在分布式事务中。相比没有GSI的场景,写入RT会增加2~3倍,同时由于索引表和主表混合并行写入,高并发写入场景下产生分布式死锁的概率会增加。综上所述,建议每张逻辑表上创建不超过3个GSI。

如何识别点查

如上所述,分布式数据库中的点查,是指扫描少量分片和数据的查询。通过查看执行计划,可以确认一个查询语句扫描的分片数,更多执行计划介绍请参见执行计划介绍。以下为一个点查的示例:


> explain select c_custkey, c_name, c_address from customer where c_custkey = 42;
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| LOGICAL EXECUTIONPLAN                                                                                                                                            |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| LogicalView(tables="TEST1_000002_GROUP.customer_IVgG_10", sql="SELECT `c_custkey`, `c_name`, `c_address` FROM `customer` AS `customer` WHERE (`c_custkey` = ?)") |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+

EXPLAIN EXECUTE用于汇总展示DN上的执行计划,由此可以判断查询在DN上是否命中正确的索引。DN节点基于MySQL实现,执行计划与MySQL相同,更多介绍参考 MySQL 官方文档。以下展示一个点查的示例:


> explain execute select c_custkey, c_name, c_address from customer where c_custkey = 42;

+----+-------------+----------+------------+-------+---------------+---------+---------+-------+------+----------+-----------------+
| id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
+----+-------------+----------+------------+-------+---------------+---------+---------+-------+------+----------+-----------------+
| 1 | SIMPLE | customer | NULL | const | PRIMARY | PRIMARY | 4 | const | 1 | 100 | Using pk access |
+----+-------------+----------+------------+-------+---------------+---------+---------+-------+------+----------+-----------------+

如何将查询优化为点查

不是所有查询语句都可以优化为点查,例如没有任何条件的数据抽取查询select from t1,不合理的分页查询select from t1 where c1 = 1 limit 100000, 10,参数数量随着业务增长而增长的IN查询等。能够优化为点查的语句可以概括为以下两类:

  1. 固定范围扫描的查询:条件中包含等值条件(或可以简化为等值条件),小范围BETWEEN AND条件 ,参数数量固定的IN条件的查询;
  2. 结果行数固定的TopN查询:例如select from t1 where c1 > 42 limit 10 和 select from t1 order by c1 limit 10select * from t1 order by c1 limit 10

对于这两类查询,优化的思路是添加合适的索引,将全表扫描转化为索引扫描,示例如下:


CREATE TABLE `customer` (
`c_custkey` int(11) NOT NULL,
`c_name` varchar(25) NOT NULL,
`c_address` varchar(40) NOT NULL,
`c_nationkey` int(11) NOT NULL,
`c_phone` varchar(15) NOT NULL,
`c_acctbal` decimal(15,2) NOT NULL,
`c_mktsegment` varchar(10) NOT NULL,
`c_comment` varchar(117) NOT NULL,
PRIMARY KEY (`c_custkey`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 dbpartition by hash(`c_custkey`) tbpartition by hash(`c_custkey`) tbpartitions 4;
> explain select * from customer where c_phone = "11";
+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| LOGICAL EXECUTIONPLAN |
+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Gather(concurrent=true) |
| LogicalView(tables="[000000-000003].customer_[00-15]", shardCount=16, sql="SELECT `c_custkey`, `c_name`, `c_address`, `c_nationkey`, `c_phone`, `c_acctbal`, `c_mktsegment`, `c_comment` FROM `customer` AS `customer` WHERE (`c_phone` = ?)") |
+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

customer表上只有主键索引,因此虽然c_phone指定了等值条件,依然需要扫描全部分片,可以通过添加GSI来优化。


> create global index g_i_phone on customer(c_phone) dbpartition by hash(c_phone);
> explain select * from customer where c_phone = "11";
+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| LOGICAL EXECUTIONPLAN |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Project(c_custkey="c_custkey", c_name="c_name", c_address="c_address", c_nationkey="c_nationkey", c_phone="c_phone", c_acctbal="c_acctbal", c_mktsegment="c_mktsegment", c_comment="c_comment") |
| BKAJoin(condition="c_custkey = c_custkey", type="inner") |
| IndexScan(tables="TEST1_000000_GROUP.g_i_phone_2CSp", sql="SELECT `c_custkey`, `c_phone` FROM `g_i_phone` AS `g_i_phone` WHERE (`c_phone` = ?)") |
| Gather(concurrent=true) |
| LogicalView(tables="[000000-000003].customer_[00-15]", shardCount=16, sql="SELECT `c_custkey`, `c_name`, `c_address`, `c_nationkey`, `c_acctbal`, `c_mktsegment`, `c_comment` FROM `customer` AS `customer` WHERE ((`c_phone` = ?) AND (`c_custkey` IN (...)))") |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

添加GSI后,查询变为索引表上的点查加回表,回表操作只访问一个分片(执行计划中回表显示为主表上的全表扫描,这是因为确定需要扫描的主表分片依赖索引表的查询结果,explain阶段无法确定)。


> drop index g_i_phone on customer;
> create clustered index g_i_phone on customer(c_phone) dbpartition by hash(c_phone);
> explain select * from customer where c_phone = "11";
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| LOGICAL EXECUTIONPLAN |
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| IndexScan(tables="TEST1_000000_GROUP.g_i_phone_fHmZ", sql="SELECT `c_custkey`, `c_name`, `c_address`, `c_nationkey`, `c_phone`, `c_acctbal`, `c_mktsegment`, `c_comment` FROM `g_i_phone` AS `g_i_phone` WHERE (`c_phone` = ?)") |
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

使用聚簇索引代替GSI后,由于索引表中包含了主表上的所有列,不再需要回表,执行计划变为索引表上的点查。

以上示例阐述了通过索引优化点查性能的一般过程,其中的关键点是根据查询特征找到适合添加索引的列。对于包含多个条件比较复杂的查询,可以通过PolarDB-X内置的索引推荐功能来找到合适的LSI和GSI,详情请参考智能索引推荐


相关实践学习
Polardb-x 弹性伸缩实验
本实验主要介绍如何对PolarDB-X进行手动收缩扩容,了解PolarDB-X 中各个节点的含义,以及如何对不同配置的PolarDB-x 进行压测。
相关文章
|
数据采集 关系型数据库 MySQL
【笔记】最佳实践—偏高并发场景的实践和优化
本文介绍了如何判断查询语句是否为“点查”,以及如何将查询优化为“点查”。 “点查”是应用访问OLTP数据库的一种常见方式,特点是返回结果前只扫描表中的少量数据,在淘宝上查看订单/商品信息对应到数据库上的操作就是点查。PolarDB-X对点查的响应时间(Response Time, RT)和资源占用做了较多优化,能够支持较高的吞吐,适合高并发读取场景使用。
116 0
|
SQL 存储 算法
【笔记】最佳实践—偏分析场景的实践和优化
PolarDB-X是一款以TP为主的HTAP数据库,也支持一定场景的分析需求。而典型的分析场景一般有以下几类特征:
【笔记】最佳实践—偏分析场景的实践和优化
|
数据采集 关系型数据库 MySQL
最佳实践—偏高并发场景的实践和优化
本文介绍了如何判断查询语句是否为“点查”,以及如何将查询优化为“点查”。 “点查”是应用访问OLTP数据库的一种常见方式,特点是返回结果前只扫描表中的少量数据,在淘宝上查看订单/商品信息对应到数据库上的操作就是点查。PolarDB-X对点查的响应时间(Response Time, RT)和资源占用做了较多优化,能够支持较高的吞吐,适合高并发读取场景使用。
115 0
|
8天前
|
NoSQL Cloud Native Redis
Redis核心开发者的新征程:阿里云与Valkey社区的技术融合与创新
阿里云瑶池数据库团队后续将持续参与Valkey社区,如过往在Redis社区一样耕耘,为开源社区作出持续贡献。
Redis核心开发者的新征程:阿里云与Valkey社区的技术融合与创新
|
7天前
|
关系型数据库 分布式数据库 数据库
PolarDB闪电助攻,《香肠派对》百亿好友关系实现毫秒级查询
PolarDB分布式版助力《香肠派对》实现百亿好友关系20万QPS的毫秒级查询。
PolarDB闪电助攻,《香肠派对》百亿好友关系实现毫秒级查询
|
8天前
|
消息中间件 Cloud Native Serverless
RocketMQ 事件驱动:云时代的事件驱动有啥不同?
本文深入探讨了云时代 EDA 的新内涵及它在云时代再次流行的主要驱动力,包括技术驱动力和商业驱动力,随后重点介绍了 RocketMQ 5.0 推出的子产品 EventBridge,并通过几个云时代事件驱动的典型案例,进一步叙述了云时代事件驱动的常见场景和最佳实践。
115094 1
|
9天前
|
弹性计算 安全 API
访问控制(RAM)|云上安全使用AccessKey的最佳实践
集中管控AK/SK的生命周期,可以极大降低AK/SK管理和使用成本,同时通过加密和轮转的方式,保证AK/SK的安全使用,本次分享为您介绍产品原理,以及具体的使用步骤。
101868 3
|
6天前
|
物联网 PyTorch 测试技术
手把手教你捏一个自己的Agent
Modelscope AgentFabric是一个基于ModelScope-Agent的交互式智能体应用,用于方便地创建针对各种现实应用量身定制智能体,目前已经在生产级别落地。
|
8天前
|
自然语言处理 Cloud Native Serverless
通义灵码牵手阿里云函数计算 FC ,打造智能编码新体验
近日,通义灵码正式进驻函数计算 FC WebIDE,让使用函数计算产品的开发者在其熟悉的云端集成开发环境中,无需再次登录即可使用通义灵码的智能编程能力,实现开发效率与代码质量的双重提升。
95436 2
|
1天前
|
机器人 Linux API
基于Ollama+AnythingLLM轻松打造本地大模型知识库
Ollama是开源工具,简化了在本地运行大型语言模型(ile优化模型运行,支持GPU使用和热加载。它轻量、易用,可在Mac和Linux上通过Docker快速部署。AnythingLLM是Mintplex Labs的文档聊天机器人,支持多用户、多种文档格式,提供对话和查询模式,内置向量数据库,可高效管理大模型和文档。它也是开源的,能与Ollama结合使用,提供安全、低成本的LLM体验。这两款工具旨在促进本地高效利用和管理LLMs。
28434 18