《PolarDB-X开源分布式数据库实战进阶》——PolarDB-X读写分离和HTAP场景的实践(5)

简介: 《PolarDB-X开源分布式数据库实战进阶》——PolarDB-X读写分离和HTAP场景的实践(5)

《PolarDB-X开源分布式数据库实战进阶》——PolarDB-X读写分离和HTAP场景的实践(4) https://developer.aliyun.com/article/1228543?groupCode=polardbforpg



PolarDB-X在混合负载场景下主要有两个方案。其一为采用Lambda架构,技术上使用ETL进行数据同步;其二为TiDB等一套数据库提供HTAP的能力。

 

image.png

 

PolarDB-X也为混合负载架构,将TP流量路由至主实例,AP流量路由至只读实例。再结合LogIndex+TSO,即可在HTAP架构下提供强一致性读的能力。

 

我们基于只读实例提供了物理隔离,确保TP和AP流量不会相互干扰。除此之外,还提供了通过cost智能识别工作负载的能力,业务无需识别TP和AP流量,可进行智能判断,减少业务负担。

 

image.png

 

我们在混合负载场景下做了测试。

 

首先,开启TPC-C的流量,如果将HTAP能力关闭再运行TPC-H,会发现TPC-H会对TPC-C流量造成较大影响。而开启了HTAP能力之后,可实现TPC-H和TPC-C的物理隔离,很好地满足了TP和AP的稳定性。

 

image.png

 

PolarDB-X提供了基于代价的选择执行模型。可以通过explain cost指令查看每条SQL估算出来的workload是TP还是AP。如果是个简单的点查,则会基于cost判断其为TP,如果是agg等复杂查询,则会基于cost判断其为AP。

 

另外,我们提供了explain physical用于查看AP和TP的执行模式。

 

image.png

 

进行简单查询,然后执行explain cost。可以看到cost会从4个维度进行判断,分别为net、IO、memory、CPU。

 

image.png

 

查看本次查询的执行模式,显示为TP_LOCAL,表示本次查询为单机TP的执行模式。

 

如果构造一个复杂查询,对两个亿级别的大表先做join,再做count distinct,两个join的条件不对齐,因此join不下推。在HTAP场景下,得益于MPP查询加速,相对于此前的TP_LOCAL会有3-4倍的性能提升。

 

相关文章
|
12月前
|
人工智能 安全 Java
分布式 Multi Agent 安全高可用探索与实践
在人工智能加速发展的今天,AI Agent 正在成为推动“人工智能+”战略落地的核心引擎。无论是技术趋势还是政策导向,都预示着一场深刻的变革正在发生。如果你也在探索 Agent 的应用场景,欢迎关注 AgentScope 项目,或尝试使用阿里云 MSE + Higress + Nacos 构建属于你的 AI 原生应用。一起,走进智能体的新世界。
1918 106
|
12月前
|
关系型数据库 Apache 微服务
《聊聊分布式》分布式系统基石:深入理解CAP理论及其工程实践
CAP理论指出分布式系统中一致性、可用性、分区容错性三者不可兼得,必须根据业务需求进行权衡。实际应用中,不同场景选择不同策略:金融系统重一致(CP),社交应用重可用(AP),内网系统可选CA。现代架构更趋向动态调整与混合策略,灵活应对复杂需求。
|
数据采集 消息中间件 监控
单机与分布式:社交媒体热点采集的实践经验
在舆情监控与数据分析中,单机脚本适合小规模采集如微博热榜,而小红书等大规模、高时效性需求则需分布式架构。通过Redis队列、代理IP与多节点协作,可提升采集效率与稳定性,适应数据规模与变化速度。架构选择应根据实际需求,兼顾扩展性与维护成本。
502 2
|
人工智能 安全 应用服务中间件
阿里巴巴 MCP 分布式落地实践:快速转换 HSF 到 MCP server
本文分享了阿里巴巴内部将大规模HSF服务快速转换为MCP Server的实践经验,通过Higress网关实现MCP协议卸载,无需修改代码即可接入MCP生态。文章分析了MCP生态面临的挑战,如协议快速迭代和SDK不稳定性,并详细介绍了操作步骤及组件功能。强调MCP虽非终极解决方案,但作为AI业务工程化的起点具有重要意义。最后总结指出,MCP只是AI原生应用发展的第一步,未来还有更多可能性值得探索。
1837 49
|
存储 关系型数据库 分布式数据库
喜报|阿里云PolarDB数据库(分布式版)荣获国内首台(套)产品奖项
阿里云PolarDB数据库管理软件(分布式版)荣获「2024年度国内首版次软件」称号,并跻身《2024年度浙江省首台(套)推广应用典型案例》。
|
关系型数据库 分布式数据库 数据库
再获殊荣,阿里云PolarDB数据库蝉联SIGMOD最佳论文奖
内存池化技术新突破,阿里云PolarDB蝉联SIGMOD最佳论文奖
|
Cloud Native 关系型数据库 MySQL
免费体验!高效实现自建 MySQL 数据库平滑迁移至 PolarDB-X
PolarDB-X 是阿里云推出的云原生分布式数据库,支持PB级存储扩展、高并发访问与数据强一致,助力企业实现MySQL平滑迁移。现已开放免费体验,点击即享高效、稳定的数据库升级方案。
免费体验!高效实现自建 MySQL 数据库平滑迁移至 PolarDB-X
|
12月前
|
关系型数据库 MySQL 分布式数据库
航天壹进制 PolarDB-X 1.0(DRDS) 数据备份容灾解决方案
本方案基于航天壹进制黑方系统,结合MySQL逻辑备份技术,为阿里云PolarDB-X 1.0(DRDS)构建非侵入式、高可靠的数据备份与恢复体系,支持全量备份、AES-256加密、压缩重删及灵活策略管理,兼容RDS MySQL操作习惯,保障数据安全与业务连续性。
|
关系型数据库 MySQL 分布式数据库
阿里云PolarDB云原生数据库收费价格:MySQL和PostgreSQL详细介绍
阿里云PolarDB兼容MySQL、PostgreSQL及Oracle语法,支持集中式与分布式架构。标准版2核4G年费1116元起,企业版最高性能达4核16G,支持HTAP与多级高可用,广泛应用于金融、政务、互联网等领域,TCO成本降低50%。

热门文章

最新文章

相关产品

  • 云原生数据库 PolarDB