开源PolarDB-X部署体验:挑战与反思

本文涉及的产品
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: 本文记录了部署开源PolarDB-X的体验及挑战。PolarDB-X是一款云原生分布式SQL数据库,具备高性能和可扩展性。部署中遇到的问题包括依赖冲突、文档不清晰及官方文档无法访问等。建议改进文档准确性、增强错误提示和支持、简化部署流程,如采用Docker简化快速入门。尽管部署未成功,但仍对PolarDB-X未来发展持乐观态度。

本文记录了我在尝试部署开源PolarDB-X过程中的体验,包括遇到的挑战、解决方案尝试以及对产品改进的建议。

1. 引言
作为阿里云数据库产品技术的重要组成部分,PolarDB-X以其高性能和可扩展性在数据库领域备受瞩目。尽管我未能成功完成部署,但这次体验让我对PolarDB-X有了更深入的了解,并对其未来的发展充满期待。

2. 产品介绍
PolarDB-X 是一款云原生分布式 SQL 数据库,专为高并发、海量存储和复杂查询场景而设计。它采用无共享架构,计算与存储分离。它支持水平扩展、分布式事务和混合事务和分析处理 (HTAP) 工作负载,具有企业级、云原生、高可用性、与 MySQL 及其生态系统高度兼容的特点。

PolarDB-X最初是为了解决阿里巴巴天猫“双十一”核心交易系统数据库的扩展性瓶颈而诞生的,并伴随阿里云一路成长,是经过众多客户核心业务系统验证的成熟稳定的数据库系统。

PolarDB-X的核心特性包括:

  • 水平可扩展性:PolarDB-X采用Shared-nothing架构设计,支持多种Hash、Range数据分片算法,并通过隐式主键分片和数据分片动态调度实现透明的水平扩展。

  • 分布式事务:PolarDB-X采用MVCC+TSO方式,通过2PC协议实现分布式事务,事务满足ACID特性,支持RC/RR隔离级别,并通过单阶段提交、只读事务、异步提交等优化实现高性能。

  • 高温热解法:PolarDB-X通过原生的MPP能力支持分析型查询,并通过CPU配额约束、内存池化、存储资源分离等方式实现OLTP与OLAP流量的强隔离。

  • 企业级:PolarDB-X具有许多针对企业场景设计的能力,例如SQL并发控制、SQL Advisor、TDE、三重权限分离、闪回查询等。

  • 云原生:PolarDB-X在阿里云拥有多年的云原生实践,支持通过K8S Operator管理集群资源,支持公有云、混合云、私有云等形态部署。

  • 高可用性:PolarDB-X通过Multi-Paxos协议实现数据强一致性,支持跨数据中心部署,并通过Table Group、Geo-locality等提高系统可用性。

  • 兼容 MySQL 及其生态系统:PolarDB-X的目标是全面兼容MySQL,目前包括MySQL协议,大部分MySQL SQL语法,Collat​​ions,事务隔离级别,二进制日志等。

3. 环境准备
准备了两台主机,使用pxd安装:
Centos7:
OS版本:7.9.2009
python版本:Python 3.6.8
pip版本:pip 21.3.1
docker版本:Docker version 26.1.4

*Ubuntu:*
OS版本:22.04
python版本:Python 3.10.12
pip版本:pip 24.2
docker版本:Docker version 24.0.7

4. 安装过程
打开官网的帮助文档(https://openpolardb.com/document?type=PolarDB-X),但很不巧页面打不开. 好在开源了在github上还有文档: https://github.com/polardb/polardbx-sql
image.png
根据快速入门的要求,安装了python和docker,但在都在安装pxd的时候遇到了问题:

执行 pip3 install pxd 时报错:

Centos7报错:
image.png

ubuntu22.04报错:
image.png

相关的报错在github的Issues中有类似报错,但没有找到解决办法!

5. 遇到的挑战与解决方案
在部署过程中,我遇到了以下问题:

  • 依赖问题:某些依赖软件版本不兼容,导致安装失败。
  • 官方文档不打开:不知是因为我本地网络问题还是什么原因,官方网站上的文档尝试多个时段一直打不开,只好去github上查看文档。
  • 文档不准确:文档中有部分错误或不明确,如ubuntu有多个在用的发行版,文档中的apt-get install python3.8 python3.8-venv 在22.04中不适用。centos7下安装pxd时的命令应该为 pip3 install pxd 等 。

尽管我尝试了多种解决方案,包括更新版本、调整配置参数等,但最终仍未能成功部署PolarDB-X。

6. 改进建议
基于我的体验,我提出以下改进建议:

  • 文档优化:帮助文档应更详细地说明依赖软件的版本要求。
  • 错误处理:增加错误处理机制,提供更清晰的错误信息和解决方案。
  • 社区支持:加强社区交流,提供更快速的技术支持和问题解答。
  • 更简单的快速入门:因为在主机上部署依赖pxd工具,而python的依赖不太好处理。如果可行建议全部使用docker和docker compose 来进行快速入门的部署

7. 结论
尽管我在部署PolarDB-X的过程中遇到了挑战,但这次体验让我对PolarDB-X的潜力有了更深的认识。我相信通过不断的优化和改进,PolarDB-X将在未来发挥更大的作用。

相关实践学习
快速体验PolarDB开源数据库
本实验环境已内置PostgreSQL数据库以及PolarDB开源数据库:PolarDB PostgreSQL版和PolarDB分布式版,支持一键拉起使用,方便各位开发者学习使用。
目录
打赏
0
1
1
0
110
分享
相关文章
PolarDB 开源基础教程系列 7.2 应用实践之 跨境电商场景
本文介绍了如何在跨境电商场景中快速判断商标或品牌侵权,避免因侵权带来的法律纠纷。通过创建品牌表并使用PostgreSQL的pg_trgm插件和GIN索引,实现了高性能的字符串相似匹配功能。与传统方法相比,PolarDB|PostgreSQL的方法不仅提升了上万倍的查询速度,还解决了传统方法难以处理的相似问题检索。具体实现步骤包括创建品牌表、插入随机品牌名、配置pg_trgm插件及索引,并设置相似度阈值进行高效查询。此外,文章还探讨了字符串相似度计算的原理及应用场景,提供了进一步优化和扩展的方向。
36 11
PolarDB 开源基础教程系列 7.5 应用实践之 TPCH性能优化
PolarDB在复杂查询、大数据量计算与分析场景的测试和优化实践.
38 7
PolarDB 开源基础教程系列 7.3 应用实践之 精准营销场景
本文介绍了基于用户画像的精准营销技术,重点探讨了如何通过标签组合快速圈选目标人群。实验分为三部分: 1. **传统方法**:使用字符串存储标签并进行模糊查询,但性能较差,每次请求都需要扫描全表。 2. **实验1**:引入`pg_trgm`插件和GIN索引,显著提升了单个模糊查询条件的性能。 3. **实验2**:改用数组类型存储标签,并结合GIN索引加速包含查询,性能进一步提升。 4. **实验3**:利用`smlar`插件实现近似度过滤,支持按标签重合数量或比例筛选。
28 3
PolarDB 开源基础教程系列 6 开源插件扩展
1、当前环境已安装并支持哪些插件 2、AI外脑插件: vector 3、营销场景目标人群圈选插件: smlar 4、地理信息搜索插件: PostGIS 5、中文分词插件: pg_jieba 6、融合计算插件: duckdb_fdw 7、读写分离工具: pgpool-II
27 3
PolarDB 开源基础教程系列 4 日常运维
PolarDB日常运维指南涵盖了多个关键操作,包括读写节点故障切换、增加只读节点、配置WAL日志归档、备份与恢复、创建容灾实例以及排查CPU负载高等。通过详细的步骤和代码示例,本文档帮助用户在本地环境中体验和学习PolarDB的高级功能,如共享存储架构下的集群管理。特别地,文档提供了如何使用`polar_basebackup`工具进行备份和恢复,确保数据安全;并通过`pg_stat_statements`插件定位慢查询,优化数据库性能。此外,还介绍了常见问题的排查方法,如业务量上涨或长时间执行的SQL语句导致的CPU高负载。更多内容和进阶课程可参考提供的GitHub链接和官方文档。
20 1
PolarDB 开源基础教程系列 7.1 快速构建“海量逼真”数据
本文介绍了如何使用PostgreSQL和PolarDB快速生成“海量且逼真”的测试数据,以满足不同业务场景的需求。传统数据库测试依赖标准套件(如TPC-C、TPC-H),难以生成符合特定业务特征的复杂数据。通过自定义函数(如`gen_random_int`、`gen_random_string`等)、SRF函数(如`generate_series`)和pgbench工具,可以高效生成大规模、高仿真度的数据,并进行压力测试。文中还提供了多个示例代码展示.
26 7
PolarDB 开源基础教程系列 9 开源社区合作和共建
本文介绍了玩转 PolarDB 开源社区指南:如何搭建 PolarDB 开发环境及参与开源社区。 主要内容: 1. **搭建开发环境**:提供多种 Docker 镜像供开发者选择,支持 x86_64 和 ARM64 架构,适配 CentOS、Debian、Ubuntu 等多个 Linux 发行版。 2. **编译与部署**:通过 Docker 容器克隆 PolarDB 源码并编译安装,支持构建一写多读集群测试 ePQ MPP 优化器功能。 3. **参与开源社区**:介绍个人、生态伙伴和用户如何从社区中获取技能、建立连接、积累战绩并提升影响力。社区活动涵盖公开课、训练营、编程大赛、企业行等。
55 5
PolarDB 开源基础教程系列 8 数据库生态
PolarDB是一款开源的云原生分布式数据库,源自阿里云商业产品。为降低使用门槛,PolarDB携手伙伴打造了完整的开源生态,涵盖操作系统、芯片、存储、集成管控、监控、审计、开发者工具、数据同步、超融合计算、ISV软件、开源插件、人才培养、社区合作及大型用户合作等领域。通过这些合作伙伴,PolarDB提供了丰富的功能和服务,支持多种硬件和软件环境,满足不同用户的需求。更多信息请访问[PolarDB开源官方网站](https://openpolardb.com/home)。
45 4
PolarDB 开源基础教程系列 7.4 应用实践之 AI大模型外脑
PolarDB向量数据库插件通过实现通义大模型AI的外脑,解决了通用大模型无法触达私有知识库和产生幻觉的问题。该插件允许用户将新发现的知识和未训练的私有知识分段并转换为向量,存储在向量数据库中,并创建索引以加速相似搜索。当用户提问时,系统将问题向量化并与数据库中的向量进行匹配,找到最相似的内容发送给大模型,从而提高回答的准确性和相关性。此外,PolarDB支持多种编程语言接口,如Python,使数据库具备内置AI能力,极大提升了数据处理和分析的效率。
38 4
PolarDB 开源基础教程系列 5 高级特性体验
PolarDB 特性解读与体验涵盖多项关键技术,包括预读/预扩展、Shared Server(建议使用连接池)、闪回表和闪回日志、弹性跨机并行查询(ePQ)及TDE透明数据加密。预读/预扩展通过批量I/O操作显著提升Vacuum、SeqScan等场景性能;Shared Server优化高并发短连接处理;闪回功能可恢复表至指定时间点;ePQ支持跨机并行查询以提高复杂查询效率;TDE确保数据存储层的安全加密。
21 1

相关产品

  • 云原生分布式数据库 PolarDB-X
  • AI助理

    你好,我是AI助理

    可以解答问题、推荐解决方案等