本文记录了我在尝试部署开源PolarDB-X过程中的体验,包括遇到的挑战、解决方案尝试以及对产品改进的建议。
1. 引言
作为阿里云数据库产品技术的重要组成部分,PolarDB-X以其高性能和可扩展性在数据库领域备受瞩目。尽管我未能成功完成部署,但这次体验让我对PolarDB-X有了更深入的了解,并对其未来的发展充满期待。
2. 产品介绍
PolarDB-X 是一款云原生分布式 SQL 数据库,专为高并发、海量存储和复杂查询场景而设计。它采用无共享架构,计算与存储分离。它支持水平扩展、分布式事务和混合事务和分析处理 (HTAP) 工作负载,具有企业级、云原生、高可用性、与 MySQL 及其生态系统高度兼容的特点。
PolarDB-X最初是为了解决阿里巴巴天猫“双十一”核心交易系统数据库的扩展性瓶颈而诞生的,并伴随阿里云一路成长,是经过众多客户核心业务系统验证的成熟稳定的数据库系统。
PolarDB-X的核心特性包括:
水平可扩展性:PolarDB-X采用Shared-nothing架构设计,支持多种Hash、Range数据分片算法,并通过隐式主键分片和数据分片动态调度实现透明的水平扩展。
分布式事务:PolarDB-X采用MVCC+TSO方式,通过2PC协议实现分布式事务,事务满足ACID特性,支持RC/RR隔离级别,并通过单阶段提交、只读事务、异步提交等优化实现高性能。
高温热解法:PolarDB-X通过原生的MPP能力支持分析型查询,并通过CPU配额约束、内存池化、存储资源分离等方式实现OLTP与OLAP流量的强隔离。
企业级:PolarDB-X具有许多针对企业场景设计的能力,例如SQL并发控制、SQL Advisor、TDE、三重权限分离、闪回查询等。
云原生:PolarDB-X在阿里云拥有多年的云原生实践,支持通过K8S Operator管理集群资源,支持公有云、混合云、私有云等形态部署。
高可用性:PolarDB-X通过Multi-Paxos协议实现数据强一致性,支持跨数据中心部署,并通过Table Group、Geo-locality等提高系统可用性。
兼容 MySQL 及其生态系统:PolarDB-X的目标是全面兼容MySQL,目前包括MySQL协议,大部分MySQL SQL语法,Collations,事务隔离级别,二进制日志等。
3. 环境准备
准备了两台主机,使用pxd安装:
Centos7:
OS版本:7.9.2009
python版本:Python 3.6.8
pip版本:pip 21.3.1
docker版本:Docker version 26.1.4
*Ubuntu:*
OS版本:22.04
python版本:Python 3.10.12
pip版本:pip 24.2
docker版本:Docker version 24.0.7
4. 安装过程
打开官网的帮助文档(https://openpolardb.com/document?type=PolarDB-X),但很不巧页面打不开. 好在开源了在github上还有文档: https://github.com/polardb/polardbx-sql
根据快速入门的要求,安装了python和docker,但在都在安装pxd的时候遇到了问题:
执行 pip3 install pxd 时报错:
Centos7报错:
ubuntu22.04报错:
相关的报错在github的Issues中有类似报错,但没有找到解决办法!
5. 遇到的挑战与解决方案
在部署过程中,我遇到了以下问题:
- 依赖问题:某些依赖软件版本不兼容,导致安装失败。
- 官方文档不打开:不知是因为我本地网络问题还是什么原因,官方网站上的文档尝试多个时段一直打不开,只好去github上查看文档。
- 文档不准确:文档中有部分错误或不明确,如ubuntu有多个在用的发行版,文档中的apt-get install python3.8 python3.8-venv 在22.04中不适用。centos7下安装pxd时的命令应该为 pip3 install pxd 等 。
尽管我尝试了多种解决方案,包括更新版本、调整配置参数等,但最终仍未能成功部署PolarDB-X。
6. 改进建议
基于我的体验,我提出以下改进建议:
- 文档优化:帮助文档应更详细地说明依赖软件的版本要求。
- 错误处理:增加错误处理机制,提供更清晰的错误信息和解决方案。
- 社区支持:加强社区交流,提供更快速的技术支持和问题解答。
- 更简单的快速入门:因为在主机上部署依赖pxd工具,而python的依赖不太好处理。如果可行建议全部使用docker和docker compose 来进行快速入门的部署
7. 结论
尽管我在部署PolarDB-X的过程中遇到了挑战,但这次体验让我对PolarDB-X的潜力有了更深的认识。我相信通过不断的优化和改进,PolarDB-X将在未来发挥更大的作用。