PolarDB 开源评测开发者评测

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云原生数据库 PolarDB 分布式版,标准版 2核8GB
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
简介: 本文对阿里云PolarDB的开源版本PolarDB - X和PolarDB - PG进行了评测。PolarDB - X可通过PXD工具或源码编译进行部署,安装过程中可能遇到网络、依赖、文档滞后等问题,建议完善文档、提供一键安装脚本和新手教程、加强社区建设。PolarDB - PG基于阿里云ECS + ESSD云盘共享存储部署,ESSD云盘性能提升明显,但拉取镜像时可能出现timeout或无响应情况。两款开源版本在部署中虽有问题,但具有优势和潜力,通过改进可提高用户体验,促进在开源社区的推广。

一、引言

阿里云的PolarDB作为亚太唯一连续4年稳居Gartner全球云数据库报告「领导者」的数据库,其开源版本PolarDB-X和PolarDB-PG为开发者和客户提供了快速使用阿里云数据库产品技术的途径。本文将详细介绍这两个开源版本的部署安装体验,包括遇到的问题和对产品改进的建议。

二、开源PolarDB -X部署安装

  1. 环境准备

    • 操作系统:CentOS 7.x。
    • 依赖安装:根据文档要求安装Python3、Docker等依赖。
  2. 安装过程

    • PXD工具部署(单机环境)
      • 创建并激活虚拟环境,如执行python3 -m venv venvsource venv/bin/activate
      • 升级pip,使用pip install --upgrade pip
      • 安装pxd,可通过pip install pxdpip install -i https://mirrors.aliyun.com/pypi/simple/ pxd
      • 部署PolarDB - X企业版集群,执行pxd tryout命令,可能会遇到如Error: pxc - tryout pxc cluster is already existing, please usepxd delete pxc - tryoutto remove it first.的报错,需按照提示执行pxd delete pxc - tryout后重新部署。
      • 部署完成后,可通过MySQL Client连接并执行SQL语句进行体验,如select * from information_schema.schemata;等。
    • 源码编译部署
      • 安装各种依赖,如yum install -y cmake3ln -s /usr/bin/cmake3 /usr/bin/cmakeyum install -y centos - release - scl等。
      • 从GitHub仓库克隆源码,如git clone https://github.com/polardb/polardbx - engine.git等。
      • 在编译安装过程中可能会遇到依赖问题,需根据提示安装相应依赖,如devtoolset - 11 - gcc devtoolset - 11 - gcc - c++ devtoolset - 11 - binutils等。
  3. 遇到的问题

    • PXD工具部署时,可能会遇到网络配置问题导致节点间通信不畅,需要调整防火墙设置。
    • 源码编译部署时,依赖库版本不明确,文档中部分依赖安装说明缺失,导致编译过程中出现多次错误,需花费时间排查和解决。
    • 执行pip install mysql - shell可能无法安装mysql - shell,可能与使用的阿里云源有关。
    • 安装完成pxd后,执行pxd version成功,但后续的pxd tryout出错,可能是普通用户没有加入docker用户分组导致。
    • 源码编译过程中,遇到依赖问题,错误信息提示得挺清楚,但依赖安装较为繁琐。
    • 部分文档内容与实际源码中的变动不一致,导致误解和错误。
    • 某些步骤的文档更新滞后,造成困惑。
  4. 产品改进建议

    • 完善PXD工具的文档,提供更详细的操作指南和常见问题解决办法,明确使用的用户。
    • 明确源码编译所需依赖库的版本,更新文档以提供更准确的依赖安装说明。
    • 优化网络配置相关的文档说明,减少因网络问题导致的部署失败。
    • 增强文档的实时性和准确性,及时更新与源码同步,避免因文档滞后造成的困惑。
    • 提供一键安装依赖的脚本,简化用户部署流程。
  5. history命令结果(示例)

    python3 -m venv venv
    source venv/bin/activate
    pip install --upgrade pip
    pip install -i https://mirrors.aliyun.com/pypi/simple/ pxd
    pxd tryout
    pxd delete pxc - tryout
    pxd tryout
    mysql -h127.0.0.1 -P51039 -upolardbx_root -pJkDXeduS
    select * from information_schema.schemata;
    ...
    

三、开源PolarDB - PG共享存储安装

  1. 部署过程体验

    • 在阿里云ECS上创建支持ESSD多重挂载的实例,如选择ecs.g7se系列。
    • 在阿里云ECS的管理控制台中创建ESSD云盘并勾选多实例挂载,将其挂载到相关ECS上。
    • 在ECS上安装Docker和相关依赖,如执行yum install -y yum - utils device - mapper - persistent - data lvm2等。
    • 使用PFS对共享存储进行格式化并挂载,可通过docker pull polardb/polardb_pg_binary获取PFS工具镜像,在共享存储块设备上格式化PFS分布式文件系统。
    • 基于PFS,在ECS上搭建存算分离、读写分离的PolarDB集群,进行节点的初始化部署和配置。
  2. 性能评估

    • ESSD云盘在IOPS和吞吐量方面相比普通云盘有显著提升,PolarDB - PG读写节点在处理高并发写入时延迟低且稳定,只读节点数据同步快速。
  3. 高可用性验证

    • 将读写节点和只读节点分散部署在不同的可用区,模拟故障切换场景,PolarDB - PG能够迅速自动切换至备用节点,确保服务连续性。
  4. 成本效益分析

    • ESSD云盘成本虽略高,但带来的性能提升和减少的节点数量降低了总体拥有成本。
  5. 遇到的问题

    • 拉取PolarDB - PG镜像时,由于镜像资源在dockerhub上,拉取过程中时常出现timeout或无响应的情况,影响部署效率。
    • 源码编译过程中,根据场景的不同编译出不同形态的实例时,可能会遇到回归测试耗时久的问题。
    • 在基于单机文件系统部署时,启动容器使用docker run -it --rm polardb/polardb_pg_local_instance psql可能会出现内存已满的异常。
  6. 产品改进建议

    • 将镜像资源托管到国内的服务器上,以提高镜像拉取的速度和稳定性。
    • 进一步优化文档,明确各步骤的具体操作和注意事项,减少用户在部署过程中的困惑。
    • 优化部署流程,减少部署过程中的耗时和不确定性。

四、总结

PolarDB的开源版本在部署安装过程中虽然遇到了一些问题,但也展现出了一定的优势和潜力。通过改进文档、优化依赖管理、提升镜像拉取速度以及加强社区建设等方面的工作,可以进一步提高用户体验,促进其在开源社区的推广和应用。希望阿里云能够持续改进PolarDB的开源版本,为开发者和用户提供更好的服务和支持。

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
6天前
|
关系型数据库 分布式数据库 PolarDB
PolarDB 开源基础教程系列 7.2 应用实践之 跨境电商场景
本文介绍了如何在跨境电商场景中快速判断商标或品牌侵权,避免因侵权带来的法律纠纷。通过创建品牌表并使用PostgreSQL的pg_trgm插件和GIN索引,实现了高性能的字符串相似匹配功能。与传统方法相比,PolarDB|PostgreSQL的方法不仅提升了上万倍的查询速度,还解决了传统方法难以处理的相似问题检索。具体实现步骤包括创建品牌表、插入随机品牌名、配置pg_trgm插件及索引,并设置相似度阈值进行高效查询。此外,文章还探讨了字符串相似度计算的原理及应用场景,提供了进一步优化和扩展的方向。
35 11
|
6天前
|
SQL 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 7.5 应用实践之 TPCH性能优化
PolarDB在复杂查询、大数据量计算与分析场景的测试和优化实践.
33 7
|
6天前
|
搜索推荐 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 7.3 应用实践之 精准营销场景
本文介绍了基于用户画像的精准营销技术,重点探讨了如何通过标签组合快速圈选目标人群。实验分为三部分: 1. **传统方法**:使用字符串存储标签并进行模糊查询,但性能较差,每次请求都需要扫描全表。 2. **实验1**:引入`pg_trgm`插件和GIN索引,显著提升了单个模糊查询条件的性能。 3. **实验2**:改用数组类型存储标签,并结合GIN索引加速包含查询,性能进一步提升。 4. **实验3**:利用`smlar`插件实现近似度过滤,支持按标签重合数量或比例筛选。
26 3
|
6天前
|
关系型数据库 分布式数据库 数据库
PolarDB 开源基础教程系列 6 开源插件扩展
1、当前环境已安装并支持哪些插件 2、AI外脑插件: vector 3、营销场景目标人群圈选插件: smlar 4、地理信息搜索插件: PostGIS 5、中文分词插件: pg_jieba 6、融合计算插件: duckdb_fdw 7、读写分离工具: pgpool-II
24 3
|
6天前
|
SQL 存储 关系型数据库
PolarDB 开源基础教程系列 4 日常运维
PolarDB日常运维指南涵盖了多个关键操作,包括读写节点故障切换、增加只读节点、配置WAL日志归档、备份与恢复、创建容灾实例以及排查CPU负载高等。通过详细的步骤和代码示例,本文档帮助用户在本地环境中体验和学习PolarDB的高级功能,如共享存储架构下的集群管理。特别地,文档提供了如何使用`polar_basebackup`工具进行备份和恢复,确保数据安全;并通过`pg_stat_statements`插件定位慢查询,优化数据库性能。此外,还介绍了常见问题的排查方法,如业务量上涨或长时间执行的SQL语句导致的CPU高负载。更多内容和进阶课程可参考提供的GitHub链接和官方文档。
18 1
|
6天前
|
SQL 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 7.1 快速构建“海量逼真”数据
本文介绍了如何使用PostgreSQL和PolarDB快速生成“海量且逼真”的测试数据,以满足不同业务场景的需求。传统数据库测试依赖标准套件(如TPC-C、TPC-H),难以生成符合特定业务特征的复杂数据。通过自定义函数(如`gen_random_int`、`gen_random_string`等)、SRF函数(如`generate_series`)和pgbench工具,可以高效生成大规模、高仿真度的数据,并进行压力测试。文中还提供了多个示例代码展示.
25 7
|
6天前
|
关系型数据库 分布式数据库 数据库
PolarDB 开源基础教程系列 9 开源社区合作和共建
本文介绍了玩转 PolarDB 开源社区指南:如何搭建 PolarDB 开发环境及参与开源社区。 主要内容: 1. **搭建开发环境**:提供多种 Docker 镜像供开发者选择,支持 x86_64 和 ARM64 架构,适配 CentOS、Debian、Ubuntu 等多个 Linux 发行版。 2. **编译与部署**:通过 Docker 容器克隆 PolarDB 源码并编译安装,支持构建一写多读集群测试 ePQ MPP 优化器功能。 3. **参与开源社区**:介绍个人、生态伙伴和用户如何从社区中获取技能、建立连接、积累战绩并提升影响力。社区活动涵盖公开课、训练营、编程大赛、企业行等。
48 5
|
6天前
|
存储 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 8 数据库生态
PolarDB是一款开源的云原生分布式数据库,源自阿里云商业产品。为降低使用门槛,PolarDB携手伙伴打造了完整的开源生态,涵盖操作系统、芯片、存储、集成管控、监控、审计、开发者工具、数据同步、超融合计算、ISV软件、开源插件、人才培养、社区合作及大型用户合作等领域。通过这些合作伙伴,PolarDB提供了丰富的功能和服务,支持多种硬件和软件环境,满足不同用户的需求。更多信息请访问[PolarDB开源官方网站](https://openpolardb.com/home)。
38 4
|
6天前
|
人工智能 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 7.4 应用实践之 AI大模型外脑
PolarDB向量数据库插件通过实现通义大模型AI的外脑,解决了通用大模型无法触达私有知识库和产生幻觉的问题。该插件允许用户将新发现的知识和未训练的私有知识分段并转换为向量,存储在向量数据库中,并创建索引以加速相似搜索。当用户提问时,系统将问题向量化并与数据库中的向量进行匹配,找到最相似的内容发送给大模型,从而提高回答的准确性和相关性。此外,PolarDB支持多种编程语言接口,如Python,使数据库具备内置AI能力,极大提升了数据处理和分析的效率。
29 4
|
6天前
|
关系型数据库 分布式数据库 数据安全/隐私保护
PolarDB 开源基础教程系列 5 高级特性体验
PolarDB 特性解读与体验涵盖多项关键技术,包括预读/预扩展、Shared Server(建议使用连接池)、闪回表和闪回日志、弹性跨机并行查询(ePQ)及TDE透明数据加密。预读/预扩展通过批量I/O操作显著提升Vacuum、SeqScan等场景性能;Shared Server优化高并发短连接处理;闪回功能可恢复表至指定时间点;ePQ支持跨机并行查询以提高复杂查询效率;TDE确保数据存储层的安全加密。
20 1