PolarDB for PostgreSQL 开源必读手册

PolarDB for PostgreSQL 开源必读手册-最佳场景实践与压测

5月12日，由PolarDB开源社区和PostgreSQL中文社区联合举办的开源数据库技术沙龙（温州站）圆满落幕！本次活动邀请到来自阿里云、PG中文社区、温州大学等多位资深技术专家与老师，共同探讨研讨数据库在云计算、AI等领域的发展趋势和机遇，推动数据库人才发展。

社区从运营看点、生态、活动、精彩内容推荐等几方面总结、回顾了 3月-4月发生的重要事件。以下是社区运营报告，也欢迎更多的开发者加入，与我们一起共建PolarDB开源社区。

本文是系列文章的第一篇，介绍第一个重要话题：“数据库的分布式事务”，这也是目前普通用户面对分布式数据库产品介绍问的最多的一个内容，如何有效评测分布式事务也是一个非常重要的能力。致敬同行，我们将PolarDB-X事务架构设计上的一些思考和测试方式，做了整理和梳理，期望能对大家更好的理解分布式事务的测试有所帮助。

PolarDB-X 为了方便用户体验，提供了免费的实验环境，您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验，PolarDB-X 也提供免费的视频课程，手把手教你玩转 PolarDB-X 分布式数据库。

PolarDB-X 为了方便用户体验，提供了免费的实验环境，您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验，PolarDB-X 也提供免费的视频课程，手把手教你玩转 PolarDB-X 分布式数据库。

近日，深圳大普微电子科技有限公司（以下简称大普微）与阿里云PolarDB 开源数据库社区展开产品集成认证。测试结果表明，大普微旗下DapuStor PCle4.0 嵘神系列 企业级SSD与阿里云以下产品：阿里云PolarDB数据库管理软件、阿里云PolarDB-X云原生分布式数据库管理软件，完全满足产品兼容认证要求，兼容性良好，系统运行稳定。

Window是一个常用且重要的功能，PolarDB-X作为一款分布式数据库，自然也支持了窗口函数。对于业务开发来讲，其可以大大简化业务SQL的设计，比如分组排序功能，如果支持窗口函数，则只需使用排序函数即可，例子如下。

2023年3月，PolarDB-X 正式发布2.2.1版本，在分布式数据库金融标准能力基础上，重点加强了生产级关键能力，全面提升PolarDB-X面向数据库生产环境的易用性和安全性，比如：提供数据快速导入、性能测试验证、生产部署建议等。

本篇对PolarDB-X 全局binlog系统的高可用机制以及稳定性相关的内容进行介绍，主要以FAQ的方式展开，并对核心问题进行重点描述。

3月18日，由PolarDB开源社区和ScaleFlux联合举办的 PolarDB × ScaleFlux Meetup（杭州站）圆满落幕！本次活动邀请到了来自阿里云、ScaleFlux、乘数科技、亿视电子的资深技术专家，为大家带来阿里云数据库Serverless研究白皮书解读以及PolarDB、ScaleFlux 的最佳实践及生态合作案例，共同探讨了数据存储降本增效的热门话题。

PolarDB-X 为了方便用户体验，提供了免费的实验环境，您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验，PolarDB-X 也提供免费的视频课程，手把手教你玩转 PolarDB-X 分布式数据库。

PolarDB-X 为了方便用户体验，提供了免费的实验环境，您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验，PolarDB-X 也提供免费的视频课程，手把手教你玩转 PolarDB-X 分布式数据库。

基于LSM-tree的键值存储系统是 NewSQL/NoSQL产品中最常用的底层存储方案，对其进行研究具有重要意义与应用价值。论文针对 分布式键值系统首次提出了副本解耦的思想，在多副本容错机制下能够实现副本数据的高效管理，从而显著提升系统性能。并且论文提出的技术可以应用到Cassandra、TiKV、ScyllaDB等系统中。本次分享将和大家一起讨论基于副本解耦的分布式键值系统的设计实现方案，并探讨未来的推广应用。

本篇论文收录在 VLDB 2022，介绍了云原生数据库PolarDB在计算存储分离架构下遇到的性能挑战，分析了云存储相对于传统本地存储的工作特性差异及其根因，讨论了将各类存储引擎部署至云存储上时所会遇到的问题挑战，并提出了统一的优化框架 CloudJump。最后通过实验证明优化框架CloudJump适用于PolarDB，也适用于 RocksDB。

数据库里的历史数据越来越多, 占用空间大, 备份慢, 恢复慢, 查询少但是很费钱, 迁移慢 怎么办? 冷热分离方案: - 使用PostgreSQL 或者 PolarDB-PG 存成parquet文件格式, 放到aliyun OSS存储里面. 使用duckdb_fdw对parquet文件进行查询. - duckdb 存储元数据(parquet 映射) 方案特点: - 内网oss不收取网络费用, 只收取存储费用, 非常便宜 - oss分几个档, 可以根据性能需求选择 - parquet为列存储, 一般历史数据的分析需求多,性能不错 - duckdb 支持 parquet下推过滤, 数据过滤性能不错

3月18日，PolarDB 和 ScaleFlux 两大开源社区将于杭州联合举办线下 Meetup，活动邀请到了来自阿里云、ScaleFlux、乘数科技、亿视电子的资深技术专家，为大家带来阿里云数据库Serverless研究白皮书解读以及PolarDB、ScaleFlux 的最佳实践及生态合作案例。

2023年3月3日，在由PostgreSQL中文社区主办的“第十二届PostgreSQL中国技术大会”上，阿里云数据库开源首席架构师于巍荣获“中国 PostgreSQL 最具价值专家 MVP”奖项。

2023年3月3日，由PostgreSQL中文社区主办的“第十二届PostgreSQL中国技术大会”在杭州隆重开幕。本次大会以“突破·进化·共赢 —— 安全可靠，共建与机遇”为主题，邀请了来自国内外的行业专家、企业家代表等，共见创新成果、共论国产数据库发展机遇。会上，PolarDB for PostgreSQL（简称PolarDB-PG ）凭借在数据库开源领域的深耕布局和产品技术实力，荣获“开源数据库杰出贡献奖”。

欢迎大家参与到我们的开源文档贡献，无论是文档捉虫、文档优化还是进阶的案例、代码贡献，我们都非常欢迎，快来开启你的第一次开源贡献之旅吧，前10名参与文档贡献并正式合入PR，可获得PolarDB定制咖啡杯一个！

本文主要介绍PolarDB-X中DN（数据节点）备库重搭的背景，以及polardbx-operator上是如何实现DN备库重搭的。

本实验主要通过polardbx-operator，借助阿里云ACK容器服务，快速部署和体验PolarDB-X的大规模分布式(1024节点)，通过常见的sysbench/tpc-c等benchmark工具来初步验证大规模节点下的稳定性。

Hash join是解决复杂join的一个重要手段，但其无法避免拉取左右两端的数据到计算层进行计算，导致某些场景下执行效率不高。作为一种补充，bka join则可以利用OLTP数据库中的索引，通过join构造inner表的predicate命中表索引，在某些场景下有比较好的join效率。PolarDB-X是面向HTAP设计的分布式数据库，在复杂查询时也会重点考虑利用数据库的索引信息来提升join的查询效率，因此有了本文的semi bka join。

本篇为《PolarDB-X 全局Binlog解读之性能篇(上)》的姊妹篇，将从技术原理角度聊一聊PolarDB-X CDC的一些性能优化手段。

PolarDB-X 为了方便用户体验，提供了免费的实验环境，您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验，PolarDB-X 也提供免费的视频课程，手把手教你玩转 PolarDB-X 分布式数据库。 本期实验将指导您使用 PolarDB-X 与Flink搭建实时数据大屏。

PolarDB-X 为了方便用户体验，提供了免费的实验环境，您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验，PolarDB-X 也提供免费的视频课程，手把手教你玩转 PolarDB-X 分布式数据库。

PolarDB-X 为了方便用户体验，提供了免费的实验环境，您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验，PolarDB-X 也提供免费的视频课程，手把手教你玩转 PolarDB-X 分布式数据库。

作为阿里云PolarDB开源社区的生态伙伴，柏睿数据和PolarDB联手，根据产品的特殊点整合统一的解决方案，新方案融合数据湖和数据仓库成为一种新型的开放式数据平台架构，PolarDB做湖，RapidsDB做仓，将数据湖和数据仓库的优势充分结合，通过RapidsDB的federation能力构建在数据湖低成本的数据存储架构之上，又继承了数据仓库的数据处理、分析和管理功能。本次分享将详细介绍湖和仓的边界区分，业内的通用数据同步实现方案以及RapidsDB的技术特性。

pg4ml 机器学习框架是基于 PostgreSQL v13 实现的、使用 plpgsql 编写的机器学习框架，本次讲解的实验环境基于PolarDB-PG开源数据库。本次分享主要介绍框架的实现细节，并构建XOR两层网络的模型案例，包括数据集、XOR分类的案例与原理、神经网络节点、训练任务结构与执行等内容。

开源协作是一种社会进化的体现吗? 昨天体验了一下ChatGPT, 对这几个回答深有感触, 开源协作一定是未来会长期存在的, 更大规模化的人类协作模式. 所以我想写一点东西, 来帮助更多人参与开源协作.

通过本次课程您将学习到 PolarDB for PostgreSQL 架构解析以及企业级特性与应用的最佳实践、高可用、高性能、部署与使用等实战内容，更有免费线上实验环境，亲自动手体验 PolarDB for PostgreSQL 引擎兼容 PostgreSQL 14 版本的全新特性。