PolarDB PostgreSQL 版

社区从运营看点、生态、活动、精彩内容推荐等几方面总结、回顾了 3月-4月发生的重要事件。以下是社区运营报告，也欢迎更多的开发者加入，与我们一起共建PolarDB开源社区。

本文是系列文章的第一篇，介绍第一个重要话题：“数据库的分布式事务”，这也是目前普通用户面对分布式数据库产品介绍问的最多的一个内容，如何有效评测分布式事务也是一个非常重要的能力。致敬同行，我们将PolarDB-X事务架构设计上的一些思考和测试方式，做了整理和梳理，期望能对大家更好的理解分布式事务的测试有所帮助。

PolarDB-X 为了方便用户体验，提供了免费的实验环境，您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验，PolarDB-X 也提供免费的视频课程，手把手教你玩转 PolarDB-X 分布式数据库。

PolarDB-X 为了方便用户体验，提供了免费的实验环境，您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验，PolarDB-X 也提供免费的视频课程，手把手教你玩转 PolarDB-X 分布式数据库。

近日，深圳大普微电子科技有限公司（以下简称大普微）与阿里云PolarDB 开源数据库社区展开产品集成认证。测试结果表明，大普微旗下DapuStor PCle4.0 嵘神系列 企业级SSD与阿里云以下产品：阿里云PolarDB数据库管理软件、阿里云PolarDB-X云原生分布式数据库管理软件，完全满足产品兼容认证要求，兼容性良好，系统运行稳定。

在ScaleFlux & PolarDB meetup中，ScaleFlux 解决方案架构师董红禹进行了《透明压缩技术：数据库存储降本增效的软硬件协同方案》的分享，从数据计算存储的发展趋势、透明压缩技术原理与应用场景以及数据库的应用价值三个方面，为大家介绍了可计算存储在数据存储降本增效的应用与实践。

Window是一个常用且重要的功能，PolarDB-X作为一款分布式数据库，自然也支持了窗口函数。对于业务开发来讲，其可以大大简化业务SQL的设计，比如分组排序功能，如果支持窗口函数，则只需使用排序函数即可，例子如下。

2023年3月，PolarDB-X 正式发布2.2.1版本，在分布式数据库金融标准能力基础上，重点加强了生产级关键能力，全面提升PolarDB-X面向数据库生产环境的易用性和安全性，比如：提供数据快速导入、性能测试验证、生产部署建议等。

本篇对PolarDB-X 全局binlog系统的高可用机制以及稳定性相关的内容进行介绍，主要以FAQ的方式展开，并对核心问题进行重点描述。

3月18日，由PolarDB开源社区和ScaleFlux联合举办的 PolarDB × ScaleFlux Meetup（杭州站）圆满落幕！本次活动邀请到了来自阿里云、ScaleFlux、乘数科技、亿视电子的资深技术专家，为大家带来阿里云数据库Serverless研究白皮书解读以及PolarDB、ScaleFlux 的最佳实践及生态合作案例，共同探讨了数据存储降本增效的热门话题。

在PolarDB & ScaleFlux meetup中，阿里云数据库开源首席架构师、PolarDB开源社区技术委员会副主席于巍进行了《助力企业降本增效-〈Serverless数据库技术研究报告〉解读》的分享，就《Serverless数据库技术研究报告》与 《数据库Serverless能力分级要求》进行了详细介绍。

在本次PolarDB & ScaleFlux 联合meetup中，来自乘数科技的唐成老师分享了如何使用Clup云管控平台快速体验PolarDB的实践案例。

PolarDB-X 为了方便用户体验，提供了免费的实验环境，您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验，PolarDB-X 也提供免费的视频课程，手把手教你玩转 PolarDB-X 分布式数据库。

PolarDB-X 为了方便用户体验，提供了免费的实验环境，您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验，PolarDB-X 也提供免费的视频课程，手把手教你玩转 PolarDB-X 分布式数据库。

基于LSM-tree的键值存储系统是 NewSQL/NoSQL产品中最常用的底层存储方案，对其进行研究具有重要意义与应用价值。论文针对 分布式键值系统首次提出了副本解耦的思想，在多副本容错机制下能够实现副本数据的高效管理，从而显著提升系统性能。并且论文提出的技术可以应用到Cassandra、TiKV、ScyllaDB等系统中。本次分享将和大家一起讨论基于副本解耦的分布式键值系统的设计实现方案，并探讨未来的推广应用。

本篇论文收录在 VLDB 2022，介绍了云原生数据库PolarDB在计算存储分离架构下遇到的性能挑战，分析了云存储相对于传统本地存储的工作特性差异及其根因，讨论了将各类存储引擎部署至云存储上时所会遇到的问题挑战，并提出了统一的优化框架 CloudJump。最后通过实验证明优化框架CloudJump适用于PolarDB，也适用于 RocksDB。

通过本次课程您将学习到 PolarDB-X 新版本诸多重点特性，包括更高效的部署与运维方法（一键创建、审计日志、节点重搭、备份恢复、参数模版、只读实例）、数据快速导入导出、TP负载测试、分区管理、数据TTL过期自动删除、冷热数据归档、读写分离与HTAP等众多新特性。

《Serverless数据库技术研究报告》是阿里云计算有限公司联合中国信通院云计算与大数据研究所基于多年对于Serverless数据库的技术现状、技术趋势及应用的深入研究，历时半年编写的业内首个《Serverless数据库技术研究报告》。本报告站在技术视角，系统梳理Serverless数据库技术演进路线和核心技术要点。同时详细介绍了Serverless的应用场景、技术趋势等。

数据库里的历史数据越来越多, 占用空间大, 备份慢, 恢复慢, 查询少但是很费钱, 迁移慢 怎么办? 冷热分离方案: - 使用PostgreSQL 或者 PolarDB-PG 存成parquet文件格式, 放到aliyun OSS存储里面. 使用duckdb_fdw对parquet文件进行查询. - duckdb 存储元数据(parquet 映射) 方案特点: - 内网oss不收取网络费用, 只收取存储费用, 非常便宜 - oss分几个档, 可以根据性能需求选择 - parquet为列存储, 一般历史数据的分析需求多,性能不错 - duckdb 支持 parquet下推过滤, 数据过滤性能不错

3月18日，PolarDB 和 ScaleFlux 两大开源社区将于杭州联合举办线下 Meetup，活动邀请到了来自阿里云、ScaleFlux、乘数科技、亿视电子的资深技术专家，为大家带来阿里云数据库Serverless研究白皮书解读以及PolarDB、ScaleFlux 的最佳实践及生态合作案例。

2023年3月3日，在由PostgreSQL中文社区主办的“第十二届PostgreSQL中国技术大会”上，阿里云数据库开源首席架构师于巍荣获“中国 PostgreSQL 最具价值专家 MVP”奖项。

2023年3月3日，由PostgreSQL中文社区主办的“第十二届PostgreSQL中国技术大会”在杭州隆重开幕。本次大会以“突破·进化·共赢 —— 安全可靠，共建与机遇”为主题，邀请了来自国内外的行业专家、企业家代表等，共见创新成果、共论国产数据库发展机遇。会上，PolarDB for PostgreSQL（简称PolarDB-PG ）凭借在数据库开源领域的深耕布局和产品技术实力，荣获“开源数据库杰出贡献奖”。

pg4ml 机器学习框架是基于 PostgreSQL v13 实现的、使用 plpgsql 编写的机器学习框架，本次讲解的实验环境基于PolarDB-PG开源数据库。本次分享主要介绍框架的实现细节，并构建XOR两层网络的模型案例，包括计算图和链式求导设计、训练任务的结构与准备、执行、监控、测试验证等内容。

欢迎大家参与到我们的开源文档贡献，无论是文档捉虫、文档优化还是进阶的案例、代码贡献，我们都非常欢迎，快来开启你的第一次开源贡献之旅吧，前10名参与文档贡献并正式合入PR，可获得PolarDB定制咖啡杯一个！

本文主要介绍PolarDB-X中DN（数据节点）备库重搭的背景，以及polardbx-operator上是如何实现DN备库重搭的。

本实验主要通过polardbx-operator，借助阿里云ACK容器服务，快速部署和体验PolarDB-X的大规模分布式(1024节点)，通过常见的sysbench/tpc-c等benchmark工具来初步验证大规模节点下的稳定性。

开源生态的繁荣，离不开各位开发者的力量。为了帮助更多开发者感受到开源社区的魅力，了解到如何更快的参与开源社区，PolarDB开源社区推出《开源贡献新手指南系列》，本节课程将手把手教学PolarDB-PG/PolarDB-X两大开源项目完整的PR提交过程，即便你不懂编程或代码，也能成为开源贡献者，通过参与开源社区贡献获得自身成长。

企业数据的爆发式增长导致数据库存储成本激增，在公有云上，PolarDB 通过融合自研 Smart-SSD 智能固态硬盘技术，实现性能零损耗，数据存储成本最高下降 60%。在线下，通过 PolarDB 开源数据库和 ScaleFlux 可计算存储产品 CSD2000/3000，也可以降低数据库存储成本并且进一步提升性能。本次分享主要介绍 CSD 降本增效原理以及 PolarDB-X 和 PolarDB-PG 开源版在 CSD 上的部署实践。

通过 PolarDB 开源数据库和 ScaleFlux 可计算存储产品 CSD2000/3000，也可以降低数据库存储成本并且进一步提升性能。本次分享主要介绍 CSD 降本增效原理以及 PolarDB-X 和 PolarDB-PG 开源版在 CSD 上的部署实践。

作为阿里云PolarDB开源社区的生态伙伴，柏睿数据和PolarDB联手，根据产品的特殊点整合统一的解决方案，新方案融合数据湖和数据仓库成为一种新型的开放式数据平台架构，PolarDB做湖，RapidsDB做仓，将数据湖和数据仓库的优势充分结合，通过RapidsDB的federation能力构建在数据湖低成本的数据存储架构之上，又继承了数据仓库的数据处理、分析和管理功能。本次分享将详细介绍湖和仓的边界区分，业内的通用数据同步实现方案以及RapidsDB的技术特性。

Hash join是解决复杂join的一个重要手段，但其无法避免拉取左右两端的数据到计算层进行计算，导致某些场景下执行效率不高。作为一种补充，bka join则可以利用OLTP数据库中的索引，通过join构造inner表的predicate命中表索引，在某些场景下有比较好的join效率。PolarDB-X是面向HTAP设计的分布式数据库，在复杂查询时也会重点考虑利用数据库的索引信息来提升join的查询效率，因此有了本文的semi bka join。

本篇为《PolarDB-X 全局Binlog解读之性能篇(上)》的姊妹篇，将从技术原理角度聊一聊PolarDB-X CDC的一些性能优化手段。

PolarDB-X 为了方便用户体验，提供了免费的实验环境，您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验，PolarDB-X 也提供免费的视频课程，手把手教你玩转 PolarDB-X 分布式数据库。 本期实验将指导您使用 PolarDB-X 与Flink搭建实时数据大屏。

PolarDB-X 为了方便用户体验，提供了免费的实验环境，您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验，PolarDB-X 也提供免费的视频课程，手把手教你玩转 PolarDB-X 分布式数据库。

PolarDB-X 为了方便用户体验，提供了免费的实验环境，您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验，PolarDB-X 也提供免费的视频课程，手把手教你玩转 PolarDB-X 分布式数据库。

数据库做机器学习和深度学习有若干技术路线？关于红极一时的 chatGPT有什么看法？数据库能否做 NLP ？Postgresql 在深度学习、人工智能领域能承担起哪些应用？本期开源面对面节目，阿里云数据库开源首席架构师于巍携手PolarDB机器学习框架SIG核心成员、pg4ml 框架作者郭铁成，与你探讨分享数据库技术与机器学习融合的一些思考和实践。

作为阿里云PolarDB开源社区的生态伙伴，柏睿数据和PolarDB联手，根据产品的特殊点整合统一的解决方案，新方案融合数据湖和数据仓库成为一种新型的开放式数据平台架构，PolarDB做湖，RapidsDB做仓，将数据湖和数据仓库的优势充分结合，通过RapidsDB的federation能力构建在数据湖低成本的数据存储架构之上，又继承了数据仓库的数据处理、分析和管理功能。本次分享将详细介绍湖和仓的边界区分，业内的通用数据同步实现方案以及RapidsDB的技术特性。

《Ganos: A Multidimensional, Dynamic, and Scene-Oriented Cloud-Native Spatial Database Engine》介绍了空天数据库引擎Ganos背后的系统设计，分析了对地观测、数字孪生等新技术浪潮背景下多维、动态、场景化新型空间多模态数据的挑战，自底向上提出了低成本高可用对象存储扩展、空间/时空/网格新型数据类型与模型体系、多维索引访问方法和空间多级并行查询与优化整体框架。Ganos加持PolarDB数据库，使之成为业界首个具备云原生空间数据引擎，且最早系统性支持移动对象和3D场景数据处理能力的商业化数据库。

pg4ml 机器学习框架是基于 PostgreSQL v13 实现的、使用 plpgsql 编写的机器学习框架，本次讲解的实验环境基于PolarDB-PG开源数据库。本次分享主要介绍框架的实现细节，并构建XOR两层网络的模型案例，包括数据集、XOR分类的案例与原理、神经网络节点、训练任务结构与执行等内容。

pg4ml 机器学习框架是基于 PostgreSQL v13 实现的、使用 plpgsql 编写的机器学习框架，本次讲解的实验环境基于PolarDB-PG开源数据库。本次分享主要介绍框架的实现细节，并构建XOR两层网络的模型案例，包括数据集、XOR分类的案例与原理、神经网络节点、训练任务结构与执行等内容。

开源协作是一种社会进化的体现吗? 昨天体验了一下ChatGPT, 对这几个回答深有感触, 开源协作一定是未来会长期存在的, 更大规模化的人类协作模式. 所以我想写一点东西, 来帮助更多人参与开源协作.

通过本次课程您将学习到 PolarDB for PostgreSQL 架构解析以及企业级特性与应用的最佳实践、高可用、高性能、部署与使用等实战内容，更有免费线上实验环境，亲自动手体验 PolarDB for PostgreSQL 引擎兼容 PostgreSQL 14 版本的全新特性。

通过本次课程您将学习到 PolarDB for PostgreSQL 架构解析以及企业级特性与应用的最佳实践、高可用、高性能、部署与使用等实战内容，更有免费线上实验环境，亲自动手体验 PolarDB for PostgreSQL 引擎兼容 PostgreSQL 14 版本的全新特性。