PolarDB PostgreSQL 版

本文介绍了玩转 PolarDB 开源社区指南:如何搭建 PolarDB 开发环境及参与开源社区。 主要内容： 1. **搭建开发环境**：提供多种 Docker 镜像供开发者选择，支持 x86_64 和 ARM64 架构，适配 CentOS、Debian、Ubuntu 等多个 Linux 发行版。 2. **编译与部署**：通过 Docker 容器克隆 PolarDB 源码并编译安装，支持构建一写多读集群测试 ePQ MPP 优化器功能。 3. **参与开源社区**：介绍个人、生态伙伴和用户如何从社区中获取技能、建立连接、积累战绩并提升影响力。社区活动涵盖公开课、训练营、编程大赛、企业行等。

PolarDB是一款开源的云原生分布式数据库，源自阿里云商业产品。为降低使用门槛，PolarDB携手伙伴打造了完整的开源生态，涵盖操作系统、芯片、存储、集成管控、监控、审计、开发者工具、数据同步、超融合计算、ISV软件、开源插件、人才培养、社区合作及大型用户合作等领域。通过这些合作伙伴，PolarDB提供了丰富的功能和服务，支持多种硬件和软件环境，满足不同用户的需求。更多信息请访问[PolarDB开源官方网站](https://openpolardb.com/home)。

PolarDB在复杂查询、大数据量计算与分析场景的测试和优化实践.

PolarDB向量数据库插件通过实现通义大模型AI的外脑，解决了通用大模型无法触达私有知识库和产生幻觉的问题。该插件允许用户将新发现的知识和未训练的私有知识分段并转换为向量，存储在向量数据库中，并创建索引以加速相似搜索。当用户提问时，系统将问题向量化并与数据库中的向量进行匹配，找到最相似的内容发送给大模型，从而提高回答的准确性和相关性。此外，PolarDB支持多种编程语言接口，如Python，使数据库具备内置AI能力，极大提升了数据处理和分析的效率。

本文介绍了基于用户画像的精准营销技术，重点探讨了如何通过标签组合快速圈选目标人群。实验分为三部分： 1. **传统方法**：使用字符串存储标签并进行模糊查询，但性能较差，每次请求都需要扫描全表。 2. **实验1**：引入`pg_trgm`插件和GIN索引，显著提升了单个模糊查询条件的性能。 3. **实验2**：改用数组类型存储标签，并结合GIN索引加速包含查询，性能进一步提升。 4. **实验3**：利用`smlar`插件实现近似度过滤，支持按标签重合数量或比例筛选。

本文介绍了如何在跨境电商场景中快速判断商标或品牌侵权，避免因侵权带来的法律纠纷。通过创建品牌表并使用PostgreSQL的pg_trgm插件和GIN索引，实现了高性能的字符串相似匹配功能。与传统方法相比，PolarDB|PostgreSQL的方法不仅提升了上万倍的查询速度，还解决了传统方法难以处理的相似问题检索。具体实现步骤包括创建品牌表、插入随机品牌名、配置pg_trgm插件及索引，并设置相似度阈值进行高效查询。此外，文章还探讨了字符串相似度计算的原理及应用场景，提供了进一步优化和扩展的方向。

本文介绍了如何使用PostgreSQL和PolarDB快速生成“海量且逼真”的测试数据，以满足不同业务场景的需求。传统数据库测试依赖标准套件（如TPC-C、TPC-H），难以生成符合特定业务特征的复杂数据。通过自定义函数（如`gen_random_int`、`gen_random_string`等）、SRF函数（如`generate_series`）和pgbench工具，可以高效生成大规模、高仿真度的数据，并进行压力测试。文中还提供了多个示例代码展示.

1、当前环境已安装并支持哪些插件 2、AI外脑插件: vector 3、营销场景目标人群圈选插件: smlar 4、地理信息搜索插件: PostGIS 5、中文分词插件: pg_jieba 6、融合计算插件: duckdb_fdw 7、读写分离工具: pgpool-II

PolarDB 特性解读与体验涵盖多项关键技术，包括预读/预扩展、Shared Server（建议使用连接池）、闪回表和闪回日志、弹性跨机并行查询（ePQ）及TDE透明数据加密。预读/预扩展通过批量I/O操作显著提升Vacuum、SeqScan等场景性能；Shared Server优化高并发短连接处理；闪回功能可恢复表至指定时间点；ePQ支持跨机并行查询以提高复杂查询效率；TDE确保数据存储层的安全加密。

PolarDB日常运维指南涵盖了多个关键操作，包括读写节点故障切换、增加只读节点、配置WAL日志归档、备份与恢复、创建容灾实例以及排查CPU负载高等。通过详细的步骤和代码示例，本文档帮助用户在本地环境中体验和学习PolarDB的高级功能，如共享存储架构下的集群管理。特别地，文档提供了如何使用`polar_basebackup`工具进行备份和恢复，确保数据安全；并通过`pg_stat_statements`插件定位慢查询，优化数据库性能。此外，还介绍了常见问题的排查方法，如业务量上涨或长时间执行的SQL语句导致的CPU高负载。更多内容和进阶课程可参考提供的GitHub链接和官方文档。

PolarDB 安装部署指南涵盖了从单机版到集群版的详细步骤。内容包括： 1. **单机版安装**：通过Docker镜像`polardb_pg_local_instance`，提供快速搭建PolarDB学习或开发环境的方法，支持多种操作系统。 2. **集群版安装（ECS + ESSD）**：在阿里云ECS上部署两台计算节点，并使用ESSD作为共享存储，通过PFS（PolarDB File System）实现存算分离和读写分离的集群架构。

PolarDB 是阿里云研发的云原生分布式数据库，基于 PostgreSQL 开源版本，旨在解决传统数据库在大规模数据和高并发场景下的性能和扩展性问题。其主要特点包括： 1. **存储计算分离架构**：通过将计算与存储分离，实现极致弹性、共享一份数据以降低成本、透明读写分离。 2. **HTAP 架构**：支持混合事务处理和分析处理（HTAP），能够在同一系统中高效执行 OLTP 和 OLAP 查询。 3. **优化的日志复制机制**：采用只复制元数据的方式减少网络传输量，优化页面回放和 DDL 锁回放过程。 4. **并行查询与索引创建**：引入 MPP 分布式执行引擎。

PolarDB，阿里云的云原生数据库，提供高性能（4倍于PostgreSQL）、高可用性、可扩展性和安全保障。包括分布式版本PolarDB-X和共享存储版本PolarDB-PG。部署过程简易快捷，但文档和指南有待更新和完善。建议增强PXD工具文档、更新PolarDB-PG指南，以及提升PolarDB-PG性能和扩展PolarDB-X功能。测试者对PolarDB整体表现满意，推荐开发者试用。

小鹏汽车在智能辅助驾驶业务中遇到数据库性能挑战，如大表查询慢、频繁更新和存储空间快速膨胀。他们原使用的是社区版PostgreSQL，但随着数据量增长，性能瓶颈日益凸显。为了解决这些问题，小鹏汽车采用了阿里云的PolarDB-PG。 PolarDB-PG 的存储具备弹性扩容的能力，最大可支持 100 TB 存储空间。它的大表优化和弹性跨机并行查询（ePQ），成功解决了社区 PostgreSQL 针对大表的查询和并发更新慢的问题。在小鹏汽车的智能辅助驾驶业务上，实现了每日 TB 级大数据表的 7000 万行更新和大数据表秒级分析查询。

基于阿里云瑶池数据库解决方案体验馆，带你体验PolarDB PG版 Serverless形态下的性能压测环境，基于可选择的标准压测工具进行压测，构造弹性场景进行压测，实时动态展示弹性能力、价格和性价比结果，压测环境可开放定制修改、可重复验证。参与活动即有机会获得小爱随身音响、体脂秤、极客时间VIP月卡、鼠标垫等精美礼品。

【公测】PolarDB PostgreSQL版Serverless功能免费使用​，公测于2024年3月28日开始，持续三个月，公测期间可以免费使用！

在 PolarDB-PG 数据库中，分区表 (Partitioned Table) 使您能够将非常大的表分解为更小且更易于管理的部分，这个部分称为分区 (Partition) 。 每个分区都是一个独立的对象，具有自己的名称和可选的存储特性。本文首先简单的介绍了分区表策略以及它的优势特点，然后介绍了PolarDB-PG 分区表支持的查询优化特性，最后介绍了分区表上的本地索引和全局索引，从而帮助用户对PolarDB-PG 分区表有一个全面的了解。

近日，成都晨云信息技术有限责任公司（以下简称晨云信息）与阿里云PolarDB PostgreSQL版数据库产品展开产品集成认证。测试结果表明，晨云信息旗下晨云-站群管理系统（V1.0）与阿里云以下产品：开源云原生数据库PolarDB PostgreSQL版（V11），完全满足产品兼容认证要求，兼容性良好，系统运行稳定。

PolarDB PostgreSQL版是一款高性能的数据库，具有与Oracle兼容的特性。它采用了分布式架构，可以轻松处理大量的数据，同时还支持多种数据类型和函数，具有高可用性和可扩展性。它还提供了丰富的管理工具和性能优化功能，为企业提供了可靠的数据存储和处理解决方案。PolarDB PostgreSQL版在数据库领域具有很高的竞争力，可以满足各种企业的需求。

PostgreSQL Json应用场景介绍和Shared Detoast优化

随着企业业务全面向数字化、在线化、智能化演进，企业面临着呈指数级递增的海量存储需求和挑战，传统的商业数据库已经难以满足和响应快速变化持续增长的业务诉求。云数据库凭借着成本、性能、业务连续性以及在线业务扩展等优势成为企业更优的选择。随着企业数据逐步上云，云数据库安全变得至关重要。云数据库安全不仅可以防止未授权访问和数据泄露问题，保护数据的机密性和完整性，还可以保护企业的声誉和客户信任，保障企业遵守法律法规的要求。只有通过确保云数据库的安全性，企业才能够在数字化时代中安心地利用云服务。

传统数据库不支持图像类型, 图像相似计算函数, 图像相似计算操作服, 相似排序操作符. 所以遇到类似的需求, 需要自行编写应用来解决. PG|PolarDB 通过imgsmlr插件, 可以将图像转换为向量特征值, 使用相似距离计算函数得到相似值, 使用索引加速相似度排序, 快速获得相似图片, 实现以图搜图. 也可以通过pgvector插件来存储图片向量特征值, 结合大模型服务(抠图、图像向量转换), 可以实现从图像转换、基于图像的相似向量检索全流程能力.

在上一个实验《沉浸式学习PostgreSQL|PolarDB 19: 体验最流行的开源企业ERP软件 odoo》 中, 学习了如何部署odoo和polardb|pg. 由于ODOO是非常复杂的ERP软件, 对于关系数据库的挑战也非常大, 所以通过odoo业务可以更快速提升同学的数据库优化能力, 发现业务对数据库的使用问题(如索引、事务对锁的运用逻辑问题), 数据库的代码缺陷, 参数或环境配置问题, 系统瓶颈等.

本文主要教大家怎么用好数据库, 而不是怎么运维管理数据库、怎么开发数据库内核.

本次分享将先从架构、特性、开源等三个维度解读PolarDB-PG的整体架构。在大家对架构有一定深入理解后，将继续从备份恢复、存储层、计算层扩容、只读节点提升、高可用等五个维度，对PolarDB-PG的日常运维进行深入浅出的介绍，为“唯手熟尔”的运维打好理论基础。

本文主要教大家怎么用好数据库, 而不是怎么运维管理数据库、怎么开发数据库内核.

本文所涉及的实验体验的就是怎么建设AI的外脑?向量数据库的核心价值:AI外脑

MySQL、PostgreSQL，乃至各种各样的数据库，孰强孰弱，难以辨别。究其原因，只因”不识庐山真面目，只缘身在此山中“。只需跳出”数据库“三字，一切自然看的分明。9月22日，解读如何换个维度，发现真相。

新生产力工具AI会催生下一级人类文明跃迁吗? 数据库进化出了哪些与AI相结合的能力? AI加持后的数据库应用场景有哪些变化?

《PolarDB for PostgreSQL动手实践》系列，带您体验基于PolarDB for PostgreSQL部署开源空间处理插件PostGIS，并执行空间查询。

PolarDB PostgreSQL 引擎提供了弹性跨机并行查询（elastic Parallel Execution）的功能，支持多个计算节点分布式地执行 SQL 查询。本实验将体验该功能。

《PolarDB-X 动手实践》系列第十期，体验如何监控PolarDB-X集群。

本实验主要介绍如何对PolarDB-X进行手动收缩扩容，了解PolarDB-X 中各个节点的含义，以及如何对不同配置的PolarDB-x 进行压测。

《PolarDB for PostgreSQL动手实践》系列第一期，带您体验如何本地一键安装快速部署云原生开源数据库PolarDB for PostgreSQL。

本场景基于1台Linux云服务器实例和1台RDS MySQL实例，通过操作控制台和系统实现ECS内网访问RDS MySQL实例。

本篇文章目标学习如何快速在任意字段组合条件输入搜索到满足条件的数据.

本文的目的是帮助你了解如何设计轨迹表, 如何高性能的写入、查询、分析轨迹数据.

本文主要教大家怎么用好数据库, 而不是怎么运维管理数据库、怎么开发数据库内核.

PolarDB-PG 提供了 Shared Server 内置连接池功能，实现了用户连接与后端进程的解绑。后端进程在运行时可以根据实时负载和进程污染情况进行动态转换。负载调度算法使用 Stall 机制弹性控制 Worker 数量，同时避免用户连接饿死。从根本上解决了高并发或者大量短连接带来的性能、稳定性问题。

本文主要教大家怎么用好数据库, 而不是怎么运维管理数据库、怎么开发数据库内核.

物联网场景, 通常有大量的传感器(例如水质监控、气象监测、新能源汽车上的大量传感器)不断探测最新数据并上报到数据库. 监控系统, 通常也会有采集程序不断的读取被监控指标(例如CPU、网络数据包转发、磁盘的IOPS和BW占用情况、内存的使用率等等), 同时将监控数据上报到数据库. 应用日志、用户行为日志, 也就有同样的特征, 不断产生并上报到数据库. 以上数据具有时序特征, 对数据库的关键能力要求如下: 数据高速写入 高速按时间区间读取和分析, 目的是发现异常, 分析规律. 尽量节省存储空间

越来越多的企业和个人希望能够利用LLM和生成式人工智能来构建专注于其特定领域的具备AI能力的产品。目前，大语言模型在处理通用问题方面表现较好，但由于训练语料和大模型的生成限制，对于垂直专业领域，则会存在知识深度和时效性不足的问题。在信息时代，由于企业的知识库更新频率越来越高，并且企业所拥有的垂直领域知识库（例如文档、图像、音视频等）往往是未公开或不可公开的。因此，对于企业而言，如果想在大语言模型的基础上构建属于特定垂直领域的AI产品，就需要不断将自身的知识库输入到大语言模型中进行训练。

1、在电商业务中, 用户浏览商品的行为会构成一组用户在某个时间段的特征, 这个特征可以用向量来表达(多维浮点数组), 同时商品、店铺也可以用向量来表达它的特征. 那么为了提升用户的浏览体验(快速找到用户想要购买的商品), 可以根据用户向量在商品和店铺向量中进行相似度匹配搜索. 按相似度来推荐商品和店铺给用户. 2、在短视频业务中, 用户浏览视频的行为, 构成了这个用户在某个时间段的兴趣特征, 这个特征可以用向量来表达(多维浮点数组), 同时短视频也可以用向量来表达它的特征. 那么为了提升用户的观感体验(推荐他想看的视频), 可以在短视频向量中进行与用户特征向量的相似度搜索.

在移动社交、多媒体、内容分发业务场景中, 如果用户要交互的内容都在中心网络(假设深圳), 现在用户流动非常频繁, 当用户从深圳出差到北京, 因为网络延迟急剧增加, 他的访问体验就会变得非常差. 网络延迟对游戏业务的影响则更加严重. 为了解决这个问题, 企业会将业务部署在全国各地, 不管用户在哪里出差, 他都可以就近访问最近的中心. 由于标记用户的只有IP地址, 怎么根据用户的接入IP来判断他应该访问哪个中心呢? 通过这个实验, 大家可以了解到在数据库中如何存储IP地址范围和各中心IDC的映射关系, 以及如何根据用户的来源IP(接入IP)来判断他应该去哪个中心IDC访问.