《云计算加速开源创新》——打造世界级云原生数据库开源社区(下)

本文涉及的产品
云原生数据库 PolarDB 分布式版,标准版 2核8GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
云原生数据库 PolarDB MySQL 版,通用型 2核8GB 50GB
简介: 《云计算加速开源创新》——打造世界级云原生数据库开源社区(下)


更多精彩内容,欢迎观看:

《云计算加速开源创新》——打造世界级云原生数据库开源社区(上):

https://developer.aliyun.com/article/1223925?spm=a2c6h.13148508.setting.21.68ac4f0eE1VQvG


四、 开源数据库社区运营及生态建设

 1. 开源数据库社区运营策略

 

image.png

 

在社区生态运营上,我们主要做了以下两方面的工作。

 

第一个方面,我们希望打造一个技术驱动的社区。我们设计了一个技术驱动的社区组织架构,决策机构是技术委员会。技术委员会下面包括了一系列的专项兴趣组,通过专项兴趣组,探索数据库的应用场景,不断扩展数据库的应用边界。目前我们已经有11个专项兴趣组,包括自然语言处理、融合查询优化、异构软硬件适配等多个方向。

 

同时,面向开发者,我们会提供一系列的深度代码培训;面向用户,我们会邀请行业大咖,来分享开源数据库的使用经验和最佳实践,帮助开源数据库应用到更多的场景和行业。

 image.png

 

第二个部分是社区生态的建设。核心是伙伴和人才的培养。伙伴方面,我们主要关注数据库全栈伙伴的建设;同时,我们也会和重点行业的头部伙伴合作,成立联合实验室,打造行业专属的云原生数据库。同时,我们会大力投入到技术内容的建设上,目前我们已经打造了10余个技术内容栏目,涉及内核技术、应用开发、架构设计、认证培训等多个领域,学习人次已经超过150万+。

 

image.png

 

上图是未来我们希望看到的PolarDB开源生态构建图谱,它包括“南北东西”四个方向。

 

南向上,我们主要是和各类硬件和操作系统适配。

西向上,我们关注各类人才培养,包括运维、服务、研发、架构、分析等。

东向上,我们主要是和主流的工具、开源产品和平台适配,形成数据处理的完整能力。包括数据链路、数据运维、安全以及中间件。

北向上,我们主要关注和业务系统集成,服务好核心重点行业和有集成开发能力的合作伙伴。

 

2. 阿里云数据库和韵达的合作案例

 

接下来和大家分享一下韵达与阿里云数据库的合作。在此之前,先来看一段韵达集团副总裁兼CTO杨周龙发来的问候。

 

大家好,我是韵达集团副总裁兼CTO杨周龙,感谢云栖大会开源论坛的邀请,今年上半年韵达、阿里云宣布共建智慧物流数据库创新应用中心,共同探索、推进分布式数据库在智慧物流系统中的深度应用。在韵达日常运营中,每天都会产生数10亿条数据,且数据链还在快速增长。这对韵达核心业务系统数据库的稳定性、可用性、成本都提出了非常高的要求。

 

韵达联手阿里云共同推进,物流核心业务系统分布式数据库的打造升级,不但能解决生产运营中遇到的数据库存储、网络瓶颈等行业技术难题,还大大降低了数据库建设和维护成本,很好的满足公司业务未来高速发展的需要。

 

举个例子,韵达业务中台服务中有一个叫订单打标服务的共享服务,我们就采用了PolarDB-X代替了传统的分布分表。负责了韵达30+的前端业务系统,每天订单打标的量达到了2亿以上,接口查询量超过1亿次。

 

今年我们将经营新的技术架构,备战双十一业务高峰。我们坚信这个系统的承载力会比在外面有更好的表现,或许我们将进一步在韵达内部推广使用。

 

韵达具有丰富的行业应用场景,数据库又是智慧物流品牌的重要载体,安全的分布式数据库产品和技术之间,稳定性和灵活性值得被信赖,最后祝福云栖大会顺利举办,谢谢大家。

 

image.png

接下来继续分享阿里云数据库和韵达的合作案例。

 

2022年3月1日,我们与韵达成立了“智慧物流数据库创新应用中心”,共同探索云原生数据库在智慧物流核心系统中的深度应用。这也是阿里PolarDB-X全功能开源之后,在政企领域落地的首个公开大型案例。

 

我们一起做了两方面工作:一是对物流核心系统数据库进行云原生分布式改造;二是面向物流行业数据库使用特点的做内核能力的增强。

 

PolarDB-X为韵达提供了海量数据存储和超高并发能力,应对大规模业务量,帮助客户更好的向数智化过度。

 

image.png

 

这是我们和韵达一起改造的第一个项目:订单打标。它是韵达数据中台的一个关键应用模块,负责汇总平台方、订单中心、大客户等前端数据,并进行筛选、清理、打标,为下游服务平台进行支撑。该模块服务了包括韵图、智能外呼、用户画像等30多个中台业务。

 

早期采用传统MySQL分库分表方案实现,随着数据量的增加,这种传统的架构的弊端开始显现、稳定性差、扩展难度大,运维难度增加,根本无法满足业务快速迭代的业务需求。

 

因为PolarDB-X和MySQL高度兼容能力,我们帮助客户2周内就完成了整个应用的迁移。迁移之后,为韵达高并发的场景提供了很好的支持。同时,基于PolarDB-X有HTAP的能力,对一些复杂的SQL有支撑能力,为达标业务新增了数据统计、对账、结算等产品功能,大大提到了业务支撑能力;同时借助PolarDB-X的TTL能力,可自动完成历史数据清理,原来需要花费一周完成的历史数据清理的运维动作,现在由数据库自动完成,运维成本大大降低。

 

image.png

 

未来,我们希望有越来越多的核心系统,能够做云原生的改造升级,帮助客户实现产品升级、服务升级、业务升级。

 

3. 未来展望

 

image.png

 

当下,PolarDB已经得到了较为广泛的应用,特别是在高并发、大数据量、在线业务与复杂分析融合的极限场景,都有不错的表现。在这里我要对我们的用户和开发者表示感谢。未来也希望越来越多的人加入我们,共同来推动云原生数据库的技术发展。


相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
8天前
|
关系型数据库 分布式数据库 数据库
PolarDB 开源基础教程系列 9 开源社区合作和共建
本文介绍了玩转 PolarDB 开源社区指南:如何搭建 PolarDB 开发环境及参与开源社区。 主要内容: 1. **搭建开发环境**:提供多种 Docker 镜像供开发者选择,支持 x86_64 和 ARM64 架构,适配 CentOS、Debian、Ubuntu 等多个 Linux 发行版。 2. **编译与部署**:通过 Docker 容器克隆 PolarDB 源码并编译安装,支持构建一写多读集群测试 ePQ MPP 优化器功能。 3. **参与开源社区**:介绍个人、生态伙伴和用户如何从社区中获取技能、建立连接、积累战绩并提升影响力。社区活动涵盖公开课、训练营、编程大赛、企业行等。
51 5
|
8天前
|
存储 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 8 数据库生态
PolarDB是一款开源的云原生分布式数据库,源自阿里云商业产品。为降低使用门槛,PolarDB携手伙伴打造了完整的开源生态,涵盖操作系统、芯片、存储、集成管控、监控、审计、开发者工具、数据同步、超融合计算、ISV软件、开源插件、人才培养、社区合作及大型用户合作等领域。通过这些合作伙伴,PolarDB提供了丰富的功能和服务,支持多种硬件和软件环境,满足不同用户的需求。更多信息请访问[PolarDB开源官方网站](https://openpolardb.com/home)。
44 4
|
8天前
|
SQL 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 7.5 应用实践之 TPCH性能优化
PolarDB在复杂查询、大数据量计算与分析场景的测试和优化实践.
36 7
|
8天前
|
人工智能 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 7.4 应用实践之 AI大模型外脑
PolarDB向量数据库插件通过实现通义大模型AI的外脑,解决了通用大模型无法触达私有知识库和产生幻觉的问题。该插件允许用户将新发现的知识和未训练的私有知识分段并转换为向量,存储在向量数据库中,并创建索引以加速相似搜索。当用户提问时,系统将问题向量化并与数据库中的向量进行匹配,找到最相似的内容发送给大模型,从而提高回答的准确性和相关性。此外,PolarDB支持多种编程语言接口,如Python,使数据库具备内置AI能力,极大提升了数据处理和分析的效率。
31 4
|
8天前
|
搜索推荐 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 7.3 应用实践之 精准营销场景
本文介绍了基于用户画像的精准营销技术,重点探讨了如何通过标签组合快速圈选目标人群。实验分为三部分: 1. **传统方法**:使用字符串存储标签并进行模糊查询,但性能较差,每次请求都需要扫描全表。 2. **实验1**:引入`pg_trgm`插件和GIN索引,显著提升了单个模糊查询条件的性能。 3. **实验2**:改用数组类型存储标签,并结合GIN索引加速包含查询,性能进一步提升。 4. **实验3**:利用`smlar`插件实现近似度过滤,支持按标签重合数量或比例筛选。
28 3
|
8天前
|
关系型数据库 分布式数据库 PolarDB
PolarDB 开源基础教程系列 7.2 应用实践之 跨境电商场景
本文介绍了如何在跨境电商场景中快速判断商标或品牌侵权,避免因侵权带来的法律纠纷。通过创建品牌表并使用PostgreSQL的pg_trgm插件和GIN索引,实现了高性能的字符串相似匹配功能。与传统方法相比,PolarDB|PostgreSQL的方法不仅提升了上万倍的查询速度,还解决了传统方法难以处理的相似问题检索。具体实现步骤包括创建品牌表、插入随机品牌名、配置pg_trgm插件及索引,并设置相似度阈值进行高效查询。此外,文章还探讨了字符串相似度计算的原理及应用场景,提供了进一步优化和扩展的方向。
35 11
|
8天前
|
SQL 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 7.1 快速构建“海量逼真”数据
本文介绍了如何使用PostgreSQL和PolarDB快速生成“海量且逼真”的测试数据,以满足不同业务场景的需求。传统数据库测试依赖标准套件(如TPC-C、TPC-H),难以生成符合特定业务特征的复杂数据。通过自定义函数(如`gen_random_int`、`gen_random_string`等)、SRF函数(如`generate_series`)和pgbench工具,可以高效生成大规模、高仿真度的数据,并进行压力测试。文中还提供了多个示例代码展示.
25 7
|
8天前
|
关系型数据库 分布式数据库 数据库
PolarDB 开源基础教程系列 6 开源插件扩展
1、当前环境已安装并支持哪些插件 2、AI外脑插件: vector 3、营销场景目标人群圈选插件: smlar 4、地理信息搜索插件: PostGIS 5、中文分词插件: pg_jieba 6、融合计算插件: duckdb_fdw 7、读写分离工具: pgpool-II
25 3
|
8天前
|
关系型数据库 分布式数据库 数据安全/隐私保护
PolarDB 开源基础教程系列 5 高级特性体验
PolarDB 特性解读与体验涵盖多项关键技术,包括预读/预扩展、Shared Server(建议使用连接池)、闪回表和闪回日志、弹性跨机并行查询(ePQ)及TDE透明数据加密。预读/预扩展通过批量I/O操作显著提升Vacuum、SeqScan等场景性能;Shared Server优化高并发短连接处理;闪回功能可恢复表至指定时间点;ePQ支持跨机并行查询以提高复杂查询效率;TDE确保数据存储层的安全加密。
21 1
|
8天前
|
SQL 存储 关系型数据库
PolarDB 开源基础教程系列 4 日常运维
PolarDB日常运维指南涵盖了多个关键操作,包括读写节点故障切换、增加只读节点、配置WAL日志归档、备份与恢复、创建容灾实例以及排查CPU负载高等。通过详细的步骤和代码示例,本文档帮助用户在本地环境中体验和学习PolarDB的高级功能,如共享存储架构下的集群管理。特别地,文档提供了如何使用`polar_basebackup`工具进行备份和恢复,确保数据安全;并通过`pg_stat_statements`插件定位慢查询,优化数据库性能。此外,还介绍了常见问题的排查方法,如业务量上涨或长时间执行的SQL语句导致的CPU高负载。更多内容和进阶课程可参考提供的GitHub链接和官方文档。
19 1