2022云栖精选—打造世界级云原生数据库开源社区

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
简介: 王远阿里云数据库产品事业部资深技术专家架构部负责人

lQLPJxbcF2cqNBvMiM0FeLCMz4ifcSGHeANpqgFLAEAA_1400_136.png

一、数据库业界发展趋势:全面拥抱云原生

image.png

数据库是非常经典的技术。早在上个世纪 70 年代,基础理论已经相对成熟,80年代开始了商业化进程此后每隔十年均有代表性产品出现但是云计算出现加速了数据技术发展。

从能力上看,数据库从承载在线业务逐步向一站式数据处理平台演进,从结构化数据模型逐步向非结构化、半结构化全数据模型处理能力演进。

云计算也推着数据库架构向着云原生演进,使得数据库系统在面对不同工作负载时能够降低数据移动,提升数据库处理效率同时,实现了资源池化与资源解耦,使得每个数据库都能满足高并发、高扩展与高性能方面需求。

image.png

数据库系统的分布式架构阶段有两个演进方向。

其一,共享存储架构。该架构下,计算节点没有状态,扩展能力强。同时使用体验与单体数据库非常接近,对用户非常友好。但问题在于存储与网络存在上限,扩展存在理论瓶颈。

其二,分布式架构。每个节点自带计算与分析资源,扩展能力理论上没有上限。但局限性在于节点增加与删除均引起数据重分布,扩展效率较低。同时系统执行效率受限于数据分布规则与业务使用场景之间适配程度,因此,使用门槛较高。

云原生时代,以上两种架构实现了相互融合。在资源结合基础上,计算内存存储资源扩展都不再是瓶颈。数据库处理能力也在不断增长融入了各式各样分布式处理模式,包括 BSPMPP等,也决定了云原生数据库的应用范围会越来越广泛。

因此,在开源社区建设过程中,我们需要坚定坚持开源技术方向,要始终坚持以云原生为指导


二、阿里云数据库整体开源策略

image.png

开源的第一原则为兼容生态。数据库作为基础软件,下连基础设施,上应用,无法脱离生态存在。MySQLPostgreSQL是当前数据库的两大生态,因此,我们的开源PolarDB 也会坚定拥抱两大生态。

image.png

开源的第二原则为遵循全面模式。数据库作为一个重要软件,稳定性可靠性是用户最关心的因素而我们将云产品直接开源,在于希望用户提供一款具备企业级特性、成熟稳重的产品。另外我们也希望将阿里多年在数据库上积累回馈给社区,让越来越多用户与开发者参与到云原生数据库共建


三、PolarDB云原生开源产品系列

image.png

PolarDB-X兼容了MySQL生态,PolarDB for PostgreSQL兼容了PG 生态

image.png

PolarDB-X四个部分组成。

部分是元数据服务,负责元数据维护提供全局授时服务等。

下面部分分别为存储节点集群、计算节点集群以及全局日志节点。计算与存储完全分离,计算集群无状态,同时,计算集群主要承担SQL执行、分析事务等工作。存储节点集群主要特点是通过 Paxos保证数据一致性,特别适用于对数据强制性、安全性有要求场景。

日志集群最主要特点在于MySQLBinlog 100%兼容能够方便接入现有MySQL数据链路,平顺为下游系统提供业务数据。

image.png

PolarDB for PG是基于共享存储架构,采用一写多读的模式PG是一款非常优秀数据库,拥有极强的SQL处理能力,因此被很多传统企业所选择。但互联网时代下,传统企业需要进行业务创新,因此也希望PG能够拥有应对互联网行业特性的能力,比如有足够的弹性应对洪峰流量。PolarDB for PG很好地满足了该类需求。

PolarDB for PGPG实现了100% 兼容 PG 拥有的插件化能力PolarDB for PG一样可以实现。可以通过PG插件支持高级能力,比如分布式能力、时序时空能力

image.png

PolarDB-XPolarDB for PG两款产品原生接入K8S系统,这也意味着只要用户与开发者基础生产环境里有K8S系统,即可很方便地通过K8S部署管理调度运维开源PolarDB。同时,用户也可以基于K8S根据自己的需求开发平台。

image.png

一年来,PolarDB发布了诸多企业级特性,包括查询的增强、安全加密归档容灾审批等。未来,我们也会持续将云上产品企业级特性不断增强,同时会坚定地坚持国产化生态兼容。


四、开源数据库社区运营及生态建设

image.png

我们希望打造一个技术社区。因此社区决策机构是技术委员会。在技术委员会带领下,我们希望通过建立用户组方式不断扩展PolarDB在垂直技术领域深度应用。

目前,社区已经成立了11 SIG 包括自然语言处理异构硬件适配查询加速等。我们希望通过SIG推动开源PolarDB与场景结合更加紧密,让越来越多人能够平顺使用开源PolarDB。同时,社区会面向开发者与用户定制深度技术内容,帮助业务与开发者更好了解PolarDB我们定期邀请PolarDB用户,为大家分享使用PolarDB过程中遇到的问题以及最佳实践

image.png

此外,我们希望打造全栈的伙伴体系,与重点行业的客户共同成立云原生数据库适配中心,并基于适配中心打造行业专属的开源数据。比如,我们与韵达成立了数据中心,已经落地数据中台核心业务模块订单打系统。后续希望有越来越多优秀企业与阿里云合作,共同打造行业专属的开源数据库

同时,我们也会通过社区帮助合作伙伴培养所需要的数据库人才一年以来,我们已经打造了10+基础课程,学习人次超150

image.png

上图展现了我们理想中未来PolarDB开源生态全景,包括东南西北四个方向。其中,南向主要适配芯片操作系统等;会与经典应用集成行业运营提供支撑;西向主要与伙伴用户一起打造完善人才培养体系东向会更多具有PaaS属性软件实现适配,比如数据流入流工具数据管理工具、数据安全以及各种中间件。

image.png

PolarDB用户已经非常多,涉及千行百业,对高性能、高扩展复杂分析极限类应用场景提供了非常好的支持。

未来,希望有越来越多用户与开发者加入我们,贡献代码,贡献技术力量,一起打造属于中国人的、有世界级影响力的云原生开源数据库社区。

lQLPJxbcF2cqM2TM-M0CnrCgW_7LDpyh1wNpqgFKAPsA_670_248.png

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
15天前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
|
1月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
阿里云瑶池在2024云栖大会上重磅发布由Data+AI驱动的多模数据管理平台DMS:OneMeta+OneOps,通过统一、开放、多模的元数据服务实现跨环境、跨引擎、跨实例的统一治理,可支持高达40+种数据源,实现自建、他云数据源的无缝对接,助力业务决策效率提升10倍。
|
2月前
|
消息中间件 人工智能 Cloud Native
|
2月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
阿里云数据库重磅升级!元数据服务OneMeta + OneOps统一管理多模态数据
|
3月前
|
Cloud Native 数据库 开发者
云原生数据库2.0问题之帮助阿里云数据库加速技术更新如何解决
云原生数据库2.0问题之帮助阿里云数据库加速技术更新如何解决
|
3天前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####
|
5天前
|
运维 Kubernetes Cloud Native
云原生技术:容器化与微服务架构的完美结合
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术以其灵活性和高效性成为企业的新宠。本文将深入探讨云原生的核心概念,包括容器化技术和微服务架构,以及它们如何共同推动现代应用的发展。我们将通过实际代码示例,展示如何在Kubernetes集群上部署一个简单的微服务,揭示云原生技术的强大能力和未来潜力。
|
14天前
|
弹性计算 Kubernetes Cloud Native
云原生架构下的微服务设计原则与实践####
本文深入探讨了在云原生环境中,微服务架构的设计原则、关键技术及实践案例。通过剖析传统单体架构面临的挑战,引出微服务作为解决方案的优势,并详细阐述了微服务设计的几大核心原则:单一职责、独立部署、弹性伸缩和服务自治。文章还介绍了容器化技术、Kubernetes等云原生工具如何助力微服务的高效实施,并通过一个实际项目案例,展示了从服务拆分到持续集成/持续部署(CI/CD)流程的完整实现路径,为读者提供了宝贵的实践经验和启发。 ####
|
6天前
|
消息中间件 存储 Cloud Native
云原生架构下的数据一致性挑战与应对策略####
本文探讨了在云原生环境中,面对微服务架构的广泛应用,数据一致性问题成为系统设计的核心挑战之一。通过分析云原生环境的特点,阐述了数据不一致性的常见场景及其对业务的影响,并深入讨论了解决这些问题的策略,包括采用分布式事务、事件驱动架构、补偿机制以及利用云平台提供的托管服务等。文章旨在为开发者提供一套系统性的解决方案框架,以应对在动态、分布式的云原生应用中保持数据一致性的复杂性。 ####
|
3天前
|
Cloud Native 安全 API
云原生架构下的微服务治理策略与实践####
—透过云原生的棱镜,探索微服务架构下的挑战与应对之道 本文旨在探讨云原生环境下,微服务架构所面临的关键挑战及有效的治理策略。随着云计算技术的深入发展,越来越多的企业选择采用云原生架构来构建和部署其应用程序,以期获得更高的灵活性、可扩展性和效率。然而,微服务架构的复杂性也带来了服务发现、负载均衡、故障恢复等一系列治理难题。本文将深入分析这些问题,并提出一套基于云原生技术栈的微服务治理框架,包括服务网格的应用、API网关的集成、以及动态配置管理等关键方面,旨在为企业实现高效、稳定的微服务架构提供参考路径。 ####
20 5

相关产品

  • 云原生数据库 PolarDB