业界声音|PolarDB最值得关注的技术创新有哪些?

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
简介: "PolarDB一路走来,见证了国产数据库发展的不平凡之路。"


文章来源于韩锋频道
作者: 韩锋, SphereEx公司联合创始人



近日受邀参加首届「PolarDB开发者大会」,这也国内数据库厂商越来越重视生态建设的表现,特别是数据库主要的受众-开发者,他们的声音对产品的发展至关重要。在本次会议上,阿里云重磅发布了中国首款自研云原生数据库PolarDB“三层分离”全新版本,基于智能决策实现查询性能10倍提升、节省50%成本。同时面向开发者,阿里云全新推出数据库场景体验馆、训练营等系列新举措,广大开发者可率先免费体验PolarDB数据库核心特性及NL2BI等AI新功能。下文是个人对参与本次大会的一点感受。


1. 主论坛:像“搭积木”一样简单


1.1 PolarDB发展总览


作为国内最早定义的一款“云原生”数据库,PolarDB发展已历经十五年,从早期基于开源数据库的深度优化,到结合云原生技术并形成独立品牌对外发布,到提供多种版本形成品牌矩阵,再到率先提出Serverless化并再次开源。PolarDB一路走来,见证了国产数据库发展的不平凡之路。现在PolarDB正朝着更智能、更经济、更优化、更便捷的方向继续发展。



作为一个品牌家族,PolarDB其实是由多款产品组成,主要分为集中式、分布式两个系列:包括有高度兼容MySQL的PolarDB-M、高度兼容PostgreSQL和Oracle的PolarDB-PG及分布式版本PolarDB-X。用户可以根据自身业务场景、生态兼容要求等进行选择。



此次发布会的一个重要观点,就是希望向开发者表达PolarDB的发展理念,并通过一个比喻-搭积木来形象描述。其通过产品四个方面的加强,来达到这一目标。


云原生化,即加速数据业务上云,通过一种新的资源交付方式简化开发者使用数据库;


平台化,即通过云平台的一站式功能帮助开发者使用和管理好数据库;


一体化,即通过多场景打通,优化使用体验可实现如“单体”般的使用效果;


智能化,即通过产品内置AI能力,可让数据库一方面变得更加智能简化管理,一方面提供更友好交互的可能。



1.2 PolarDB集中式版本展示


云原生化

针对云原生化,PolarDB推出了业内首创的三层分离形态,即对数据库资源层(CPU、MEM、DISK)实现了全部分离,即较以往提供更细粒度的资源管控能力,其带来的优势就是可实现根据不同工作负载搭配不同的资源配置,进而实现最优成本产出比。



CPU方面,PolarDB实现多角色转化及向上扩展能力,提供了非常灵活的组合使用方式。



MEM方面,PolarDB实现了内存全局复制,这样是达到业务更加平滑的效果。能做到这点也是依赖于阿里云多年在底层硬件的优化功力。



存储方面,PolarDB内置的分布式存储系统PolarStore,通过日志优化、RDMA高速网络等措施实现低成本下的读写延迟优化。



一体化

一体化方面,PolarDB的软硬一体方案,通过在存储、网络、内存等多项硬件领域创新,实现最优费效比。



平台化

Serverless,作为近年大火的热点,已成为云厂商发力的重点,其对于用户的敏态业务具有非常好的实用价值。PolarDB通过智能决策系统可实现基于负载感知的向上或向外扩展能力,进而满足用户突发业务压力。结合内核提供的热备、事务重连、全局内存等技术,实现弹性条件下的业务无感。



智能化

本次大会智能化上还有个小亮点,通过一个小朋友带来的联机互动,演示与数据库通过自然语言交互的使用体验。虽然略显简单,但其未来发展潜力非常大。其核心正是利用了当今大火的大模型技术。



1.3 PolarDB分布式版本展示


在谈到PolarDB分布式版本之前,会上先提出了使用分布式数据库的三个核心问题:必要性、兼容性和成本。


必要性,即是否有必要使用分布式数据库。对于中小规模用户而言,分布式数据库还有些遥远,但当面临业务发展时又不得不经历从集中式到分布式的痛苦过程。PolarDB给出的答案是“单机分布式一体化”,即两种架构一套内核,可实现平滑扩展升级,打消用户使用分布式的担心。



兼容性,即使用分布式是否能做到业务无感,这也是阻碍分布式数据库推广的核心问题,很多用户会担心分布式下很多使用难点。PolarDB给出的答案是“自动分片与扩展资源平衡”,通过灵活分片调整方式打消用户对使用分片的恐惧心理。




成本,即分布式下面临的海量数据管理与多工作负载可能带来的成本提高。PolarDB给出的答案是“冷热分离与查询事务一体化”来解决。




2.分论坛:开发者需要怎样的数据库


此次大会还分设几个分论坛,就开发者关心的问题进行讨论。个人有幸受邀参与一场分论坛,内容是《面向未来,开发者需要什么样的数据库?》,与几位行业大咖进行了一次思想的碰撞。下面就几个论坛讨论有意思的问题分享下部分观点。



2.1 在数据库应用和开发中,开发者最常遇到的问题是什么?


  • 数据库承担两个职责,一是数据存储,一是数据计算。从开发者角度来看,是希望在业务开发中不再拘泥于底层算力和存储的约束,可以完全依据业务需求进行开发,这也正是Serverless技术受到关注的原因。正希望后者提供灵活的存储与算力的扩展能力,而不需要在预定义。


  • 长期以来,开发者与数据库的交互方式是以SQL为主,这也成为数据交互的统一标准。然而一直以来各数据库厂商纷纷在SQL标准上定义了很多方言,这也成为很多开发者面对不同数据库时不得不需要重新学习的问题,成为很多应用迁移库的一大障碍。这也是很多国产数据库做兼容性的主要原因。此外,随着AI技术发展,通过自然语言直接与数据库交互,也成为一种可能,现在正有更多的数据库产品开始支持NL2SQL。


  • 数据库不是孤立存在的,在一个企业的数据生态中,存在着数据的上下游生态,存在数据产生、流转、存储、汇聚、分析、展示等多个环境。从开发者角度来看,是希望提供完整的生态支持,以数据库为核心的数据生态可以顺滑的流转起来。


2.2 云原生+Serverless将会给开发者带来什么?数据库Serverless化⾯临的技术问题和挑战是什么?


  • 云原生和Serverless作为一种新的资源交付方式,大大简化原有数据库交付难点,也简化了相关管理性工作。开发者可根据需要随时拉起数据库使用,无需考虑底层基础设施。Serverless技术则可让开发者更专注业务开发,不再关系底层数据库资源消耗、业务负载变化情况,Serverless的弹性能力可以很好解决上述问题。


  • 数据库Serverless化是要面临诸多问题:一是多层资源解耦,提供更细粒度的资源调度方式及弹性;二是数据库负载感知及变化能力,能够在极短时间内感知变化并做出相应的资源调整;三是资源隔离和Qos,需要解决Serverless中不同用户共用资源下的隔离和质量保障。


2.3 企业客户/开发者在云数据库使用中存在什么困难?

  • 首要问题就是云数据库产品的选择问题,云数据库往往存在很多数据库产品、每类产品下还有很多版本(如标准版、企业版)、每款下还有多种资源规格(如4C8G、8C16G等)。此外,云产品还是涉及到上下游生态,与TP库与AP库的配合、ETL工具的选择、数据展示等等。如此多的选择,让用户存在很大选择性障碍。


  • 其次是对云数据库的可用性、一致性、安全性的担忧。之前上述问题都是企业自己解决,上云后需要通过云来保障。


2.4 预测下未来十年数据库发展的演进方向?

  • 更加智能化。这主要是针对数据库管理者而言,通过智能化的管理,简化数据库的管理复杂度。当前以AI技术与数据库结合的一个重要的方向就是AI4DB,例如Oracle最早提出的自动驾驶的概念,正是为了解决管理问题。


  • 全新交互方式。这主要是针对开发者而言,一方面在通过SQL实现与数据库的交互外,是否能提供更加友好的交互方式,大模型技术的出现为这方面提供一种可能。NL2SQL的出现将简化交互方式,随着这一技术的发展成熟,未来可能会出现完全颠覆的数据交互方式。


  • 普惠标准化。作为企业的管理者来说,是希望数据库能解决普惠的资源供给,即低成本的使用。同时数据库标准化也很重要,可以实现切换的低风险,解决数据库绑定的问题。


  • 业务场景化。随着数据在更多企业场景中的应用,如何选择和使用数据库成为业务方关注的问题。如果数据库提供提供场景化的解决方案,让选择不再困难,大大简化从选型、建模、研发成本,对于业务方具有很大意义。


相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
2月前
|
存储 NoSQL 关系型数据库
非关系型数据库-MongoDB技术(二)
非关系型数据库-MongoDB技术(二)
|
2月前
|
NoSQL 关系型数据库 MongoDB
非关系型数据库-MongoDB技术(一)
非关系型数据库-MongoDB技术(一)
|
10天前
|
Cloud Native 关系型数据库 分布式数据库
|
27天前
|
关系型数据库 分布式数据库 数据库
PolarDB 开源:推动数据库技术新变革
在数字化时代,数据成为核心资产,数据库的性能和可靠性至关重要。阿里云的PolarDB作为新一代云原生数据库,凭借卓越性能和创新技术脱颖而出。其开源不仅让开发者深入了解内部架构,还促进了数据库生态共建,提升了稳定性与可靠性。PolarDB采用云原生架构,支持快速弹性扩展和高并发访问,具备强大的事务处理能力及数据一致性保证,并且与多种应用无缝兼容。开源PolarDB为国内数据库产业注入新活力,打破国外垄断,推动国产数据库崛起,降低企业成本与风险。未来,PolarDB将在生态建设中持续壮大,助力企业数字化转型。
72 2
|
2月前
|
Cloud Native 关系型数据库 分布式数据库
PolarDB开源项目未来展望:技术趋势与社区发展方向
【9月更文挑战第5天】随着云计算技术的发展,阿里云推出的云原生分布式数据库PolarDB受到广泛关注。本文探讨PolarDB的未来展望,包括云原生与容器化集成、HTAP及实时分析能力提升、智能化运维与自动化管理等技术趋势;并通过加强全球开源社区合作、拓展行业解决方案及完善开发者生态等措施推动社区发展,目标成为全球领先的云原生数据库之一,为企业提供高效、可靠的服务。
83 5
|
3月前
|
存储 缓存 负载均衡
【PolarDB-X 技术揭秘】Lizard B+tree:揭秘分布式数据库索引优化的终极奥秘!
【8月更文挑战第25天】PolarDB-X是阿里云的一款分布式数据库产品,其核心组件Lizard B+tree针对分布式环境优化,解决了传统B+tree面临的数据分片与跨节点查询等问题。Lizard B+tree通过一致性哈希实现数据分片,确保分布式一致性;智能分区实现了负载均衡;高效的搜索算法与缓存机制降低了查询延迟;副本机制确保了系统的高可用性。此外,PolarDB-X通过自适应分支因子、缓存优化、异步写入、数据压缩和智能分片等策略进一步提升了Lizard B+tree的性能,使其能够在分布式环境下提供高性能的索引服务。这些优化不仅提高了查询速度,还确保了系统的稳定性和可靠性。
87 5
|
3月前
|
存储 Oracle 关系型数据库
PolarDB-X 存储引擎核心技术 | Lizard B+tree 优化
PolarDB-X 分布式数据库,采用集中式和分布式一体化的架构,为了能够灵活应对混合负载业务,作为数据存储的 Data Node 节点采用了多种数据结构,其中使用行存的结构来提供在线事务处理能力,作为 100% 兼容 MySQL 生态的数据库,DN 在 InnoDB 的存储结构基础上,进行了深度优化,大幅提高了数据访问的效率。
7424 13
|
3月前
|
存储 SQL Cloud Native
揭秘!PolarDB-X存储引擎如何玩转“时间魔术”?Lizard多级闪回技术让你秒回数据“黄金时代”!
【8月更文挑战第25天】PolarDB-X是一款由阿里巴巴自主研发的云原生分布式数据库,以其高性能、高可用性和出色的可扩展性著称。其核心竞争力之一是Lizard存储引擎的多级闪回技术,能够提供高效的数据恢复与问题诊断能力。本文通过一个电商公司的案例展示了一级与二级闪回技术如何帮助快速恢复误删的大量订单数据,确保业务连续性不受影响。一级闪回通过维护最近时间段内历史数据版本链,支持任意时间点查询;而二级闪回则通过扩展数据保留时间并采用成本更低的存储方式,进一步增强了数据保护能力。多级闪回技术的应用显著提高了数据库的可靠性和灵活性,为企业数据安全保驾护航。
40 1
|
3月前
|
Cloud Native 数据库 开发者
云原生数据库2.0问题之帮助阿里云数据库加速技术更新如何解决
云原生数据库2.0问题之帮助阿里云数据库加速技术更新如何解决
|
3月前
|
Cloud Native 关系型数据库 分布式数据库
云原生数据库2.0问题之PolarDB利用云计算技术红利如何解决
云原生数据库2.0问题之PolarDB利用云计算技术红利如何解决

相关产品

  • 云原生数据库 PolarDB