2022云栖精选—《Serverless数据库技术研究报告》 解读与发布

本文涉及的产品
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
函数计算FC,每月15万CU 3个月
简介: 姜春宇中国信通院云计算与大数据研究所主任

lQLPJxbcF2cqNBvMiM0FeLCMz4ifcSGHeANpqgFLAEAA_1400_136.png

image.png

Serverless是指构建和运行应用程序无需管理服务器的概念描述一种更细粒度的部署和模型,将应用程序打包成多个功能,上至平台执行以响应确切的要求。

Serverless很重要的一点在于无需要关心应用运行的资源,而Serverful需要考虑资源的分配和底层资源的实现计费方式上,Serverless按照使用情况计费,可以实现毫秒级计费,且快速伸缩无感知。而Serverful小时级计费,以及弹性伸缩需要较长时间

Serverless能够带最极致的弹性,其演进经历了四个阶段:

第一阶段:在自己的机房构建数据库。

第二阶段:PaaS平台的服务可以购买服务,这也是基本的云端数据库的特征。

第三阶段:云原生数据库,资源的化能力和弹性能力大幅提升。

第四阶段:无服务数据库,拥有极致的弹性、极致的性价比和极致的无感知。

 

2020全球Serverless服务市场营收400+亿其中中国 Serverless服务市场营收60+亿,占全球市场的14%而国内的数据库市场份额全球5%说明我国Serverless市场能力较为优异

传统数据库的容器架构与 Serverless架构结合,使原生数据在弹性自动化方面具有极大的创新价值Serverless提供了极强的弹性伸缩能力

image.png

Serverless技术中,资源的池化和弹性的扩展紧密相关,首先要实现资源的池化,才能实现极致的弹性。资源池化最核心的点在于存储资源的池化,存储计算分离以后,在存储层面为上层输出计算提供了弹性。数据计算池无需做任何牵引,用户的业务数据不受影响。

此前,存储计算互相耦合的时候,存储计算无法分别扩展因为数据库是一种特殊的形态,存储层需要规划。因此如果不解耦,则无法分别扩展。

实现池化后,需要对运行的应用和负载进行多维度的监控,包括CPU内存、连接数,达至阈值以后自动伸缩,进行资源调度。因此未来Serverless很大的竞争空间在于谁能够提供更高效的资源调度,比如秒级。

为了更多地降低用户成本,提升云上资源的利用率,云原生数据库需要将内存与计算节点进行深度解耦,实现CPU+内存+持久化存储的三层解耦模型。

image.png

Serverless的另一关键技术为高可用。

在扩展过程中单台机器经常出现扩展的瓶颈,需要进行跨服务器、跨硬件扩缩容。而此过程中,业务需要正常运行,因此,高可用至关重要,它包含四个特性:

第一,自动切换能力。当前业界主要有两种解决方案,一是集群各个节点通过一致性协议的去中心化解决方案;二是利用云原生数据库中心化共享存储的分布式锁解决方案。

第二,热备节点。热备节点是一个资源弱化版的RO节点,同时也是一个更接近主节点、随时准备接班的灾备节点。相比普通的只读节点,它保留有限的读服务,预留更多的CPU和内存资源去优化切换速度。

第三,链接保持。对于迁移时的空闲链接,可以引入中间件Proxy,利用Proxy的链接技术保证用户链接不中断。

第四,无损事务续传。对于切换瞬间正在执行的事务,一方面Proxy无法从数据库内核中找回原有事务的上下文,另一方面新主会将未提交的悬挂事务回滚,释放这些事务持有的锁。在种场景下,链接保持会失效。数据库内核还需提供无损事务续传能力以解决这一缺陷

image.png

云原生数据库必须提供全局强一致的事务读写能力,才能使事务一致性的RO节点替RW节点透明地分担用户负载。

那么,高性能的能力如何体现?需要将计算层面的算子进行分离,将读写分离,将写操作做成单独的服务,承接大吞吐量的写操作。

另外,引入新的硬件解决性能瓶颈。单一的CPU或者某种计算芯片擅长处理的任务不一样,因此我们需要新的硬件类型比如GPUFPGA来进行优化使性能进一步提高

image.png

Serverless低成本体现在除了计算和存储以外的资源,元数据接入层负载均衡、优化器等一系列服务也进行池化,使得部署切换弹性的过程非常高效快速降低使用的门槛成本。

image.png

Serverless数据库的应用场景非常丰富。

比如税务系统每年固定时间段的报税会使得应用特别繁忙,而其余时间多为闲置状态,此类可变多负载场景可以通过Serverless技术实现资源的弹性

双十一期间流量难以预估,此类不可预测的工作负载也特别适合Serverless无感的极致弹性。

大型企业可能有上千个数据库实例,同时感知这些数据库实例资源的使用情况难度极大,因此,可以使用Serverless弹性无感的自动化能力,通过监控实现自动伸缩

再比如大型软件可能有成千上万的客户在使用,每一个客户都是一个租户,底下又挂了数据库实例,同时管理成千上万个数据库实例巨大的挑战,此时也特别适合使用Serverless

image.png

Serverless数据库的发展趋势大多与资源的池化、资源的标准化等相关。比如屏蔽底层的数据库操作,提升易用性,业务人员无需考虑数据库如何部署、如何启动。比如计算资源标准化,统一底层资源。原先自建的机房和服务器会面临很多不一样的问题,而使用了 Serverless原生数据库以后,即可实现标准化,统一使用,统一调度。

计费方式也更精确,按需计费,解耦以后计算资源的颗粒度非常小,计算时长从原的小时或天变为秒级。扩缩容无感,实现更快的业务反应,以及更快的资源调度,实现极致的资源利用率也是未来的发展方向。

image.png

数据库引入Serverless技术,具备智能弹性扩缩容能力,能够随着用户业务的请求数的增加和减少,自动“膨胀”和“缩小”,实现资源的智能“吞吐”。另外随着资源池化能力的进一步释放,在同一数据中心内,计算、内存和存储资源的三层解耦逐渐从理论走向实际,成为云原生数据库资源管理的新趋势。

我们相信,Serverless白皮书的发布是 Serverless技术前进的起点。也相信阿里这样的企业会沿着这条路径不断前进,不断提供更极致的弹性、极致的性价比和极致的性能。

lQLPJxbcF2cqM2TM-M0CnrCgW_7LDpyh1wNpqgFKAPsA_670_248.png

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
15天前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
|
2月前
|
关系型数据库 MySQL Serverless
探索PolarDB MySQL版:Serverless数据库的灵活性与性能
本文介绍了个人开发者对阿里云PolarDB MySQL版,特别是其Serverless特性的详细评测体验。评测涵盖了产品初体验、性能观测、Serverless特性深度评测及成本效益分析等方面。尽管试用过程中遇到一些小问题,但总体而言,PolarDB MySQL版表现出色,提供了高性能、高可用性和灵活的资源管理,是个人开发者和企业用户的优秀选择。
|
1月前
|
分布式计算 大数据 Serverless
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
在2024云栖大会开源大数据专场上,阿里云宣布推出实时计算Flink产品的新一代向量化流计算引擎Flash,该引擎100%兼容Apache Flink标准,性能提升5-10倍,助力企业降本增效。此外,EMR Serverless Spark产品启动商业化,提供全托管Serverless服务,性能提升300%,并支持弹性伸缩与按量付费。七猫免费小说也分享了其在云上数据仓库治理的成功实践。其次 Flink Forward Asia 2024 将于11月在上海举行,欢迎报名参加。
178 1
云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展
|
1月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
阿里云瑶池在2024云栖大会上重磅发布由Data+AI驱动的多模数据管理平台DMS:OneMeta+OneOps,通过统一、开放、多模的元数据服务实现跨环境、跨引擎、跨实例的统一治理,可支持高达40+种数据源,实现自建、他云数据源的无缝对接,助力业务决策效率提升10倍。
|
2月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
阿里云数据库重磅升级!元数据服务OneMeta + OneOps统一管理多模态数据
|
3月前
|
关系型数据库 Serverless 分布式数据库
揭秘PolarDB Serverless:大促洪峰秒级应对,无感伸缩见证科技魔法!一探云数据库管理的颠覆性革新,强一致性的守护神来了!
【8月更文挑战第13天】在云计算背景下,阿里巴巴的云原生数据库PolarDB Serverless针对弹性伸缩与高性能一致性提供了出色解决方案。本文通过一个电商平台大促活动的真实案例全面测评PolarDB Serverless的表现。面对激增流量,PolarDB Serverless能秒级自动扩展资源,如通过调用`pd_add_reader`快速增加读节点分摊压力;其无感伸缩确保服务平滑运行,不因扩展中断;强一致性模型则保障了数据准确性,即便在高并发写操作下也确保库存等数据的同步一致性。PolarDB Serverless简化了数据库管理,提升了系统效能,是追求高效云数据库管理企业的理想选择。
100 7
|
3月前
|
关系型数据库 MySQL Serverless
在部署云数据库PolarDB MySQL版 Serverless集群的过程中问题点
在部署PolarDB MySQL Serverless过程中,常见问题包括配置误解、网络配置错误、资源未及时释放及压测不熟练。建议深入理解配置项,确保合理设置伸缩策略;明确业务需求,使PolarDB与现有服务同处一地域与VPC;利用提醒功能管理资源生命周期;按官方指南执行压测。新用户面临的学习曲线、资源管理自动化不足及成本控制难题,可通过增强文档友好性、引入智能成本管理与用户界面优化来改善。
65 1
|
3月前
|
安全 关系型数据库 MySQL
揭秘:如何在无影的Serverless世界中,悄无声息地操控MySQL数据库!
【8月更文挑战第8天】在云计算领域,Serverless 枟能凭借其高效与弹性特性脱颖而出。本文采用问答形式解析函数计算环境中 MySQL 数据库的安全高效访问方法。介绍了如何利用数据库插件或 SDK 连接 MySQL,并提供了一个使用 Python 和 `pymysql` 在阿里云函数计算中连接 MySQL 的示例代码片段。同时强调了通过环境变量或密钥管理服务安全处理数据库凭证的重要性。随着 Serverless 技术的发展,数据库操作将更加简便。
76 7
|
4月前
|
SQL canal Serverless
Serverless 应用引擎使用问题之每次记录的数据很少,如何不使用外链数据库储存数据
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
4月前
|
存储 关系型数据库 Serverless
函数计算产品使用问题之连外部数据库请求特别慢是什么原因导致的
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。

热门文章

最新文章

相关产品

  • 函数计算