4年10亿美金,Neon用Serverless PG证明:AI需要的不是“大”,而是“隐形”

简介: AnalyticDB PostgreSQL 版基于Neon架构隆重推出满足 AI 时代应用开发需求的Serverless版本,并且在这之上搭载了结构化分析、向量检索、BM25全文检索和图检索,通过一套引擎满足 AI 应用丰富的数据诉求,支持MCP和OpenAI协议,为企业全面拥抱 AI 配备了数据存储、分析和应用的 “关键” 能力,帮助企业火箭式启动跑赢时代。

前言

据权威IT媒体The Information报道,Databricks正在寻求收购Neon。Neon是一家销售开源PostgreSQL数据库商业版本的初创公司,据知情人士透露,此次收购的交易估值或突破10亿美元。若Databricks能成功收购,将显著增强其在AI领域的主导地位和技术实力。


Databricks对Neon的兴趣点与该引擎和AI应用(比如 AI 编码助手)贴切程度密不可分。Neon可以提供结构化数据、向量数据(即针对AI模型保存信息的数据结构)的支持,同时支持存算分离架构和分支能力(Branching),能快速地预置新数据库实例以及动态扩缩容。 AI 时代下的数据库并不需要“大而全”的产品堆砌,而是需要具备解决实际问题的“关键”能力。

1、什么是Neon

Neon是一款100%兼容PostgreSQL的Serverless数据库,旨在解决传统数据库的三大痛点:资源按峰值配置导致长期闲置浪费、创建测试分支耗时长且低效、运维复杂。它通过云原生架构深度改造PostgreSQL,而非简单云化,实现资源弹性与开箱即用的体验。云原生架构通过存算分离实现弹性、扩展性和高可用性,抽离传统数据库的Redo Log是实现存算分离的一种重要策略。Redo Log详细记录事务操作以保障故障恢复,自身也可以被视为一种数据存储形式。如AWS的Aurora、Microsoft Azure的Socrates都通过类似方式实现存算分离。Neon也是类似的思路,基于PostgresSQL数据库分离出WAL以实现存算分离,并基于此衍生出一些在AI时代更受青睐的特性,比如快速创建分支(Branching)。

Neon架构介绍

image.png

如图所示,Neon架构分为计算节点和存储层:

  1. 计算节点运行PostgreSQL,负责执行查询和事务,但不直接存储数据,而是通过写入日志WAL与存储层交互。
  2. 存储层负责持久化和管理数据,包含三个组件:
  • Safekeeper:通过Paxos协议可靠存储WAL,确保数据持久性和高可用性。
  • Pageserver:解析Safekeeper的WAL记录,生成不可变数据文件并存储到云对象存储,同时加速数据访问。
  • 云对象存储:低成本、高持久性地保存最终数据,如AWS S3、阿里云OSS等。


通过存算分离架构,Neon实现了计算资源的弹性管理与存储资源的高效持久化,并且为下文中的特性提供了基础。

Neon特性介绍

▶︎ Branching

Neon的Branching功能允许用户快速创建主数据库分支用于测试/开发,且不影响主库(类似Git分支管理)。其核心源于数据以LSN(日志序列号)标记并采用LSM树合并存储(不修改原始数据),天然支持分支操作。这一特性在大模型驱动的Vibe Coding和MCP Server场景中发挥关键作用。


▶︎ Time Travel

Neon的Time Travel功能利用Pageserver中数据的LSN属性,使用户能够在任意指定的LSN位点启动一个Compute Node(PG),该节点仅能访问在该LSN位点之前的数据,从而实现对历史数据的访问。


▶︎ Autoscale & Autosuspend

Neon通过实时监控CPU和内存利用率,并借助K8s集群管理工具,实现自动扩缩容及自动启停(Autoscale & Autosuspend):用户可设置资源使用范围的最大/最小值,系统据此动态调整实例规模,当实例连续5分钟无操作时,Neon会自动暂停实例,并在新任务到来时快速重启。


▶︎ 一写多读

与原生PG一样,都通过流复制实现一写多读,但原生PG需要多份存储,而Neon通过共享缓存层(Pageserver)主从节点可以从相同的数据源中获取,既节约了存储资源,又提供了即时的只读弹性。

2、Vibe Coding时代下的Neon:AI驱动的全栈开发新范式

随着大模型编码能力的指数级提升,"Vibe Coding"这一概念正颠覆传统软件开发模式,开发者甚至非技术人员可快速创建网站/APP原型。以Vercel V0、Lovable等工具为代表的Vibe Coding已实现设计稿精准还原,而成熟的后端存储是其从原型走向落地的核心突破。Neon凭借深度集成全栈生态和极致易用性,成为首选的托管数据库服务。例如,Vercel V0默认集成Neon,利用其Branching功能为每个设计迭代独立创建数据库沙盒,避免数据冲突。

image.png

Vercel V0提供Neon原生集成,让大模型直接操作Neon数据库


同时,随着MCP的普及,开发者正通过标准化接口将AI能力与数据库、文件系统、API等基础设施无缝连接。Neon通过Branching特性开放了数据库完全读写权限,即使AI操作异常,其沙盒隔离也能避免数据损毁。


Neon的架构设计在TP场景有着显著的优势,但在面对TB至PB级数据规模时,受限于PageServer的容量和OSS对象存储的高IO延迟与低吞吐特性,会出现扫描性能衰减、复杂查询响应缓慢等问题。


相比之下,阿里云瑶池旗下的云原生数据仓库AnalyticDB PostgreSQL 版专为海量数据分析场景设计,通过存算分离架构和全栈自研技术实现性能突破。

3、基于Neon架构的AnalyticDB PostgreSQL Serverless版

云原生数据仓库 AnalyticDB PostgreSQL 版(下文简称ADB PG)是一款分布式实时数仓,基于Neon Log Is The Database的思想,ADB PG从MPP架构升级到Severless形态,这种设计保留了Postgres的索引、主键去重、实时流式写入等所有特性。同时,在复杂分析场景中引入自研的行列混合存储引擎Beam和自研向量化执行引擎Laser,使得ADB PG在存算分离架构下依然具备极强的查询分析性能。ADB PG基于存算分离架构,构建了极致弹性、Virtual Warehouse、Time Travel+Branching等高阶能力。

image.png

ADB PG 存算分离架构图

ADB PG与Neon的能力对比

image.png

▶︎ Virtual Warehouse

借助Neon的一写多读能力,ADB PG Serverless引入Virtual Warehouse作为只读集群。这样的设计不仅提升了计算性能,还允许根据实时负载动态调整计算资源,实现灵活的扩展。通过这种横向扩展能力,ADB PG能够高效管理资源使用,确保在处理大规模分析任务时始终保持快速响应。


▶︎ Time Travel + Branching

ADB PG Serverless同样支持Branch与Time Travel的能力。由于ADB PG是分布式的,相对于Neon,我们需要进一步考虑分布式场景下的一致性。


1) 对于Branch能力,在ADB PG中,需要在Master Node与Compute Node之间建立一致性的LSN位点,我们通过周期性地在两阶段事务提交时加锁来获取全局一致性的LSN位点。

2) 在备份周期内,ADB PG存算分离形态可以通过Neon的Branch能力将元数据恢复到某个指定的全局一致性恢复位点上,就可以读取到对应位点的用户数据。

Severless下的自研引擎突破

区别于Neon的小规模TP场景,ADB PG聚焦海量数据分析场景,通过行列混存引擎Beam与向量化引擎Laser,突破存算分离架构的性能瓶颈,解决TB/PB级数据场景的计算效率问题。

核心挑战:OSS对象存储的天然限制

OSS对象存储的高延迟、低吞吐特性导致TB/PB级数据扫描性能衰减,影响查询效率。

自研技术突破:存储引擎与执行引擎双轮驱动

1、自研存储引擎优化

  • 列裁剪+Zonemap过滤:精确按需读取字段,跳过无关数据块,减少I/O数据量 50%以上;
  • 动态压缩技术:结合字典编码与通用压缩算法,降低带宽需求30%-70%
  • 弹性缓存架构:
  • 智能预热+数据预取:动态加载高频数据并预测性加载冷数据;
  • 无状态节点设计:支持低成本临时盘缓存(同等硬件成本下,缓存容量提升2.5倍)。


2、自研执行引擎突破

  • 向量化执行:列式批量处理取代逐行迭代,计算效率提升10倍以上;
  • SIMD指令加速:针对数值计算与字符串操作进行指令级优化,核心算子性能翻倍。

性能表现

  • TPC-H基准测试(10TB数据):缓存覆盖70%数据时,性能达存储弹性架构的90%+
  • 端到端查询性能:较PostgreSQL原生火山模型提升5倍以上,复杂分析场景优势更加显著。

4、总结

AnalyticDB PostgreSQL 版基于Neon架构隆重推出满足 AI 时代应用开发需求的Serverless版本,并且在这之上搭载了结构化分析、向量检索、BM25全文检索和图检索,通过一套引擎满足 AI 应用丰富的数据诉求,支持MCP和OpenAI协议,为企业全面拥抱 AI 配备了数据存储、分析和应用的 “关键” 能力,帮助企业火箭式启动跑赢时代!


了解更多

如您对技术细节感兴趣

欢迎钉钉搜索群号:11700737 or 钉钉扫码入群交流

image.png

相关实践学习
【AI破次元壁合照】少年白马醉春风,函数计算一键部署AI绘画平台
本次实验基于阿里云函数计算产品能力开发AI绘画平台,可让您实现“破次元壁”与角色合照,为角色换背景效果,用AI绘图技术绘出属于自己的少年江湖。
从 0 入门函数计算
在函数计算的架构中,开发者只需要编写业务代码,并监控业务运行情况就可以了。这将开发者从繁重的运维工作中解放出来,将精力投入到更有意义的开发任务上。
相关文章
|
3月前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
503 30
|
3月前
|
机器学习/深度学习 人工智能 Serverless
吉利汽车携手阿里云函数计算,打造新一代 AI 座舱推理引擎
当前吉利汽车研究院人工智能团队承担了吉利汽车座舱 AI 智能化的方案建设,在和阿里云的合作中,基于星睿智算中心 2.0 的 23.5EFLOPS 强大算力,构建 AI 混合云架构,面向百万级用户的实时推理计算引入阿里云函数计算的 Serverless GPU 算力集群,共同为智能座舱的交互和娱乐功能提供大模型推理业务服务,涵盖的场景如针对模糊指令的复杂意图解析、文生图、情感 TTS 等。
|
3月前
|
人工智能 运维 安全
加速智能体开发:从 Serverless 运行时到 Serverless AI 运行时
在云计算与人工智能深度融合的背景下,Serverless 技术作为云原生架构的集大成者,正加速向 AI 原生架构演进。阿里云函数计算(FC)率先提出并实践“Serverless AI 运行时”概念,通过技术创新与生态联动,为智能体(Agent)开发提供高效、安全、低成本的基础设施支持。本文从技术演进路径、核心能力及未来展望三方面解析 Serverless AI 的突破性价值。
|
4月前
|
存储 人工智能 Serverless
函数计算进化之路:AI 应用运行时的状态剖析
AI应用正从“请求-响应”迈向“对话式智能体”,推动Serverless架构向“会话原生”演进。阿里云函数计算引领云上 AI 应用 Serverless 运行时技术创新,实现性能、隔离与成本平衡,开启Serverless AI新范式。
529 12
|
4月前
|
存储 人工智能 安全
函数计算进化之路:AI Sandbox 新基座
AI Agent Sandbox 是应对 AI 代理自主性风险的关键技术,提供安全隔离环境以执行代码、交互应用和处理敏感数据。它解决了三大挑战:隔离与安全、状态管理与成本、可扩展性与运维。阿里云函数计算凭借物理隔离架构、Serverless 弹性与成本优势,结合会话亲和、隔离及存储安全等创新能力,成为 AI Agent Sandbox 的理想运行时平台,助力 AI 技术安全落地与商业化发展。
|
3月前
|
人工智能 搜索推荐 机器人
AI:从科幻走入日常的“隐形助手”
AI:从科幻走入日常的“隐形助手”
238 101
|
6月前
|
人工智能 运维 Serverless
活动邀请 | 阿里云AI原生应用开发实战营—Serverless AI 专场(北京站)开启报名!
阿里云 AI 原生应用开发实战营——Serverless AI 专场将于 2025 年 8 月 1 日在北京举办。活动聚焦 Serverless 架构如何助力 AI 应用解决算力成本高、资源弹性需求高、运维复杂等难题,提供分钟级构建生产级 AI 应用的实战体验。
|
4月前
|
人工智能 机器人 Serverless
安诺机器人 X 阿里云函数计算 AI 咖啡印花解决方案
当云计算遇见具身智能,AI咖啡开启零售新体验。用户通过手机生成个性化图像,云端AI快速渲染,机器人精准复刻于咖啡奶泡之上,90秒内完成一杯可饮用的艺术品。该方案融合阿里云FunctionAI生图能力与安诺机器人高精度执行系统,实现AIGC创意到实体呈现的闭环,为线下零售提供低成本、高互动、易部署的智能化升级路径,已在商场、机场、展馆等场景落地应用。
安诺机器人 X 阿里云函数计算 AI 咖啡印花解决方案
|
4月前
|
人工智能 运维 安全
聚焦 AI 应用基础设施,云栖大会 Serverless AI 全回顾
2025 年 9 月 26 日,为期三天的云栖大会在杭州云栖小镇圆满闭幕。随着大模型技术的飞速发展,我们正从云原生时代迈向一个全新的 AI 原生应用时代。为了解决企业在 AI 应用落地中面临的高成本、高复杂度和高风险等核心挑战,阿里云基于函数计算 FC 发布一系列重磅服务。本文将对云栖大会期间 Serverless+AI 基础设施相关内容进行全面总结。
|
4月前
|
人工智能 Serverless API
函数计算的云上计费演进:从请求驱动到价值驱动,助力企业走向 AI 时代
函数计算计费方式历经三阶段演进:从按请求计费,到按活跃时长毫秒级计费,再到按实际资源消耗分层计费。背后是资源调度、安全隔离与开发体验的持续优化。尤其在AI时代,低负载减免、会话亲和等技术让计费更贴近真实价值,推动Serverless向“按需使用、按量付费”终极目标迈进。

热门文章

最新文章