5倍性能提升,阿里云AnalyticDB PostgreSQL版新一代实时智能引擎重磅发布

简介: 2023 云栖大会上,AnalyticDB for PostgreSQL新一代实时智能引擎重磅发布,全自研计算和行列混存引擎较比开源Greenplum有5倍以上性能提升。AnalyticDB for PostgreSQL与通义大模型家族深度集成,推出一站式AIGC解决方案。阿里云新发布的行业模型及“百炼”平台,采用AnalyticDB for PostgreSQL作为内置向量检索引擎,性能较开源增强了2~5倍。大会上来自厦门国际银行、三七互娱等知名企业代表和瑶池数据库团队产品及技术资深专家们结合真实场景实践,深入分享了最新的技术进展和解析。

在云栖大会上,阿里云AnalyticDB for PostgreSQL产品部负责人姚奕玮介绍了AnalyticDB for PostgreSQL 的发力点和核心技术:极具性价比的流批一体融合引擎;支持实时写入和二级索引的存算分离Serverless架构;融合LLM、提供仓内智能的一站式AIGC服务;与PolarDB无缝集成的一站式HTAP服务;以及例如租户隔离、数据脱敏、异地容灾和一致性位点备份恢复等企业级能力。


关于AI能力加持的智能数仓,阿里云数据库事业部OLAP/工具产品经理薛菲进行了详细介绍。她表示,对于企业级大模型项目冷启动、规模化复制和AI普惠三个阶段,AnalyticDB for PostgreSQL分别提供了开箱即用的企业级知识库服务、GPU和向量数仓多租户管理及弹性扩展能力、内置的一站式AIGC开发服务,帮助企业实现大模型应用的快速扩大和可持续化的发展。


厦门国际银行总行科技运维部数据管理二处经理王淇霖三七互娱37手游AI算法负责人彭佳铭分别介绍了AnalyticDB for PostgreSQL在企业级数仓能力及智能化上的应用实践。

1. 极具性价比

产品性能大幅提升,在不增加额外成本的情况下给用户带来更多增值的企业级能力:

1)性能大幅提升

  • 全新自研存储引擎:新增全新的自研行列混存存储引擎,可以通过一套存储轻松满足用户既有TP,又有AP的混合负载业务场景。
  • 全新自研计算引擎:新增自研计算引擎,具备向量化计算和更优异的分区表计算能力,有5倍以上性能提升。


下图为AnalyticDB for PostgreSQL 7.0版实例和Greenplum原生引擎的性能测试结果。通过测试结果可以看到,自研计算引擎对比开源Greenplum计算引擎带来了显著的性能提升,总执行时间仅原生计算引擎的五分之一左右。

2)企业级能力增值

支持存储过程语法:兼容传统数仓业务场景,无需对业务侧存储过程改造为Function方式做业务逻辑改造。

冷热数据分层存储:支持冷/热数据分层存储,可实现历史数据的归档和存储压缩,降低用户冷数据存储成本。

增强场景化分析能力:提供了更全面的全文检索能力,可以更有效地支撑日志分析等海量文本数据分析场景业务。

SQL ANSI-2011标准语法支持所有SQL 2011 标准的窗口函数,更好的承接传统数仓适配迁移,助力企业综合实现多维度分析。

外部数据源管理:支持通过外表直接访问Hadoop,阿里云E-MapReduce,MySQL,PostgreSQL等外表数据源,实现联邦计算。

跨实例/数据库数据互访:可视化配置后可支持实现跨ADB-PG实例、跨ADB-PG数据库数据互访实现协作。

3)安全能力增强

行/列级别权限管控:支持列级权限管控和行级别权限管控,做到最细权限粒度控制和最小化敏感数据访问。

动态数据脱敏:支持对敏感字段设置脱敏规则,实现敏感信息过滤和保护。

支持国密算法:支持SM4对称加密算法。

2.混合任务负载

随着业务的发展,同一个实例中同时会承载多类型业务实现混合负载,比如同时存在高并发实时数据写入,复杂数据加工,和Ad-hoc查询。传统数据库引擎通过实例进行隔离的方式在使用上不够灵活,对运维部门造成很大的压力。


在云栖大会上,厦门国际银行总行科技运维部数据管理二处经理王淇霖升舱实践以及对新一代数仓架构展望演讲中提到,在原有平台上,运维人员在不同时段,需要根据业务负载情况手动调整资源分配策略,并且需要重启引擎,带来许多不便。通过AnalyticDB for PostgreSQL可以实现细粒度的资源隔离,对CPU、内存等按照业务优先级设置资源隔离策略,支持动态配置,配置即生效不需要重启引擎,大大减轻了运维人员的压力。

3. 流批一体

1)架构领先,开发运维简化

相比于传统基于流式计算引擎开发实时任务+离线任务两套代码的Lambda架构,基于AnalyticDB for PostgreSQL构建一站式实时数仓方案,有5大优势:


  • 成本仅一份数据存储,仅一套系统部署,仅一次写入开销,整体资源成本最优。
  • 性能没有复杂的链路流转,资源开销低,并且数据延迟低。
  • 开发一套SQL开发即可,无需多系统适配联调等。
  • 运维只需要维护一套系统。
  • 维护数据异常排查便利,数据订正容易。

2)实时数据集成

  • 可以利用Segment分布式能力,整体提升写入性能。
  • 可直接消费Kafka数据。
  • 对接Flink写入性能提升。
  • 通过DTS接入RDS/PolarDB Binlog支持TP到AP数据库实时同步。

3)事务支持

为了保障高并发实时写入数据一致性,同时也满足OLAP查询的高过滤性,AnalyticDB for PostgreSQL全自研行/列混存存储可提供完整的事务支持以及对OLAP查询的性能支持。

4)增量实时物化视图

仅需要开发一份SQL即可同时支持流式和批式数据处理。在实时物化视图首次创建时,是基于批处理的方式执行SQL,完成全量结果集的计算。之后在实时写入的过程中会自动增量地流式维护SQL的结果集,从而实现流式的实时处理。

此外除了采用全增量的流式模式之外,实时物化视图还可以支持流批一体的方式,即部分数据进行实时更新,其余部分数据的变化只需要定时更新的场景。比如可以设置参与流式JOIN的部分表不参与实时增量更新,然后在合适的时候,通过Refresh的批方式,批量刷新定时更新的结果集。详细参考:ADB-PG构建一站式实时数仓(代码级)实践

4. 智能数仓

1)一站式 AIGC 服务

AnalyticDB for PostgreSQL与通义大模型家族深度集成,融合大模型,在云原生数据仓库内可以支持文档预处理、内置模型服务、AI分析一站式AIGC服务,帮助企业全面升级现有数据架构具备AI智能化能力。

2)应用解决方案

PAI-EAS x ADB-PG向量引擎AnalyticDB for PostgreSQL与大模型在线服务PAI-EAS联合提供一键部署GPU+大模型+向量检索引擎服务,并且在15分钟内即可可视化构建企业专属知识库及ChatBot,一键部署和开启


  1. 大模型兼容支持通义千问7b,ChatGLM2-6b, Llama2-7b和Llama2-13b等主流大模型。
  2. 多规格选择CPU/内存、GPU、ADB向量引擎计算和存储资源多样化规格选择,支持一键部署。
  3. 资源弹性管理,支持GPU资源弹性扩缩容和定时扩缩容能力,帮助企业实现成本优。


阿里云百炼 x ADB-PG向量引擎通义系列之阿里云百炼(bailian.aliyun.com是一站式大模型生产平台,基于通义基础大模型,提供企业专属大模型开发和应用的整套工具链。在百炼中可直接开通和使用AnalyticDB for PostgreSQL向量检索引擎,实现企业垂直领域知识存储和检索。

配图.png

文本语义检索系统构建文本语义检索系统最佳实践

文搜图构建以文搜图最佳实践

图搜图构建以图搜图最佳实践

企业专属知识库构建企业专属知识库最佳实践

3)客户落地实践

2023年各行业对于大模型应用跃跃欲试,目前已经有不少企业通过大模型+向量数据库在实际业务场景中已经落地了AIGC应用,并且从探索阶段走向规模化复制。


三七互娱

在云栖大会上,三七互娱37手游AI算法负责人彭佳铭向现场观众介绍了AnalyticDB for PostgreSQL AIGC解决方案在智能游戏客户上的应用实践。 迄今为止,37手游累计运营逾2000款手机游戏。游戏客户体验回答僵化、问题理解性低以及运营成本高一直是37手游的痛点和跳转。他提到,37手游通过大模型和AnalyticDB for PostgreSQL向量引擎实现了全新的AI智能客服体验升级,回答准确率总体提升了20%,对于用户的意图识别和共情能力上有显著的增强,同时服务效能也提升了15%,该框架可以规模化复制到其他手游中。


慧博科技

面向众多电商企业在使用第三方服务商产品使用和服务体验过程中所遇的痛点,如系统平台增多,平台数据割裂,运营分析需频繁切换查看,慧博科技专门面向零售电商的客户企业推出了更高效便捷的智能服务助手——「H-AI智能助手」。H-AI智能助手可以轻松地解决商家产品使用和服务中的疑惑,无需专门的培训师或繁琐的FAQ列表整理,同时为商家提供了一站式的数据报表,帮助商家更好地了解店铺业绩,并提供详尽的建议解决方案。


随着AIGC时代的开启,对于零售行业来说是新的机遇。作为零售行业国内知名的会员资产与运营服务商,慧博科技寻求以AI核心技术的下一代智能服务体验,为了帮助商家提高内外部协同效率和决策效益,慧博科技依托AIGC能力对全产品矩阵的体验进行升级,出于极致性能及快速迭代的诉求,最终选择了阿里云数据库团队提供的一站式AIGC集成解决方案。


5. 了解更多资讯

👉 关于AnalyticDB PostgreSQL版点击了解更多内容

👉 一键启动AIGC应用

相关实践学习
使用CLup和iSCSI共享盘快速体验PolarDB for PostgtreSQL
在Clup云管控平台中快速体验创建与管理在iSCSI共享盘上的PolarDB for PostgtreSQL。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
24天前
|
关系型数据库 分布式数据库 数据库
阿里云瑶池数据库训练营权益:PolarDB开发者大会主题资料开放下载!
阿里云瑶池数据库训练营权益:PolarDB开发者大会主题资料开放下载!
|
1月前
|
存储 关系型数据库 MySQL
在阿里云的AnalyticDB MySQL版中使用CREATE TABLE语句来创建内表
在阿里云的AnalyticDB MySQL版中使用CREATE TABLE语句来创建内表【1月更文挑战第16天】【1月更文挑战第78篇】
182 3
|
1月前
|
SQL 运维 关系型数据库
基于AnalyticDB PostgreSQL的实时物化视图研发实践
AnalyticDB PostgreSQL版提供了实时物化视图功能,相较于普通(非实时)物化视图,实时物化视图无需手动调用刷新命令,即可实现数据更新时自动同步刷新物化视图。当基表发生变化时,构建在基表上的实时物化视图将会自动更新。AnalyticDB PostgreSQL企业数据智能平台是构建数据智能的全流程平台,提供可视化实时任务开发 + 实时数据洞察,让您轻松平移离线任务,使用SQL和简单配置即可完成整个实时数仓的搭建。
211 1
|
1月前
|
关系型数据库 MySQL Serverless
阿里云云原生数据库 PolarDB MySQL Serverless:卓越的性能与无与伦比的弹性
阿里云原生数据库 PolarDB MySQL Serverless 拥有卓越性能和无与伦比的弹性。通过实验体验,深入了解其基本管理和配置、智能弹性伸缩特性和全局一致性特性。实验包括主节点和只读节点的弹性压测以及全局一致性测试,旨在亲身体验 PolarDB 的强大性能。通过实验,可以更好地在实际业务场景中应用 PolarDB,并根据需求进行性能优化和调整。
653 1
|
1月前
|
Cloud Native 关系型数据库 分布式数据库
阿里云原生数据库 PolarDB MySQL:云原生时代的数据库新篇章
阿里云原生数据库 PolarDB MySQL,它是阿里云自主研发的下一代云原生关系型数据库。PolarDB具有多主多写、多活容灾、HTAP等特性,交易性能和存储容量均表现出色。此外,PolarDB MySQL Serverless具有动态弹性升降资源和全局一致性等特性,能够适应高吞吐写入和高并发业务场景。本文详细分析了PolarDB的性能、稳定性和可扩展性,以及它在成本、性能和稳定性方面的优势。PolarDB为企业提供了高效、可靠的数据库解决方案,是值得考虑的选择。
287 0
|
1月前
|
运维 关系型数据库 分布式数据库
PolarDB是阿里云提供的一种关系型数据库服务
PolarDB是阿里云提供的一种关系型数据库服务【1月更文挑战第17天】【1月更文挑战第82篇】
30 1
|
24天前
|
Cloud Native 关系型数据库 分布式数据库
2024最新一期中国数据库流行榜公布:阿里云PolarDB登顶
PolarDB登顶国产数据库流行榜,持续引领云原生数据库创新
2024最新一期中国数据库流行榜公布:阿里云PolarDB登顶
|
26天前
|
存储 关系型数据库 分布式数据库
阿里云PolarDB解决乐麦多源数据存储性能问题
乐麦通过使用PolarDB数据库,使整个系统之间的数据查询分析更加高效
199 3
|
26天前
|
关系型数据库 Serverless 分布式数据库
碧桂园服务使用阿里云PolarDB Serverless云数据库实现降本增效。
碧桂园集团,即碧桂园控股有限公司新型城镇化住宅开发商,采用集中及标准化的运营模式,业务包含物业发展、建安、装修、物业管理、物业投资、酒店开发和管理、以及现代农业、机器人。
|
26天前
|
人工智能 算法 关系型数据库
PolarDB for AI助力菜鸟实现一站式数据智能
菜鸟通过应用PolarDB for AI,实现云资源成本降低了50%
125 2

相关产品

  • 云原生数据仓库AnalyticDB MySQL版