5倍性能提升,阿里云AnalyticDB PostgreSQL版新一代实时智能引擎重磅发布

简介: 2023 云栖大会上,AnalyticDB for PostgreSQL新一代实时智能引擎重磅发布,全自研计算和行列混存引擎较比开源Greenplum有5倍以上性能提升。AnalyticDB for PostgreSQL与通义大模型家族深度集成,推出一站式AIGC解决方案。阿里云新发布的行业模型及“百炼”平台,采用AnalyticDB for PostgreSQL作为内置向量检索引擎,性能较开源增强了2~5倍。大会上来自厦门国际银行、三七互娱等知名企业代表和瑶池数据库团队产品及技术资深专家们结合真实场景实践,深入分享了最新的技术进展和解析。

在云栖大会上,阿里云AnalyticDB for PostgreSQL产品部负责人姚奕玮介绍了AnalyticDB for PostgreSQL 的发力点和核心技术:极具性价比的流批一体融合引擎;支持实时写入和二级索引的存算分离Serverless架构;融合LLM、提供仓内智能的一站式AIGC服务;与PolarDB无缝集成的一站式HTAP服务;以及例如租户隔离、数据脱敏、异地容灾和一致性位点备份恢复等企业级能力。


关于AI能力加持的智能数仓,阿里云数据库事业部OLAP/工具产品经理薛菲进行了详细介绍。她表示,对于企业级大模型项目冷启动、规模化复制和AI普惠三个阶段,AnalyticDB for PostgreSQL分别提供了开箱即用的企业级知识库服务、GPU和向量数仓多租户管理及弹性扩展能力、内置的一站式AIGC开发服务,帮助企业实现大模型应用的快速扩大和可持续化的发展。


厦门国际银行总行科技运维部数据管理二处经理王淇霖三七互娱37手游AI算法负责人彭佳铭分别介绍了AnalyticDB for PostgreSQL在企业级数仓能力及智能化上的应用实践。

1. 极具性价比

产品性能大幅提升,在不增加额外成本的情况下给用户带来更多增值的企业级能力:

1)性能大幅提升

  • 全新自研存储引擎:新增全新的自研行列混存存储引擎,可以通过一套存储轻松满足用户既有TP,又有AP的混合负载业务场景。
  • 全新自研计算引擎:新增自研计算引擎,具备向量化计算和更优异的分区表计算能力,有5倍以上性能提升。


下图为AnalyticDB for PostgreSQL 7.0版实例和Greenplum原生引擎的性能测试结果。通过测试结果可以看到,自研计算引擎对比开源Greenplum计算引擎带来了显著的性能提升,总执行时间仅原生计算引擎的五分之一左右。

2)企业级能力增值

支持存储过程语法:兼容传统数仓业务场景,无需对业务侧存储过程改造为Function方式做业务逻辑改造。

冷热数据分层存储:支持冷/热数据分层存储,可实现历史数据的归档和存储压缩,降低用户冷数据存储成本。

增强场景化分析能力:提供了更全面的全文检索能力,可以更有效地支撑日志分析等海量文本数据分析场景业务。

SQL ANSI-2011标准语法支持所有SQL 2011 标准的窗口函数,更好的承接传统数仓适配迁移,助力企业综合实现多维度分析。

外部数据源管理:支持通过外表直接访问Hadoop,阿里云E-MapReduce,MySQL,PostgreSQL等外表数据源,实现联邦计算。

跨实例/数据库数据互访:可视化配置后可支持实现跨ADB-PG实例、跨ADB-PG数据库数据互访实现协作。

3)安全能力增强

行/列级别权限管控:支持列级权限管控和行级别权限管控,做到最细权限粒度控制和最小化敏感数据访问。

动态数据脱敏:支持对敏感字段设置脱敏规则,实现敏感信息过滤和保护。

支持国密算法:支持SM4对称加密算法。

2.混合任务负载

随着业务的发展,同一个实例中同时会承载多类型业务实现混合负载,比如同时存在高并发实时数据写入,复杂数据加工,和Ad-hoc查询。传统数据库引擎通过实例进行隔离的方式在使用上不够灵活,对运维部门造成很大的压力。


在云栖大会上,厦门国际银行总行科技运维部数据管理二处经理王淇霖升舱实践以及对新一代数仓架构展望演讲中提到,在原有平台上,运维人员在不同时段,需要根据业务负载情况手动调整资源分配策略,并且需要重启引擎,带来许多不便。通过AnalyticDB for PostgreSQL可以实现细粒度的资源隔离,对CPU、内存等按照业务优先级设置资源隔离策略,支持动态配置,配置即生效不需要重启引擎,大大减轻了运维人员的压力。

3. 流批一体

1)架构领先,开发运维简化

相比于传统基于流式计算引擎开发实时任务+离线任务两套代码的Lambda架构,基于AnalyticDB for PostgreSQL构建一站式实时数仓方案,有5大优势:


  • 成本仅一份数据存储,仅一套系统部署,仅一次写入开销,整体资源成本最优。
  • 性能没有复杂的链路流转,资源开销低,并且数据延迟低。
  • 开发一套SQL开发即可,无需多系统适配联调等。
  • 运维只需要维护一套系统。
  • 维护数据异常排查便利,数据订正容易。

2)实时数据集成

  • 可以利用Segment分布式能力,整体提升写入性能。
  • 可直接消费Kafka数据。
  • 对接Flink写入性能提升。
  • 通过DTS接入RDS/PolarDB Binlog支持TP到AP数据库实时同步。

3)事务支持

为了保障高并发实时写入数据一致性,同时也满足OLAP查询的高过滤性,AnalyticDB for PostgreSQL全自研行/列混存存储可提供完整的事务支持以及对OLAP查询的性能支持。

4)增量实时物化视图

仅需要开发一份SQL即可同时支持流式和批式数据处理。在实时物化视图首次创建时,是基于批处理的方式执行SQL,完成全量结果集的计算。之后在实时写入的过程中会自动增量地流式维护SQL的结果集,从而实现流式的实时处理。

此外除了采用全增量的流式模式之外,实时物化视图还可以支持流批一体的方式,即部分数据进行实时更新,其余部分数据的变化只需要定时更新的场景。比如可以设置参与流式JOIN的部分表不参与实时增量更新,然后在合适的时候,通过Refresh的批方式,批量刷新定时更新的结果集。详细参考:ADB-PG构建一站式实时数仓(代码级)实践

4. 智能数仓

1)一站式 AIGC 服务

AnalyticDB for PostgreSQL与通义大模型家族深度集成,融合大模型,在云原生数据仓库内可以支持文档预处理、内置模型服务、AI分析一站式AIGC服务,帮助企业全面升级现有数据架构具备AI智能化能力。

2)应用解决方案

PAI-EAS x ADB-PG向量引擎AnalyticDB for PostgreSQL与大模型在线服务PAI-EAS联合提供一键部署GPU+大模型+向量检索引擎服务,并且在15分钟内即可可视化构建企业专属知识库及ChatBot,一键部署和开启


  1. 大模型兼容支持通义千问7b,ChatGLM2-6b, Llama2-7b和Llama2-13b等主流大模型。
  2. 多规格选择CPU/内存、GPU、ADB向量引擎计算和存储资源多样化规格选择,支持一键部署。
  3. 资源弹性管理,支持GPU资源弹性扩缩容和定时扩缩容能力,帮助企业实现成本优。


阿里云百炼 x ADB-PG向量引擎通义系列之阿里云百炼(bailian.aliyun.com是一站式大模型生产平台,基于通义基础大模型,提供企业专属大模型开发和应用的整套工具链。在百炼中可直接开通和使用AnalyticDB for PostgreSQL向量检索引擎,实现企业垂直领域知识存储和检索。

配图.png

文本语义检索系统构建文本语义检索系统最佳实践

文搜图构建以文搜图最佳实践

图搜图构建以图搜图最佳实践

企业专属知识库构建企业专属知识库最佳实践

3)客户落地实践

2023年各行业对于大模型应用跃跃欲试,目前已经有不少企业通过大模型+向量数据库在实际业务场景中已经落地了AIGC应用,并且从探索阶段走向规模化复制。


三七互娱

在云栖大会上,三七互娱37手游AI算法负责人彭佳铭向现场观众介绍了AnalyticDB for PostgreSQL AIGC解决方案在智能游戏客户上的应用实践。 迄今为止,37手游累计运营逾2000款手机游戏。游戏客户体验回答僵化、问题理解性低以及运营成本高一直是37手游的痛点和跳转。他提到,37手游通过大模型和AnalyticDB for PostgreSQL向量引擎实现了全新的AI智能客服体验升级,回答准确率总体提升了20%,对于用户的意图识别和共情能力上有显著的增强,同时服务效能也提升了15%,该框架可以规模化复制到其他手游中。


慧博科技

面向众多电商企业在使用第三方服务商产品使用和服务体验过程中所遇的痛点,如系统平台增多,平台数据割裂,运营分析需频繁切换查看,慧博科技专门面向零售电商的客户企业推出了更高效便捷的智能服务助手——「H-AI智能助手」。H-AI智能助手可以轻松地解决商家产品使用和服务中的疑惑,无需专门的培训师或繁琐的FAQ列表整理,同时为商家提供了一站式的数据报表,帮助商家更好地了解店铺业绩,并提供详尽的建议解决方案。


随着AIGC时代的开启,对于零售行业来说是新的机遇。作为零售行业国内知名的会员资产与运营服务商,慧博科技寻求以AI核心技术的下一代智能服务体验,为了帮助商家提高内外部协同效率和决策效益,慧博科技依托AIGC能力对全产品矩阵的体验进行升级,出于极致性能及快速迭代的诉求,最终选择了阿里云数据库团队提供的一站式AIGC集成解决方案。


5. 了解更多资讯

👉 关于AnalyticDB PostgreSQL版点击了解更多内容

👉 一键启动AIGC应用

相关实践学习
使用CLup和iSCSI共享盘快速体验PolarDB for PostgtreSQL
在Clup云管控平台中快速体验创建与管理在iSCSI共享盘上的PolarDB for PostgtreSQL。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
2月前
|
关系型数据库 分布式数据库 数据库
成都晨云信息技术完成阿里云PolarDB数据库产品生态集成认证
近日,成都晨云信息技术有限责任公司(以下简称晨云信息)与阿里云PolarDB PostgreSQL版数据库产品展开产品集成认证。测试结果表明,晨云信息旗下晨云-站群管理系统(V1.0)与阿里云以下产品:开源云原生数据库PolarDB PostgreSQL版(V11),完全满足产品兼容认证要求,兼容性良好,系统运行稳定。
|
2月前
|
SQL 存储 JSON
阿里云数据库 SelectDB 内核 Apache Doris 2.1.0 版本发布:开箱盲测性能大幅优化,复杂查询性能提升 100%
亲爱的社区小伙伴们,Apache Doris 2.1.0 版本已于 2024 年 3 月 8 日正式发布,新版本开箱盲测性能大幅优化,在复杂查询性能方面提升100%,新增Arrow Flight接口加速数据读取千倍,支持半结构化数据类型与分析函数。异步多表物化视图优化查询并助力仓库分层建模。引入自增列、自动分区等存储优化,提升实时写入效率。Workload Group 资源隔离强化及运行时监控功能升级,保障多负载场景下的稳定性。新版本已经上线,欢迎大家下载使用!
阿里云数据库 SelectDB 内核 Apache Doris 2.1.0 版本发布:开箱盲测性能大幅优化,复杂查询性能提升 100%
|
3月前
|
关系型数据库 分布式数据库 数据库
阿里云PolarDB登顶2024中国数据库流行榜:技术实力与开发者影响力
近日,阿里云旗下的自研云原生数据库PolarDB在2024年中国数据库流行度排行榜中夺冠,并刷新了榜单总分纪录,这一成就引起了技术圈的广泛关注。这一成就源于PolarDB在数据库技术上的突破与创新,以及对开发者和用户的实际需求的深入了解体会。那么本文就来分享一下关于数据库流行度排行榜的影响力以及对数据库选型的影响,讨论PolarDB登顶的关键因素,以及PolarDB“三层分离”新版本对开发者使用数据库的影响。
82 3
阿里云PolarDB登顶2024中国数据库流行榜:技术实力与开发者影响力
|
3月前
|
关系型数据库 分布式数据库 数据库
阿里云瑶池数据库训练营权益:PolarDB开发者大会主题资料开放下载!
阿里云瑶池数据库训练营权益:PolarDB开发者大会主题资料开放下载!
|
2天前
|
Cloud Native 关系型数据库 OLAP
云原生数据仓库产品使用合集之阿里云云原生数据仓库AnalyticDB PostgreSQL版的重分布时间主要取决的是什么
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
2月前
|
关系型数据库 MySQL OLAP
PolarDB +AnalyticDB Zero-ETL :免费同步数据到ADB,享受数据流通新体验
Zero-ETL是阿里云瑶池数据库提供的服务,旨在简化传统ETL流程的复杂性和成本,提高数据实时性。降低数据同步成本,允许用户快速在AnalyticDB中对PolarDB数据进行分析,降低了30%的数据接入成本,提升了60%的建仓效率。 Zero-ETL特性包括免费的PolarDB MySQL联邦分析和PolarDB-X元数据自动同步,提供一体化的事务处理和数据分析,并能整合多个数据源。用户只需简单配置即可实现数据同步和实时分析。
|
2月前
|
分布式计算 关系型数据库 OLAP
阿里云AnalyticDB基于Flink CDC+Hudi实现多表全增量入湖实践
阿里云AnalyticDB基于Flink CDC+Hudi实现多表全增量入湖实践
81 0
|
2月前
|
消息中间件 Cloud Native Kafka
活动报名|AutoMQ x 阿里云云原生创新论坛(2024.03.09)见证“新一代云原生 Kafka ”重磅发布!
新一年, AutoMQ 首场线下活动重磅来袭!2024年3月9日,由 AutoMQ 与阿里云联合举办的云原生创新论坛将于杭州与大家见面,双方联合重磅发布新一代云原生 Kafka ——AutoMQ On-Prem 版本 !现场将会分享如何通过云原生和存算分离架构实现 Kafka 产品的10倍成本优化,并保持秒级分区无损迁移。另外,活动现场还有来自得物的技术专家分享 AutoMQ 在生产场景中的应用实践,以及阿里云的资深专家为大家剖析多 AZ 块存储的原理。
126 0
活动报名|AutoMQ x 阿里云云原生创新论坛(2024.03.09)见证“新一代云原生 Kafka ”重磅发布!
|
2月前
|
Cloud Native 关系型数据库 分布式数据库
热烈祝贺阿里云PolarDB登顶2024最新一期中国数据库流行榜
【2月更文挑战第3天】热烈祝贺阿里云PolarDB登顶2024最新一期中国数据库流行榜
|
3月前
|
Cloud Native 关系型数据库 分布式数据库
2024最新一期中国数据库流行榜公布:阿里云PolarDB登顶
PolarDB登顶国产数据库流行榜,持续引领云原生数据库创新
2024最新一期中国数据库流行榜公布:阿里云PolarDB登顶

热门文章

最新文章

相关产品

  • 云原生数据仓库AnalyticDB MySQL版