5倍性能提升,阿里云AnalyticDB PostgreSQL版新一代实时智能引擎重磅发布

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 2023 云栖大会上,AnalyticDB for PostgreSQL新一代实时智能引擎重磅发布,全自研计算和行列混存引擎较比开源Greenplum有5倍以上性能提升。AnalyticDB for PostgreSQL与通义大模型家族深度集成,推出一站式AIGC解决方案。阿里云新发布的行业模型及“百炼”平台,采用AnalyticDB for PostgreSQL作为内置向量检索引擎,性能较开源增强了2~5倍。大会上来自厦门国际银行、三七互娱等知名企业代表和瑶池数据库团队产品及技术资深专家们结合真实场景实践,深入分享了最新的技术进展和解析。

在云栖大会上,阿里云AnalyticDB for PostgreSQL产品部负责人姚奕玮介绍了AnalyticDB for PostgreSQL 的发力点和核心技术:极具性价比的流批一体融合引擎;支持实时写入和二级索引的存算分离Serverless架构;融合LLM、提供仓内智能的一站式AIGC服务;与PolarDB无缝集成的一站式HTAP服务;以及例如租户隔离、数据脱敏、异地容灾和一致性位点备份恢复等企业级能力。


关于AI能力加持的智能数仓,阿里云数据库事业部OLAP/工具产品经理薛菲进行了详细介绍。她表示,对于企业级大模型项目冷启动、规模化复制和AI普惠三个阶段,AnalyticDB for PostgreSQL分别提供了开箱即用的企业级知识库服务、GPU和向量数仓多租户管理及弹性扩展能力、内置的一站式AIGC开发服务,帮助企业实现大模型应用的快速扩大和可持续化的发展。


厦门国际银行总行科技运维部数据管理二处经理王淇霖三七互娱37手游AI算法负责人彭佳铭分别介绍了AnalyticDB for PostgreSQL在企业级数仓能力及智能化上的应用实践。

1. 极具性价比

产品性能大幅提升,在不增加额外成本的情况下给用户带来更多增值的企业级能力:

1)性能大幅提升

  • 全新自研存储引擎:新增全新的自研行列混存存储引擎,可以通过一套存储轻松满足用户既有TP,又有AP的混合负载业务场景。
  • 全新自研计算引擎:新增自研计算引擎,具备向量化计算和更优异的分区表计算能力,有5倍以上性能提升。


下图为AnalyticDB for PostgreSQL 7.0版实例和Greenplum原生引擎的性能测试结果。通过测试结果可以看到,自研计算引擎对比开源Greenplum计算引擎带来了显著的性能提升,总执行时间仅原生计算引擎的五分之一左右。

2)企业级能力增值

支持存储过程语法:兼容传统数仓业务场景,无需对业务侧存储过程改造为Function方式做业务逻辑改造。

冷热数据分层存储:支持冷/热数据分层存储,可实现历史数据的归档和存储压缩,降低用户冷数据存储成本。

增强场景化分析能力:提供了更全面的全文检索能力,可以更有效地支撑日志分析等海量文本数据分析场景业务。

SQL ANSI-2011标准语法支持所有SQL 2011 标准的窗口函数,更好的承接传统数仓适配迁移,助力企业综合实现多维度分析。

外部数据源管理:支持通过外表直接访问Hadoop,阿里云E-MapReduce,MySQL,PostgreSQL等外表数据源,实现联邦计算。

跨实例/数据库数据互访:可视化配置后可支持实现跨ADB-PG实例、跨ADB-PG数据库数据互访实现协作。

3)安全能力增强

行/列级别权限管控:支持列级权限管控和行级别权限管控,做到最细权限粒度控制和最小化敏感数据访问。

动态数据脱敏:支持对敏感字段设置脱敏规则,实现敏感信息过滤和保护。

支持国密算法:支持SM4对称加密算法。

2.混合任务负载

随着业务的发展,同一个实例中同时会承载多类型业务实现混合负载,比如同时存在高并发实时数据写入,复杂数据加工,和Ad-hoc查询。传统数据库引擎通过实例进行隔离的方式在使用上不够灵活,对运维部门造成很大的压力。


在云栖大会上,厦门国际银行总行科技运维部数据管理二处经理王淇霖升舱实践以及对新一代数仓架构展望演讲中提到,在原有平台上,运维人员在不同时段,需要根据业务负载情况手动调整资源分配策略,并且需要重启引擎,带来许多不便。通过AnalyticDB for PostgreSQL可以实现细粒度的资源隔离,对CPU、内存等按照业务优先级设置资源隔离策略,支持动态配置,配置即生效不需要重启引擎,大大减轻了运维人员的压力。

3. 流批一体

1)架构领先,开发运维简化

相比于传统基于流式计算引擎开发实时任务+离线任务两套代码的Lambda架构,基于AnalyticDB for PostgreSQL构建一站式实时数仓方案,有5大优势:


  • 成本仅一份数据存储,仅一套系统部署,仅一次写入开销,整体资源成本最优。
  • 性能没有复杂的链路流转,资源开销低,并且数据延迟低。
  • 开发一套SQL开发即可,无需多系统适配联调等。
  • 运维只需要维护一套系统。
  • 维护数据异常排查便利,数据订正容易。

2)实时数据集成

  • 可以利用Segment分布式能力,整体提升写入性能。
  • 可直接消费Kafka数据。
  • 对接Flink写入性能提升。
  • 通过DTS接入RDS/PolarDB Binlog支持TP到AP数据库实时同步。

3)事务支持

为了保障高并发实时写入数据一致性,同时也满足OLAP查询的高过滤性,AnalyticDB for PostgreSQL全自研行/列混存存储可提供完整的事务支持以及对OLAP查询的性能支持。

4)增量实时物化视图

仅需要开发一份SQL即可同时支持流式和批式数据处理。在实时物化视图首次创建时,是基于批处理的方式执行SQL,完成全量结果集的计算。之后在实时写入的过程中会自动增量地流式维护SQL的结果集,从而实现流式的实时处理。

此外除了采用全增量的流式模式之外,实时物化视图还可以支持流批一体的方式,即部分数据进行实时更新,其余部分数据的变化只需要定时更新的场景。比如可以设置参与流式JOIN的部分表不参与实时增量更新,然后在合适的时候,通过Refresh的批方式,批量刷新定时更新的结果集。详细参考:ADB-PG构建一站式实时数仓(代码级)实践

4. 智能数仓

1)一站式 AIGC 服务

AnalyticDB for PostgreSQL与通义大模型家族深度集成,融合大模型,在云原生数据仓库内可以支持文档预处理、内置模型服务、AI分析一站式AIGC服务,帮助企业全面升级现有数据架构具备AI智能化能力。

2)应用解决方案

PAI-EAS x ADB-PG向量引擎AnalyticDB for PostgreSQL与大模型在线服务PAI-EAS联合提供一键部署GPU+大模型+向量检索引擎服务,并且在15分钟内即可可视化构建企业专属知识库及ChatBot,一键部署和开启


  1. 大模型兼容支持通义千问7b,ChatGLM2-6b, Llama2-7b和Llama2-13b等主流大模型。
  2. 多规格选择CPU/内存、GPU、ADB向量引擎计算和存储资源多样化规格选择,支持一键部署。
  3. 资源弹性管理,支持GPU资源弹性扩缩容和定时扩缩容能力,帮助企业实现成本优。


阿里云百炼 x ADB-PG向量引擎通义系列之阿里云百炼(bailian.aliyun.com是一站式大模型生产平台,基于通义基础大模型,提供企业专属大模型开发和应用的整套工具链。在百炼中可直接开通和使用AnalyticDB for PostgreSQL向量检索引擎,实现企业垂直领域知识存储和检索。

配图.png

文本语义检索系统构建文本语义检索系统最佳实践

文搜图构建以文搜图最佳实践

图搜图构建以图搜图最佳实践

企业专属知识库构建企业专属知识库最佳实践

3)客户落地实践

2023年各行业对于大模型应用跃跃欲试,目前已经有不少企业通过大模型+向量数据库在实际业务场景中已经落地了AIGC应用,并且从探索阶段走向规模化复制。


三七互娱

在云栖大会上,三七互娱37手游AI算法负责人彭佳铭向现场观众介绍了AnalyticDB for PostgreSQL AIGC解决方案在智能游戏客户上的应用实践。 迄今为止,37手游累计运营逾2000款手机游戏。游戏客户体验回答僵化、问题理解性低以及运营成本高一直是37手游的痛点和跳转。他提到,37手游通过大模型和AnalyticDB for PostgreSQL向量引擎实现了全新的AI智能客服体验升级,回答准确率总体提升了20%,对于用户的意图识别和共情能力上有显著的增强,同时服务效能也提升了15%,该框架可以规模化复制到其他手游中。


慧博科技

面向众多电商企业在使用第三方服务商产品使用和服务体验过程中所遇的痛点,如系统平台增多,平台数据割裂,运营分析需频繁切换查看,慧博科技专门面向零售电商的客户企业推出了更高效便捷的智能服务助手——「H-AI智能助手」。H-AI智能助手可以轻松地解决商家产品使用和服务中的疑惑,无需专门的培训师或繁琐的FAQ列表整理,同时为商家提供了一站式的数据报表,帮助商家更好地了解店铺业绩,并提供详尽的建议解决方案。


随着AIGC时代的开启,对于零售行业来说是新的机遇。作为零售行业国内知名的会员资产与运营服务商,慧博科技寻求以AI核心技术的下一代智能服务体验,为了帮助商家提高内外部协同效率和决策效益,慧博科技依托AIGC能力对全产品矩阵的体验进行升级,出于极致性能及快速迭代的诉求,最终选择了阿里云数据库团队提供的一站式AIGC集成解决方案。


5. 了解更多资讯

👉 关于AnalyticDB PostgreSQL版点击了解更多内容

👉 一键启动AIGC应用

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
3月前
|
机器学习/深度学习 敏捷开发 存储
数据飞轮:激活数据中台的数据驱动引擎
数据飞轮:激活数据中台的数据驱动引擎
|
2天前
|
人工智能 数据库 自然语言处理
拥抱Data+AI|DMS+AnalyticDB助力钉钉AI助理,轻松玩转智能问数
「拥抱Data+AI」系列文章由阿里云瑶池数据库推出,基于真实客户案例,展示Data+AI行业解决方案。本文通过钉钉AI助理的实际应用,探讨如何利用阿里云Data+AI解决方案实现智能问数服务,使每个人都能拥有专属数据分析师,显著提升数据查询和分析效率。点击阅读详情。
拥抱Data+AI|DMS+AnalyticDB助力钉钉AI助理,轻松玩转智能问数
|
4月前
|
缓存 关系型数据库 数据库
PostgreSQL性能
【8月更文挑战第26天】PostgreSQL性能
73 1
|
4月前
|
存储 运维 Kubernetes
实时数仓Hologres提升问题之调度性能如何解决
Hologres可以支持的最大节点规模是多少?
48 1
|
2天前
|
弹性计算 自然语言处理 数据库
通过阿里云Milvus和LangChain快速构建LLM问答系统
本文介绍如何通过整合阿里云Milvus、阿里云DashScope Embedding模型与阿里云PAI(EAS)模型服务,构建一个由LLM(大型语言模型)驱动的问题解答应用,并着重演示了如何搭建基于这些技术的RAG对话系统。
22 3
|
1月前
|
人工智能 数据挖掘 数据库
拥抱Data+AI|破解电商7大挑战,DMS+AnalyticDB助力企业智能决策
本文为数据库「拥抱Data+AI」系列连载第1篇,该系列是阿里云瑶池数据库面向各行业Data+AI应用场景,基于真实客户案例&最佳实践,展示Data+AI行业解决方案的连载文章。本篇内容针对电商行业痛点,将深入探讨如何利用数据与AI技术以及数据分析方法论,为电商行业注入新的活力与效能。
拥抱Data+AI|破解电商7大挑战,DMS+AnalyticDB助力企业智能决策
|
4月前
|
存储 监控 安全
阿里云数据库(ADB)的多租户秘籍:资源隔离的魔法如何施展?
【8月更文挑战第27天】多租户系统在云计算与大数据领域日益重要,它让不同用户或组织能在共享基础设施上独立运行应用和服务,同时确保资源隔离与安全。ADB(如阿里云数据库)通过资源组及标签实现高效多租户隔离。资源组作为一种软隔离策略,允许为不同租户分配独立的计算和存储资源,并设置资源上限;资源标签则支持更细粒度的硬隔离,可为每个数据库表或查询指定特定标签,确保资源有效分配。此外,ADB还提供了资源监控与告警功能,帮助管理员实时监控并调整资源分配,避免性能瓶颈。这种灵活且高效的资源隔离方案为多租户环境下的数据处理提供了强大支持。
191 0
|
21天前
|
人工智能 自然语言处理 关系型数据库
客户说|宝宝树选用AnalyticDB RAG引擎,共创智能母婴生活新范式
宝宝树与阿里云深度合作,利用大数据和AI技术,推出了一系列智能化产品,如AI解读B超单、AI起名等,覆盖备孕、孕期、产后等场景,提升了用户体验,推动了商业化进程。通过技术架构的优化,宝宝树在内容生产和搜索精度上取得了显著成效,未来将继续深化“AI+母婴”战略,为用户提供更全面、个性化的服务。
|
1月前
|
人工智能 数据库 决策智能
拥抱Data+AI|如何破解电商7大挑战?DMS+AnalyticDB助力企业智能决策
本文为阿里云瑶池数据库「拥抱Data+AI」系列连载第1篇,聚焦电商行业痛点,探讨如何利用数据与AI技术及分析方法论,为电商注入新活力与效能。文中详细介绍了阿里云Data+AI解决方案,涵盖Zero-ETL、实时在线分析、混合负载资源隔离、长周期数据归档等关键技术,帮助企业应对数据在线重刷、实时分析、成本优化等挑战,实现智能化转型。
拥抱Data+AI|如何破解电商7大挑战?DMS+AnalyticDB助力企业智能决策
|
1月前
|
监控 数据挖掘 OLAP
深入解析:AnalyticDB中的高级查询优化与性能调优
【10月更文挑战第22天】 AnalyticDB(ADB)是阿里云推出的一款实时OLAP数据库服务,它能够处理大规模的数据分析任务,提供亚秒级的查询响应时间。对于已经熟悉AnalyticDB基本操作的用户来说,如何通过查询优化和性能调优来提高数据处理效率,是进一步提升系统性能的关键。本文将从个人的角度出发,结合实际经验,深入探讨AnalyticDB中的高级查询优化与性能调优技巧。
99 4

热门文章

最新文章

相关产品

  • 云原生数据仓库AnalyticDB MySQL版
  • 云原生数据仓库 AnalyticDB PostgreSQL版