5倍性能提升,阿里云AnalyticDB PostgreSQL版新一代实时智能引擎重磅发布

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 2023 云栖大会上,AnalyticDB for PostgreSQL新一代实时智能引擎重磅发布,全自研计算和行列混存引擎较比开源Greenplum有5倍以上性能提升。AnalyticDB for PostgreSQL与通义大模型家族深度集成,推出一站式AIGC解决方案。阿里云新发布的行业模型及“百炼”平台,采用AnalyticDB for PostgreSQL作为内置向量检索引擎,性能较开源增强了2~5倍。大会上来自厦门国际银行、三七互娱等知名企业代表和瑶池数据库团队产品及技术资深专家们结合真实场景实践,深入分享了最新的技术进展和解析。

在云栖大会上,阿里云AnalyticDB for PostgreSQL产品部负责人姚奕玮介绍了AnalyticDB for PostgreSQL 的发力点和核心技术:极具性价比的流批一体融合引擎;支持实时写入和二级索引的存算分离Serverless架构;融合LLM、提供仓内智能的一站式AIGC服务;与PolarDB无缝集成的一站式HTAP服务;以及例如租户隔离、数据脱敏、异地容灾和一致性位点备份恢复等企业级能力。


关于AI能力加持的智能数仓,阿里云数据库事业部OLAP/工具产品经理薛菲进行了详细介绍。她表示,对于企业级大模型项目冷启动、规模化复制和AI普惠三个阶段,AnalyticDB for PostgreSQL分别提供了开箱即用的企业级知识库服务、GPU和向量数仓多租户管理及弹性扩展能力、内置的一站式AIGC开发服务,帮助企业实现大模型应用的快速扩大和可持续化的发展。


厦门国际银行总行科技运维部数据管理二处经理王淇霖三七互娱37手游AI算法负责人彭佳铭分别介绍了AnalyticDB for PostgreSQL在企业级数仓能力及智能化上的应用实践。

1. 极具性价比

产品性能大幅提升,在不增加额外成本的情况下给用户带来更多增值的企业级能力:

1)性能大幅提升

  • 全新自研存储引擎:新增全新的自研行列混存存储引擎,可以通过一套存储轻松满足用户既有TP,又有AP的混合负载业务场景。
  • 全新自研计算引擎:新增自研计算引擎,具备向量化计算和更优异的分区表计算能力,有5倍以上性能提升。


下图为AnalyticDB for PostgreSQL 7.0版实例和Greenplum原生引擎的性能测试结果。通过测试结果可以看到,自研计算引擎对比开源Greenplum计算引擎带来了显著的性能提升,总执行时间仅原生计算引擎的五分之一左右。

2)企业级能力增值

支持存储过程语法:兼容传统数仓业务场景,无需对业务侧存储过程改造为Function方式做业务逻辑改造。

冷热数据分层存储:支持冷/热数据分层存储,可实现历史数据的归档和存储压缩,降低用户冷数据存储成本。

增强场景化分析能力:提供了更全面的全文检索能力,可以更有效地支撑日志分析等海量文本数据分析场景业务。

SQL ANSI-2011标准语法支持所有SQL 2011 标准的窗口函数,更好的承接传统数仓适配迁移,助力企业综合实现多维度分析。

外部数据源管理:支持通过外表直接访问Hadoop,阿里云E-MapReduce,MySQL,PostgreSQL等外表数据源,实现联邦计算。

跨实例/数据库数据互访:可视化配置后可支持实现跨ADB-PG实例、跨ADB-PG数据库数据互访实现协作。

3)安全能力增强

行/列级别权限管控:支持列级权限管控和行级别权限管控,做到最细权限粒度控制和最小化敏感数据访问。

动态数据脱敏:支持对敏感字段设置脱敏规则,实现敏感信息过滤和保护。

支持国密算法:支持SM4对称加密算法。

2.混合任务负载

随着业务的发展,同一个实例中同时会承载多类型业务实现混合负载,比如同时存在高并发实时数据写入,复杂数据加工,和Ad-hoc查询。传统数据库引擎通过实例进行隔离的方式在使用上不够灵活,对运维部门造成很大的压力。


在云栖大会上,厦门国际银行总行科技运维部数据管理二处经理王淇霖升舱实践以及对新一代数仓架构展望演讲中提到,在原有平台上,运维人员在不同时段,需要根据业务负载情况手动调整资源分配策略,并且需要重启引擎,带来许多不便。通过AnalyticDB for PostgreSQL可以实现细粒度的资源隔离,对CPU、内存等按照业务优先级设置资源隔离策略,支持动态配置,配置即生效不需要重启引擎,大大减轻了运维人员的压力。

3. 流批一体

1)架构领先,开发运维简化

相比于传统基于流式计算引擎开发实时任务+离线任务两套代码的Lambda架构,基于AnalyticDB for PostgreSQL构建一站式实时数仓方案,有5大优势:


  • 成本仅一份数据存储,仅一套系统部署,仅一次写入开销,整体资源成本最优。
  • 性能没有复杂的链路流转,资源开销低,并且数据延迟低。
  • 开发一套SQL开发即可,无需多系统适配联调等。
  • 运维只需要维护一套系统。
  • 维护数据异常排查便利,数据订正容易。

2)实时数据集成

  • 可以利用Segment分布式能力,整体提升写入性能。
  • 可直接消费Kafka数据。
  • 对接Flink写入性能提升。
  • 通过DTS接入RDS/PolarDB Binlog支持TP到AP数据库实时同步。

3)事务支持

为了保障高并发实时写入数据一致性,同时也满足OLAP查询的高过滤性,AnalyticDB for PostgreSQL全自研行/列混存存储可提供完整的事务支持以及对OLAP查询的性能支持。

4)增量实时物化视图

仅需要开发一份SQL即可同时支持流式和批式数据处理。在实时物化视图首次创建时,是基于批处理的方式执行SQL,完成全量结果集的计算。之后在实时写入的过程中会自动增量地流式维护SQL的结果集,从而实现流式的实时处理。

此外除了采用全增量的流式模式之外,实时物化视图还可以支持流批一体的方式,即部分数据进行实时更新,其余部分数据的变化只需要定时更新的场景。比如可以设置参与流式JOIN的部分表不参与实时增量更新,然后在合适的时候,通过Refresh的批方式,批量刷新定时更新的结果集。详细参考:ADB-PG构建一站式实时数仓(代码级)实践

4. 智能数仓

1)一站式 AIGC 服务

AnalyticDB for PostgreSQL与通义大模型家族深度集成,融合大模型,在云原生数据仓库内可以支持文档预处理、内置模型服务、AI分析一站式AIGC服务,帮助企业全面升级现有数据架构具备AI智能化能力。

2)应用解决方案

PAI-EAS x ADB-PG向量引擎AnalyticDB for PostgreSQL与大模型在线服务PAI-EAS联合提供一键部署GPU+大模型+向量检索引擎服务,并且在15分钟内即可可视化构建企业专属知识库及ChatBot,一键部署和开启


  1. 大模型兼容支持通义千问7b,ChatGLM2-6b, Llama2-7b和Llama2-13b等主流大模型。
  2. 多规格选择CPU/内存、GPU、ADB向量引擎计算和存储资源多样化规格选择,支持一键部署。
  3. 资源弹性管理,支持GPU资源弹性扩缩容和定时扩缩容能力,帮助企业实现成本优。


阿里云百炼 x ADB-PG向量引擎通义系列之阿里云百炼(bailian.aliyun.com是一站式大模型生产平台,基于通义基础大模型,提供企业专属大模型开发和应用的整套工具链。在百炼中可直接开通和使用AnalyticDB for PostgreSQL向量检索引擎,实现企业垂直领域知识存储和检索。

配图.png

文本语义检索系统构建文本语义检索系统最佳实践

文搜图构建以文搜图最佳实践

图搜图构建以图搜图最佳实践

企业专属知识库构建企业专属知识库最佳实践

3)客户落地实践

2023年各行业对于大模型应用跃跃欲试,目前已经有不少企业通过大模型+向量数据库在实际业务场景中已经落地了AIGC应用,并且从探索阶段走向规模化复制。


三七互娱

在云栖大会上,三七互娱37手游AI算法负责人彭佳铭向现场观众介绍了AnalyticDB for PostgreSQL AIGC解决方案在智能游戏客户上的应用实践。 迄今为止,37手游累计运营逾2000款手机游戏。游戏客户体验回答僵化、问题理解性低以及运营成本高一直是37手游的痛点和跳转。他提到,37手游通过大模型和AnalyticDB for PostgreSQL向量引擎实现了全新的AI智能客服体验升级,回答准确率总体提升了20%,对于用户的意图识别和共情能力上有显著的增强,同时服务效能也提升了15%,该框架可以规模化复制到其他手游中。


慧博科技

面向众多电商企业在使用第三方服务商产品使用和服务体验过程中所遇的痛点,如系统平台增多,平台数据割裂,运营分析需频繁切换查看,慧博科技专门面向零售电商的客户企业推出了更高效便捷的智能服务助手——「H-AI智能助手」。H-AI智能助手可以轻松地解决商家产品使用和服务中的疑惑,无需专门的培训师或繁琐的FAQ列表整理,同时为商家提供了一站式的数据报表,帮助商家更好地了解店铺业绩,并提供详尽的建议解决方案。


随着AIGC时代的开启,对于零售行业来说是新的机遇。作为零售行业国内知名的会员资产与运营服务商,慧博科技寻求以AI核心技术的下一代智能服务体验,为了帮助商家提高内外部协同效率和决策效益,慧博科技依托AIGC能力对全产品矩阵的体验进行升级,出于极致性能及快速迭代的诉求,最终选择了阿里云数据库团队提供的一站式AIGC集成解决方案。


5. 了解更多资讯

👉 关于AnalyticDB PostgreSQL版点击了解更多内容

👉 一键启动AIGC应用

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
7天前
|
存储 人工智能 分布式计算
阿里云智能大数据演进
本文根据7月24日飞天发布时刻产品发布会、7月5日DataFunCon2024·北京站:大数据·大模型.双核时代实录整理而成
|
7天前
|
分布式计算 安全 OLAP
7倍性能提升|阿里云AnalyticDB Spark向量化能力解析
AnalyticDB Spark如何通过向量化引擎提升性能?
|
5天前
|
存储 安全 API
"解锁企业级黑科技!用阿里云视觉智能打造钉钉级人脸打卡系统,安全高效,让考勤管理秒变智能范儿!"
【8月更文挑战第14天】随着数字化办公的发展,人脸打卡成为企业考勤的新标准。利用阿里云视觉智能开放平台构建类似钉钉的人脸打卡系统,其关键在于:高精度人脸识别API支持复杂场景下的快速检测与比对;活体检测技术防止非生物特征欺骗,确保安全性;云端存储与计算能力满足大数据处理需求;丰富的SDK与API简化集成过程,实现高效、安全的考勤管理。
17 2
|
5天前
|
机器学习/深度学习 人工智能 运维
"颠覆传统运维!揭秘阿里云AIGC如何化身运维界超级大脑,让故障预警、智能告警不再是梦,运维大神之路从此开启!"
【8月更文挑战第14天】随着AI技术的发展,AIGC正革新依赖人工经验的传统运维行业。阿里云凭借其领先的云计算能力和AI服务生态,为运维智能化提供了坚实基础。通过分析历史数据和系统日志,AIGC能自动发现并预测故障,大幅提升运维效率。例如,结合阿里云SLS和PAI,可构建智能告警系统,实现异常检测和实时预警。随着AIGC技术的进步,运维领域将迎来全面智能化转型,开启运维新时代。
20 3
|
7天前
|
机器学习/深度学习 算法 搜索推荐
"震撼揭秘!阿里云AIGC智能图像识别:黑科技如何颠覆你的视界,让图像识别秒变超能力,生活工作全面革新!"
【8月更文挑战第12天】在数字化浪潮中,图像数据激增,高效准确处理成为关键。阿里云智能图像识别服务(AIGC)应运而生,依托深度学习与计算机视觉技术,实现图像特征精确提取与理解。通过大规模数据训练及优化算法,AIGC在图像分类、目标检测等方面表现出色。其应用场景广泛,从电商的商品识别到内容安全审核,再到智能交通和医疗影像分析,均展现出巨大潜力。示例代码展示了AIGC图像生成的基本流程,彰显其技术实力与未来前景。
24 1
|
13天前
|
人工智能 分布式计算 数据管理
阿里云位居 IDC MarketScape 中国实时湖仓评估领导者类别
国际数据公司(IDC)首度发布《IDC MarketScape: 中国实时湖仓市场 2024 年厂商评估》,阿里云荣登领导者地位。报告评估了13家厂商,涵盖互联网、云服务及大数据领域。阿里云凭借其在实时湖仓领域的创新能力,特别是Apache Paimon及与Flink的集成,实现了高效流批处理和AI增强功能,为企业提供了一体化的湖仓解决方案,支持多种数据管理和AI应用场景,展现出了强大的市场领导力和技术实力。
|
17天前
|
存储 运维 Cloud Native
"Flink+Paimon:阿里云大数据云原生运维数仓的创新实践,引领实时数据处理新纪元"
【8月更文挑战第2天】Flink+Paimon在阿里云大数据云原生运维数仓的实践
180 3
|
22天前
|
机器学习/深度学习 新零售 人工智能
袋鼠云:阿里云数加生态中的新星,A轮融资引领数据智能新篇章
总之,袋鼠云的A轮融资不仅是对其过去成绩的肯定更是对其未来发展的期许。我们有理由相信在未来的日子里袋鼠云将在大数据和云计算领域继续书写属于自己的辉煌篇章
|
20天前
|
数据采集 人工智能 自然语言处理
阿里云百炼平台深度体验:智能问答与模型训练的创新之旅
在人工智能的浪潮中,阿里云百炼平台以其强大的大模型开发能力,为企业和个人开发者提供了一站式的解决方案。本文将从知识检索应用搭建、模型训练调优以及流程管理功能三个角度,全面评测阿里云百炼平台的实际使用体验。
102 3
|
22天前
|
分布式计算 DataWorks 关系型数据库
阿里云数加-分析型数据库AnalyticDB数据导入的多样化策略
通过合理利用这些数据导入方法,用户可以充分发挥AnalyticDB的实时计算能力和高并发查询性能,为业务分析和决策提供强有力的数据支持。

相关产品

  • 云原生数据仓库AnalyticDB MySQL版
  • 云原生数据仓库 AnalyticDB PostgreSQL版