在云栖大会上,阿里云AnalyticDB for PostgreSQL产品部负责人姚奕玮介绍了AnalyticDB for PostgreSQL 的发力点和核心技术:极具性价比的流批一体融合引擎;支持实时写入和二级索引的存算分离Serverless架构;融合LLM、提供仓内智能的一站式AIGC服务;与PolarDB无缝集成的一站式HTAP服务;以及例如租户隔离、数据脱敏、异地容灾和一致性位点备份恢复等企业级能力。
关于AI能力加持的智能数仓,阿里云数据库事业部OLAP/工具产品经理薛菲进行了详细介绍。她表示,对于企业级大模型项目冷启动、规模化复制和AI普惠三个阶段,AnalyticDB for PostgreSQL分别提供了开箱即用的企业级知识库服务、GPU和向量数仓多租户管理及弹性扩展能力、内置的一站式AIGC开发服务,帮助企业实现大模型应用的快速扩大和可持续化的发展。
由厦门国际银行总行科技运维部数据管理二处经理王淇霖和三七互娱37手游AI算法负责人彭佳铭分别介绍了AnalyticDB for PostgreSQL在企业级数仓能力及智能化上的应用实践。
1. 极具性价比
产品性能大幅提升,在不增加额外成本的情况下给用户带来更多增值的企业级能力:
1)性能大幅提升
- 全新自研存储引擎:新增全新的自研行列混存存储引擎,可以通过一套存储轻松满足用户既有TP,又有AP的混合负载业务场景。
- 全新自研计算引擎:新增自研计算引擎,具备向量化计算和更优异的分区表计算能力,有5倍以上性能提升。
下图为AnalyticDB for PostgreSQL 7.0版实例和Greenplum原生引擎的性能测试结果。通过测试结果可以看到,自研计算引擎对比开源Greenplum计算引擎带来了显著的性能提升,总执行时间仅原生计算引擎的五分之一左右。
2)企业级能力增值
支持存储过程语法:兼容传统数仓业务场景,无需对业务侧存储过程改造为Function方式做业务逻辑改造。
冷热数据分层存储:支持冷/热数据分层存储,可实现历史数据的归档和存储压缩,降低用户冷数据存储成本。
增强场景化分析能力:提供了更全面的全文检索能力,可以更有效地支撑日志分析等海量文本数据分析场景业务。
SQL ANSI-2011标准语法:支持所有SQL 2011 标准的窗口函数,更好的承接传统数仓适配迁移,助力企业综合实现多维度分析。
外部数据源管理:支持通过外表直接访问Hadoop,阿里云E-MapReduce,MySQL,PostgreSQL等外表数据源,实现联邦计算。
跨实例/数据库数据互访:可视化配置后可支持实现跨ADB-PG实例、跨ADB-PG数据库数据互访实现协作。
3)安全能力增强
行/列级别权限管控:支持列级权限管控和行级别权限管控,做到最细权限粒度控制和最小化敏感数据访问。
动态数据脱敏:支持对敏感字段设置脱敏规则,实现敏感信息过滤和保护。
支持国密算法:支持SM4对称加密算法。
2.混合任务负载
随着业务的发展,同一个实例中同时会承载多类型业务实现混合负载,比如同时存在高并发实时数据写入,复杂数据加工,和Ad-hoc查询。传统数据库引擎通过实例进行隔离的方式在使用上不够灵活,对运维部门造成很大的压力。
在云栖大会上,厦门国际银行总行科技运维部数据管理二处经理王淇霖在升舱实践以及对新一代数仓架构展望演讲中提到,在原有平台上,运维人员在不同时段,需要根据业务负载情况手动调整资源分配策略,并且需要重启引擎,带来许多不便。通过AnalyticDB for PostgreSQL可以实现细粒度的资源隔离,对CPU、内存等按照业务优先级设置资源隔离策略,支持动态配置,配置即生效不需要重启引擎,大大减轻了运维人员的压力。
3. 流批一体
1)架构领先,开发运维简化
相比于传统基于流式计算引擎开发实时任务+离线任务两套代码的Lambda架构,基于AnalyticDB for PostgreSQL构建一站式实时数仓方案,有5大优势:
- 成本:仅一份数据存储,仅一套系统部署,仅一次写入开销,整体资源成本最优。
- 性能:没有复杂的链路流转,资源开销低,并且数据延迟低。
- 开发:一套SQL开发即可,无需多系统适配联调等。
- 运维:只需要维护一套系统。
- 维护:数据异常排查便利,数据订正容易。
2)实时数据集成
- 可以利用Segment分布式能力,整体提升写入性能。
- 可直接消费Kafka数据。
- 对接Flink写入性能提升。
- 通过DTS接入RDS/PolarDB Binlog支持TP到AP数据库实时同步。
3)事务支持
为了保障高并发实时写入数据一致性,同时也满足OLAP查询的高过滤性,AnalyticDB for PostgreSQL全自研行/列混存存储可提供完整的事务支持以及对OLAP查询的性能支持。
4)增量实时物化视图
仅需要开发一份SQL即可同时支持流式和批式数据处理。在实时物化视图首次创建时,是基于批处理的方式执行SQL,完成全量结果集的计算。之后在实时写入的过程中会自动增量地流式维护SQL的结果集,从而实现流式的实时处理。
此外除了采用全增量的流式模式之外,实时物化视图还可以支持流批一体的方式,即部分数据进行实时更新,其余部分数据的变化只需要定时更新的场景。比如可以设置参与流式JOIN的部分表不参与实时增量更新,然后在合适的时候,通过Refresh的批方式,批量刷新定时更新的结果集。详细参考:ADB-PG构建一站式实时数仓(代码级)实践
4. 智能数仓
1)一站式 AIGC 服务
AnalyticDB for PostgreSQL与通义大模型家族深度集成,融合大模型,在云原生数据仓库内可以支持文档预处理、内置模型服务、AI分析一站式AIGC服务,帮助企业全面升级现有数据架构具备AI智能化能力。
2)应用解决方案
PAI-EAS x ADB-PG向量引擎:AnalyticDB for PostgreSQL与大模型在线服务PAI-EAS联合提供一键部署GPU+大模型+向量检索引擎服务,并且在15分钟内即可可视化构建企业专属知识库及ChatBot,一键部署和开启
- 大模型兼容,支持通义千问7b,ChatGLM2-6b, Llama2-7b和Llama2-13b等主流大模型。
- 多规格选择,CPU/内存、GPU、ADB向量引擎计算和存储资源多样化规格选择,支持一键部署。
- 资源弹性管理,支持GPU资源弹性扩缩容和定时扩缩容能力,帮助企业实现成本优。
阿里云百炼 x ADB-PG向量引擎:通义系列之阿里云百炼(bailian.aliyun.com)是一站式大模型生产平台,基于通义基础大模型,提供企业专属大模型开发和应用的整套工具链。在百炼中可直接开通和使用AnalyticDB for PostgreSQL向量检索引擎,实现企业垂直领域知识存储和检索。
文本语义检索系统:构建文本语义检索系统最佳实践
文搜图:构建以文搜图最佳实践
图搜图:构建以图搜图最佳实践
企业专属知识库:构建企业专属知识库最佳实践
3)客户落地实践
2023年各行业对于大模型应用跃跃欲试,目前已经有不少企业通过大模型+向量数据库在实际业务场景中已经落地了AIGC应用,并且从探索阶段走向规模化复制。
三七互娱
在云栖大会上,三七互娱37手游AI算法负责人彭佳铭向现场观众介绍了AnalyticDB for PostgreSQL AIGC解决方案在智能游戏客户上的应用实践。 迄今为止,37手游累计运营逾2000款手机游戏。游戏客户体验回答僵化、问题理解性低以及运营成本高一直是37手游的痛点和跳转。他提到,37手游通过大模型和AnalyticDB for PostgreSQL向量引擎实现了全新的AI智能客服体验升级,回答准确率总体提升了20%,对于用户的意图识别和共情能力上有显著的增强,同时服务效能也提升了15%,该框架可以规模化复制到其他手游中。
慧博科技
面向众多电商企业在使用第三方服务商产品使用和服务体验过程中所遇的痛点,如系统平台增多,平台数据割裂,运营分析需频繁切换查看,慧博科技专门面向零售电商的客户企业推出了更高效便捷的智能服务助手——「H-AI智能助手」。H-AI智能助手可以轻松地解决商家产品使用和服务中的疑惑,无需专门的培训师或繁琐的FAQ列表整理,同时为商家提供了一站式的数据报表,帮助商家更好地了解店铺业绩,并提供详尽的建议解决方案。
随着AIGC时代的开启,对于零售行业来说是新的机遇。作为零售行业国内知名的会员资产与运营服务商,慧博科技寻求以AI核心技术的下一代智能服务体验,为了帮助商家提高内外部协同效率和决策效益,慧博科技依托AIGC能力对全产品矩阵的体验进行升级,出于极致性能及快速迭代的诉求,最终选择了阿里云数据库团队提供的一站式AIGC集成解决方案。
5. 了解更多资讯
👉 关于AnalyticDB PostgreSQL版,点击了解更多内容
👉 一键启动AIGC应用