云栖大会|AI+Data,新一代智能数仓的实践与畅想

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,8核32GB 100GB 1个月
简介: 全面拥抱一站式智能化

2023云栖大会上,阿里云瑶池数据库宣布已全面实现Serverless化,并接入通义等大模型能力,大幅提升数据库一站式及智能化水平。其中,企业级智能数仓AnalyticDB与通义大模型家族深度集成,推出一站式全托管大模型解决方案。阿里云新发布的8大行业模型及“百炼”平台采用AnalyticDB作为内置向量检索引擎,性能较开源增强了2~5倍,加速AIGC应用落地。


来自PingPong、厦门国际银行、三七互娱、易点天下等知名企业代表和瑶池数据库团队产品及技术资深专家们结合真实场景实践,深入分享了AnalyticDB的最新技术进展和特性解析。此外,阿里云瑶池还宣布与ClickHouse、SelectDB发布战略合作产品公测,推进技术合作和生态协同,构建合作共赢的生态体系。


阿里云AnalyticDB MySQL产品部负责人 林亮


在云栖大会上,阿里云AnalyticDB MySQL产品部负责人林亮分享了AnalyticDB MySQL三大核心技术方向

1)云原生化:基于统一资源池,支持不同类型和规模的工作负载,按需升降,并结合新的存算分离架构,进一步解耦状态和异步计算;

2)一体化:支持日志、数据库等源头的高效无缝接入,通过统一的平台,提供跨源联邦分析,实现数据处理和分析一体化;

3)智能化:提供向量存储检索和大模型AI分析等功能,探索数据价值;智能诊断优化,基于机器学习监控实例状态,并优化潜在的性能瓶颈。


阿里云数据库事业部高级产品经理 戚亚东


阿里云数据库事业部高级产品经理戚亚东发表了题为《云原生数据仓库AnalyticDB MySQL版新特性介绍》的精彩演讲。在演讲中,他重点分享了最近发布的Multi-Cluster弹性模型、智能负载管理WLM、增量更新物化视图、全托管Spark等能力。其中,Multi-Cluster弹性模型相比Min-Max弹性模型,由于更好的隔离性,在相同资源下,查询并发度QPS可以提升25%以上,并且支持自动弹性。全托管Spark能力通过数据缓存、向量化执行等能力,相比开源社区同版本Spark,性能可以提升2.7倍以上,已经帮助多个客户实现30-50%的降本迁移。


阿里云AnalyticDB PostgreSQL产品部负责人 姚奕玮


阿里云AnalyticDB PostgreSQL产品部负责人姚奕玮在大会上介绍了在AIGC时代下,企业对于云原生数仓的需求,具体可以归纳为:性价比、与LLM融合、一站式。并且基于这些需求,介绍了AnalyticDB for PostgreSQL的发力点和核心技术:极具高性价比的流批一体融合引擎;支持实时写入和二级索引的存算分离Serverless架构;融合LLM、提供仓内智能的一站式AIGC服务;与PolarDB无缝集成的一站式HTAP服务;以及例如租户隔离、数据脱敏、异地容灾和一致性位点备份恢复等企业级能力。


阿里云数据库事业部OLAP/工具产品经理 薛菲


关于AI能力加持的企业级智能数仓AnalyticDB PosgreSQL阿里云数据库事业部OLAP/工具产品经理薛菲进行了详细介绍。她表示,对于企业级大模型项目冷启动、规模化复制和AI普惠三个阶段,AnalyticDB PosgreSQL分别提供了开箱即用的企业级知识库服务、GPU和向量数仓多租户管理及弹性扩展能力、内置的一站式AIGC开发服务,帮助企业实现大模型应用的快速扩大和可持续化的发展。


ClickHouse联合创始人,ClickHouse产品技术总裁 Yury Izrailevsky


ClickHouse作为全球流行的开源实时分析数据库,凭借其优异的性能得到了广大开发者和用户的青睐,在国内外有大量全球知名客户在使用ClickHouse。ClickHouse联合创始人、ClickHouse产品技术总裁Yury Izrailevsky发表了《云数据库ClickHouse企业版发布,产品和最佳实践介绍》演讲,他重申:“ClickHouse将继续保持在实时分析性能方面的领跑优势,当前对比其他分析产品在数据加载场景有37倍左右的性能优势,在查询方面具有20倍以上的性能优势 ,同时ClickHouse公司牵手阿里云战略合作发布阿里云ClickHouse企业版,并启动公测”。


ClickHouse企业版具有非开源的商业化SharedMergeTree引擎,基于存储计算分离的云原生架构,支持完全Serverless使用模式,可以帮助用户降低80%存储成本,50%的计算资源成本。


飞轮数据CEO,Apache Doris项目创始人 马如悦


“数据分析越实时越能为业务带来更大的价值收益。”飞轮数据CEO,Apache Doris 项目创始人马如悦分享了当前最流行的实时数仓之一Doris以及其蓬勃发展的开源社区。在会上,重磅发布了100%兼容Doris的商业化云原生实时数仓阿里云数据库SelectDB版,并正式启动公测。云数据库SelectDB版具备云原生存算分离,共享存储,单实例多集群的资源隔离能力,比用户自建Doris降低30%的资源成本。


PingPong智能数据架构师 张彦锋


金融独角兽PingPong智能数据架构师张彦锋分享了《PingPong x AnalyticDB:实时数仓演进之路》。在会上,他介绍了PingPong数据平台的演进路线:从最初的在RDS MySQL中做分析遇到在线业务和分析业务隔离问题,最终演进到一体化的AnalyticDB MySQL版,在一个产品中支撑所有数据处理和分析业务。他表示,通过使用AnalyticDB MySQL版提供的数据冷热分层能力,存储成本下降50%以上。


厦门国际银行总行科技运维部数据管理二处经理 王淇霖


厦门国际银行总行科技运维部数据管理二处经理王淇霖为现场和线上观众介绍了基于AnalyticDB PostgreSQL的升舱实践以及对新一代数仓架构的展望。他提到,通过AnalyticDB PostgreSQL,行内在线关联查询性能总体提升了2-3倍,同时实现了混合业务负载的资源隔离。


王淇霖表示,由于AnalyticDB PostgreSQL具备好的SQL兼容性、存储过程支持和细粒度的资源资源隔离,因此业务从大数据平台迁移到AnalyticDB PostgreSQL仅花费10天时间就完成,上线至今稳定运行无故障。为应对实时的业务需求,目前行已开始实现业务试点,希望未来能基于AnalyticDB PostgreSQL提供流批一体和AI原生能力,可以支撑实时和AI创新业务的快速落地。


三七互娱37手游AI算法负责人 彭佳铭


迄今为止,37手游累计运营逾2000款手机游戏。游戏客户体验回答僵化、问题理解性低以及运营成本高一直是37手游的痛点和跳转。三七互娱37手游AI算法负责人彭佳铭向现场观众介绍了AnalyticDB PostgreSQL在智能游戏客户上的应用实践。他提到,37手游通过大模型和AnalyticDB PostgreSQL向量引擎实现了全新的AI智能客服体验升级,回答准确率总体提升了20%,对于用户的意图识别和共情能力上有显著的增强,同时服务效能也提升了15%,该框架可以规模化复制到其他手游中。


易点天下高级技术总监 贺鑫

如何激活数据创新价值,以DataOps助力企业实现业务敏捷?易点天下高级技术总监贺鑫分享了公司广告营销平台的业务变迁过程以及DataOps平台的建设历程


平台搭建伊始依赖自建、开源、半托管的技术栈,技术栈多样化,缺失数据治理,数据获取效率低。通过构建统一入口、统一体验的DataOps平台,降低数据分析使用复杂度,技术选型从离线非实时的Hadoop、Spark升级到阿里云ClickHouse实时数仓。DataOps平台支持了更加实时的业务需求,提升了80%的业务收益,40%的数据计算成本。同时,在测试了阿里云ClickHouse企业版的Serverless能力后,对比社区兼容版可进一步降低20%-40%的计算资源用量,降低20%+的存储资源成本。


相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
2月前
|
机器学习/深度学习 人工智能 搜索推荐
AI实践应用
AI实践横跨网络安全、软件测试、深度学习、生物识别、日常生活、计算机网络及更多领域。例如,AI用于防御网络攻击、自动化测试、家务机器人、人脸识别、文本编辑、搜索引擎优化、聊天机器人、智能医疗、工业4.0和金融风控。随着技术进步,AI持续推动各行业的数字化与智能化变革。
52 2
|
17天前
|
人工智能 自然语言处理 数据挖掘
利用AI集成工具提升工作效率的实践经验
随着人工智能技术的蓬勃发展,以及当今数字化快速发展的时代,人工智能的运用已经渗透到各个行业和工作领域中,大语言模型在自然语言处理领域的应用也愈发广泛,而且市面上涌现出一批AI集成工具,比如Langchain、Dify、llamaIndex、fastgpt、百炼等,它们为开发者提供了强大的支持和便利,极大地提升了AI模型的构建和管理效率。作为一名热衷于利用新技术提高工作效率的开发者,我也积极尝试将这些工具融入到我的日常工作中,以期望提升工作效率和质量,下面我将分享我是如何使用AI集成工具来提升工作效率的,以及实践经验和心得。
52 1
利用AI集成工具提升工作效率的实践经验
|
21天前
|
人工智能 Cloud Native Java
从云原生视角看 AI 原生应用架构的实践
本文核心观点: • 基于大模型的 AI 原生应用将越来越多,容器和微服务为代表的云原生技术将加速渗透传统业务。 • API 是 AI 原生应用的一等公民,并引入了更多流量,催生企业新的生命力和想象空间。 • AI 原生应用对网关的需求超越了传统的路由和负载均衡功能,承载了更大的 AI 工程化使命。 • AI Infra 的一致性架构至关重要,API 网关、消息队列、可观测是 AI Infra 的重要组成。
50497 13
|
25天前
|
机器学习/深度学习 数据采集 人工智能
智能化运维的探索与实践:AI在IT运维中的应用
【6月更文挑战第19天】随着人工智能技术的不断成熟,其在IT运维领域的应用也愈发深入。本文将探讨AI技术如何赋能传统IT运维,提升效率和响应速度,实现故障预测、自动化处理及优化决策。通过分析AI在运维中的实际应用案例,我们能更好地了解其潜力与挑战,并预见未来智能化运维的发展路径。
247 6
|
26天前
|
人工智能 自然语言处理 算法
AI 应用之成本节约实践
本文探讨了如何避免高成本的模型微调,通过任务拆解和提示词调优实现业务目标。文中提到,当大语言模型不能直接满足需求时,微调涉及大量工作,包括数据准备、模型训练及GPU资源。为降低成本,作者提出了两步方法:1) 任务拆解,将复杂任务分解为简单子任务,利用模型优势处理部分;2) 提示词调优,优化输入以引导模型更高效地响应。虽然这可能不适用于所有情况,但能有效减少对模型微调的依赖。
65 1
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
新一代AI搜索引擎神器推荐及效果测试:秘塔AI、天工AI、Perplexity等
新一代AI搜索引擎神器推荐及效果测试:秘塔AI、天工AI、Perplexity等
新一代AI搜索引擎神器推荐及效果测试:秘塔AI、天工AI、Perplexity等
|
1月前
|
存储 运维 安全
Greenplum闭源?平滑迁移到 AnalyticDB 开启Data+AI新范式
知名开源 MPP 数据库 Greenplum 由于其丰富的企业级特性和出色的数据处理能力成为很多企业构建数仓的首选。近期 GP 公开 Github 仓库无法访问仅保留只读归档代码,业界纷纷猜测 GP 即将闭源。云原生数仓 AnalyticDB PostgreSQL 版完全掌控内核代码,完全兼容GP语法,全自研计算及存储引擎较比开源GP有五倍性能提升,全自研企业级特性在实时计算、弹性扩展、安全增强、高可用等方面实现对GP的全面超越,并在数仓能力上扩展了向量检索及一站式 RAG 服务,帮助企业快速构建 AI 应用、开启 Data+AI 新范式。
58994 3
|
1月前
|
机器学习/深度学习 人工智能 搜索推荐
构建基于AI的个性化新闻推荐系统:技术探索与实践
【6月更文挑战第5天】构建基于AI的个性化新闻推荐系统,通过数据预处理、用户画像构建、特征提取、推荐算法设计及结果评估优化,解决信息爆炸时代用户筛选新闻的难题。系统关键点包括:数据清洗、用户兴趣分析、表示学习、内容及协同过滤推荐。实践案例证明,结合深度学习的推荐系统能提升用户体验,未来系统将更智能、个性化。
|
1月前
|
语音技术 人工智能 机器学习/深度学习
构建基于AI的语音合成系统:技术探索与实践
【6月更文挑战第3天】本文探讨了构建基于AI的语音合成系统,包括文本预处理、声学模型、语音生成和后期处理四个步骤。关键技术和挑战涉及分词、词性标注、语调预测、HMM、DNN、RNN模型、波形合成及后期音质优化。实践中,获取高质量语音数据、训练计算资源和系统实时性是主要挑战。随着技术进步,未来语音合成将在多语种、个性化领域有更多应用。
|
2月前
|
人工智能 对象存储 异构计算
AI模型推理服务在Knative中最佳配置实践
Knative和AI结合提供了快速部署、高弹性和低成本的技术优势,对于一些需要频繁变动计算资源的AI应用,如模型推理等尤其明显。那么在Knative上部署AI模型推理时可以遵循这些最佳实践,以提升AI推理服务能力和GPU资源利用率。

相关产品

  • 云原生数据仓库AnalyticDB MySQL版