云栖大会|AI+Data,新一代智能数仓的实践与畅想

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 全面拥抱一站式智能化

2023云栖大会上,阿里云瑶池数据库宣布已全面实现Serverless化,并接入通义等大模型能力,大幅提升数据库一站式及智能化水平。其中,企业级智能数仓AnalyticDB与通义大模型家族深度集成,推出一站式全托管大模型解决方案。阿里云新发布的8大行业模型及“百炼”平台采用AnalyticDB作为内置向量检索引擎,性能较开源增强了2~5倍,加速AIGC应用落地。


来自PingPong、厦门国际银行、三七互娱、易点天下等知名企业代表和瑶池数据库团队产品及技术资深专家们结合真实场景实践,深入分享了AnalyticDB的最新技术进展和特性解析。此外,阿里云瑶池还宣布与ClickHouse、SelectDB发布战略合作产品公测,推进技术合作和生态协同,构建合作共赢的生态体系。


阿里云AnalyticDB MySQL产品部负责人 林亮


在云栖大会上,阿里云AnalyticDB MySQL产品部负责人林亮分享了AnalyticDB MySQL三大核心技术方向

1)云原生化:基于统一资源池,支持不同类型和规模的工作负载,按需升降,并结合新的存算分离架构,进一步解耦状态和异步计算;

2)一体化:支持日志、数据库等源头的高效无缝接入,通过统一的平台,提供跨源联邦分析,实现数据处理和分析一体化;

3)智能化:提供向量存储检索和大模型AI分析等功能,探索数据价值;智能诊断优化,基于机器学习监控实例状态,并优化潜在的性能瓶颈。


阿里云数据库事业部高级产品经理 戚亚东


阿里云数据库事业部高级产品经理戚亚东发表了题为《云原生数据仓库AnalyticDB MySQL版新特性介绍》的精彩演讲。在演讲中,他重点分享了最近发布的Multi-Cluster弹性模型、智能负载管理WLM、增量更新物化视图、全托管Spark等能力。其中,Multi-Cluster弹性模型相比Min-Max弹性模型,由于更好的隔离性,在相同资源下,查询并发度QPS可以提升25%以上,并且支持自动弹性。全托管Spark能力通过数据缓存、向量化执行等能力,相比开源社区同版本Spark,性能可以提升2.7倍以上,已经帮助多个客户实现30-50%的降本迁移。


阿里云AnalyticDB PostgreSQL产品部负责人 姚奕玮


阿里云AnalyticDB PostgreSQL产品部负责人姚奕玮在大会上介绍了在AIGC时代下,企业对于云原生数仓的需求,具体可以归纳为:性价比、与LLM融合、一站式。并且基于这些需求,介绍了AnalyticDB for PostgreSQL的发力点和核心技术:极具高性价比的流批一体融合引擎;支持实时写入和二级索引的存算分离Serverless架构;融合LLM、提供仓内智能的一站式AIGC服务;与PolarDB无缝集成的一站式HTAP服务;以及例如租户隔离、数据脱敏、异地容灾和一致性位点备份恢复等企业级能力。


阿里云数据库事业部OLAP/工具产品经理 薛菲


关于AI能力加持的企业级智能数仓AnalyticDB PosgreSQL阿里云数据库事业部OLAP/工具产品经理薛菲进行了详细介绍。她表示,对于企业级大模型项目冷启动、规模化复制和AI普惠三个阶段,AnalyticDB PosgreSQL分别提供了开箱即用的企业级知识库服务、GPU和向量数仓多租户管理及弹性扩展能力、内置的一站式AIGC开发服务,帮助企业实现大模型应用的快速扩大和可持续化的发展。


ClickHouse联合创始人,ClickHouse产品技术总裁 Yury Izrailevsky


ClickHouse作为全球流行的开源实时分析数据库,凭借其优异的性能得到了广大开发者和用户的青睐,在国内外有大量全球知名客户在使用ClickHouse。ClickHouse联合创始人、ClickHouse产品技术总裁Yury Izrailevsky发表了《云数据库ClickHouse企业版发布,产品和最佳实践介绍》演讲,他重申:“ClickHouse将继续保持在实时分析性能方面的领跑优势,当前对比其他分析产品在数据加载场景有37倍左右的性能优势,在查询方面具有20倍以上的性能优势 ,同时ClickHouse公司牵手阿里云战略合作发布阿里云ClickHouse企业版,并启动公测”。


ClickHouse企业版具有非开源的商业化SharedMergeTree引擎,基于存储计算分离的云原生架构,支持完全Serverless使用模式,可以帮助用户降低80%存储成本,50%的计算资源成本。


飞轮数据CEO,Apache Doris项目创始人 马如悦


“数据分析越实时越能为业务带来更大的价值收益。”飞轮数据CEO,Apache Doris 项目创始人马如悦分享了当前最流行的实时数仓之一Doris以及其蓬勃发展的开源社区。在会上,重磅发布了100%兼容Doris的商业化云原生实时数仓阿里云数据库SelectDB版,并正式启动公测。云数据库SelectDB版具备云原生存算分离,共享存储,单实例多集群的资源隔离能力,比用户自建Doris降低30%的资源成本。


PingPong智能数据架构师 张彦锋


金融独角兽PingPong智能数据架构师张彦锋分享了《PingPong x AnalyticDB:实时数仓演进之路》。在会上,他介绍了PingPong数据平台的演进路线:从最初的在RDS MySQL中做分析遇到在线业务和分析业务隔离问题,最终演进到一体化的AnalyticDB MySQL版,在一个产品中支撑所有数据处理和分析业务。他表示,通过使用AnalyticDB MySQL版提供的数据冷热分层能力,存储成本下降50%以上。


厦门国际银行总行科技运维部数据管理二处经理 王淇霖


厦门国际银行总行科技运维部数据管理二处经理王淇霖为现场和线上观众介绍了基于AnalyticDB PostgreSQL的升舱实践以及对新一代数仓架构的展望。他提到,通过AnalyticDB PostgreSQL,行内在线关联查询性能总体提升了2-3倍,同时实现了混合业务负载的资源隔离。


王淇霖表示,由于AnalyticDB PostgreSQL具备好的SQL兼容性、存储过程支持和细粒度的资源资源隔离,因此业务从大数据平台迁移到AnalyticDB PostgreSQL仅花费10天时间就完成,上线至今稳定运行无故障。为应对实时的业务需求,目前行已开始实现业务试点,希望未来能基于AnalyticDB PostgreSQL提供流批一体和AI原生能力,可以支撑实时和AI创新业务的快速落地。


三七互娱37手游AI算法负责人 彭佳铭


迄今为止,37手游累计运营逾2000款手机游戏。游戏客户体验回答僵化、问题理解性低以及运营成本高一直是37手游的痛点和跳转。三七互娱37手游AI算法负责人彭佳铭向现场观众介绍了AnalyticDB PostgreSQL在智能游戏客户上的应用实践。他提到,37手游通过大模型和AnalyticDB PostgreSQL向量引擎实现了全新的AI智能客服体验升级,回答准确率总体提升了20%,对于用户的意图识别和共情能力上有显著的增强,同时服务效能也提升了15%,该框架可以规模化复制到其他手游中。


易点天下高级技术总监 贺鑫

如何激活数据创新价值,以DataOps助力企业实现业务敏捷?易点天下高级技术总监贺鑫分享了公司广告营销平台的业务变迁过程以及DataOps平台的建设历程


平台搭建伊始依赖自建、开源、半托管的技术栈,技术栈多样化,缺失数据治理,数据获取效率低。通过构建统一入口、统一体验的DataOps平台,降低数据分析使用复杂度,技术选型从离线非实时的Hadoop、Spark升级到阿里云ClickHouse实时数仓。DataOps平台支持了更加实时的业务需求,提升了80%的业务收益,40%的数据计算成本。同时,在测试了阿里云ClickHouse企业版的Serverless能力后,对比社区兼容版可进一步降低20%-40%的计算资源用量,降低20%+的存储资源成本。


相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
7天前
|
SQL 存储 消息中间件
vivo基于Paimon的湖仓一体落地实践
本文整理自vivo互联网大数据专家徐昱在Flink Forward Asia 2024的分享,基于实际案例探讨了构建现代化数据湖仓的关键决策和技术实践。内容涵盖组件选型、架构设计、离线加速、流批链路统一、消息组件替代、样本拼接、查询提速、元数据监控、数据迁移及未来展望等方面。通过这些探索,展示了如何优化性能、降低成本并提升数据处理效率,为相关领域提供了宝贵的经验和参考。
365 3
vivo基于Paimon的湖仓一体落地实践
|
11天前
|
SQL 分布式计算 数据挖掘
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
川航选择引入 SelectDB 建设湖仓一体大数据分析引擎,取得了数据导入效率提升 3-6 倍,查询分析性能提升 10-18 倍、实时性提升至 5 秒内等收益。
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
|
13天前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
|
13天前
|
存储 分布式数据库 Apache
小米基于 Apache Paimon 的流式湖仓实践
小米基于 Apache Paimon 的流式湖仓实践
小米基于 Apache Paimon 的流式湖仓实践
|
16天前
|
存储 分布式数据库 Apache
小米基于 Apache Paimon 的流式湖仓实践
本文整理自Flink Forward Asia 2024流式湖仓专场分享,由计算平台软件研发工程师钟宇江主讲。内容涵盖三部分:1)背景介绍,分析当前实时湖仓架构(如Flink + Talos + Iceberg)的痛点,包括高成本、复杂性和存储冗余;2)基于Paimon构建近实时数据湖仓,介绍其LSM存储结构及应用场景,如Partial-Update和Streaming Upsert,显著降低计算和存储成本,简化架构;3)未来展望,探讨Paimon在流计算中的进一步应用及自动化维护服务的建设。
小米基于 Apache Paimon 的流式湖仓实践
|
22天前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
148 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
|
2月前
|
DataWorks 关系型数据库 OLAP
云端问道5期实践教学-基于Hologres轻量实时的高性能OLAP分析
本文基于Hologres轻量实时的高性能OLAP分析实践,通过云起实验室进行实操。实验步骤包括创建VPC和交换机、开通Hologres实例、配置DataWorks、创建网关、设置数据源、创建实时同步任务等。最终实现MySQL数据实时同步到Hologres,并进行高效查询分析。实验手册详细指导每一步操作,确保顺利完成。
|
3月前
|
DataWorks 数据挖掘 大数据
方案实践测评 | DataWorks集成Hologres构建一站式高性能的OLAP数据分析
DataWorks在任务开发便捷性、任务运行速度、产品使用门槛等方面都表现出色。在数据处理场景方面仍有改进和扩展的空间,通过引入更多的智能技术、扩展数据源支持、优化任务调度和可视化功能以及提升团队协作效率,DataWorks将能够为企业提供更全面、更高效的数据处理解决方案。
|
5月前
|
SQL 分布式计算 数据挖掘
加速数据分析:阿里云Hologres在实时数仓中的应用实践
【10月更文挑战第9天】随着大数据技术的发展,企业对于数据处理和分析的需求日益增长。特别是在面对海量数据时,如何快速、准确地进行数据查询和分析成为了关键问题。阿里云Hologres作为一个高性能的实时交互式分析服务,为解决这些问题提供了强大的支持。本文将深入探讨Hologres的特点及其在实时数仓中的应用,并通过具体的代码示例来展示其实际应用。
355 0
|
6月前
|
存储 人工智能 弹性计算
AI计算加速渗透、基础设施全面升级…云栖大会重磅发布全览
AI计算加速渗透、基础设施全面升级…云栖大会重磅发布全览

热门文章

最新文章

相关产品

  • 云原生数据仓库AnalyticDB MySQL版