阿里云ODPS升级为一体化大数据平台,满足用户多元化数据计算需求

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 11月3日,2022云栖大会上,阿里巴巴集团副总裁、阿里云计算平台事业部负责人贾扬清表示,为满足用户多元化数据计算需求,阿里云ODPS升级为一体化大数据平台。

11月3日,2022云栖大会上,阿里巴巴集团副总裁、阿里云计算平台事业部负责人贾扬清表示,为满足用户多元化数据计算需求,阿里云ODPS升级为一体化大数据平台


升级后的ODPS支持大规模批量计算、实时分析等服务,提供实时流式计算、机器学习等多种计算能力,可同时调度超10万台以上服务器规模进行并行计算。从09年开始自研的ODPS 平台也是目前中国应用最为广泛的一体化大数据平台


1173181F-5032-4551-B5A7-4B8D7F280CEA.png

ODPS升级:存储、调度、元数据一体化融合

随着数据技术和数据应用的发展,催生了多元计算需求。贾扬清介绍,例如交通领域,需要实时数据计算,来做城市大脑里面人流车流的优化;科研方面,需要AI算法辅助传统物理化学生物研究创新;保险领域,需要大量数据聚合来进行更准确的风险精算。 ODPS实现了存储、调度、元数据管理上的一体化架构融合,支撑上述各类数据的高效处理。


自2009年诞生以来,ODPS从突破单集群规模到通过单层隔离打造金融级云上安全,为突破业界难攻的技术难点而不断升级架构。2017年,ODPS将大规模批处理引擎MaxCompute以独立产品形式对外提供服务。2019年,应对数据实时交互分析的需求,交互式计算引擎Hologres正式上线。


在刚刚公布的TPC-H 30000GB基准测试中,ODPS-Hologres刷新世界纪录,分数超过2786万分,领先第二名23%ODPS-MaxCompute则在TPCx-BB 100TB标准测试中,连续6年保持性能和性价比第一


大数据和AI走向融合,小鹏汽车AI训练提速170倍


“大数据平台和AI平台正在走向融合”,贾扬清表示,不论是大模型生产应用、AI for Science、还是传统的搜推广服务,典型的AI应用场景背后,都离不开数据的高效流转和分析。

08D52E89-9007-4e3d-950B-9E11D15CF1DF.png

例如小鹏汽车与阿里云合作,建设了大数据AI一体化平台,实现从海量路采数据的传输存储分析、到AI模型训练推理的全流程提效。此外,基于软硬件协同优化技术,小鹏汽车自动驾驶核心模型训练提速近170倍,训练性能较开源方案提升30%。


自发布大数据+AI一体化产品体系“阿里灵杰”以来,阿里云不断推动数据智能在产业中广泛应用。机器学习平台PAI持续夯实AI工程能力,实现深度学习框架和计算硬件的多样化兼容,以弹性且稳定的云原生AI平台服务,支撑自动驾驶、生命科学、金融等领域创新。此外,达摩院基于阿里灵杰,推出模型开放生态 ModelScope 和 AI 开放服务平台 OpenMind,进一步推动AI普惠。


更多详情了解:https://www.aliyun.com/product/bigdata/apsarabigdata

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
1月前
|
SQL 人工智能 分布式计算
ODPS十五周年实录|构建 AI 时代的大数据基础设施
本文根据 ODPS 十五周年·年度升级发布实录整理而成,演讲信息如下: 张治国:阿里云智能集团技术研究员、阿里云智能计算平台事业部 ODPS-MaxCompute 负责人 活动:【数据进化·AI 启航】ODPS 年度升级发布
|
3月前
|
分布式计算 DataWorks 大数据
阿里云ODPS的个人收获思考
在接触阿里云ODPS过程中,我深入了解了MaxCompute和DataWorks等产品。MaxCompute强大的数据处理能力显著提升了我的工作效率,而DataWorks的一站式开发与治理平台简化了数据流程管理。通过实践,我不仅掌握了高效的SQL编写与数据挖掘技巧,还提升了团队协作意识与大数据思维,为未来挑战打下了坚实基础。
|
3月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据存储计算服务:MaxCompute
阿里云MaxCompute是快速、全托管的TB/PB级数据仓库解决方案,提供海量数据存储与计算服务。支持多种计算模型,适用于大规模离线数据分析,具备高安全性、低成本、易用性强等特点,助力企业高效处理大数据。
157 0
|
26天前
|
SQL 存储 分布式计算
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
本文旨在帮助非专业数据研发但是有高频ODPS使用需求的同学们(如数分、算法、产品等)能够快速上手ODPS查询优化,实现高性能查数看数,避免日常工作中因SQL任务卡壳、失败等情况造成的工作产出delay甚至集群资源稳定性问题。
641 32
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
|
3月前
|
数据采集 人工智能 大数据
10倍处理效率提升!阿里云大数据AI平台发布智能驾驶数据预处理解决方案
阿里云大数据AI平台推出智能驾驶数据预处理解决方案,助力车企构建高效稳定的数据处理流程。相比自建方案,数据包处理效率提升10倍以上,推理任务提速超1倍,产能翻番,显著提高自动驾驶模型产出效率。该方案已服务80%以上中国车企,支持多模态数据处理与百万级任务调度,全面赋能智驾技术落地。
239 0
|
1月前
|
人工智能 分布式计算 DataWorks
阿里云大数据AI产品月刊-2025年8月
阿里云大数据& AI 产品技术月刊【2025年 8 月】,涵盖 8 月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
138 1
|
1月前
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
109 1
|
3月前
|
人工智能 分布式计算 DataWorks
多模态数据处理新趋势:阿里云ODPS技术栈深度解析与未来展望
阿里云ODPS技术栈通过MaxCompute、Object Table与MaxFrame等核心组件,实现了多模态数据的高效处理与智能分析。该架构支持结构化与非结构化数据的统一管理,并深度融合AI能力,显著降低了分布式计算门槛,推动企业数字化转型。未来,其在智慧城市、数字医疗、智能制造等领域具有广泛应用前景。
343 6
多模态数据处理新趋势:阿里云ODPS技术栈深度解析与未来展望