阿里云ODPS升级为一体化大数据平台,满足用户多元化数据计算需求

简介: 为满足用户多元化数据计算需求,阿里云ODPS升级为一体化大数据平台。升级后的ODPS支持大规模批量计算、实时分析等服务,提供实时流式计算、机器学习等多种计算能力,可同时调度超10万台以上服务器规模进行并行计算。从09年开始自研的ODPS 平台也是目前中国应用最为广泛的一体化大数据平台。

11月3日,2022云栖大会上,阿里巴巴集团副总裁、阿里云计算平台事业部负责人贾扬清表示,为满足用户多元化数据计算需求,阿里云ODPS升级为一体化大数据平台


升级后的ODPS支持大规模批量计算、实时分析等服务,提供实时流式计算、机器学习等多种计算能力,可同时调度超10万台以上服务器规模进行并行计算。从09年开始自研的ODPS 平台也是目前中国应用最为广泛的一体化大数据平台


9c6cf9dc6aa2496799cd118ca7d999e3.png

ODPS升级:存储、调度、元数据一体化融合

随着数据技术和数据应用的发展,催生了多元计算需求。贾扬清介绍,例如交通领域,需要实时数据计算,来做城市大脑里面人流车流的优化;科研方面,需要AI算法辅助传统物理化学生物研究创新;保险领域,需要大量数据聚合来进行更准确的风险精算。 ODPS实现了存储、调度、元数据管理上的一体化架构融合,支撑上述各类数据的高效处理。


自2009年诞生以来,ODPS从突破单集群规模到通过单层隔离打造金融级云上安全,为突破业界难攻的技术难点而不断升级架构。2017年,ODPS将大规模批处理引擎MaxCompute以独立产品形式对外提供服务。2019年,应对数据实时交互分析的需求,交互式计算引擎Hologres正式上线。


在刚刚公布的TPC-H 30000GB基准测试中,ODPS-Hologres刷新世界纪录,分数超过2786万分,领先第二名23%ODPS-MaxCompute则在TPCx-BB 100TB标准测试中,连续6年保持性能和性价比第一


大数据和AI走向融合,小鹏汽车AI训练提速170倍


“大数据平台和AI平台正在走向融合”,贾扬清表示,不论是大模型生产应用、AI for Science、还是传统的搜推广服务,典型的AI应用场景背后,都离不开数据的高效流转和分析。

df04ba9b9cb64f45b1cf54cba1074bb6.png

例如小鹏汽车与阿里云合作,建设了大数据AI一体化平台,实现从海量路采数据的传输存储分析、到AI模型训练推理的全流程提效。此外,基于软硬件协同优化技术,小鹏汽车自动驾驶核心模型训练提速近170倍,训练性能较开源方案提升30%。


自发布大数据+AI一体化产品体系“阿里灵杰”以来,阿里云不断推动数据智能在产业中广泛应用。机器学习平台PAI持续夯实AI工程能力,实现深度学习框架和计算硬件的多样化兼容,以弹性且稳定的云原生AI平台服务,支撑自动驾驶、生命科学、金融等领域创新。此外,达摩院基于阿里灵杰,推出模型开放生态 ModelScope 和 AI 开放服务平台 OpenMind,进一步推动AI普惠。


了解更多 ODPS 相关的内容,请访问阿里云大数据官网

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
6月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
434 14
|
7月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
519 0
|
7月前
|
存储 SQL 分布式计算
大数据之路:阿里巴巴大数据实践——元数据与计算管理
本内容系统讲解了大数据体系中的元数据管理与计算优化。元数据部分涵盖技术、业务与管理元数据的分类及平台工具,并介绍血缘捕获、智能推荐与冷热分级等技术创新。元数据应用于数据标签、门户管理与建模分析。计算管理方面,深入探讨资源调度失衡、数据倾斜、小文件及长尾任务等问题,提出HBO与CBO优化策略及任务治理方案,全面提升资源利用率与任务执行效率。
584 0
|
8月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据存储计算服务:MaxCompute
阿里云MaxCompute是快速、全托管的TB/PB级数据仓库解决方案,提供海量数据存储与计算服务。支持多种计算模型,适用于大规模离线数据分析,具备高安全性、低成本、易用性强等特点,助力企业高效处理大数据。
394 0
|
8月前
|
数据采集 人工智能 大数据
10倍处理效率提升!阿里云大数据AI平台发布智能驾驶数据预处理解决方案
阿里云大数据AI平台推出智能驾驶数据预处理解决方案,助力车企构建高效稳定的数据处理流程。相比自建方案,数据包处理效率提升10倍以上,推理任务提速超1倍,产能翻番,显著提高自动驾驶模型产出效率。该方案已服务80%以上中国车企,支持多模态数据处理与百万级任务调度,全面赋能智驾技术落地。
1142 0
|
6月前
|
传感器 人工智能 监控
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
219 14
|
5月前
|
传感器 人工智能 监控
拔俗多模态跨尺度大数据AI分析平台:让复杂数据“开口说话”的智能引擎
在数字化时代,多模态跨尺度大数据AI分析平台应运而生,打破数据孤岛,融合图像、文本、视频等多源信息,贯通微观与宏观尺度,实现智能诊断、预测与决策,广泛应用于医疗、制造、金融等领域,推动AI从“看懂”到“会思考”的跃迁。
427 0
|
6月前
|
机器学习/深度学习 传感器 监控
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
206 1
|
6月前
|
数据采集 自动驾驶 机器人
数据喂得好,机器人才能学得快:大数据对智能机器人训练的真正影响
数据喂得好,机器人才能学得快:大数据对智能机器人训练的真正影响
565 1

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute