ODPS,世界互联网领先科技成果!

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: ODPS,世界互联网领先科技成果!


今天,2022年世界互联网领先科技成果发布活动在世界互联网大会乌镇峰会期间举办,评选出具有国际代表性的年度领先科技成果,由阿里云自主研发的大数据智能计算平台ODPS入选。



ODPS解决了超大规模多场景融合下,用户多元化数据的计算需求问题,实现了存储、调度、元数据管理上的一体化架构融合,支撑交通、金融、科研、政企等多场景数据的高效处理,是目前国内最早自研、应用最为广泛的一体化大数据平台。

 

大会表示,ODPS(Open Data Platform and Service)是阿里云自研的一体化大数据智能计算平台,10余年来持续迭代,提供了实时离线一体、流批一体、湖仓一体、大数据+AI一体的多场景能力,是业界少有的完全自主研发,支持10万级服务器并行计算、百万级CPU可扩展大数据智能计算平台。


该平台承载了公共云几千家客户和混合云超过700余个项目的大数据智能计算业务,并通过了由信通院推出的业内首个大数据产品稳定性测试,被证明为坚韧性系统。



“13年前,阿里云就开始自研大数据计算引擎,逐步建设成目前业内最为广泛应用的大数据计算平台ODPS。”


阿里巴巴合伙人蒋江伟领奖时介绍,ODPS拥有全球领先的技术实力,打破过多项世界纪录,从2013年单集群突破5K服务器进行并行计算,到2017年开始ODPS大规模批量计算引擎MaxCompute连续 6 年登顶国际TPCx-BB榜单。


在今年10月国际事务处理性能委员会刚刚发布的TPC-H 30,000GB标准测试最新结果中,ODPS实时交互式计算引擎Hologres以QphH超2786万分的性能结果斩获全球冠军,领先第二名23%。


“目前,ODPS最高可支持超过10万台服务器的并行计算,单日最大数据处理规模2.79EB,同时还拥有300多项海内外专利。”


在数据底座的可靠性上,ODPS支撑EB级数据规模和全球部署的扩展能力,拥有金融级别的数据可靠性和安全性;

在计算规模和利用率上,ODPS采用深度的计算和存储引擎优化,实现了10万级服务器、十余个数据中心、每天千万级高性能数据计算作业;

通过一体化架构与丰富的计算引擎,支撑了关系型数据、非结构化数据、机器学习等一系列场景以及数据湖和数据仓库一体化架构……

 

 

目前,ODPS已经广泛服务于工业、能源、医疗、城市治理、科研探索等诸多重要领域。例如友邦人寿就基于阿里云ODPS 建设云上数据中台,实现内部数据统一的开发、服务、治理,数据处理效率提升 20 倍,整体成本优化数百万元。依托云的弹性扩展能力平滑应对“开门红”等业务流量高峰,保障高峰期的实时分析决策。

 

此前阿里云已有多项自研技术当选,包括飞天云操作系统、PolarDB数据库、神龙云服务器、盘古分布式存储等,用日渐成熟的自研软硬一体化体系,推动行业降低算力应用门槛,加快数字经济建设进程。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
6月前
|
数据采集 运维 算法
大数据项目管理:从需求分析到成果交付的全流程指南
【4月更文挑战第9天】本文介绍了大数据项目从需求分析到成果交付的全过程,包括需求收集与梳理、可行性分析、项目规划、数据准备与处理、系统开发与集成,以及成果交付与运维。文中通过实例展示了如何进行数据源接入、数据仓库建设、系统设计、算法开发,同时强调了需求理解、知识转移、系统运维的重要性。此外,还提供了Python和SQL代码片段,以说明具体技术实现。在大数据项目管理中,需结合业务和技术,灵活运用这些方法,确保项目的成功执行和价值实现。
1750 1
|
3月前
|
SQL 开发框架 大数据
【数据挖掘】顺丰科技2022年秋招大数据挖掘与分析工程师笔试题
顺丰科技2022年秋招大数据挖掘与分析工程师笔试题解析,涵盖了多领域选择题和编程题,包括动态规划、数据库封锁协议、概率论、SQL、排序算法等知识点。
87 0
|
存储 弹性计算 分布式计算
偶数科技:深入理解“湖仓一体”,避免错过最佳转型战略时机
偶数科技:深入理解“湖仓一体”,避免错过最佳转型战略时机
221 0
偶数科技:深入理解“湖仓一体”,避免错过最佳转型战略时机
|
存储 人工智能 自然语言处理
|
存储 Cloud Native OLAP
重磅更新丨偶数科技发布 OushuDB 5.0,多活主节点、多虚拟集群等特性完美支持实时湖仓一体
重磅更新丨偶数科技发布 OushuDB 5.0,多活主节点、多虚拟集群等特性完美支持实时湖仓一体
147 0
|
数据采集 数据管理 数据挖掘
偶数科技亮相 2022 年服贸会 Web3.0 发展趋势高峰论坛:用湖仓一体实现基于业务本质的监管数据治理
偶数科技亮相 2022 年服贸会 Web3.0 发展趋势高峰论坛:用湖仓一体实现基于业务本质的监管数据治理
106 0
|
存储 机器学习/深度学习 人工智能
2022 世界互联网大会:阿里云 ODPS 入选世界互联网领先科技成果
ODPS(Open Data Platform and Service)是阿里云自研的一体化大数据计算平台和数据仓库产品,10 余年来持续迭代,提供了实时离线一体、流批一体、湖仓一体、大数据 AI 一体的多场景能力,是业界少有的完全自主研发,支持 10 万级服务器并行计算、百万级 CPU 可扩展大数据智能计算平台
2022 世界互联网大会:阿里云 ODPS 入选世界互联网领先科技成果
|
运维 分布式计算 DataWorks
阿里云大数据助力知衣科技打造AI服装行业核心竞争力
杭州知衣科技有限公司是一家以人工智能技术为驱动的国家高新技术企业,致力于将数据化趋势发现、爆款挖掘和供应链组织能力标准化输出,打造智能化服装设计的供应链平台。
2395 0
|
机器学习/深度学习 数据采集 人工智能
科技云报道:野蛮增长时代远去,增强分析开启大数据未来
如何打好大数据与机器学习的“组合拳”?
175 0
科技云报道:野蛮增长时代远去,增强分析开启大数据未来
|
存储 消息中间件 分布式计算
Apache Hudi在华米科技的应用-湖仓一体化改造
华米科技是一家基于云的健康服务提供商,拥有全球领先的智能可穿戴技术。在华米科技,数据建设主要围绕两类数据:设备数据和APP数据,这些数据存在延迟上传、更新频率高且广、可删除等特性,基于这些特性,前期数仓ETL主要采取历史全量+增量模式来每日更新数据。随着业务的持续发展,现有数仓基础架构已经难以较好适应数据量的不断增长,带来的显著问题就是成本的不断增长和产出效率的降低。
365 0
Apache Hudi在华米科技的应用-湖仓一体化改造