阿里云MaxCompute,用计算力让数据发声

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 计算的价值绝不止计算本身,而是让本不会说话的数据发声。 从玛雅历法到圆周率,从万有引力定律到二进制,从固化的物体到虚拟的思维都由数据注入。阿里云大数据计算服务MaxCompute以技术驱动产品,用计算力让数据发声。

计算的价值绝不止计算本身,而是让本不会说话的数据发声。从玛雅历法到圆周率,从万有引力定律到二进制,从固化的物体到虚拟的思维都由数据注入。阿里云大数据计算服务MaxCompute以技术驱动产品,用计算力让数据发声。

posts_img_48932_15020966968137

阿里云大数据计算服务MaxCompute原名ODPS,是阿里巴巴的主力计算平台。从ODPS到MaxCompute,记录了阿里巴巴大数据平台从支持阿里集团几乎99%的数据存储以及95%的计算,到支持公共云和专有云客户业务的演化过程。MaxCompute用技术的不断创新实现计算力的持续提升,成为各行业客户数据化转型的强有力引擎,帮助企业将潜在的数据价值转变为实际行动、规划和决策,使客户自身的价值获得新的爆发,真正把MaxCompute卓越的计算力转化为巨大的社会效益和市场价值。

作为提供快速、完全托管的PB级数据仓库解决方案的大数据计算服务,MaxCompute看似高冷,却也早已深入到生活中的各个场景,正持续不断的为绿色出行、天气预测、健康生活、精准医疗、美妆直播、甚至城市管理、基因检测、天文科研等提供计算力。

2017年,绿色出行方面不得不说的是共享单车行业,市场所处阶段使得各单车企业单车投放量井喷式增长,从而在精准投放、高效调度、准确连接方面必须借助大数据计算,MaxCompute成功帮助共享单车企业提升线下运营效率50%以上,轻松应对数千万级日订单量,提升企业整体运营效率76%,保证了企业向全球提供40多亿次出行服务,精准连接超过一千万辆自行车。

天气预测有着广泛的需求群体,每天几亿次的天气查询需求和近几十亿次的广告请求,使得企业必须依托MaxCompute来应对挑战。MaxCompute成功提升企业工作效率5倍以上,提升性能和稳定性的同时节省成本超过70%,实现了对每天上亿用户的天气查询需求的快速响应和几十亿次广告请求的精准投放。

互联网保险行业,MaxCompute帮助企业实现精准的用户画像分析,助力企业为数亿用户提供数十亿的保单服务,提升企业效率的同时,为亿万用户送去健康与安全。

除民生方面,MaxCompute更是向高科技的基因测序持续输出计算力。针对传统计算无法完成的十万人基因数据计算,MaxCompute不仅可以在几小时内完成,更是将计算成本大幅降低到1千美金以内,成为基因测序方面真正意义上的计算引擎。

MaxCompute作为大数据计算引擎,正在不断实现社会效益和市场价值,受益方不仅仅是企业,更是每个人和整个社会。而在巨大的社会效益和市场价值背后,是MaxCompute计算力的不断提升和技术的不断创新。

posts_img_48932_15020966982595


2017年,MaxCompute在技术上实现了多项重大突破。
  • MaxCompute适配了TPC benchmark,将数据规模拓展至100TB,完成全球首次基于公共云的BigBench大数据基准测试,性能突破8200QPM,实现了中国计算、世界能力。
  • MaxCompute在离线计算的基础上,融入Lightning Compute交互计算模式,将离线和实时数据结合下的查询响应缩短到亚秒级,并支持交互式查询,满足对延迟和交互性要求更高的实时场景。
  • 进行MaxCompute(ODPS) 架构升级, 在 NewSQL、富结构化、联合计算平台和AliORC多个方向上发力,构建高可用、高性能、高自适性的开放平台。
  • 实现存储计算分离架构和混布,提高资源利用率。2017年双11平稳支撑电商混布在线流量洪峰6.5W笔/s交易 (20%交易流量),蚂蚁混布5W笔/s交易。
  • Datahub架构升级并成功支持双11媒体大屏业务。今年双11当天,DataHub承载压缩后PB级的数据收集和消费、投递,全链路延迟不超过2秒。首次做到了双11数据洪峰级别的负载下跨机房强一致容灾,整机房故障时可以在分钟级恢复服务,数据无缝衔接。
  • 为更好的向全球各地区市场和客户提供高质量的大数据计算服务,2017年MaxCompute加速全球化部署,已在全球10余个区域开通服务。据了解,2018上半年也会陆续开服印度、印尼等多个海外节点。

    阿里云MaxCompute肩负使命,不仅因为企业云计算和大数据的参与度越来越高,更因为数据是企业最宝贵的资产,MaxCompute持续用计算力让数据发声。了解更多MaxCompute产品信息可浏览产品官网,或加入“数加·MaxCompute购买咨询”钉钉群(群号:11782920)进行咨询,群二维码:

1

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
413 7
|
2月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
58 2
|
7天前
|
存储 人工智能 数据管理
|
6天前
|
机器学习/深度学习 分布式计算 数据挖掘
MaxFrame 性能评测:阿里云MaxCompute上的分布式Pandas引擎
MaxFrame是一款兼容Pandas API的分布式数据分析工具,基于MaxCompute平台,极大提升了大规模数据处理效率。其核心优势在于结合了Pandas的易用性和MaxCompute的分布式计算能力,无需学习新编程模型即可处理海量数据。性能测试显示,在涉及`groupby`和`merge`等复杂操作时,MaxFrame相比本地Pandas有显著性能提升,最高可达9倍。适用于大规模数据分析、数据清洗、预处理及机器学习特征工程等场景。尽管存在网络延迟和资源消耗等问题,MaxFrame仍是处理TB级甚至PB级数据的理想选择。
30 4
|
14天前
|
SQL DataWorks 数据可视化
阿里云DataWorks评测:大数据开发治理平台的卓越表现
阿里云DataWorks是一款集数据集成、开发、分析与管理于一体的大数据平台,支持多种数据源无缝整合,提供可视化ETL工具和灵活的任务调度机制。其内置的安全体系和丰富的插件生态,确保了数据处理的高效性和安全性。通过实际测试,DataWorks展现了强大的计算能力和稳定性,适用于中小企业快速搭建稳定高效的BI系统。未来,DataWorks将继续优化功能,降低使用门槛,并推出更多灵活的定价方案,助力企业实现数据价值最大化。
|
14天前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
49 2
|
2月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据生态圈体系
阿里云大数据计算服务MaxCompute(原ODPS)提供大规模数据存储与计算,支持离线批处理。针对实时计算需求,阿里云推出Flink版。此外,阿里云还提供数据存储服务如OSS、Table Store、RDS和DRDS,以及数据分析平台DataWorks、Quick BI和机器学习平台PAI,构建全面的大数据生态系统。
79 18
|
9天前
|
SQL 存储 分布式计算
阿里云 Paimon + MaxCompute 极速体验
Paimon 和 MaxCompute 的对接经历了长期优化,解决了以往性能不足的问题。通过半年紧密合作,双方团队专门提升了 Paimon 在 MaxCompute 上的读写性能。主要改进包括:采用 Arrow 接口减少数据转换开销,内置 Paimon SDK 提升启动速度,实现原生读写能力,减少中间拷贝与转换,显著降低 CPU 开销与延迟。经过双十一实战验证,Paimon 表的读写速度已接近 MaxCompute 内表,远超传统外表。欢迎体验!
|
2月前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
92 4
|
2月前
|
存储 大数据 数据管理
大数据分区简化数据维护
大数据分区简化数据维护
26 4

相关产品

  • 云原生大数据计算服务 MaxCompute