阿里云MaxCompute,用计算力让数据发声

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 计算的价值绝不止计算本身,而是让本不会说话的数据发声。 从玛雅历法到圆周率,从万有引力定律到二进制,从固化的物体到虚拟的思维都由数据注入。阿里云大数据计算服务MaxCompute以技术驱动产品,用计算力让数据发声。

计算的价值绝不止计算本身,而是让本不会说话的数据发声。从玛雅历法到圆周率,从万有引力定律到二进制,从固化的物体到虚拟的思维都由数据注入。阿里云大数据计算服务MaxCompute以技术驱动产品,用计算力让数据发声。

posts_img_48932_15020966968137

阿里云大数据计算服务MaxCompute原名ODPS,是阿里巴巴的主力计算平台。从ODPS到MaxCompute,记录了阿里巴巴大数据平台从支持阿里集团几乎99%的数据存储以及95%的计算,到支持公共云和专有云客户业务的演化过程。MaxCompute用技术的不断创新实现计算力的持续提升,成为各行业客户数据化转型的强有力引擎,帮助企业将潜在的数据价值转变为实际行动、规划和决策,使客户自身的价值获得新的爆发,真正把MaxCompute卓越的计算力转化为巨大的社会效益和市场价值。

作为提供快速、完全托管的PB级数据仓库解决方案的大数据计算服务,MaxCompute看似高冷,却也早已深入到生活中的各个场景,正持续不断的为绿色出行、天气预测、健康生活、精准医疗、美妆直播、甚至城市管理、基因检测、天文科研等提供计算力。

2017年,绿色出行方面不得不说的是共享单车行业,市场所处阶段使得各单车企业单车投放量井喷式增长,从而在精准投放、高效调度、准确连接方面必须借助大数据计算,MaxCompute成功帮助共享单车企业提升线下运营效率50%以上,轻松应对数千万级日订单量,提升企业整体运营效率76%,保证了企业向全球提供40多亿次出行服务,精准连接超过一千万辆自行车。

天气预测有着广泛的需求群体,每天几亿次的天气查询需求和近几十亿次的广告请求,使得企业必须依托MaxCompute来应对挑战。MaxCompute成功提升企业工作效率5倍以上,提升性能和稳定性的同时节省成本超过70%,实现了对每天上亿用户的天气查询需求的快速响应和几十亿次广告请求的精准投放。

互联网保险行业,MaxCompute帮助企业实现精准的用户画像分析,助力企业为数亿用户提供数十亿的保单服务,提升企业效率的同时,为亿万用户送去健康与安全。

除民生方面,MaxCompute更是向高科技的基因测序持续输出计算力。针对传统计算无法完成的十万人基因数据计算,MaxCompute不仅可以在几小时内完成,更是将计算成本大幅降低到1千美金以内,成为基因测序方面真正意义上的计算引擎。

MaxCompute作为大数据计算引擎,正在不断实现社会效益和市场价值,受益方不仅仅是企业,更是每个人和整个社会。而在巨大的社会效益和市场价值背后,是MaxCompute计算力的不断提升和技术的不断创新。

posts_img_48932_15020966982595


2017年,MaxCompute在技术上实现了多项重大突破。
  • MaxCompute适配了TPC benchmark,将数据规模拓展至100TB,完成全球首次基于公共云的BigBench大数据基准测试,性能突破8200QPM,实现了中国计算、世界能力。
  • MaxCompute在离线计算的基础上,融入Lightning Compute交互计算模式,将离线和实时数据结合下的查询响应缩短到亚秒级,并支持交互式查询,满足对延迟和交互性要求更高的实时场景。
  • 进行MaxCompute(ODPS) 架构升级, 在 NewSQL、富结构化、联合计算平台和AliORC多个方向上发力,构建高可用、高性能、高自适性的开放平台。
  • 实现存储计算分离架构和混布,提高资源利用率。2017年双11平稳支撑电商混布在线流量洪峰6.5W笔/s交易 (20%交易流量),蚂蚁混布5W笔/s交易。
  • Datahub架构升级并成功支持双11媒体大屏业务。今年双11当天,DataHub承载压缩后PB级的数据收集和消费、投递,全链路延迟不超过2秒。首次做到了双11数据洪峰级别的负载下跨机房强一致容灾,整机房故障时可以在分钟级恢复服务,数据无缝衔接。
  • 为更好的向全球各地区市场和客户提供高质量的大数据计算服务,2017年MaxCompute加速全球化部署,已在全球10余个区域开通服务。据了解,2018上半年也会陆续开服印度、印尼等多个海外节点。

    阿里云MaxCompute肩负使命,不仅因为企业云计算和大数据的参与度越来越高,更因为数据是企业最宝贵的资产,MaxCompute持续用计算力让数据发声。了解更多MaxCompute产品信息可浏览产品官网,或加入“数加·MaxCompute购买咨询”钉钉群(群号:11782920)进行咨询,群二维码:

1

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
10天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
84 7
|
10天前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
24 2
|
22天前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
66 1
|
7天前
|
存储 大数据 数据管理
大数据分区简化数据维护
大数据分区简化数据维护
14 4
|
21天前
|
人工智能 Cloud Native 数据管理
媒体声音|重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
在2024云栖大会上,阿里云瑶池数据库发布了首个一站式多模数据管理平台DMS:OneMeta+OneOps。该平台由Data+AI驱动,兼容40余种数据源,实现跨云数据库、数据仓库、数据湖的统一数据治理,帮助用户高效提取和分析元数据,提升业务决策效率10倍。DMS已服务超10万企业客户,降低数据管理成本高达90%。
|
17天前
|
存储 大数据 定位技术
大数据 数据索引技术
【10月更文挑战第26天】
38 3
|
17天前
|
存储 大数据 OLAP
大数据数据分区技术
【10月更文挑战第26天】
49 2
|
20天前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
63 2
|
21天前
|
数据采集 分布式计算 大数据
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第27天】在数字化时代,数据治理对于确保数据资产的保值增值至关重要。本文探讨了大数据平台的搭建和数据质量管理的重要性及实践方法。大数据平台应包括数据存储、处理、分析和展示等功能,常用工具如Hadoop、Apache Spark和Flink。数据质量管理则涉及数据的准确性、一致性和完整性,通过建立数据质量评估和监控体系,确保数据分析结果的可靠性。企业应设立数据治理委员会,投资相关工具和技术,提升数据治理的效率和效果。
55 2
|
22天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 下一篇
    无影云桌面