阿里云 MaxCompute 2020-5 月刊

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: MaxCompute迁移工具MMA2.0新版本发布,MMA2.0不仅在技术架构上做了重构,在功能上也有重大升级,提升了迁移效率和运行稳定性的同时,在操作体验上也更加自动化和智能化。更多5月产品动态,欢迎阅读MaxCompute5月刊。

导读

【5月新发布功能】

【5月新发布文档】

【5月精选技术文章】


【5月新发布功能】

1. MaxCompute迁移工具MMA2.0新版本发布

MMA2.0在技术架构上做了重构,在功能上也有重大升级,不仅提升了迁移效率和运行稳定性,在操作体验上也更加自动化和智能化。

适用客户
需要从Hadoop迁移到MaxCompute的客户

版本/规格功能
MMA在功能和架构上都做了重大升级,支持C/S架构,实现了队列的智能化调度管理、数据迁移中的自动重试和断点续传、数据校验和增量更新的功能。与1.0相比极大提升了易用性、稳定性和迁移效率。

查看文档 >>


2. MaxCompute支持 PyODPS Python3 节点

MaxCompute 在 DataWorks 上增加 PyODPS Python3 节点,实现开发者对Python 3新特性应用。

适用客户
PyODPS开发者,数据分析师等

发布功能
DataWorks公共云可以支持pyodps python3 的开发,实现对python3 新特性的支持,提升数据处理的能力。



【5月新发布文档】

  1. 新增Spark访问OSS配置说明。
  2. MMA迁移工具升级为2.0版本,更新如下文档:



【5月精选技术文章】

  1. SaaS模式云数据仓库MaxCompute 百问合集(持续更新20200604)
  2. 如何使用MaxCompute Spark读写阿里云Hbase
  3. 阿里巴巴经济体核心调度系统伏羲技术揭秘



阅读往期月刊 >>


更多阿里巴巴大数据计算技术和产品交流,可申请加入“MaxCompute开发者社区钉钉群”
image

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
9月前
|
数据库 Docker 容器
docker容器为啥会开机自启动
通过配置适当的重启策略,Docker容器可以在主机系统重启后自动启动。这对于保持关键服务的高可用性和自动恢复能力非常有用。选择适合的重启策略(如 `always`或 `unless-stopped`),可以确保应用程序在各种情况下保持运行。理解并配置这些策略是确保Docker容器化应用可靠性的关键。
392 17
|
数据采集 分布式计算 MaxCompute
MaxCompute 分布式计算框架 MaxFrame 服务正式商业化公告
MaxCompute 分布式计算框架 MaxFrame 服务于北京时间2024年09月27日正式商业化!
271 3
|
机器学习/深度学习 搜索推荐 算法框架/工具
使用Python实现深度学习模型:智能运动表现分析
使用Python实现深度学习模型:智能运动表现分析
606 1
|
算法 程序员
程序员可能越来越排斥面试时做题的原因
程序员可能越来越排斥面试时做题的原因
385 1
|
缓存 负载均衡 算法
【软件设计师备考 专题 】性能指标(响应时间、吞吐量、周转时间)和性能设计
【软件设计师备考 专题 】性能指标(响应时间、吞吐量、周转时间)和性能设计
914 0
|
网络协议 安全 网络安全
网络协议的定义、组成和重要性?
网络协议的定义、组成和重要性?
1064 0
|
大数据 人工智能 分布式计算
开放下载!《阿里巴巴大数据及AI实战》深度解析典型场景大数据实践
深度剖析淘宝、高德、友盟+、1688、优酷、阿里妈妈、阿里影业大数据实战场景,2020不容错过的企业大数据实战手册。
67315 0
开放下载!《阿里巴巴大数据及AI实战》深度解析典型场景大数据实践
|
资源调度 大数据 调度
独家下载 | “伏羲”神算!阿里巴巴经济体核心调度系统揭秘
阿里巴巴 9 位技术专家为你深度解析阿里巴巴经济体核心调度系统“伏羲”。伏羲(Fuxi)作为十年前最初创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 MaxCompute,分布式调度 Fuxi),十年来,在技术能力上持续演进。本书从面向大数据、云计算的调度挑战出发,介绍伏羲调度系统及各子领域的关键技术进展,并以双11为典型场景进行最佳实践的介绍,为你呈现大数据分布式调度技术的深水区玩法。— 《“伏羲”神算》现在可以免费下载阅读啦,快来先睹为快吧。
38540 0
独家下载 | “伏羲”神算!阿里巴巴经济体核心调度系统揭秘
|
SQL 分布式计算 资源调度
EB级计算平台调度系统伏羲DAG 2.0:构建更动态更灵活的分布式计算生态
伏羲(Fuxi)是十年前创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 MaxCompute(内部代号ODPS),分布式调度 Fuxi),过去十年来,伏羲在技术能力上每年都有新的进展和突破,2013年5K,2015年Sortbenchmark世界冠军,2017年超大规模离在/在离线混部能力,2019年的 Yugong 发布并且论文被VLDB2019接受等。
2502 0
EB级计算平台调度系统伏羲DAG 2.0:构建更动态更灵活的分布式计算生态
|
SQL 分布式计算 运维
双11史上作业数最多,人工干预最少—MaxCompute 自适应执行引擎DAG2.0为1.5亿分布式作业提供自动化保障
阿里巴巴双11史上作业数最多,但人工干预最少的一次双11技术保障: 从动态并发调整带来的单日10亿计算节点的节省,到数据智能编排带来的高级基线单个作业数十个小时执行时间的缩短,再到全新Bubble执行模式在百万作业获取的30%以上的性能提升。 本文为大家介绍,在2020年阿里巴巴集团双11海量作业数目与突变的数据特性面前,阿里云MaxCompute 新一代 DAG 2.0 执行引擎,通过其自适应的动态执行能力和新架构上的全新计算模式,如何为双11大促数据的及时产出提供自动化保障。
6659 0
双11史上作业数最多,人工干预最少—MaxCompute 自适应执行引擎DAG2.0为1.5亿分布式作业提供自动化保障

相关产品

  • 云原生大数据计算服务 MaxCompute