专家教你使用MaxCompute玩转大数据分析!
摘要传统的数据分析经常使用的工具是Hadoop或Spark在使用之前环境是需要用户自己去搭建的。随着业务逐渐向云迁移如何在云上进行大数据分析是需要解决的问题。为此阿里云提供了一项很重要的服务——大数据计算服务MaxCompute。
Hadoop迁移MaxCompute神器之DataX-On-Hadoop使用指南
DataX-On-Hadoop即使用hadoop的任务调度器,将DataX task(Reader->Channel->Writer)调度到hadoop执行集群上执行。这样用户的hadoop数据可以通过MR任务批量上传到ODPS、RDS等,不需要用户提前安装和部署DataX软件包,也不需要另外为DataX准备执行集群。
任务不再等待!玩转DataWorks资源组
DataWorks提供了三种资源组的能力:独享资源组、自定义资源组和默认资源组,很多开发者在使用资源组时经常会碰到各类情况,到时候任务运行失败或者延迟,例如:
1. 正在使用默认资源组,任务经常要等待
2. 购买错了资源组类型(独享数据集成资源组与独享调度资源组),使用不了
3. 购买错了地域(杭州开通DataWorks购买了北京的资源组)
3. 没买错资源组类型,也没买错地域,当天还是用不了