MaxCompute 学习计划(三)-阿里云开发者社区

开发者社区> 阿里巴巴大数据计算> 正文

MaxCompute 学习计划(三)

简介: MaxCompute的MapReduce,Graph,SDK等的技能checklist

MapReduce/Graph

当业务逻辑实在是复杂的时候,用SQL配合UDF(包括UDAF和UDTF)也无法实现的时候,可以使用MapReduce或Graph来实现。

作业

MapReduce

  • MapReduce文档里的十多个示例程序每个都很重要,务必每个都看懂每行代码的作用。参考链接文档
  • 使用Eclipse / InteliJ IDEA配置开发环境,可以修改warehouse里的数据然后观察任务的运行结果的变化。
  • 并用客户端工具运行任务,并了解-classpath和-resources参数的区别
  • 通过System.out和System.err输出日志信息,并使用Logview观察服务器上的日志。
  • 使用开发工具开发实现开窗函数。
  • 了解沙箱
  • 数加的大数据开发套件里的Open MR里的每个配置,对应到MR的main函数里是什么?可以参考SDK的说明。

Graph

  • 同MR,请至少看懂实例代码。链接文档对理解示例非常有帮助。

重难点

  • 二次排序。数据会先根据PartitionColumns的设置从Map发到不同Reduce后,先经过排序,然后根据OutputGroupingColumns相同的key进入reduce方法。所以OutputGroupingColumns的设置需要是OutputKeySortColumns的子集。理解了这些后也就可以理解为什么文档里的PartitionColumns和OutputGroupingColumns设置的都是一样的。而OutputKeySortColumns是在OutputGroupingColumns的基础上再增加排序列。
        //先把数据PartitionColumns设置分配给不同的Reducer
        job.setPartitionColumns(new String[] { "i1" });

        //在Reducer上执行排序,这样就能保证i2的顺序
        job.setOutputKeySortColumns(new String[] { "i1", "i2" });

        //这里数据已经都是排序好的,只需要根据i1里的内容来判断是否需要进同一个reduce方法
        job.setOutputGroupingColumns(new String[] { "i1" });
  • 资源表和资源文件的使用方法在UDTF的例子也有提到。一般资源的读取可以写在setup里,只需要读一次。

思考题

  • 如果有参数文件为什么不能直接打在jar包里,而是要用资源文件?
  • 阿里集团内部SQL+UDF的任务数远多于MapReduce任务,这个现象最直接的原因是什么?

参考答案

  • 安全沙箱
  • 工程效率

小技巧

SDK 和 Tunnel

使用SDK可以让我们可以使用JAVA/PYTHON语言调用MaxCompute命令。
Tunnel命令可以让我们把数据批量上传/下载。

作业

SDK

Tunnel

思考题

  • 基于SDK和TUNNEL实现用JAVA/PYTHON代码运行SQL,并把结果保存下来(需要考虑到Project的READ_TABLE_MAX_ROW限制,返回的数据不能超过10000行)。

参考答案

  • SQLTASK可以跑SQL。可以先把数据保存成一张临时表(CREATE TABLE XXX AS SELECT),并在任务结束后删除。下载数据使用TUNNEL。

小技巧

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
阿里巴巴大数据计算
使用钉钉扫一扫加入圈子
+ 订阅

阿里大数据官方技术圈

官方博客
链接