MaxCompute工具及下载:MaxCompute Studio:开发 Java 程序:非结构化开发-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

MaxCompute工具及下载:MaxCompute Studio:开发 Java 程序:非结构化开发

行者武松 2017-10-24 13:42:11 1367


MaxCompute2.0新增了一套 非结构化数据处理框架,支持通过外部表的方式直接访问OSS,OTS等。Studio对此提供了一些代码模板支持,方便用户快速开发。

编写StorageHandler/Extractor/Outputter

  1. 创建MaxCompute Java Module(在examples目录下的unstructured文件夹有示例代码供参考)。
  2. 在module的源码目录即src->main上右键new,选择MaxCompute Java。
  3. 输入包名.类名,如myun.MyExtractor,选择类型Extractor,点击OK。
  4. 模板已自动填充框架代码,只需要编写自己的逻辑代码即可。
  5. 类似上述步骤可分别完成Outputter和StorageHandler的编写。


打包上传


StorageHandler/Extractor/Outputter写好后,可以参考 打包发布将已写好的java程序打成jar包,并作为resource上传到服务端。

创建外部表

  1. 在scripts目录右键 new | MaxCompute Script。
  2. 输入sql脚本名,Target Project选择脚本将要在哪个MaxCompute project下执行,点击OK。
  3. editor中选择create external table live template,能快速插入创建外部表脚本模板:然后修改外部表名称,列及类型,StorageHanlder类路径,配置参数,外部路径,jar名等,修改完成后点击运行脚本,创建该外部表。
  4. 接下来,就可以查询该外部表了,类似:
SQL 分布式计算 Java 数据处理 MaxCompute 对象存储
分享到
取消 提交回答
全部回答(0)
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题
推荐课程