开发者社区> 问答> 正文

MaxCompute工具及下载:MaxCompute Studio:开发 Java 程序:非结构化开发



MaxCompute2.0新增了一套 非结构化数据处理框架,支持通过外部表的方式直接访问OSS,OTS等。Studio对此提供了一些代码模板支持,方便用户快速开发。

编写StorageHandler/Extractor/Outputter

  1. 创建MaxCompute Java Module(在examples目录下的unstructured文件夹有示例代码供参考)。
  2. 在module的源码目录即src->main上右键new,选择MaxCompute Java。
  3. 输入包名.类名,如myun.MyExtractor,选择类型Extractor,点击OK。
  4. 模板已自动填充框架代码,只需要编写自己的逻辑代码即可。
  5. 类似上述步骤可分别完成Outputter和StorageHandler的编写。


打包上传


StorageHandler/Extractor/Outputter写好后,可以参考 打包发布将已写好的java程序打成jar包,并作为resource上传到服务端。

创建外部表

  1. 在scripts目录右键 new | MaxCompute Script。
  2. 输入sql脚本名,Target Project选择脚本将要在哪个MaxCompute project下执行,点击OK。
  3. editor中选择create external table live template,能快速插入创建外部表脚本模板:然后修改外部表名称,列及类型,StorageHanlder类路径,配置参数,外部路径,jar名等,修改完成后点击运行脚本,创建该外部表。
  4. 接下来,就可以查询该外部表了,类似:

展开
收起
行者武松 2017-10-24 13:42:11 2144 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载
大数据&AI实战派 第2期 立即下载