开发者社区> 问答> 正文

如何使用 UDF 处理数据


如果您在表格存储里面的数据有着独特的结构,希望自定义开发逻辑来处理每一行数据,比如解析特定的 json 字符串,可以使用 UDF(User Defined Function,即用户自定义函数)来处理。

操作步骤


  1. 参考 MaxCompute Studio 文档,在 IntelliJ 中安装 MaxCompute-Java/MaxCompute-Studio 插件。插件安装完毕,就可以直接开发。
    下图是一个简单的 UDF 定义,将两个字符串连接。MaxCompute 支持更复杂的 UDF,包括自定义窗口执行逻辑等,更多信息请参考 开发和调试 UDF

  2. 打包之后可以上传到 MaxCompute。
    选择 [backcolor=transparent]File > [backcolor=transparent]Project Structure > [backcolor=transparent]Artifacts,输入 [backcolor=transparent]Name 和 [backcolor=transparent]Output directory 后,单击 [backcolor=transparent]+ 选择输出模块。打包后通过 ODPS Project Explorer 来上传资源、创建函数,然后就可以在 SQL 中调用。

  3. 运行 bin/odpscmd.bat。// 我们选出来1行数据,并将name/name传入UDF,返回两个string的累加
  4. select cloud_metric_extract_md5(name, name) as udf_test from test_table limit 1;


返回结果如下:


展开
收起
云栖大讲堂 2017-10-25 11:01:51 2089 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
PyODPS架构以及DataFrame实现原理 立即下载
大批量处理excel文件到ODPS中方案 立即下载
Cassandra CQL语法以及功能介绍 立即下载