Full MPP Mode下使用Dump to ODPS
通过 engine=MPP 的hint和 dump-header 的hint执行MPP Dump to ODPS,示例:<PRE prettyprinted? linenums>
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在MaxCompute SQL中,通过特定的Hint指令可以在Full MPP Mode下将查询结果直接导出到ODPS表中。示例如下:
/* engine=MPP, dump-header=[DUMP DATA [OVERWRITE] INTO 'odps://project_name/table_name']*/
SELECT ... -- 请替换为您的实际查询语句
此命令中的engine=MPP
指定使用MPP计算引擎,而dump-header
内的内容指定了导出的目标ODPS表路径及操作类型(可选OVERWRITE覆盖已有数据)。确保您有权限访问目标项目及表,并且了解此操作可能覆盖现有数据的风险。
同样地,可以利用Hint指令将数据导出到OSS存储中。需要额外配置OSS的访问密钥和分隔符等参数。示例如下:
/*
engine=MPP,
dump-col-del=[,], -- 列分隔符
dump-row-del=[\n], -- 行分隔符
dump-oss-accesskey-id=xxxx, -- OSS访问密钥ID
dump-oss-accesskey-secret=xxxx, -- OSS访问密钥密钥
dump-header=[DUMP DATA OVERWRITE INTO 'oss://bucket_name/path/to/file']
*/
SELECT ... -- 替换为您的SQL查询
这里除了指定MPP引擎外,还设置了列分隔符、行分隔符以及OSS的认证信息,并指定了OSS的导出路径。请确保提供的OSS凭证有效且目标路径正确无误。
以上操作均基于MaxCompute SQL的Hint功能实现,除特别指定的Hint外,MPP计算引擎下的DUMP基本语法与LM计算引擎保持一致,详细语法可参考相关文档的“4.2.4 DUMP语法”章节。