MPP计算引擎 DUMP语法是什么?
Full MPP Mode下使用Dump to ODPS
通过 engine=MPP 的hint和 dump-header 的hint执行MPP Dump to ODPS，示例:
- /*+ engine=MPP, dump-header=[DUMP DATA [OVERWRITE] INTO 'odps://project_name/table_name']*/ SELECT ...
- /*+ engine=MPP, return-dump-record-count=TRUE, dump-header=[DUMP DATA [OVERWRITE] INTO 'odps://project_name/table_name']*/ SELECT ...
Full MPP Mode下使用Dump to OSS
通过 engine=MPP 的hint和 dump-header 的hint执行MPP Dump to OSS，示例:
- /*+ engine=MPP,
- dump-col-del=[,],
- dump-row-del=[\n],
- dump-oss-accesskey-id=xxxx,
- dump-oss-accesskey-secret=xxxx,
- dump-header=[DUMP DATA OVERWRITE INTO 'oss://xxx/xxx/xxx']*/ SELECT ...
- /*+ engine=MPP,
- return-dump-record-count=TRUE,
- dump-col-del=[,],
- dump-row-del=[\n],
- dump-oss-accesskey-id=xxxx,
- dump-oss-accesskey-secret=xxxx,
- dump-header=[DUMP DATA OVERWRITE INTO 'oss://xxx/xxx/xxx']*/ SELECT ...
除hint外，MPP计算引擎模式下的DUMP导出命令与LM计算引擎模式一致，请参见“4.2.4 DUMP语法”章节。
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
在阿里云MaxCompute（原名ODPS）中，MPP (Massively Parallel Processing) 模式是一种高性能的并行处理模式，旨在加速大规模数据集上的查询和计算。您提到的“Full MPP Mode下使用Dump to ODPS”和“Full MPP Mode下使用Dump to OSS”是指在MaxCompute SQL查询中，通过特定的Hint指令来优化数据导出操作，分别将查询结果直接导出到MaxCompute表（ODPS）或阿里云对象存储服务（OSS）。
Dump to ODPS
当您需要将查询结果直接写入MaxCompute的另一个表时，可以使用engine=MPP Hint以及dump-header来指定目标表信息。例如：
/* engine=MPP, dump-header=[DUMP DATA [OVERWRITE] INTO 'odps://project_name/table_name']*/
SELECT ...
这里，[OVERWRITE]表示如果目标表存在则覆盖原有数据，默认情况下，如果未指定OVERWRITE，则操作可能会失败（具体行为取决于MaxCompute的配置）。请确保您有足够的权限对目标表进行写入操作。
Dump to OSS
对于将数据导出到OSS，除了使用engine=MPP外，还需要提供OSS访问密钥ID、密钥秘密以及目标OSS路径等详细信息。示例代码如下：
/* engine=MPP,
dump-col-del=[,],
dump-row-del=[\n],
dump-oss-accesskey-id=xxxx,
dump-oss-accesskey-secret=xxxx,
dump-header=[DUMP DATA OVERWRITE INTO 'oss://bucket_name/path/to/file']*/
SELECT ...
在这个例子中： - dump-col-del=[,] 和 dump-row-del=[\n] 分别指定了列分隔符和行分隔符。 - dump-oss-accesskey-id 与 dump-oss-accesskey-secret 是用于访问OSS的凭证，务必确保这些敏感信息的安全管理。 - 'oss://bucket_name/path/to/file' 是OSS中的目标路径，包括Bucket名称和文件路径。
注意事项
- 安全性：在使用包含访问密钥的SQL语句时，要特别注意安全问题，避免泄露敏感信息。
- 权限验证：确保执行这些操作的账号具有相应的写入权限，无论是对MaxCompute表还是OSS bucket。
- 性能考量：虽然MPP模式能提升数据处理速度，但大量数据导出仍可能影响系统资源和网络带宽，请根据实际情况合理安排作业时间。
- 成本意识：数据导出到OSS可能会产生额外的存储费用和传输费用，请提前评估成本。
最后，记得参考MaxCompute官方文档的最新指南，因为API和功能细节可能会随时间更新。
