大数据计算MaxCompute创建了oss外表，我是否还需要加一些什么参数？
大数据计算MaxCompute创建了oss外表，格式指定的parquet，然后执行的写入，发现不是标准parquet的格式我是否还需要加一些什么参数？
命令如下 set odps.sql.unstructured.oss.commit.mode =true;
set odps.sql.hive.compatible=true;
set mcfed.parquet.compression='SNAPPY';
INSERT OVERWRITE TABLE dwd_oss_orders_df PARTITION(pt,country,app_type)
SELECT *
FROM dwd_orders_df
where pt = '2024-03-08'
外表的格式指定了 STORED AS parquet
写回答
-
如果不是标准的parquet格式文件，可能会报错。 我看了下文档 没有这样的参数可以加。 MaxCompute的底层格式是alorc。 ，此回答整理自钉群“MaxCompute开发者社区2群”
2024-03-12 22:51:02赞同 展开评论 打赏 -
十分耕耘，一定会有一分收获！楼主你好，看了你的问题，可能是数据源的格式，请确保你要导入的数据源的格式是标准的Parquet格式，如果你导入的数据不是Parquet格式，MaxCompute 内部会尝试将其转换成Parquet格式，但结果可能不是标准格式。
还有就是在执行写入操作时，可以使用
INSERT OVERWRITE TABLE语句将数据写入外部表，举一个示例代码：
INSERT OVERWRITE INTO dwd_oss_orders_df PARTITION (pt, country, app_type) SELECT * FROM dwd_orders_df WHERE pt = '2024-03-08';2024-03-12 22:40:11赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
