开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute这里指定的是parquet,但是写入后不是parquet?

大数据计算MaxCompute这里指定的是parquet,但是写入后不是parquet?image.png
写入之后的数据如下 我期待的数据格式如下image.png
image.png

展开
收起
真的很搞笑 2024-03-12 20:21:26 51 0
2 条回答
写回答
取消 提交回答
  • 创建oss外部表时加上这个属性 serde_class 指定PARQUET参数,压缩用with serdeproperties属性,指定GZIP压缩。
    https://help.aliyun.com/zh/maxcompute/user-guide/create-an-oss-external-table?spm=a2c4g.11186623.0.i15#section-f7w-sgc-jon ,此回答整理自钉群“MaxCompute开发者社区2群”

    2024-03-12 22:51:01
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    楼主你好,看了你的问题,可能是由于语法错误引起的,请确保在创建表时正确指定了数据格式为Parquet,比如使用以下语法创建一个Parquet表:
    image.png

       CREATE TABLE my_table
       (
         column1 string,
         column2 int
       )
       STORED AS PARQUET;
    

    还有就是未指定正确的存储格式,在写入数据时需要指定正确的输出表和输出格式,比如,使用以下语法将数据写入Parquet表:
    image.png

       INSERT OVERWRITE TABLE my_table
       SELECT column1, column2 FROM source_table;
    
    2024-03-12 22:40:13
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载