开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute没看到有字段描述是小文件的啊?

大数据计算MaxCompute desc extended dws_mkt_tmall_source3_ad_cost_dn 哪个字段是描述是小文件的啊?3670f707d2d23ddc27103a9a01965394.png

展开
收起
真的很搞笑 2024-05-16 15:20:49 52 0
2 条回答
写回答
取消 提交回答
  • 查看表的文件数
    命令语法

    您可以通过如下命令查看表的文件数:

    desc extended [partition ()];
    参数说明

    table_name:必填。待查看表的名称。

    pt_spec:可选。待查看分区表的指定分区。格式为(partition_col1 = partition_col_value1, partition_col2 = partition_col_value2, ...)。

    结果示例

    如下图所示,odl_bpm_wfc_task_log表的示例分区有3607个文件, 分区大小274MB (287869658Byte),平均文件大小约为0.07MB,需要进行小文件合并。

    image.png

    参考文档https://help.aliyun.com/zh/maxcompute/use-cases/merge-small-files?spm=a2c4g.11186623.4.4.59ab2a5b1R7QRn&scm=20140722.H_466838._.ID_466838-OR_rec-V_1

    2024-05-17 09:12:21
    赞同 2 展开评论 打赏
  • filenum是小文件。 size是byte ,此回答整理自钉群“MaxCompute开发者社区2群”

    2024-05-16 15:39:51
    赞同 3 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载