开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute小文件存在哪个数据库里面?

大数据计算MaxCompute小文件存在哪个数据库里面?1aaa7be1c69915c2e0882124ce38b59d.png

展开
收起
真的很搞笑 2024-05-16 15:31:45 40 0
2 条回答
写回答
取消 提交回答
  • 没有单独试图。

    查看表的文件数
    命令语法

    您可以通过如下命令查看表的文件数:

    desc extended [partition ()];
    参数说明

    table_name:必填。待查看表的名称。

    pt_spec:可选。待查看分区表的指定分区。格式为(partition_col1 = partition_col_value1, partition_col2 = partition_col_value2, ...)。

    结果示例

    如下图所示,odl_bpm_wfc_task_log表的示例分区有3607个文件, 分区大小274MB (287869658Byte),平均文件大小约为0.07MB,需要进行小文件合并。

    image.png

    image.png

    参考文档https://help.aliyun.com/zh/maxcompute/use-cases/merge-small-files?spm=a2c4g.11186623.0.i28

    2024-05-17 09:09:16
    赞同 1 展开评论 打赏
  • 小文件没有单独的视图,因为小文件后台会周期性优化。 你可以自己desc extended查一下 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2024-05-16 16:00:11
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载