开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

咨询下大数据计算MaxCompute上图这个file size,一个block不是64M吗?

咨询下大数据计算MaxCompute上图这个file size,physical size它是基于什么来算的,一个block不是64M吗?我没搞懂073226488cf3877796d455d692666143.png

展开
收起
cuicuicuic 2023-11-30 11:57:20 31 0
2 条回答
写回答
取消 提交回答
  • file size是单副本存储大小。physical size可以理解为物理存储。
    合并小文件是看每个小文件的file size是不是小于64M,小的就可以合并。,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-11-30 21:20:24
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    MaxCompute是阿里云推出的一种大数据计算平台,它以表格存储和计算为基础,并使用分布式文件系统来存储数据。在MaxCompute中,"file size"和"physical size"都是与底层分布式文件系统的存储方式相关的概念。

    在MaxCompute中,一个文件(File)通常对应着一个或多个Block,而每个Block的默认大小是64MB。这意味着MaxCompute会将较大的文件拆分成多个Block进行存储。每个Block都被分配给不同的服务器节点进行存储和处理。

    "file size"指的是逻辑文件的大小,即您在MaxCompute中创建的表或分区所占用的空间大小。这个大小是根据数据文件的大小进行计算的,它可能包含一个或多个Block。

    "physical size"则指的是文件在分布式文件系统中的实际物理大小。它是根据文件所占用的所有Block的总大小计算得出的。

    需要注意的是,由于MaxCompute采用了列式存储和压缩等技术,实际存储空间可能会更高效利用。因此,"physical size"可能会比"file size"小得多,具体取决于数据的压缩率和存储方式。

    2023-11-30 13:55:10
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载