咨询下大数据计算MaxCompute上图这个file size，一个block不是64M吗？
咨询下大数据计算MaxCompute上图这个file size，physical size它是基于什么来算的，一个block不是64M吗？我没搞懂
写回答
-
file size是单副本存储大小。physical size可以理解为物理存储。
合并小文件是看每个小文件的file size是不是小于64M，小的就可以合并。，此回答整理自钉群“MaxCompute开发者社区2群”2023-11-30 21:20:24赞同 展开评论 打赏 -
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。MaxCompute是阿里云推出的一种大数据计算平台，它以表格存储和计算为基础，并使用分布式文件系统来存储数据。在MaxCompute中，"file size"和"physical size"都是与底层分布式文件系统的存储方式相关的概念。
在MaxCompute中，一个文件（File）通常对应着一个或多个Block，而每个Block的默认大小是64MB。这意味着MaxCompute会将较大的文件拆分成多个Block进行存储。每个Block都被分配给不同的服务器节点进行存储和处理。
"file size"指的是逻辑文件的大小，即您在MaxCompute中创建的表或分区所占用的空间大小。这个大小是根据数据文件的大小进行计算的，它可能包含一个或多个Block。
"physical size"则指的是文件在分布式文件系统中的实际物理大小。它是根据文件所占用的所有Block的总大小计算得出的。
需要注意的是，由于MaxCompute采用了列式存储和压缩等技术，实际存储空间可能会更高效利用。因此，"physical size"可能会比"file size"小得多，具体取决于数据的压缩率和存储方式。
2023-11-30 13:55:10赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
