大数据计算MaxCompute pk表的数据地图显示的存储量和desc extended显示的不一致,肯定是按照desc 的extended为主,这部分是不是包含了部分的snaphot快照存储?pk表的FileNum也比较多,没办法手动合并,后台自动合并目前我看起来没有合并(这个 功能是不是依赖实时导入数据才行)
在阿里云的大数据计算 MaxCompute 产品中,PK 表的数据存储量和 desc extended 命令显示的存储量可能会有所不同。这是因为,在 MaxCompute 中,数据存储量的计算方式和数据压缩方式可能会对存储量产生影响,导致不同的结果。
具体来说,数据存储量的计算方式可以分为两种:数据文件大小和数据占用空间大小。数据文件大小是指数据文件在磁盘上的实际大小,而数据占用空间大小则是指数据文件在系统中占用的实际空间大小,包括数据文件大小、元数据信息、索引信息等。在 MaxCompute 中,如果启用了数据压缩功能,数据文件大小和数据占用空间大小可能会有所不同,导致存储量的计算结果不同。
在大数据计算MaxCompute中,PK表(Partitioned Table)是指根据特定字段进行分区的表。关于PK表的数据地图显示的存储量和desc extended
命令显示的信息可能存在一些差异。
当使用数据地图(Data Map)功能查看PK表时,它可以提供有关表的元数据信息、分区信息以及与每个分区相关联的存储量等详细信息。数据地图通常会根据实际存储情况来计算并显示每个分区的存储量。
而desc extended
命令则是一种描述表结构和属性的命令,它提供了更全面的表描述信息,包括列名、数据类型、注释、分区列等,但不会直接显示存储量信息。
这两种方式提供的信息属于不同的层面和目的,可能会有一些差异。数据地图主要用于可视化展示表的分区和存储量等信息,而desc extended
命令主要用于获取表的结构和属性的详细描述。
如果您需要获取更准确的存储量信息,建议使用数据地图功能来查看每个分区的存储量。如果您需要更多的表结构和属性信息,可以使用desc extended
命令来获取完整的描述信息。
需要注意的是,数据地图和desc extended
命令都是MaxCompute的元数据查询工具,它们显示的信息可能受到数据更新和计算引擎状态等因素的影响。在使用时,应根据实际需求进行评估和选择。
因为数据地图里有一些临时文件之类的,所以显示的存储量会稍微大一些;
存储使用量有这么几个地方可以看
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。