开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

MaxCompute里数据地图和desc显示正确,但是存储量不对,为什么?

"odps.renlijia_ng.ods_renlijia_spm_v01_di pt 在20230604之后,数据地图和desc显示正确,但是存储量不对,正常是1000万在500mb,这里1000多有1g+,desc 看了下, pt 在20230604之后,小文件很多,但是这个日期之前没什么小文件,sls日志数据投递的数据,每天都一样。所以是有点疑问,pt 在20230604之后,数据地图和desc显示正确大小一致,但是1000万数据,正常存储是500mb,这里有1gb+,desc显示有很多小文件,f5ef9b4c75ba5fe5efa98e4edd0f135a.png这种是正常的,d8a1ff6380adbe7fb934ac3e14d2ccd7.png这种就不正常,38fe1bb2835f1139a2d1e0bff67c5b04.png ee7ccca3891af8e9f523bb65a1d920be.png显示不正常,这个和dw的同学在调试,去掉小文件和回收站数据之后,desc结果符合预期"

展开
收起
饭也太好吃了 2023-06-09 15:04:51 121 0
1 条回答
写回答
取消 提交回答
  • "pt 在20230604之后,数据地图和desc显示正确,但是存储量不对,刚同步完数据,有小文件和回收站临时数据是正常的。 因为MaxCompute底层有定时merge小文件,和清理回收站数据。 MaxCompute的存储费用也是按照日存储量平均值×单价来算的。MaxCompute底层有merge逻辑,MaxCompute的单表存储以desc结果为准,此回答整理自钉群“MaxCompute开发者社区2群(答疑@机器人)” "

    2023-06-09 15:46:31
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载