DataWorks中Maxcompute的元数据视图查询时为什么会产生大量的计算费用?

DataWorks中Maxcompute的元数据视图查询时为什么会产生大量的计算费用?

展开
收起
真的很搞笑 2023-05-28 18:24:01 102 分享 版权
1 条回答
写回答
取消 提交回答
  • 1。使用maxc的元数据视图进行本项目下的作业费用计算,为啥每个项目下,收集元数据信息成本都是一样的?

    查询单个项目下的元数据信息,项目内任务数很少但是logview中的input-byte有数十G ?这正常吗?

    答: information schema提供的是视图元数据,对用户免存储费用, 但是查询会产生计算费用,视图的计算输入是按底层物理表数据输入,视图能查到的数据量不代表物理表仅存有这个量的数据。由于tasks_history和tunnel_history物理表较大(maxc的对应地域下的全局表),因此产品侧针对这两个视图做了优化,每日6点对昨日数据做一次切分以减少输入量提升查下性能,其他视图未做此处理。 建议用户侧在使用功能元数据视图进行任务分析/费用计算时,尽量在6点之后进行统计 ,可以减少大量数据输入从而减少扫描费用,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-05-28 18:32:10
    赞同 展开评论

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

还有其他疑问?
咨询AI助理