开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute tasks_history为什么查10天的数据,要11多G?

大数据计算MaxCompute tasks_history为什么查10天的数据,要11多G?
7bd85fb0dc268e33cc8364b3a728adc7.png

展开
收起
青城山下庄文杰 2023-08-13 17:40:00 79 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    MaxCompute 的 tasks_history 表是用于存储任务执行历史信息的系统表。这个表包含了任务执行的详细记录,包括任务的运行状态、运行时间、资源消耗等信息。根据您提供的情况,查询 10 天的数据占用了 11 多GB 的存储空间,可能有以下原因:

    数据量大:如果您的 MaxCompute 账号下执行了大量的任务,那么 tasks_history 表中可能积累了大量的历史记录。查询 10 天的数据可能包含了大量的任务执行信息,因此占用的存储空间较大。

    任务数量和频率:如果您的 MaxCompute 账号下执行了大量的任务,并且任务的执行频率较高,那么 tasks_history 表中会记录更多的任务执行信息,从而占用更多的存储空间。

    任务日志和输出数据:tasks_history 表中的任务执行信息可能包含任务日志和输出数据的引用。如果任务产生了大量的日志和输出数据,这些引用可能会占用较大的存储空间。

    2023-08-15 21:19:57
    赞同 展开评论 打赏
  • tasks_history保存了14天内的作业数据。 数据量还是比较大的。尽量查询时不要全表扫描 分字段和分区查询-此回答整理自钉群“MaxCompute开发者社区1群”

    2023-08-15 10:52:33
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载