开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

在高峰期实例 开始出现查询异常和写入任务报错的情况的具体原因是什么?

已解决

在高峰期实例 开始出现查询异常和写入任务报错的情况的具体原因是什么?

展开
收起
游客lmkkns5ck6auu 2022-08-29 21:51:45 330 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    随着迁移到 Hologres 的业务越来越多,写入任务的频率越来越高,在高峰期实例 开始出现查询异常和写入任务报错的情况。具体原因主要有: • 每天上午十点左右是离线(T+1)任务写入的高峰期,在这个时间段大量报表 统计任务聚集,对 Hologres 写入操作占用资源很多;

    • 其中部分写入任务的数据量特别大,天增量的结果数据达到了几亿条,写入时 间长,持续占用资源。而又有部分结果表字段数太多,达到了一千多个,消耗 资源较多;

    • 写入的同时,有部分 MaxCompute 读取 Hologres 外表的任务,造成连接数使 用上涨,影响其他任务;

    • 出报表的时间段也是业务进行查询的高峰期,大量写入的同时有大量的查询在 执行,相互影响;

    • 写入任务存在自动重试机制,每次 oom、timeout 或其它异常报错时,任务会 自动重跑占用资源,导致大面积的写入任务异常越来越多。

    以上内容摘自《大数据&AI实战派 第1期》电子书,点击https://developer.aliyun.com/ebook/download/7722 可下载完整版

    2022-08-30 12:50:42
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载