在高峰期实例 开始出现查询异常和写入任务报错的情况的具体原因是什么?
随着迁移到 Hologres 的业务越来越多,写入任务的频率越来越高,在高峰期实例 开始出现查询异常和写入任务报错的情况。具体原因主要有: • 每天上午十点左右是离线(T+1)任务写入的高峰期,在这个时间段大量报表 统计任务聚集,对 Hologres 写入操作占用资源很多;
• 其中部分写入任务的数据量特别大,天增量的结果数据达到了几亿条,写入时 间长,持续占用资源。而又有部分结果表字段数太多,达到了一千多个,消耗 资源较多;
• 写入的同时,有部分 MaxCompute 读取 Hologres 外表的任务,造成连接数使 用上涨,影响其他任务;
• 出报表的时间段也是业务进行查询的高峰期,大量写入的同时有大量的查询在 执行,相互影响;
• 写入任务存在自动重试机制,每次 oom、timeout 或其它异常报错时,任务会 自动重跑占用资源,导致大面积的写入任务异常越来越多。
以上内容摘自《大数据&AI实战派 第1期》电子书,点击https://developer.aliyun.com/ebook/download/7722 可下载完整版
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。