开发者社区 > 大数据与机器学习 > 正文

求助,Flink CDC 之前yarn session 上了二十多个SQL任务。一次新提交一个任务?

求助,Flink CDC 之前yarn session 上了二十多个SQL任务。一次新提交一个任务,估计是AM资源紧张,一直在提交尝试中。后来就出事故了,网络带宽占满,被数据中心人员找了过来。一看YARN SESSION中的所有的JOB都在initing 中,把任务停掉就降下来了。这种情况帮忙分析一下,是怎么产生的,要如何才能避免呢?动不动就占满带宽影响太大了。所有的CDC表都是latest 启动模式,不涉及到snapshot,按理说不应该有那么大网络IO?

展开
收起
cuicuicuic 2023-06-04 19:10:13 75 0
0 条回答
写回答
取消 提交回答

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载