AI 助理
备案控制台
开发者社区 问答 正文

我有一个接kafka 写入tidb的任务 为什么会启动2个yarn任务去运行呢？

你好。我有一个接kafka 写入tidb的任务 为什么会启动2个yarn任务去运行呢？ 我是先用datastream 接入kafka。然后转成table sql写入到tidb 2个job name 一个叫Env.execute配置的名字 一个是叫insert 写入tidb的sql语句名字 *来自志愿者整理的flink邮件归档

展开
收起
游客sadna6pkvqnz6 2021-12-07 16:47:08 834 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 毛毛虫雨

    应该说 SQL 的 update 会在底层也 call 一次 env.execute

    如果你配的是所谓的 detach 模式，是有这种可能的。这个是实现问题，你可以先贴一下代码，然后描述你要的行为，看下可以怎么写*来自志愿者整理的flink

    2021-12-07 20:19:09
    赞同 展开评论
问答分类：
消息中间件 SQL 资源调度 Kafka 流计算 云消息队列 Kafka 版 实时计算 Flink版
问答标签：
任务Yarn Yarn任务 Yarn运行 任务Yarn运行 云消息队列 Kafka 版任务
问答地址：
开发者社区 > 微服务 > 问答
相关问答
dataworks部分定时任务显示任务异常退出，但是上yarn上显示任务运行成功这个是什么原因呢？
95
1
0
为什么我的有一个flink任务会经常自动创建kafka中的group？
122
1
0
请问FLINK-SQL作业sql文件怎样能 运行 yarn-application 模式?
162
1
0
flink cdc 为啥我从2.4升到3.1.1，在yarn上运行会有问题?
106
0
0
大数据计算MaxCompute在odps上有一个kafka同步到es的离线任务 任务是这么配置的？
69
0
0
flink cdc 读mysql 写进kafka，在执行一段时间后，任务就一直出于初始化状态？
106
0
0
DataWorks在odps上有一个kafka同步到es的离线任务 任务是这么配置的 ？
73
1
0
flink sql-client.sh yarn-per-job 运行完成后 不退出
215
0
0
flink on yarn打包运行，使用per job运行就没有问题，为什么？
88
1
0
DataWorks这个kafka的读的同步任务呀。我不选重置位点他是接着上一轮消费的位置继续消费吗？
69
1
0