在一个FLINK Application中(一个main class)用FLINK Kafka SQL Connector 都多个Kafka TOPIC, 然后对每一个Kafka Table, 取出一些字段后, insert后续Kafka Table。
任务提交到Yarn后, 为什么每一个SQL语句都会启动一个JobManager? 甚至都一个Kafka Source Table, SINK两次的话, 每一个SINK都是一个独立的Job?
是我的用户不对吗? 请各位指教。
// 运行多条 INSERT 语句,将原表数据输出到多个结果表中
StatementSet stmtSet = tEnv.createStatementSet();
// `addInsertSql` 方法每次只接收单条 INSERT 语句
stmtSet.addInsertSql(
"INSERT INTO RubberOrders SELECT product, amount FROM Orders WHERE product LIKE '%Rubber%'");
stmtSet.addInsertSql(
"INSERT INTO GlassOrders SELECT product, amount FROM Orders WHERE product LIKE '%Glass%'");
// 执行刚刚添加的所有 INSERT 语句
TableResult tableResult2 = stmtSet.execute();
// 通过 TableResult 来获取作业状态
System.out.println(tableResult1.getJobClient().get().getJobStatus());
flink job是 per sql per job。 不同sql在一个job内调度会比较复杂;每条sql作为一个job是合理的。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。