Flink中一个作业中的多个作业或多个管道

可以在setupJob（）方法中创建多个管道（使用单独的或共享的源使用者）。这是一个例子：

private void buildPipeline(StreamExecutionEnvironment env, String sourceName, String sinkName) {

DataStream<T> stream = env
        .addSource(getInputs().get(sourceName))
        .name(sourceName);
stream = stream.filter(evt -> filter());
....

}

@Override
public void setupJob(AthenaFlinkJobConfiguration jobConfig, StreamExecutionEnvironment env) throws Exception {

...
buildPipeline(env, sourceTopic1, sink1, ...);
buildPipeline(env, sourceTopic2, sink2, ...);
...

}
这是两种方法的快速对比。使用单独工作的优点/缺点：

[+]代码更简单。
[+]更灵活地设置低级配置（容错机制，堆大小，并行性等）
[ - ]由于资源不共享，因此基础设施成本较高。
[ - ]维护和监控更复杂，更耗时。
在单个作业中使用单独管道的好处：

[+]监控和调试单个作业更容易。
[+]修补程序被提交到单个仓库并部署到单个环境中。
[+]经济：降低基础设施硬件和运营成本。
[ - ]不能绑定单个管道使用。
[ - ]一个管道中的故障会影响另一个管道。
[ - ]一个管道中的背压可能会影响整个作业，因为每个作业都会为一个检查点创建快照。