问题一:Flink CDC里flink 能获取的当前任务运行的jar 名称吗?
Flink CDC里flink 能获取的当前任务运行的jar 名称吗?
参考答案:
在Flink中,你可以通过以下方式获取当前任务运行的jar名称:
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); String jarName = env.getClass().getResource("/" + env.getJarName()).toString(); System.out.println("当前任务运行的jar名称为:" + jarName);
这里首先获取了执行环境的实例,然后通过getJarName()
方法获取到当前任务正在执行的jar包的名称。最后,我们打印出这个jar包的名称。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/590837
问题二:flinkcdc 支持监听postergres 数据库的记录吗 ?
flinkcdc 支持监听postergres 数据库的记录吗 ?
参考答案:
确实,Flink CDC能够支持监听PostgreSQL数据库的记录。要实现这一点,你需要进行一些配置和步骤。
首先,你需要更改PostgreSQL的配置文件postgresql.conf,主要进行以下两个设置:一是将wal日志方式改为logical;二是修改solts最大数量,因为flink-cdc默认一张表占用一个slots。
然后,你需要初始化账号密码等信息,用于后续的连接操作。
接下来是使用Flink CDC进行实时同步的主要步骤。你可以使用Flink-CDC来实时读取PostgreSQL数据库的全量快照数据和变更数据,保证不多读一条也不少读一条数据。即使发生故障,也能采用Exactly Once方式处理。
例如,你可以通过SpringBoot集成Flink-CDC采集PostgreSQL变更数据发布到Kafka。这样,你就可以监听数据变化,进行异步通知,做系统内异步任务了。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/590836
问题三:Flink CDC关于doris的动态分区问题,对以及建好的动态分区表,能再次修改历史分区的保留吗?
Flink CDC里关于doris的动态分区问题,对以及建好的动态分区表,可以再次修改历史分区的保留时间嘛?
参考答案:
在Doris中,一旦启用了动态分区功能,将不再允许用户手动管理分区。系统会根据所设定的动态分区属性来自动进行分区管理。如果已设定dynamic_partition.start
,那么在动态分区起始偏移之前的历史分区将会被删除。
对于建好的动态分区表,如果想要再次修改历史分区的保留时间,目前Doris并不直接支持此操作。因为一旦启动了动态分区功能,Doris会定期根据当前的日期时间来添加分区和删除分区,以减轻维护工作量。
综上,对于Flink CDC里关于Doris的动态分区问题,以及对于已经建好的动态分区表是否可以再次修改历史分区的保留时间,目前Doris的规定是不能更改历史分区的保留时间。在设计和使用过程中,需要对此有所考虑。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/590833
问题四:Flink CDC里问下增量数据可以不写进kafka,直接写进下游数据库吗?
Flink CDC里问下增量数据可以不写进kafka,直接写进下游数据库吗?
参考答案:
可以。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/590832
问题五:Flink CDC里可以在pom.xml中补充一下build节点么?不太理解打包问题?
Flink CDC里可以在pom.xml中补充一下build节点么?不太理解打包问题?
参考答案:
参考:
https://blog.csdn.net/weixin_42049123/article/details/135490219?spm=1001.2014.3001.5502
flinkCDC介绍和应用代码: Flink1.14+flinkCdc2.2.1,本地代码完整版
关于本问题的更多回答可点击进行查看: