问题一:在同一个tm里面,flink cdc的任务超过20个后就显示连接池满,这个问题如何修改配置解决?
在同一个tm里面,flink cdc的任务超过20个后就显示连接池满,连不上数据库了,这个问题如何修改配置解决?
参考答案:
source选项里设置这个参数
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/602597
问题二:Flink有akka文档推荐吗?
Flink有akka文档推荐吗?
参考答案:
Apache Flink 自身并没有直接使用 Akka 库进行通信,其内部基于 Netty 和自身实现的网络栈进行通信。如果您是指 Flink 与 Akka 集成或类似消息系统的配合使用,您可以查阅 Flink 社区的相关实践案例,但官方文档中不会专门针对 Akka 提供文档。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/602595
问题三:问个flink的问题 如果ck的间隔时间过长,从ck恢复是不是会导致数据重复?
问个flink的问题 如果ck的间隔时间过长,在执行过程中sink doris挂掉了,从ck恢复是不是会导致数据重复?
参考答案:
对于Flink问题,假设Checkpoint(CK)间隔较长且在Sink Doris过程中发生故障,如果从CK点恢复,是否会引发数据重复取决于Flink作业的Exactly-once语义保障情况和Doris Sink的幂等性。如果Flink任务正确配置了checkpoint,并且Sink组件支持幂等写入,则从checkpoint点恢复时不会导致数据重复。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/602594
问题四:Flink oracle cdc 读oracle的主备库,由于备库是只读权限,是不是没法实现啊?
Flink oracle cdc 读oracle的主备库,由于备库是只读权限,想在从库做cdc,是不是没法实现啊?
参考答案:
Flink CDC 读取 Oracle 数据库理论上可以连接只读的备库,但在实际操作中需确保备库的数据延迟较小,并且 CDC 工具支持连接到只读实例。某些 CDC 工具如Debezium Oracle Connector能够从Oracle的日志miner接口获取变更数据,只要备库开放了相应的日志同步和只读查询功能,就可以进行CDC。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/602592
问题五:咨询一下Flink,RichFunction函数里的open方法的参数 怎么传递?
咨询一下Flink,RichFunction函数里的open方法的参数Configuration, 怎么传递?
void open(Configuration parameters)
这么写也传递不过去
Configuration conf = new Configuration();
conf.setString("name", "wsy");
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(conf);
参考答案:
在open()时, 传递进去的是一个空Configuration, 这样是拿不到的
放到全局参数中去拿
关于本问题的更多回答可点击进行查看: