问题一:在flink1.17版本中消费一段时间后,kafka-group的 offset 就重置了怎么回事?
使用 阿里云全托管flink产品, 在flink1.17版本中, 使用 KafkaSource API创建source端,源码中默认开启了checkpoint的时候提交offset 到kafka-broker, 自己的代码中不用在手动开启checkopint, 全部通过 VVR产品界面开启,但是目前发现一个问题,就是消费数据的时候,消费一段时间后,kafka-group的 offset 就重置了,看起来像重置到 earliest 了
参考答案:
还有没有同样consumer group的作业在运行
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/599599
问题二:有没有什么办法通过一个 flink CDC同步来实现?
我们现在是有三个DRDS, 然后每个DRDS下面又各自挂有一定数量的RDS,
是要做三个Flink CDC同步嘛?
还是说 有没有什么办法通过一个 flink CDC同步来实现
参考答案:
DRDS还不支持
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/599598
问题三:Flink实时数仓在现有资源的情况下最好建在哪里?
可用资源:datahub, RDS, ES,flink
场景:有RDS中有三个部分的欠费A表、B表、C表, 这三个表在RDS中本身就是一直在变化的, A B C三个部分共同组成欠费
目标:实现实时欠费统计 存入实时数仓中的层中的欠费D表(D表的数据需要一直实时被更新)
问题:
1、实时数仓在现有资源的情况下最好建在哪里(其实最好是有kafka),
2、D表的数据怎么实现一直实时变化更新 (这个不是统计一个小时内的欠费,想实现类似于原生flink的状态数据更改)
参考答案:
RDS -> Flink CDC -> RDS/ES.
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/599597
问题四:Flink CDC里我用的cdc2. 4的版本,为什么在运行程序时会重复读取oracle 中的数据?
Flink CDC里我用的cdc2. 4的版本,为什么在运行程序时会重复读取oracle 中的数据?并且重复时间和我的ck 配置时间有关系,这个问题应该怎么解决?
参考答案:
在Flink CDC中使用cdc2.4版本时,如果遇到重复读取Oracle中的数据的问题,这可能是由于几个原因造成的。以下是可能的原因和相应的解决方案:
- 检查Oracle数据库配置:确保您的Oracle数据库已经启用了日志归档,并且被捕获的表或数据库上已经启用了增量日志记录。这是实现实时数据捕获的基本要求。
- 检查CDC配置:确认您的Flink CDC配置是否正确,特别是与checkpoint相关的配置。错误的checkpoint配置可能会导致数据的重复读取。
- 检查Flink作业状态:如果Flink作业存在反压(backpressure),CDC Source中的Binlog Client可能会因为反压而无法继续读取数据,这可能导致重复读取问题。解决方案是优化Flink作业以减少反压情况的发生。
- 检查数据库连接超时设置:如果数据库上配置的连接超时时间过短,可能会导致Binlog Client连接被切断,从而影响数据的正常读取。您可以尝试增加数据库的连接超时时间来解决这个问题。
- 版本兼容性:虽然Flink CDC 2.1版本开始增加了对Oracle的支持,但是如果您使用的是更早的版本或者Oracle数据库的版本较旧,可能会存在兼容性问题。请确保您使用的Flink CDC版本与Oracle数据库版本兼容。
- 监控和日志分析:通过监控Flink作业的运行状态和查看日志信息,可以帮助您更准确地定位问题所在。
- 咨询社区和支持:如果上述方法都无法解决问题,建议在Flink社区或者寻求官方支持,提供详细的问题描述和相关配置信息,以便得到更专业的帮助。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/599301
问题五:Flink CDC里这个一直是100%是什么原因?
Flink CDC里这个一直是100%是什么原因? source我没动,只是改了composer的这一点逻辑 mysql to doris的pipeline运行正常的,但是这个mysql to hudi的pipeline我这样改了一下,第一步就busy 100%了,source我没动
参考答案:
应该是SchemaOperator算子阻塞了吧。
关于本问题的更多回答可点击进行查看: