问题一:flink cdc 每秒同步记录数 这个官方有相关压测 的文档吗?
flink cdc 每秒同步记录数 这个官方有相关压测 的文档吗?
参考回答:
参考本图,不完全是压测的场景,还要考虑下游数据写入能力,增量数据只有1个并行度等情况。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/592237
问题二:Flink CDC里为什么使用yarn-session模式这样启用不了checkpoint吗?
Flink CDC里flink run -d -D yarn.application.id=application_xxxx -D execution.checkpointing.interval=60000,flink1.16版本为什么使用yarn-session模式这样启用不了checkpoint吗?
参考回答:
在 Apache Flink 1.16 版本中,在 YARN session 模式下运行 Flink 应用程序,并尝试通过 -D
参数设置 checkpoint 间隔,需要注意以下几点:
- YARN Session 和 Checkpoint 配置:
在启动yarn-session
模式时,你应该先创建一个持久化的 Flink YARN session,然后在提交作业时通过作业的conf/flink-conf.yaml
或者直接在代码中指定 checkpoint 相关配置。不过,有时候也可以通过 Java API 或命令行参数临时覆盖部分配置项。-D execution.checkpointing.interval=60000
这种方式是在命令行上为作业指定自定义配置,但它是否能生效取决于 Flink 是否允许在运行时动态覆盖全局或作业级别的 checkpoint interval 设置。 - 正确设置 Checkpoint 间隔:
如果要在命令行提交作业时设置 checkpoint 间隔,确保使用正确的配置键名,对于 checkpoint 间隔应该是:
-D jobmanager.checkpoints.interval=60000
而不是 execution.checkpointing.interval
,虽然在某些版本中两者可能可以互换,但在不同版本间配置键名可能会有所差异。
3.配置生效范围:
当你在 Flink 1.16 中通过 -D
参数设置 checkpoint 间隔时,确保这些参数是在提交作业到已经启动的 YARN session 时传递的,而不是在启动 yarn-session
本身时。这是因为启动 session 时不一定会处理作业级别的具体配置。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/592243
问题三:Flink CDC里目前社区版本cdc支持整库同步了么?
Flink CDC里目前社区版本cdc支持整库同步了么?source是PG,sink是hudi。 后面有计划支持么?
参考回答:
目前支持mysql整库同步到starrocks/doris。参考这个:
https://github.com/ververica/flink-cdc-connectors/issues/2861
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/592246
问题四:Flink CDC里这个是怎么回事?
Flink CDC里这个是怎么回事? 什么原因导致起不来的呢?
参考回答:
看着就是没执行或者执行完成退出了。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/592249
问题五:Flink CDC里没有报错,但是一直监听不到数据,是需要什么参数配置吗 ?
Flink CDC里使用flinksql oracle cdc 代码正常起来,没有报错,但是一直监听不到数据,是需要什么参数配置吗 ?一直捕获不到数据,打印到控制台也没有什么输出,建表语句是这个CREATE TABLE source_order (
ID INT,
PRICE DOUBLE,
DESC
STRING,
CREATE_TIME TIMESTAMP,
UPDATE_TIME TIMESTAMP
)WITH (
'connector' ='oracle-cdc',
'hostname' = '10.190.228.33',
'port' = '1521',
'username' = 'xxx',
'password' = 'xxx',
'database-name' = 'xxx',
'schema-name' = 'xxx',
'table-name' ='T_ORDER',
'debezium.log.database.tablename.case.insensitive'='false',
'debezium.log.mining.strategy' = 'online_catalog',
'debezium.log.mining.continuous.mine' = 'true'
)
参考回答:
试一下这个'debezium.database.tablename.case.insensitive'='false',
'debezium.database.serverTimezone'='Asia/Shanghai',
'debezium.log.mining.strategy'='online_catalog'或者自己在工具中debug一下cdc源码,看看是哪儿没获取到日志。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/592255