问题一:flinkcdc里面有反应同步binlog 延迟的metrics吗?
flinkcdc里面有反应同步binlog 延迟的metrics吗
参考答案:
binlog有延迟currentFetchEventTimeLag
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/582153
问题二:Flink CDC想请求可以小一点但是限制放大点,目前看是不行?
Flink CDC想请求可以小一点但是限制放大点,目前看是不行?比较关键的一点是,我用的是flink kubernetes operator来启动的flink集群。不知你那边的limit生效吗?
参考答案:
我也是flinl operator,再看一下你的机器资源是不是够了
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/582151
问题三:Flink CDC1.14 on k8s,session模式中的这个不能配置吗?
Flink CDC1.14 on k8s,session模式中的这个taskmanager的CPU不能配置request和limit吗?目前发现一定是要1核、2核这种整数且最低1核,是本身就不支持这样配置还是我的配置方法不对呢?
参考答案:
0.5也可以哦
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/582146
问题四:flinkcdc优化大表初始化的文章推荐么?
flinkcdc优化大表初始化的文章推荐么?
参考答案:
官网wiki有不少最佳实践。 大表可以提高并行度去加速快照同步
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/582143
问题五:Flink CDC中mysql单表数据同步到多个表,单纯使用flinksql能实现吗?
Flink CDC中mysql单表数据同步到多个表,单纯使用flinksql能实现吗,还是要通过table api?就是跑在一个任务里
参考答案:
在Flink CDC中,使用纯Flink SQL是可以实现MySQL单表数据同步到多个表的。你可以通过创建多个sink来将同一份源数据流分别写入到不同的目标表。
以下是一个基本的示例,展示如何使用Flink SQL在一个任务中将单个MySQL表的数据同步到两个不同的表:
-- 创建MySQL源表 CREATE TABLE mysql_source ( id INT, name STRING, -- 其他字段... ) WITH ( 'connector' = 'mysql-cdc', 'hostname' = 'your_mysql_host', 'port' = '3306', 'username' = 'your_username', 'password' = 'your_password', 'database-name' = 'your_database', 'table-name' = 'your_source_table' ); -- 创建第一个目标表 CREATE TABLE target_table1 ( id INT, name STRING, -- 其他字段... ) WITH ( 'connector' = 'jdbc', -- 或其他适合你的sink连接器 'url' = 'jdbc:mysql://your_target_host:3306/your_target_database', 'table-name' = 'target_table1', 'username' = 'your_target_username', 'password' = 'your_target_password' ); -- 创建第二个目标表 CREATE TABLE target_table2 ( id INT, name STRING, -- 其他字段... ) WITH ( 'connector' = 'jdbc', -- 或其他适合你的sink连接器 'url' = 'jdbc:mysql://your_target_host:3306/your_target_database', 'table-name' = 'target_table2', 'username' = 'your_target_username', 'password' = 'your_target_password' ); -- 将源数据流同步到两个目标表 INSERT INTO target_table1 SELECT * FROM mysql_source; INSERT INTO target_table2 SELECT * FROM mysql_source;
在这个示例中,我们首先创建了一个从MySQL读取数据的源表,然后创建了两个目标表。最后,我们使用INSERT INTO
语句将源表中的数据分别插入到两个目标表中。
关于本问题的更多回答可点击进行查看: