问题一:Flink CDC全量怎么同步到doris的?
Flink CDC全量怎么同步到doris的?
参考回答:
kafka分区可以指定副本所在broker节点。要在创建topic的时候指定,你了解下 replica-assignment 这个参数
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567350
问题二:Flink CDC内存小点也能跑,只是慢些,不知道怎么处理?
Flink CDC内存小点也能跑,只是慢些,但是我测试内存小的话全量同步task就直接跑满了,然后过一会就报内存溢出的错误挂掉了,不知道怎么处理?
参考回答:
这个有可能,我的SQL Server,表有8000W数据,主键字段是自增长的字符串字段,我测试分片效率很低,默认值8096分片跑了1天半还没跑完,我现在测试把分片大小调到了100W,分片需要近20分钟,我发现的主要问题是分片刚开始很快,然后会越来越慢,不知道这是什么原因,我看分片会执行Select Max()from X where 主键>? order by X 语句,这个语句数据库执行是很快的,但是分片的时候执行会越来越慢
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567345
问题三:请教下大家Flink CDC,flink消费kafka中的数据,也配成3个节点的不是?
请教下大家Flink CDC,flink消费kafka中的数据,3个节点的kafka集群,kafka同时要接收来自mogodb的json格式的数据,这个时候kafka的这个参数advertised.listeners=PLAINTEXT://hdp12:9092也配成3个节点的不是
参考回答:
并行度=分区数,或者是分区数的整数倍
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567344
问题四:Flink CDC 开启checkpoint会导致全量同步的数据变多,不开启则正常,大家有遇到过吗?
Flink CDC SQL server2016&CDC2.4.1 启动时StartupOptions设置为initial,开启checkpoint会导致全量同步的数据变多,不开启则正常,大家有遇到过吗?
参考回答:
这个问题可能与Flink CDC SQL server2016和CDC2.4.1的工作原理有关。在启动时,将StartupOptions设置为initial意味着Flink将从初始状态开始处理数据流。而开启checkpoint可能会导致全量同步的数据变多,这可能是因为checkpoint会触发Flink重新处理从初始状态开始的所有数据。另一方面,如果不开启checkpoint,Flink将从上次成功处理的位置继续处理,因此全量同步的数据量可能会较少。
解决这个问题的一种可能的方法是调整checkpoint的设置。可以尝试减小checkpoint的时间间隔,或者调整并行度等参数,以减少全量同步的数据量。此外,如果使用的是SQL Server 2017或更高版本,并且开启了CDC功能,还需要确保SQL Server代理服务正在运行,因为CDC功能需要这个服务的支持。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567343
问题五:各位老师好,初次使用Flink CDC 请问一下各位老师是哪里的问题导致增量没展示?
各位老师好,初次使用Flink CDC 捕获oceanbase表的变化数据,启动sql-client.sh 运行 select * from GC_DG_YW 时能查询到全量结果,但我在ob上插入增量数据不会在select结果区进行展示,请问一下各位老师是哪里的问题导致增量没展示?感谢!
create table GC_DG_YW
(
YWZH varchar(24),
XSFS varchar(12),
...
XT_FQID int,
XT_CJSJ DATE,
XT_XGSJ DATE,
primary key (YWZH) NOT ENFORCED
) WITH (
'connector' = 'oceanbase-cdc',
'scan.startup.mode' = 'initial',
'username' = 'hnwq@rems_tenant',
'password' = '**',
'tenant-name' = 'rems_tenant',
'database-name' = 'remstestdb',
'table-name' = 'gc_dg_yw',
'hostname' = '10.1.12.47',
'port' = '2881',
'rootserver-list' = '10.1.12.47:2882:2881',
'logproxy.host' = '10.1.12.47',
'logproxy.port' = '2983',
'working-mode' = 'memory'
);
参考回答:
如果开启了checkpoint还没数据。那就是其中某一步不对。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567326