问题一:Flink CDC里这个参数直接放在conf文件吗?1.17之前的还是直接运行时配参吗?
Flink CDC里env.java.opts.all: -Dfile.encoding=UTF-8这个参数直接放在conf文件吗?
1.17之前的还是直接运行时配参吗?
参考回答:
1.17以及之后的版本设置这个env.java.opts.all: -Dfile.encoding=UTF-8。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/596219?spm=a2c6h.13066369.question.26.283f3f33h07Vdz
问题二:flink cdc抽取mysql的utf8mb4编码的表到Doris里,怎么编码呢?
flink cdc抽取mysql的utf8mb4编码的表到Doris里,Doris只支持utf8,这个怎么去解决编码的问题呢?中文全是乱码,flink1.18.1。
参考回答:
参考这个:
https://paimon.apache.org/docs/master/cdc-ingestion/mysql-cdc/
flink-conf.yml 。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/596218?spm=a2c6h.13066369.question.27.283f3f33X0ODpO
问题三:Flink CDC里设置这个参数,没有捕获到新增字段的数据,其他数据也异常怎么回事?
Flink CDC里sqlserver-cdc设置这个参数,没有捕获到新增字段的数据,其他数据也异常是怎么回事?
参考回答:
SqlServer数据库中的新增字段是否添加到增量上,执行这个开启增量日志后
EXEC sys.sp_cdc_enable_table
@source_schema = 'schema_name',
@source_name = 'table_name',
@role_name
如果后续新增字段需要开启增量日志,需要需要执行上述命令来将字段添加至sqlserver中;核心表达是sqlserver增量日志配置,并非至flink-cdc中的。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/596217?spm=a2c6h.13066369.question.28.283f3f33QCqXYC
问题四:Flink CDC里一般来说可以支持多少张表的实时同步?
在使用Flink CDC和开源软件Dinky进行整库同步时,如果数据库中有100张表,每张表大约有100万条数据,表字段数量一般,我应该如何分配CDC资源?具体来说,我给JM 2g内存,TM 4g内存,一般来说可以支持多少张表的实时同步?
参考回答:
我是7张表,大概是这个资源,你可以参考下: 这应该要看这7张表 每秒最多 产生数据量,不过我们的业务场景其实就初始化的时候耗内存,其实增量同步的时候,数据不是那么多的。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/596213?spm=a2c6h.13066369.question.29.283f3f338tO9lG
问题五:flink cdc采集计算postgresql会默认创建一个插槽,怎么样连接插槽集?
flink cdc采集计算postgresql会默认创建一个插槽,但是任务数量过大,插槽数量也会增大;一个source一个插槽,slot.name='A',下一个还等于A就会报错A插槽已经存在,有没有什么办法能连接插槽集?同时插槽数不能太多,我们存在几万个job,一个数据库集群建议不让设置超过100,请问有办法吗?
参考回答:
主要是slot上会有消费的进度,很难复用。除非另一个作业不运行了。目前只能通过skip backfill来尽量减轻一下,但这样也要一个作业占用一个slot。
参考:https://github.com/ververica/flink-cdc-connectors/issues/2553
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/596208?spm=a2c6h.13066369.question.30.283f3f33JB9TsT