问题一:请教一下, flink oracle cdc , job启动可以获取全量源表数据, 但是源表执行?
请教一下, flink oracle cdc , job启动可以获取全量源表数据, 但是源表执行insert后, sink 没有数据同步输出, 这是什么原因?
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/514175?spm=a2c6h.14164896.0.0.eb8dd9dfbHD5jL
问题二:请问Flink CDC中oraclecdc 写数据出现的游标问题怎么解决呢,目前我是每条数据操作后会释放,但是发现多任务写入同一数据源的时候会出现数据库连接释放冲突问题,您遇到过吗?
大佬,请问Flink CDC中oraclecdc 写数据出现的游标问题怎么解决呢,目前我是每条数据操作后会释放,但是发现多任务写入同一数据源的时候会出现数据库连接释放冲突问题,您遇到过吗?
参考回答:
不会oraclecdc哦
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/519693?spm=a2c6h.14164896.0.0.28c7d9dfTCWOUs
问题三:Flink CDC中今天在同步数据时报这个数值不匹配的问题,能给指导下这是哪块儿的问题么?源mysql 目标:starrocks
大佬,Flink CDC中昨天那个连接数问题解决了,感谢。今天在同步数据时报这个数值不匹配的问题,能给指导下这是哪块儿的问题么?源mysql 目标:starrocks
参考回答:
根据您提供的信息,我猜测您可能在使用 Flink CDC 将 MySQL 数据同步到 Starrocks 存储桶中。
在使用 Flink CDC 进行数据同步时,可能会出现数值不匹配的问题。这通常是因为源数据库或目标存储桶中的某些数值与预期的数值不匹配。导致这个问题的原因可能有很多,例如数据库或存储桶的配置错误、数据更改的时间戳不同等等。
如果您遇到了这个问题,可以尝试以下方法来解决:
检查源数据库和目标存储桶的配置是否正确。确保 Starrocks 存储桶已经正确配置并能够与 MySQL 源数据库进行通信。
检查源数据库和目标存储桶的时间戳是否匹配。如果您的源数据库和目标存储桶的时间戳不同,可能会导致数值不匹配。您可以使用 Flink CDC 的 cdc.metastore() 方法获取当前作业的 Metastore 对象,并使用该对象获取源数据库和目标存储桶的时间戳。
检查源数据库和目标存储桶中的数值是否匹配。您可以使用 Flink CDC 的 cdc.addData() 方法将数据同步到 Starrocks 存储桶中,并在作业执行期间监控数据同步的状态。如果发现数值不匹配,您可以手动干预并修正数据。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/519717?spm=a2c6h.14164896.0.0.28c7d9dfTCWOUs
问题四:Flink CDC如何提高下游的消费能力? 我现在insert table 下游的算子已经红
大佬们?Flink CDC如何提高下游的消费能力? 我现在insert table 下游的算子已经红了?
SET 'parallelism.default' = '1';SET 'pipeline.max-parallelism' = '10'; 这两个吗?我设置了这两个参数 但是下游parall 还是1
大佬 我现在把源设置为了1;sink设置为了10; 但是sink会报错; 如果source为1 sink为1, sink没办法消费这么多全量数据 500W左右,消费能力不够,一直在消费。比如统计到了500w+, 然后又会从0开始统计,这样循环往复,insert到sink的时候,insert到sink的时候
类似这样,payoder.是订单表 source
参考回答:
加大并行,cdc并行度只有1,Jdbc消费数据?PAY order是cdc?
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/519764?spm=a2c6h.14164896.0.0.28c7d9dfTCWOUs
问题五:请问 一个flink-cdc 任务 可以连 俩个不同mysql数据源吗? 二个完全不同的 mysql实例
请问 一个flink-cdc 任务 可以连 俩个不同mysql数据源吗? 二个完全不同的 mysql实例
参考回答:
可以
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/452531?spm=a2c6h.14164896.0.0.1bf2d9dfeERj61
问题六:我这边目前情况是:oracle cdc,flink1.16版本,我启动了三十多个job,每个job都是多张表进行关联,目前oracle源表数据量不大,但是启动之后会将oracle服务器(100G内存左右)资源耗尽,最后报错ora-04030,不知道有没有遇见过类似的情况,如何调优之类的
Flink CDC 大家好,请教个问题,我这边目前情况是:oracle cdc,flink1.16版本,我启动了三十多个job,每个job都是多张表进行关联,目前oracle源表数据量不大,但是启动之后会将oracle服务器(100G内存左右)资源耗尽,最后报错ora-04030,不知道有没有遇见过类似的情况,如何调优之类的
参考回答:
报错内存不足,建议先排查一下多表关联的时候是否有笛卡尔积的情况,如果代码整体没有问题,可以看一下PGA和SGA的占比,然后show parameter sga_max_size看一下单个进程的最大值,如果太小,可以调大再尝试
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/472013?spm=a2c6h.14164896.0.0.1bf2d9dfeERj61
问题七:需要create table,这样对用不是太方便。理想方式,只需要配置数据源连接,通过catalog 自动查找表。flink cdc 怎么定制这样的catalog? SELECT id, UPPER(name), description, weight FROM mysql_binlog;
需要create table,这样对用不是太方便。理想方式,只需要配置数据源连接,通过catalog 自动查找表。flink cdc 怎么定制这样的catalog? SELECT id, UPPER(name), description, weight FROM mysql_binlog;
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/470517?spm=a2c6h.14164896.0.0.1bf2d9dfeERj61