AI 助理
备案控制台登录注册
开发者社区 问答 正文

有同学遇到canal监控MySql的binlog发送kafka，出现数据延迟达五六个小时#Flink

有同学遇到canal监控MySql的binlog发送kafka，出现数据延迟达五六个小时吗？这个问题怎么解决？？#Flink

展开
收起
黄一刀 2020-08-07 16:24:42 3632 分享
分享
 版权
举报

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 黄二刀

    一般是batchsize设置太小了， 但是canal发到kafka又是批量发送，所以你这个值 又不能超过1M，我是改成了单条发送，一次取 4096M的数据

    2020-08-07 16:27:05 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
问答分类：
canal 消息中间件 监控 关系型数据库 MySQL Kafka 流计算 云消息队列 Kafka 版 云数据库 RDS MySQL 版 实时计算 Flink版
问答标签：
云数据库 RDS MySQL 版数据 mysql binlog 云数据库 RDS MySQL 版binlog 实时计算 Flink版数据 实时计算 Flink版mysql
问答地址：
开发者社区 > 数据库 > 问答
相关问答
flink cdc 读mysql 写进kafka，在执行一段时间后，任务就一直出于初始化状态？
59
0
0
Flink的holo表的binlog最长生命周期是多长啊？
49
1
0
使用flinkcdc 3.1.1 同步mysql到kafka，改表结构之后就不能从 特定位置起了吗？
64
1
0
flinksql cdc 是不是只有从mysql同步到kafka 才能截取到这个字段？
58
1
0
如果用flinksql的方式同步mysql数据到kafka，是类似DTS那样吗？
55
1
0
dts支持多个polardb mysql的数据表，增量同步投递到同一个kafka topic吗？
36
0
0
在Flink CDC中这种模式Kafka到mysql可以kakfa到doris不行，也不报错为什么？
71
0
0
flink-cdc是不是对mysql比较友好，mysql会有很大的延迟吗？
76
1
0
Flink有没有什么参数可以设置mysql作为source的 binlog的保存时长？
55
1
0
请问 flink-cdc拉 polardb的binlog 可以走备库吗？
71
1
0
AI助理

你好，我是AI助理

可以解答问题、推荐解决方案等