Flink CDC 哪位大佬碰到过这种情况么,求指点

Flink CDC 哪位大佬碰到过这种情况么,求指点image.png

展开
收起
雪哥哥 2022-12-04 22:37:46 406 分享 版权
阿里云 AI 助理回答

您好!看起来您遇到了Flink CDC相关的问题,但未具体描述遇到的情况。根据我所掌握的知识库资料,我可以帮助解答一些常见的Flink CDC问题及其解决方案。请根据您的具体情况对号入座,或者提供更详细的错误信息,以便我能为您提供更精确的指导:

  1. Flink CDC作业失败后持续重启

    • 您可以通过调整Flink配置来控制作业失败后的重启策略,例如设置固定延迟重启策略,限定最大重试次数和重启间隔。
  2. MySQL CDC读取全量数据后不读增量数据

    • 确认是否使用了RDS MySQL 5.6备库或只读实例,这些可能无法提供完整的Binlog数据,建议升级至更高版本或使用可写实例。
    • 检查全量读取阶段是否因时间过长导致最后一个分片过大,考虑增加源端并发数以加速全量读取。
    • 确保Checkpoint间隔时间合理,避免在进入增量阶段前不必要的等待。
  3. 判断全量同步是否完成

    • 监控currentEmitEventTimeLag指标,大于0表示已进入增量阶段。
    • 查看TaskManager日志中是否有BinlogSplitReader is created的记录,表明全量读取结束。
  4. 数据库压力大

    • 考虑使用Kafka作为中间消息队列,解耦数据源与处理逻辑,减轻直接对数据库的压力。
    • 合并多个CTAS作业为单一作业运行,减少数据库访问频次。
  5. 特定报错处理

    • 针对The connector is trying to read binlog...报错,检查并增加Binlog保留时间,或提升作业处理速度。
    • 对于认证问题如Mysql8.0 Public Key Retrieval is not allowed,需调整用户验证方式为原始密码模式。
    • 权限不足错误如DELETE command denied,确保操作用户有相应表的DELETE权限,特别是涉及retract操作时。

如果您遇到的是上述情况之一,请尝试对应的解决方案。如果问题仍然存在或属于其他类型,请提供更详细的问题描述,我会尽力为您提供帮助。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理