AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

巨佬们，请教个问题： 我使用flinkCDC 采集MySQL数据，MySQL中的binlog清理策？

巨佬们，请教个问题： 我使用flinkCDC 采集MySQL数据，MySQL中的binlog清理策略是（1.占磁盘30%；2.binlog存储超过18个小时；3.binlog文件超过60个），这种策略导致采集任务经常性找不到binlog， 请问，在不动mysql端的情况下，flink端有什么参数可以解决这个问题的吗？

展开
收起
真的很搞笑 2023-06-29 08:13:48 152 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 芯在这

    调大点mysql存储空间，ckp减小时间，那你ckp减少到1/3时间，一般没理由会删binlog，删的也是过去的，最新的不删，此回答整理自钉群“【③群】Apache Flink China社区”

    2023-06-29 08:29:11
    赞同 展开评论
问答分类：
存储 关系型数据库 MySQL 流计算 云数据库 RDS MySQL 版 实时计算 Flink版
问答标签：
数据binlog 云数据库 RDS MySQL 版binlog mysql binlog 云数据库 RDS MySQL 版数据 云数据库 RDS MySQL 版清理
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
flinkcdc支持任务起动后不重启的情况下mysql source能捕获新建表的binlog吗?
166
1
0
FlinkCDC监听Mysql binlog，建立链接不会释放
183
1
0
为什么使用FlinkCDC和Kakfa Sink向Kakfa中发送binlog数据，会存在脏数据？
173
1
0
FLinkcdc 在初始化快照阶段的时候是不是就会记录下binlog点位？
117
1
0
flinkcdc 采集mysql出现卡在某个binlog文件出不来怎么办？
125
0
0
flink-cdc 在抽取mysql binlog，运行一段时间 source 就报java.uti
1228
3
0
请问 flinkcdc的时候 checkpoints里的mysql binlog pos不变吗？
781
10
0
大佬们，cdc mysql 可以获取binlog，binlog模式必须是row吗？
988
1
0
我的mysql的binlog已经开启了 但是flink cdc的打印显示没有读取到binlog文件，
1028
0
0
有没有遇到同步MySQL一直卡在某个binlog文件？数据库已经确认后续的binlog都生成了 io
886
0
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关文章

  • python爬虫获取各币种最新汇率并写入mysql表
  • 办公电脑上网监控软件的PHP红黑树日志处理算法
  • 阿里云「RDS AI 助手」正式上线：大模型驱动的数据库智能运维 Copilot
  • 打造可编程可集成的实时计算平台：阿里云实时计算 Flink被集成能力深度解析

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
  • Flink CDC中，有哪位大佬有flink 版本和cdc版本的适配统计啊？
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • Flink sql中的GROUP_CONCAT 函数 得怎么实现？
  • 有大佬遇到过flink web ui上的指标都是loading状态吗，flink版本是1.17.1？
  • Flink的tmp的这个目录产生临时文件很大，我想配置到外面，有配置项可以配置吗？
  • flink 和flink cdc 和 flink sql client 啥区别？
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • Flink这个 busy 是啥意思？
    • 展开全部
  • 数据仓库介绍与实时数仓案例
  • 实时计算 Flink SQL 核心功能解密
  • 流计算StreamCompute
  • 通过Flink实时构建搜索引擎的索引
  • Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
  • 阿里云实时计算产品案例&解决方案汇总
  • 流计算精品翻译: The Dataflow Model
  • 回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾（附PPT下载）
  • Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
  • 为什么说流处理即未来？
    • 展开全部
    还有其他疑问?
    咨询AI助理