开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

在Flink我的hostname是 rr开头的 所以 binlog只能读10s以内的吗 ?

在Flink我的hostname是 rr开头的 所以 binlog只能读10s以内的吗 超过就会异常?场景四: 通过只读实例消费 CDC 数据,RDS的只读实例不保证binlog(本地最短可能只保留10s,上传oss),所以 MySQL CDC 侧不建议连接 RDS 的只读实例。 只读实例一旦作业 Failover 10s 内恢复不过来,就会有这个异常 只读实例判定,hostname 是 rr 开头的就是只读实例 rm 开头的就是正常的实例 。

展开
收起
三分钟热度的鱼 2023-06-13 18:04:40 51 0
1 条回答
写回答
取消 提交回答
  • 存在即是合理

    =关于binlog读取的问题,如果hostname以"rr"开头,那么这意味的MySQL实例是只读的。在这种情况下,只能读取最近10秒内的binlog数据,因为只读实例无法将旧的binlog数据持久化到磁盘上。如果尝试读取超过10秒的binlog数据,则可能会报错。

    其次,关于只读实例的Failover问题,如果只读实例在10秒内无法恢复,则会被视为判定为只读实例。这意味着不能使用该实例来执行写操作,例如插入、更新或删除数据。因此,如果需要在只读实例上执行这些操作,需要确保它能够快速恢复。

    最后,关于连接RDS只读实例的问题,由于RDS只读实例不保证binlog(本地最短可能只保留10s,上传oss),因此建议不要连接RDS只读实例进行CDC消费。相反,应该考虑使用其他可靠的存储介质来存储CDC数据,例如OSS等。

    2023-06-21 15:24:07
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载