开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

有人遇到过这种错吗? 新加表导致丢数据.然后从sp再恢复一次..又追回来的.. 2022-08-18

有人遇到过这种错吗? 新加表导致丢数据.然后从sp再恢复一次..又追回来的.. 2022-08-18 03:27:54,288 ERROR io.debezium.connector.mysql.MySqlStreamingChangeEventSource [] - Error during binlog processing. Last offset stored = null, binlog reader near position = mysql-bin-changelog.780396/47835107

展开
收起
游客3oewgrzrf6o5c 2022-08-18 17:56:56 562 0
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    是Debezium MySQL Connector产生的,它是一个用于MySQL数据变更事件捕获并流式传输到Kafka或其他消费者的开源工具。

    根据错误信息,似乎是在处理binlog时出现了问题。可能由于新添加的表结构不兼容或其他原因导致数据丢失。

    然而,您提到在从SP恢复一次后,数据又被追回来了。这似乎表明数据并没有真正丢失,而只是在某个时间点上未被正确处理。通过SP的恢复,数据被重新处理并成功追回。

    但是,为了更好地理解问题,需要更多的上下文和详细信息。例如,您是如何使用Debezium MySQL Connector的?您如何处理binlog数据?在哪个步骤中添加了新表?在错误发生之前,您是否进行了任何其他更改?

    2023-06-18 08:03:59
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
微信SQLite数据库损坏恢复实践 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载