开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

各位大佬 请问什么时候能支持指定timestamp开始来读binlog呢?

各位大佬 请问什么时候能支持指定timestamp开始来读binlog呢?

展开
收起
游客3oewgrzrf6o5c 2022-07-27 13:58:27 184 0
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    可以用于数据备份、数据恢复、数据迁移等场景。在使用 Binlog 进行数据同步时,确实存在指定 timestamp 开始读取 Binlog 的需求。不过,这个功能是否支持取决于您使用的 Binlog 解析工具和具体的实现方式。

    如果您使用的是阿里云数加(MaxCompute)中的 ODPS,可以使用 ODPS CDC(Change Data Capture)来进行增量数据同步。目前,ODPS CDC 已经支持了从指定的 Binlog 位置开始读取数据的功能,但是还不支持从指定的 timestamp 开始读取数据。如果您需要从指定的 timestamp 开始读取 Binlog 数据,可以考虑使用其他的 Binlog 解析工具,例如 Canal 或者 MySQL Connector/J 等。

    需要注意的是,指定 timestamp 开始读取 Binlog 数据可能会导致数据不一致的问题

    2023-07-17 13:34:13
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
俞航翔|基于Log的通用增量Checkpoint 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载