开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请教一下大佬们,我用stream方式 initial方式全量接增量mysql数据之后,如果任务失败了

请教一下大佬们,我用stream方式 initial方式全量接增量mysql数据之后,如果任务失败了,重启之后,想要从上次失败的binlog位置开始继续同步数据,需要修改initial模式为LATEST_OFFSET模式吗1331问.png

展开
收起
游客3oewgrzrf6o5c 2022-07-12 10:47:23 395 0
1 条回答
写回答
取消 提交回答
  • 全栈JAVA领域创作者

    如果您使用stream方式 initial方式全量接增量mysql数据时任务失败了,重启任务时想要从上次失败的binlog位置开始继续同步数据,您需要将initial模式修改为LATEST_OFFSET模式。
    具体来说,如果您使用stream方式 initial方式全量接增量mysql数据时任务失败了,您可以使用--initial-mode参数将initial模式修改为LATEST_OFFSET模式,以便从上次失败的binlog位置开始继续同步数据。例如,以下命令演示了如何使用--initial-mode参数将initial模式修改为LATEST_OFFSET模式:

    $ODPS_HOME/bin/odps run -c com.example.HelloWorld -p /path/to/my/jar.jar --initial-mode LATEST_OFFSET
    

    在上面的命令中,-c参数指定了要执行的Java类的名称,com.example.HelloWorld是您要执行的Java类的名称。-p参数指定了jar包的路径,/path/to/my/jar.jar是您要执行的jar包的路径。--initial-mode参数指定了initial模式,LATEST_OFFSET是您要使用的initial模式,表示从上次失败的binlog位置开始继续同步数据。
    需要注意的是,如果您使用stream方式 initial方式全量接增量mysql数据时任务失败了,您需要根据实际情况来决定是否需要修改initial模式为LATEST_OFFSET模式。例如,如果您的任务失败是因为数据格式不匹配、数据存在重复等问题,您可能需要先解决这些问题,然后再继续同步数据。因此,您需要根据实际情况来决定是否需要修改initial模式为LATEST_OFFSET模式。

    2023-08-12 19:52:57
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
搭建电商项目架构连接MySQL 立即下载
搭建4层电商项目架构,实战连接MySQL 立即下载
PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

相关镜像