开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

你好,flink oracle cdc-2.4 加上checkpoint设置后,会出现:file ?

你好,flink oracle cdc-2.4 加上checkpoint设置后,会出现:file is not a valid field name。请问这是什么原因? --set 'execution.savepoint.path' = 'hdfs://192.168.10.1:8020/eas/saleorder/d51068fec17d01df3e2c91bd194b71de/chk-462/_metadata'; set 'execution.checkpointing.interval' = '120 s'; set 'execution.checkpointing.externalized-checkpoint-retention' = 'RETAIN_ON_CANCELLATION'; set 'state.checkpoints.dir' = 'hdfs://192.168.10.1:8020/eas/saleorder';?

展开
收起
真的很搞笑 2023-07-02 17:32:58 159 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    int 是一种用于实现容错的机制,可以在任务故障时恢复之前的状态,保证数据的一致性。您可以在 Flink 作业提交时通过设置参数来配置 Checkpoint,例如:
    bash
    Copy
    flink run -d -c com.example.MyJob \
    --set checkpointing.mode=EXACTLY_ONCE \
    --set execution.checkpointing.interval=10000 \
    my-job.jar
    在上述示例中,我们使用了 --set 参数来设置 Checkpoint 相关的参数,例如 checkpointing.mode 和 execution.checkpointing.interval。需要注意的是,参数名必须是 Flink 支持的合法参数名,否则会出现 "file is not a valid field name" 的错误。
    根据您提供的信息,错误信息中出现了 "file" 这个单词,这可能是因为您在设置参数时使用了非法的参数名。建议您检查一下提交作业时设置的参数名是否正确,确保参数名与 Flink 官方文档中所列出的参数名一致。

    2023-07-30 09:46:34
    赞同 展开评论 打赏
  • 根据你提供的信息,当在 Flink Oracle CDC 2.4 中添加了 checkpoint 设置后,出现了 file is not a valid field name 错误。这种错误通常是由于设置的参数名称不正确或语法错误导致的。

    在你提供的代码片段中,参数名前面带有单引号 ',这可能是导致错误的原因之一。请尝试移除参数名前面的单引号,并确保参数名和参数值之间使用等号 = 进行分隔,示例如下:

    --set execution.savepoint.path=hdfs://192.168.10.1:8020/eas/saleorder/d51068fec17d01df3e2c91bd194b71de/chk-462/_metadata
    --set execution.checkpointing.interval=120s
    --set execution.checkpointing.externalized-checkpoint-retention=RETAIN_ON_CANCELLATION
    --set state.checkpoints.dir=hdfs://192.168.10.1:8020/eas/saleorder
    

    请注意,具体的参数名称和语法可能因 Flink 版本而异,请查阅 Flink 官方文档以获取正确的参数名称和语法。

    另外,还需要确保参数名称正确地应用到你的 Flink Oracle CDC 的配置中。检查你的代码,确认这些参数是否被正确应用并能够正常解析。

    如果问题仍然存在,请提供更详细的错误信息和相关配置,以便更好地理解问题所在,并提供更准确的解决方案。

    2023-07-30 09:36:12
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像