开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

大佬,Flink CDC中我使用阿里云的实施计算Flink,采用CDAS语法同步任务,如果我想再当?

大佬,Flink CDC中我使用阿里云的实施计算Flink,采用CDAS语法同步任务,如果我想再当前正在运行的任务中,通过CDAS或者CTAS语法来新增加整库或表的 同步,如何增加allowNonRestoredState这个参数呢?我看官网上有说这个参数,但是没看到sql 怎么来添加?image.png
主要是新加库,我们数据量小,为了节约资源,所有同步都放在一个任务中。

展开
收起
真的很搞笑 2023-07-02 11:57:33 137 0
3 条回答
写回答
取消 提交回答
  • 在使用阿里云实时计算 Flink 的 CDC 功能时,如果你想在当前正在运行的任务中通过 CDAS 或 CTAS 语法新增整个数据库或表的同步,并且希望设置 allowNonRestoredState 参数,可以按照以下方式进行操作:

    1. 如果你已经停止了之前的作业,重新启动时会出现选择界面。在该界面中,可以找到一个选项来设置 allowNonRestoredState 参数。选择并启动这个选项即可。

    2. 如果你尚未停止之前的作业,需要先停止作业,然后再重新启动。在停止作业时,系统会保存作业的状态信息,包括参数配置。然后,在重新启动作业时,可以选择使用之前保存的状态信息,包括 allowNonRestoredState 参数。

    请注意,上述方法仅适用于使用 CDAS 语法进行 CDC 同步任务的情况。对于 CTAS 语法,可能无法直接设置 allowNonRestoredState 参数。在这种情况下,你可以考虑使用 Flink SQL DDL 或 Flink API 来定义和配置数据源和 Sink,并在代码中设置相关参数。

    总结起来,要在当前正在运行的 Flink CDC 任务中使用 CDAS 或 CTAS 语法新增整个库或表的同步,并设置 allowNonRestoredState 参数,可以使用上述提供的方法。根据你的需求和具体情况选择最适合的方式。希望这能帮助到你。如果还有其他问题,请继续提问。

    2023-07-30 13:02:24
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    首先,恭喜你已经成功使用了 Flink CDC 同步数据!
    对于你想重新尝试的数据同步任务,有以下几种方式:
    使用和上次相同的 CDAS(Change Data Capture as a Service)语法
    CDAS 语法会持久化到云端,即使你删除上次任务,也能通过相同的语法重新执行同步任务。
    修改 CDAS 语法,调整作业配置
    如修改并发数、分区策略等,然后再执行同步。修改后的 CDAS 语法也会被保存。
    使用 Flink SQL DDL 定义数据源和Sink
    sql
    Copy
    CREATE TABLE source (
    ...
    ) WITH (
    'connector' = 'cdc',
    ...
    )

    CREATE TABLE sink (
    ...
    ) WITH (
    ...
    )

    INSERT INTO sink
    SELECT * FROM source
    定义好后,可以多次执行此任务。
    直接使用 Flink API 重新启动作业
    通过 Flink Java/Scala API 从头开始定义和配置作业,再提交执行。
    这几种方式可以实现你想重新执行的 Flink CDC 数据同步任务。
    choice:
    使用相同或修改的 CDAS 语法方便快捷
    Flink SQL 定义更加灵活整洁
    Flink API 配置更加复杂但功能全面
    建议先尝试 CDAS 和 Flink SQL 这两种方式。如果需要高级配置,可以考虑 Flink API。
    使用阿里云实时计算 Flink 的优势是:
    方便保存和重新使用CDAS/Flink SQL 语法
    不需要维护 Flink 集群
    较低的上手难度

    2023-07-30 10:54:56
    赞同 展开评论 打赏
  • image.png
    你停止作业后,再启动有这个界面可选,此回答整理自钉群“Flink CDC 社区”

    2023-07-02 12:12:19
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载