Flink CDC 中如果新增同步的表,是不是要停作业,改完配置再启动?能不停机吗?速度还是不行,基

问题1:Flink CDC 中如果新增同步的表,是不是要停作业,改完配置再启动?能不停机吗?速度还是不行,基本没提升 问题2:这个咋看呢?现在增量的速度也有点慢,4.5w的增量要20s才抽取完成,验证的两个场景,批量更新数据表内4.5w数据和批量插入

展开
收起
真的很搞笑 2023-07-02 12:20:32 173 分享 版权
3 条回答
写回答
取消 提交回答
  • 对于 Flink CDC 中新增同步的表,通常情况下不需要停止作业、改完配置再启动。您可以通过动态添加表的方式来实现无需停机。

    Flink CDC 支持使用 SQL DDL 语句动态添加和删除表。例如,您可以使用 CREATE TABLE 和 DROP TABLE 语句来动态添加和删除表。需要注意的是,动态添加和删除表只能在支持动态表的 Connector 中使用。

    以下是一个动态添加表的示例:

    CREATE TABLE my_table (
      id INT,
      name VARCHAR,
      age INT,
      PRIMARY KEY (id) NOT ENFORCED
    ) WITH (
      'connector' = 'mysql-cdc',
      'hostname' = 'your_hostname',
      'port' = '3306',
      'database-name' = 'your_database_name',
      'table-name' = 'your_table_name',
      'username' = 'your_username',
      'password' = 'your_password',
      'startup-mode' = 'earliest'
    );
    

    在上述示例中,通过 CREATE TABLE 语句可以动态添加要同步的表。您只需提供相应的连接信息和其他配置参数即可。

    因此,您可以在运行时根据需要动态地添加新的同步表,而无需停止整个 Flink CDC 作业或重新启动。

    关于速度方面,增量数据的抽取速度受多个因素影响,包括源端数据库的性能、网络延迟、Flink CDC 的配置和硬件资源等。如果发现增量数据抽取速度慢,您可以尝试以下优化方法:

    1. 检查源端数据库的性能,并确保数据库和网络连接良好。 2. 调整 Flink CDC 的配置,例如调整并行度、调整缓冲区大小等,以提高作业的性能。 3. 考虑使用更高性能的硬件资源来运行 Flink CDC 作业。

    另外,批量更新和批量插入操作可能会影响增量数据的抽取速度。如果您需要快速抽取增量数据,建议避免大规模的批量操作,或者将批量操作拆分成小批量或单条记录的操作。

    2023-07-30 12:58:00
    赞同 展开评论
  • 北京阿里云ACE会长

    需要在 Flink CDC 中新增同步的表,可以通过动态添加表的方式来实现,无需停止作业和重新启动。
    Flink CDC 支持通过 SQL DDL 语句动态添加和删除表,例如:
    sql
    Copy
    -- 添加表
    CREATE TABLE my_table (
    id INT,
    name VARCHAR,
    age INT,
    PRIMARY KEY (id) NOT ENFORCED
    ) WITH (
    'connector' = 'oracle-cdc',
    'hostname' = 'your_hostname',
    'port' = '1521',
    'database-name' = 'your_database_name',
    'table-name' = 'your_table_name',
    'username' = 'your_username',
    'password' = 'your_password',
    'startup-mode' = 'earliest'
    );

    -- 删除表
    DROP TABLE my_table;
    在以上示例中,通过 CREATE TABLE 和 DROP TABLE 语句可以动态添加和删除表。需要注意的是,动态添加和删除表只能在支持动态表的 Connector 中使用,例如 Oracle CDC Connector。

    2023-07-30 10:28:26
    赞同 展开评论
  • 回答1:新加表,状态是不一样兼容的,那就是和你sink端的db有限制 回答2:4.5w的数据量是历史全量吧,增量是1个1个的,此回答整理自钉群“Flink CDC 社区”

    2023-07-02 12:25:54
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理