开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC-sql怎样导数据使starrocks支持主键模型delete的配置吗?

Flink CDC-sql怎样导数据使starrocks支持主键模型delete的配置吗?目前只能更新和插入,但是删除不行

展开
收起
真的很搞笑 2023-11-22 09:36:02 177 0
5 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC只支持StarRocks中的主键模型中的UPDATE和INSERT操作,不支持DELETE操作。你可以尝试使用其他方法来实现DELETE操作,或者考虑使用其他工具或服务来满足你的需求。

    2023-11-29 13:28:24
    赞同 展开评论 打赏
  • Flink CDC-SQL 支持将数据导入到 StarRocks 中,并支持主键模型的更新和插入操作。但是,目前 Flink CDC-SQL 不支持删除操作。

    如果您需要实现删除操作,可以考虑使用其他方式来实现,例如使用 Flink SQL 中的 delete 语句或者使用 Flink CDC SDK 来捕获数据变更并手动执行删除操作。

    2023-11-29 12:01:19
    赞同 展开评论 打赏
  • 为了在 Flink CDC-sql 导入 StarRocks 时使其支持主键模型 DELETE 操作,请遵循以下配置:

    1. 在 Flink CDC-sql 中配置扫描模式为 PRIMARY_KEY 或 UNIQUE_MODEL,并设置相应的 KeyField 字段列表。
    2. 确保 StarRocks 表结构已包含 PrimaryKey 字段。
    3. 确保 Flink CDC-sql 和 StarRocks 数据源之间的数据类型一致。
    4. 使用 StarRocks 提供的相关 API 进行 DELETE 操作,以便正确地跟踪数据变化。
      在完成上述配置之后,请重新运行 Flink CDC-sql 任务并验证 DELETE 操作是否成功。
    2023-11-22 14:57:32
    赞同 展开评论 打赏
  • 有虚拟列吧,此回答整理自钉群“Flink CDC 社区”

    2023-11-22 12:14:10
    赞同 展开评论 打赏
  • Flink CDC 只支持 StarRocks 中的主键模型中的 UPDATE 和 INSERT 操作,而不支持 DELETE 操作。要支持 DELETE 操作,请确保您的 StarRocks 数据表定义了 PRIMARY KEY 并设置为 AUTO_INCREMENT 类型,并且您的 Flink CDC 配置文件正确设置了 scan.startup.mode 参数。
    以下是一些简单的步骤:

    1. 定义 PRIMARY KEY 并将其设置为 AUTO_INCREMENT 类型:
      CREATE TABLE your_table (
      id INT NOT NULL AUTO_INCREMENT,
      name VARCHAR(10),
      PRIMARY KEY (id)
      );
      
    1. 更新 Flink CDC 配置文件:
      sql-client.sh catalog starrocks write into your_table --scan.startup.mode earliest-offset --update-mode retract -d db_name -t your_table --write-mode upsert -H localhost -u user_name -p password
      

    在这个命令行中,添加 --scan.startup.mode earliest-offset--update-mode retract 选项来支持 StarRocks 主键模型中的 DELETE 操作。
    image.png

    2023-11-22 10:36:27
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    SQL Server在电子商务中的应用与实践 立即下载
    GeoMesa on Spark SQL 立即下载
    原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载