开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDCSQL jdbc 输出 不支持overwrite 咋办,有处理过这个问题吗?

Flink CDCSQL jdbc 输出 不支持overwrite 咋办,有大佬处理过这个问题吗?

展开
收起
真的很搞笑 2023-11-07 19:30:52 90 0
1 条回答
写回答
取消 提交回答
  • 对于Flink CDC SQL jdbc输出不支持overwrite的问题,这是因为JD对于Flink CDC SQL jdbc输出不支持overwrite的问题,这是因为JDBC connector本身不支持INSERT OVERWRITE的操作。目前,在Flink SQL中,只有Filesystem connector和Hive table支持INSERT OVERWRITE,因为这些表一般不会有主键。而其他的connector,如JDBC、ES、HBase等,暂时并不支持INSERT OVERWRITE。

    不过,你可以尝试使用upsert插入的方法作为替代。所谓的upsert插入,就是在connector表上定义了主键(PK),然后根据主键的结果进行更新。对于数据库类的系统来说,这种方法应该可以满足业务需求。

    2023-11-10 10:36:53
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载