开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC是否支持数据写入 clickhoues?

Flink CDC是否支持数据写入 clickhoues?

展开
收起
真的很搞笑 2023-11-07 08:05:04 66 0
3 条回答
写回答
取消 提交回答
  • 支持,但是有版本限制,你需要找ververica-connector-clickhouse的连接,此回答整理自钉群“Flink CDC 社区”

    2023-11-08 07:41:03
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC 可以将数据写入 ClickHouse 数据库中,但需要注意一些事项。

    • ClickHouse 数据库要求主键列的支持,请确认目标表中有主键列;
    • 注意读取的时间戳问题,比如使用正确的时间戳格式;
    • 使用 map function,以实现 insert into table 或者 upsert into table;
    • 注意检查 ClickHouse 数据库的安全性和性能,以及日志文件的大小限制;
    • 使用 logmining 参数,并进行详细的调试。
    2023-11-07 14:40:14
    赞同 展开评论 打赏
  • Flink CDC确实支持将数据写入ClickHouse。要实现这一操作,可以通过自定义JdbcRowConverter对源代码进行改造,以支持JDBC的方式把实时数据写入ClickHouse集群。此外,Flink也提供了专门的JDBC Upsert Table Sink对象,可以用于创建JDBC Upsert Table Sink对象。

    同时,Flink还提供了Flink SQL方式将Flink中的数据写入云数据库ClickHouse。使用这种方式的前提条件包括已在云数据库ClickHouse中创建表、在云数据库ClickHouse中设置白名单以及已开通Flink全托管。需要注意的是,只有Flink计算引擎VVR 3.0.2及以上版本才支持使用Flink SQL写入云数据库ClickHouse。

    2023-11-07 10:27:03
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载