开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问大家,flink CDC说是支持clickhouse,但是我使用jdbc connector报错

请问大家,flink CDC说是支持clickhouse,但是我使用jdbc connector报错,在flink官网也没找到clickhouse connector。 这是需要自己开发么?

展开
收起
雪哥哥 2022-11-13 20:12:47 1633 0
4 条回答
写回答
取消 提交回答
  • GitHub https://github.com/co63oc/cloud

    从Flink导入数据至ClickHouse https://help.aliyun.com/document_detail/212262.html

    2022-11-24 16:45:45
    赞同 1 展开评论 打赏
  • 需要确定下是否为Flink1.12以上,ClickHouse21.4.5.46以上。 image.png

    2022-11-23 17:29:36
    赞同 1 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    把数据写入clickhouse,同时还需要支持主键更新。目前使用的开源flink1.11版本是不支持clickhouse的,项目中使用的是flink sql 所以需要对源代码进行改造,支持jdbc的方式把实时数据写入clickhouse集群。自定义实现JdbcRowConverter,参考MySQLRowConverter package org.apache.flink.connector.jdbc.internal.converter;

    import org.apache.flink.table.types.logical.RowType;

    public class ClickhouseRowConverter extends AbstractJdbcRowConverter{

    public ClickhouseRowConverter(RowType rowType) {
    	super(rowType);
    }
    
    private static final long serialVersionUID = 1L;
    
    @Override
    public String converterName() {
        return "clickhouse";
    }
    

    } 这样就完成了,flink-jdbc-connector支持clickhouse的改造

    2022-11-23 14:59:14
    赞同 1 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    把数据写入clickhouse,同时还需要支持主键更新。目前使用的开源flink1.11版本是不支持clickhouse的,项目中使用的是flink sql 所以需要对源代码进行改造,支持jdbc的方式把实时数据写入clickhouse集群。自定义实现JdbcRowConverter,参考MySQLRowConverter package org.apache.flink.connector.jdbc.internal.converter;

    import org.apache.flink.table.types.logical.RowType;

    public class ClickhouseRowConverter extends AbstractJdbcRowConverter{

    public ClickhouseRowConverter(RowType rowType) {
    	super(rowType);
    }
    
    private static final long serialVersionUID = 1L;
    
    @Override
    public String converterName() {
        return "clickhouse";
    }
    

    } 这样就完成了,flink-jdbc-connector支持clickhouse的改造

    2022-11-23 14:59:15
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载