开发者社区> 问答> 正文

flink-connector-clickhouse写入ClickHouse 问题

使用了阿里的包,写入clickhouse  阿里云flink-connector-clickhouse写入ClickHouse  https://help.aliyun.com/document_detail/185696.html?spm=5176.12901015.0.i12901015.2b41525cECNyYW&accounttraceid=1ac9126237284ef9b0a25f666c3030dfxaso  

测试写入clickhouse ,返回如下,无报错,但并未成功写入,不知从何下手排查,请教各位大佬  +---------------------------------------------+  | default_catalog.default_database.sink_table |  +---------------------------------------------+  | -1 |  +---------------------------------------------+ 

代码如下  package com.daniel  import org.apache.flink.streaming.api.scala._  import org.apache.flink.table.sources._  import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment  import org.apache.flink.table.api._  import org.apache.flink.types.Row  import org.apache.flink.table.api.{  TableEnvironment,  TableSchema,  Types,  ValidationException  } 

object StreamingJob {  def main(args: Array[String]) {  val SourceCsvPath =  "/Users/flink-sql-demo/flink-sql-source.csv" 

val env = StreamExecutionEnvironment.getExecutionEnvironment 

env.getConfig.disableClosureCleaner 

val tEnv = StreamTableEnvironment.create(env) 

val csvTableSource = CsvTableSource  .builder()  .path(SourceCsvPath)  .ignoreFirstLine()  .fieldDelimiter(",")  .field("name", DataTypes.STRING())  .field("age", DataTypes.BIGINT())  // .field("sex", DataTypes.STRING())  // .field("grade", DataTypes.INT())  .field("rate", DataTypes.FLOAT())  .build() 

tEnv.registerTableSource("source", csvTableSource) 

val create_sql =  s"""  | CREATE TABLE sink_table (  | name VARCHAR  |) WITH (  | 'connector' = 'clickhouse',  | 'url' = 'clickhouse://****:8080',  | 'username' = '',  | 'password' = '',  | 'database-name' = '**',  | 'table-name' = 'live.d_sink_table',  | 'sink.batch-size' = '1',  | 'sink.partition-strategy' = 'hash',  | 'sink.partition-key' = 'name'  |)  |""".stripMargin 

tEnv.executeSql(create_sql); 

val result = tEnv.executeSql(  "INSERT INTO sink_table SELECT name FROM source"  )  result.print()  } 

}*来自志愿者整理的flink邮件归档

展开
收起
CCCC 2021-12-02 14:57:37 1666 0
1 条回答
写回答
取消 提交回答
  • 换个第三方工具看看 https://github.com/blynkkk/clickhouse4j 

      cc.blynk.clickhouse   clickhouse4j   1.4.4   *来自志愿者整理的FLINK邮件归档

    2021-12-02 16:02:09
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载