开发者社区> 问答> 正文

kafkaf To mysql 写入问题

请教两个问题 1) 用下面的代码消费kafka 发生序列化异常时,会发生JOB反复重试,重启后也是这样, 改用FlinkKafkaConsumer010类的话,有相关的解决方法,参照https://stackoverflow.com/questions/51301549/how-to-handle-exception-while-parsing-json-in-flink/51302225 不知道,用Kafka类的话,如何解决 .connect( new Kafka() .version("0.10") .topic("test-input") 2) 对于timestamp类型字段,用JDBCAppendTableSink 把DataStream 写入到mysql时,会发下面的错误LocalTimeStamp到Timestamp的转型错误 kafka消息是avro格式,字段类型设置为timestamp(3),我是把System.currentTimeMillis()写入到kafka中的 jdbc参数类型设置为Types.SQL_TIMESTAMP thanks

*来自志愿者整理的flink邮件归档

展开
收起
小阿矿 2021-12-06 15:16:13 575 0
1 条回答
写回答
取消 提交回答
  • 估计需要使用Flink 1.11。

    1.JSON Format有参数控制 [1]

    2.是之前的bug,Flink 1.11应该是不会存在了,不确定1.10.1有没有修。

    [1]

    https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/formats/json.html#json-ignore-parse-errors

    *来自志愿者整理的flink邮件归档

    2021-12-06 16:58:38
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
深入MySQL实战 立即下载
MySQL 5.7让优化更轻松 立即下载
好的 MySQL 兼容可以做到什么程度 立即下载

相关镜像