开发者社区> 问答> 正文

flink sql 数据异常导致任务失败怎么办?

kafka source,一条异常数据就会导致任务失败,这种问题怎么解决呢?

以前用DatastreamAPI的话是自己解析,因此可以捕获异常,仅统计非法数据量作为flink的metric指标。

现在是基于flink sql直接基于kakfa创建动态表,查询动态表过程json解析失败,导致任务失败。*来自志愿者整理的flink邮件归档

展开
收起
游客sadna6pkvqnz6 2021-12-07 17:29:37 1407 0
1 条回答
写回答
取消 提交回答
  • 最新的版本(1.11+)已经有这个属性可以配置了: https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/formats/json.html#format-options*来自志愿者整理的flink

    2021-12-07 21:06:45
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载