Flink 任务 Jackson 解析 JSON 使用不当引发的反压问题
背景
最近业务方反馈线上一个 topic 的数据延迟比较大,然后我查看了这个 topic 的数据是由一个 Flink 任务产生的,于是就找到了这个任务开始排查问题,发现这个任务是一个非常简单的任务,大致的逻辑是 kafka source -> flatmap -> filter -> map -> sink kafka.中间没有复杂的操作,我在本地写了一个简单的程序模拟线上的任务.方便大家理解, 任务的 DAG 如下图所示
四种 Java 常用 JSON 库
JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于阅读和编写，机器解析和生成起来更是轻而易举。JSON 采用了完全独立于编程语言的文本格式，但它的格式非常符合 C 语言家族的习惯（比如 C、C++、C#、Java、JavaScript、Python 等）。 这种特质使得 JSON 成为了最理想的数据交换格式。