如何将json格式按字段同步进es？

环境信息

canal version mysql version

问题描述

操作流程是deployer >> kafka >>logstash >> es

我的logstash配置是 input{ kafka{ bootstrap_servers => ["192.168.10.200:9092"] consumer_threads => 5 auto_offset_reset => "earliest" topics => ["xxx"] codec => "json" } }

output{ elasticsearch{ hosts => ["192.168.10.110:9200"] index => "mysql-json" } }

在es index中出现了很多mysqlType.字段，这些字段实际用途吗？然后有个data字段 内容是表的数据，但是同一个字段中内容分了好几块，如何将这些字段解析成mapping？ { "fvlineplus": null, "fkeyarea": "3303", "fproductionno": null, "fgroupprice": null, "fmaterialname": "H749L", }, { "fvlineplus": null, "fkeyarea": "3303", "fproductionno": null, "fgroupprice": null, "fmaterialname": "L537C",

}, { "fvlineplus": null, "fkeyarea": "3303", "fproductionno": null, "fgroupprice": null, "fmaterialname": "J434C", 大概是这样的信息，这种内容是update的数据吗？有没有办法直接合并数据？ 我希望数据能展示成在数据库中那样。

原提问者GitHub用户wajika