3.4.2.15.ingest pipelines
创作人:李增胜
Elastic 提供了三种方式进行数据加工处理:Logstash、Beats Processors 以及 Ingest Pipeline,本文着重介绍 Ingest Pipeline,以下比较了 Logstash 与 Ingest Pipeline的一些区别,便于在实际业务场景中选择:
总结:
l 如果业务场景 Ingest pipeline 已经能处理完成,则无需使用 Logstash,相反,如果业务处理数据场景要支持外部数据源,则选择 Logstash
l 如果业务场景需要缓冲数据,则采用 Logstash 较优
l 如果数据处理完成后需要输出到非 Elasticsearch 内部,则采用 Logstash
l 在简化配置方便,如果想配置简单,则选择 Elasticsearch ingest pipeline 即可
显然,Ingest pipeline 并非 Logstatsh 的替代品,需要根据自己的业务处理数据的要求和架构设计来选择对应的技术,并非二选一,也可以同时使用,对处理不同数据采用不同的技术架构。
Kibana Dev Tools 管理 Pipeline
Ingest Pipeline
用于预处理数据,由 Elasticsearch Ingest Node 节点负责运行处理,如需要系统性能提升可单独部署 Ingest Node 节点。
优点:
l 由 Ingest Node 节点负责处理,职责清晰
l 更多 Processors 支持,扩展性强
l 轻量级,覆盖了 Logstash 大多常用场景
Ingest Pipeline 是一系列处理管道,由一系列的 Processors 组成处理,先来看下 pipeline 的处理过程:
在 Kibana 中也可以创建 Ingest pipeline,在稍微章节给出示例。
《Elastic Stack 实战手册》——三、产品能力——3.4.入门篇——3.4.2.Elasticsearch基础应用——3.4.2.15.ingest pipelines(2) https://developer.aliyun.com/article/1230172