带你读《Elastic Stack 实战手册》之30:——3.4.2.15.ingest pipelines(1)

简介: 带你读《Elastic Stack 实战手册》之30:——3.4.2.15.ingest pipelines(1)

3.4.2.15.ingest pipelines


创作人李增胜

 

Elastic 提供了三种方式进行数据加工处理:Logstash、Beats Processors 以及 Ingest Pipeline,本文着重介绍 Ingest Pipeline,以下比较了 Logstash 与 Ingest Pipeline的一些区别,便于在实际业务场景中选择:

 

image.png

image.png




总结:

 

l 如果业务场景 Ingest pipeline 已经能处理完成,则无需使用 Logstash,相反,如果业务处理数据场景要支持外部数据源,则选择 Logstash

l 如果业务场景需要缓冲数据,则采用 Logstash 较优

l 如果数据处理完成后需要输出到非 Elasticsearch 内部,则采用 Logstash

l 在简化配置方便,如果想配置简单,则选择 Elasticsearch ingest pipeline 即可

 

显然,Ingest pipeline 并非 Logstatsh 的替代品,需要根据自己的业务处理数据的要求和架构设计来选择对应的技术,并非二选一,也可以同时使用,对处理不同数据采用不同的技术架构。

 

Kibana Dev Tools 管理 Pipeline

 

Ingest Pipeline

 

用于预处理数据,由 Elasticsearch Ingest Node 节点负责运行处理,如需要系统性能提升可单独部署 Ingest Node 节点

 

优点:

 

l 由 Ingest Node 节点负责处理,职责清晰

l 更多 Processors 支持,扩展性强

l 轻量级,覆盖了 Logstash 大多常用场景

 

Ingest Pipeline 是一系列处理管道,由一系列的 Processors 组成处理,先来看下 pipeline 的处理过程:


image.png


在 Kibana 中也可以创建 Ingest pipeline,在稍微章节给出示例。

 


 

 《Elastic Stack 实战手册》——三、产品能力——3.4.入门篇——3.4.2.Elasticsearch基础应用——3.4.2.15.ingest pipelines(2) https://developer.aliyun.com/article/1230172

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
数据采集
带你读《Elastic Stack 实战手册》之30:——3.4.2.15.ingest pipelines(2)
带你读《Elastic Stack 实战手册》之30:——3.4.2.15.ingest pipelines(2)
|
项目管理 微服务
带你读《Elastic Stack 实战手册》之30:——3.4.2.15.ingest pipelines(4)
带你读《Elastic Stack 实战手册》之30:——3.4.2.15.ingest pipelines(4)
带你读《Elastic Stack 实战手册》之30:——3.4.2.15.ingest pipelines(3)
带你读《Elastic Stack 实战手册》之30:——3.4.2.15.ingest pipelines(3)
|
数据采集 消息中间件 关系型数据库
Ingest pipelines—Elastic Stack 实战手册
本文着重介绍 Ingest Pipeline,以下比较了 Logstash 与 Ingest Pipeline的一些区别,便于在实际业务场景中选择
951 0
Ingest pipelines—Elastic Stack 实战手册
|
数据可视化 NoSQL API
带你读《Elastic Stack 实战手册》之45:——3.5.4.Graph (下)
带你读《Elastic Stack 实战手册》之45:——3.5.4.Graph (下)
194 0
|
存储 资源调度 NoSQL
带你读《Elastic Stack 实战手册》之45:——3.5.4.Graph (上)
带你读《Elastic Stack 实战手册》之45:——3.5.4.Graph (上)
198 0
|
项目管理 索引 微服务
带你读《Elastic Stack 实战手册》之18:——3.4.2.3.Search通过Kibana(20)
带你读《Elastic Stack 实战手册》之18:——3.4.2.3.Search通过Kibana(20)
|
缓存 数据库 索引
带你读《Elastic Stack 实战手册》之18:——3.4.2.3.Search通过Kibana(6)
带你读《Elastic Stack 实战手册》之18:——3.4.2.3.Search通过Kibana(6)
101 0
|
API 索引
带你读《Elastic Stack 实战手册》之18:——3.4.2.3.Search通过Kibana(3)
带你读《Elastic Stack 实战手册》之18:——3.4.2.3.Search通过Kibana(3)
101 0
|
数据库
带你读《Elastic Stack 实战手册》之18:——3.4.2.3.Search通过Kibana(17)
带你读《Elastic Stack 实战手册》之18:——3.4.2.3.Search通过Kibana(17)
115 0

热门文章

最新文章