Ingest pipelines—Elastic Stack 实战手册

简介: 本文着重介绍 Ingest Pipeline,以下比较了 Logstash 与 Ingest Pipeline的一些区别,便于在实际业务场景中选择

970X90.png

· 更多精彩内容,请下载阅读全本《Elastic Stack实战手册》

· 加入创作人行列,一起交流碰撞,参与技术圈年度盛事吧

创作人:李增胜

Elastic 提供了三种方式进行数据加工处理:Logstash、Beats Processors 以及 Ingest Pipeline,本文着重介绍 Ingest Pipeline,以下比较了 Logstash 与 Ingest Pipeline的一些区别,便于在实际业务场景中选择:

种类 部署 数据缓冲 数据处理 数据源
Logstash 需要另外部署,增加复杂性 采用队列机制缓冲数据,多队列支持 支持大量processors,远超 ingest 支持外部数据源,如MYSQL、Kafka、Beats等
Ingest pipeline 无需另外部署,易于扩展 无缓冲策略 支持超过30种processors Ingest 也可和 Beats 或者 Logstash 解决特定场景数据源问题

总结:

  • 如果业务场景 Ingest pipeline 已经能处理完成,则无需使用 Logstash ,相反,如果业务处理数据场景要支持外部数据源,则选择 Logstash
  • 如果业务场景需要缓冲数据,则采用 Logstash 较优
  • 如果数据处理完成后需要输出到非 Elasticsearch 内部,则采用 Logstash
  • 在简化配置方便,如果想配置简单,则选择 Elasticsearch ingest pipeline 即可

显然,Ingest pipeline 并非 Logstatsh 的替代品,需要根据自己的业务处理数据的要求和架构设计来选择对应的技术,并非二选一,也可以同时使用,对处理不同数据采用不同的技术架构。

Kibana Dev Tools 管理 Pipeline

Ingest Pipeline

用于预处理数据,由 Elasticsearch Ingest Node 节点负责运行处理,如需要系统性能提升可单独部署 Ingest Node 节点

优点:

  • 由 Ingest Node 节点负责处理,职责清晰
  • 更多 Processors 支持,扩展性强
  • 轻量级,覆盖了 Logstash 大多常用场景

Ingest Pipeline 是一系列处理管道,由一系列的 Processors 组成处理,先来看下 pipeline 的处理过程:

1.png

在 Kibana 中也可以创建 Ingest pipeline,在稍微章节给出示例。

常用 的 Processors 如下

更多 Pipeline Processors 参考更多; https://www.elastic.co/guide/en/elasticsearch/reference/master/processors.html

Trim

去除空格,如果是字符串类型的数组,数组中所有字符串都会被替换空格处理

Split

切分字符串,使用指定切分符,切分字符串为数组结构,只作用与字符串类型

Rename

重命名字段

Foreach

对一组数据进行相同的预处理,可以使用 Foreach

Lowercase / Uppercase

对字段进行大小写转换

Script

使用脚本语言进行数据预处理

Gsub

对字符串进行替换

Append

添加数据到数组

Set

设置字段值

Remove

移除字段

Trim

去除字符串中的空格

PUT _ingest/pipeline/trim_pipeline
{
  "processors": [
    {
      "foreach": {
        "field": "message",
        "processor": {
          "trim": {
            "field": "_ingest._value"
          }
        }
      }
    }
  ]
}

POST _ingest/pipeline/trim_pipeline/_simulate
{
  "docs": [
    {
      "_source": {
        "message": [
          "car222 ",
          " auto2222 "
        ]
      }
    }
  ]
}

#返回:
{
  "docs" : [
    {
      "doc" : {
        "_index" : "_index",
        "_type" : "_doc",
        "_id" : "_id",
        "_source" : {
          "message" : [
            "car222",
            "auto2222"
          ]
        },
        "_ingest" : {
          "_value" : null,
          "timestamp" : "2021-04-28T13:19:13.542743Z"
        }
      }
    }
  ]
}

Split / Foreach

切分字符串,使用指定切分符,切分字符串为数组结构,只作用于字符串类型

PUT _ingest/pipeline/split_pipeline
{
  "processors": [
    {
      "foreach": {
        "field": "message",
        "processor": {
          "split": {
            "field": "_ingest._value",
            "separator": " "
          }
        }
      }
    }
  ]
}

#测试
POST _ingest/pipeline/split_pipeline/_simulate
{
  "docs": [
    {
      "_source": {
        "message": [
          "car222 aaa",
          " auto2222 aaaa bbb"
        ]
      }
    }
  ]
}
#返回,可以看到 message 按照空格切分为了多个字符串数组
{
  "docs" : [
    {
      "doc" : {
        "_index" : "_index",
        "_type" : "_doc",
        "_id" : "_id",
        "_source" : {
          "message" : [
            [
              "car222",
              "aaa"
            ],
            [
              "",
              "auto2222",
              "aaaa",
              "bbb"
            ]
          ]
        },
        "_ingest" : {
          "_value" : null,
          "timestamp" : "2021-04-28T13:28:20.762312Z"
        }
      }
    }
  ]
}

Rename

重命名一个字段, rename 往往和 reindex 结合使用

POST goods_info_comment_message/_bulk
{"index":{"_id":1}}
{"message":"美 国苹果 "}
{"index":{"_id":2}}
{"message":"山东 苹果 "}


#定义 rename_pipeline
PUT _ingest/pipeline/rename_pipeline
{
  "processors": [
    {
      "rename": {
        "field": "message",
        "target_field": "message_new"
      }
    }
  ]
}

#重建 index
POST _reindex
{
  "source": {
    "index": "goods_info_comment_message"
  },
  "dest": {
    "index": "goods_info_comment_message_new",
    "pipeline": "rename_pipeline"
  }
}

#查询 mapping
GET goods_info_comment_message_new/_mapping

#返回
{
  "goods_info_comment_message_new" : {
    "mappings" : {
      "properties" : {
        "message_new" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        }
      }
    }
  }
}

Lowercase / Uppercase

将字符串修改为大写或者小写

PUT _ingest/pipeline/lowercase_pipeline
{
  "description": "lowercase processor",
  "processors": [
    {
      "lowercase": {
        "field": "message"
      }
    }
  ]
}

#测试,部分字符大写
POST _ingest/pipeline/lowercase_pipeline/_simulate
{
  "docs": [
    {
      "_source": {
        "message": [
          "CAr222 aaa",
          " auto2222 aaaa Bbb"
        ]
      }
    }
  ]
}

#结果,全部输出为小写
{
  "docs" : [
    {
      "doc" : {
        "_index" : "_index",
        "_type" : "_doc",
        "_id" : "_id",
        "_source" : {
          "message" : [
            "car222 aaa",
            " auto2222 aaaa bbb"
          ]
        },
        "_ingest" : {
          "timestamp" : "2021-04-28T15:12:10.041308Z"
        }
      }
    }
  ]
}

Remove

移除已经存在的字段

#定义remove pipelint
PUT _ingest/pipeline/remove_pipeline
{
  "description": "remove processor",
  "processors": [
    {
      "remove": {
        "field": "message"
      }
    }
  ]
}

#测试
POST _ingest/pipeline/remove_pipeline/_simulate
{
  "docs": [
    {
      "_source": {
        "message": [
          "CAr222 aaa",
          " auto2222 aaaa Bbb"
        ]
      }
    }
  ]
}
#返回,可以看到message字段已经被移除
{
  "docs" : [
    {
      "doc" : {
        "_index" : "_index",
        "_type" : "_doc",
        "_id" : "_id",
        "_source" : { },
        "_ingest" : {
          "timestamp" : "2021-04-28T15:15:27.811516Z"
        }
      }
    }
  ]
}

Set

给已有字段进行赋值

PUT _ingest/pipeline/set_pipeline
{
  "description": "set processor",
  "processors": [
    {
      "set": {
        "field": "message",
        "value": "this is a new message"
      }
    }
  ]
}


POST _ingest/pipeline/set_pipeline/_simulate
{
  "docs": [
    {
      "_source": {
        "message": "this"
      }
    }
  ]
}

#返回
{
  "docs" : [
    {
      "doc" : {
        "_index" : "_index",
        "_type" : "_doc",
        "_id" : "_id",
        "_source" : {
          "message" : "this is a new message"
        },
        "_ingest" : {
          "timestamp" : "2021-04-28T15:21:28.928512Z"
        }
      }
    }
  ]
}

Kibana Dev Tools 管理 Pipeline

下面介绍如何在 kibana 中通过界面来创建 Pipeline,打开 Kibana 首页:

2.png

选择 Ingest Node Pipelines,右边会展示已有的 Pipeline 列表

3.png

选择新创建 Ppipeline

4.png

5.png

我们选择创建一个 lowercase processor

6.png

点击 Add documents 进行相关测试

7.png

添加测试文档:

[
  {
    "_index": "index_lowercase",
    "_id": "1",
    "_source": {
      "message": "This is a Test"
    }
  }
]

8.png

可以看到,测试成功,字符串全部变为了小写

9.png

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
机器学习/深度学习 安全 网络协议
达梦 DM8 数据库安装详细手册(Windows+Linux+Docker)(一)
达梦 DM8 数据库安装详细手册(Windows+Linux+Docker)(一)
达梦 DM8 数据库安装详细手册(Windows+Linux+Docker)(一)
|
人工智能 Java API
Google Gemini API 接口调用方法
Google 最近发布的 Gemini 1.0 AI 模型通过其升级版,Gemini,标志着公司迄今为止最为强大和多功能的人工智能技术的突破。
|
Linux Shell 数据安全/隐私保护
超简单五步实现Linux虚拟机CentOS 7系统Root密码忘记重置
超简单五步实现Linux虚拟机CentOS 7系统Root密码忘记重置
2633 0
|
4月前
|
监控 API 数据库
【淘宝/天猫API】商品详情评论内容采集教程
本工具通过Taobao API一键采集淘宝/天猫商品评论数据,支持按颜色、版本等参数动态获取评论内容、图片、视频、追评等字段,无需卖家权限,POST请求+Bearer鉴权,结果可导出Excel/CSV/HTML/数据库,适用于商品研究与电商分析。(238字)
|
5月前
|
人工智能 API 决策智能
解锁智能体新纪元:Qwen3.7-Max 正式发布,开启长程自主执行新时代
Qwen3.7-Max 是面向Agentic时代的全能基座模型,实现从“说得好”到“做得到”的范式跃迁。它以35小时全自主芯片优化、顶尖推理与编程能力(GPQA 92.4、SWE-80.4)、双模式推理及全栈Agent化架构,树立国产大模型新标杆。
|
5月前
|
编解码 Windows
新写了个直播录制工具,可录制抖音快手斗鱼直播
新推直播录制工具M3U8Quicker,基于原视频下载工具升级,支持抖音、快手、斗鱼等主流平台的HTTP-FLV/HLS直播录制。安装浏览器扩展后自动识别直播流,一键新建任务、持续录制至下播,支持转码H.265→H.264。开源免费,GitHub可下载。
1371 0
|
9月前
|
存储 弹性计算 人工智能
2026 阿里云服务器年价:38元起!轻量 / ECS 配置 + 费用 + 续费规则一次看懂
2026年阿里云服务器价格全面下调,轻量最低38元/年(2核2G+200M带宽),ECS普惠款99元/年起,企业专享199元/年;新老用户同享续费同价、多年付至低3折,覆盖个人建站到企业级应用,省钱上云更简单。(239字)
4864 11
Python采集淘宝店铺所有商品API接口指南
淘宝没有公开的官方API供采集店铺商品数据,但可以通过以下几种方法获取商品信息。需要注意的是,淘宝有严格的反爬机制,直接采集可能违反其服务条款。
|
网络协议 Linux 定位技术
快手怎么改IP归属地
快手APP通过基站定位、Wi-Fi指纹和IP地址三重机制判定用户归属地
|
存储 云安全 运维
云原生技术架构成熟度模型解读 | 学习笔记
快速学习云原生技术架构成熟度模型解读
云原生技术架构成熟度模型解读 | 学习笔记

热门文章

最新文章