AI 助理
备案控制台
开发者社区 大数据与机器学习 检索分析服务 Elasticsearch版 文章 正文

Painless scripting — Elastic Stack 实战手册

2021-05-16 901
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
Elasticsearch Serverless通用抵扣包，测试体验金 200元
简介： Painless scripting 是一种简单的、安全的针对 Elasticsearch 设计的脚本语言，Painless 可以使用在任何可以使用 scripting 的场景

970X90.png

· 更多精彩内容，请下载阅读全本《Elastic Stack实战手册》

· 加入创作人行列，一起交流碰撞，参与技术圈年度盛事吧

创作人：李增胜

Painless scripting 是一种简单的、安全的针对 Elasticsearch 设计的脚本语言，Painless 可以使用在任何可以使用 scripting 的场景。脚本提供了以下优点：

  • 更高的性能，scripting 脚本比其他的可选脚本快数倍。
  • 安全性高，更小颗粒度的字段授权机制，避免可能不必要的安全隐患安全。
  • 可选类型，变量和参数可以使用显示或者动态类型编程方式。
  • 语法，扩展 Java 的语法并兼容了其他脚本。
  • 优化，专为 Elasticsearch 设计的脚本语言。

常用关键字：

if、else、while、do、for、in，continue，break，return，
new、try、catch、throw、this、instanceof。

常用举例

首先我们创建测试数据，商品信息

#添加测试数据
POST my_goods/_bulk
{"index":{"_id":1}}
{"goodsName":"苹果 51英寸 4K超高清","skuCode":"skuCode1","brandName":"苹果","closeUserCode":["0"],"channelType":"cloudPlatform","shopCode":"sc00001","publicPrice":8188.88,"groupPrice":null,"boxPrice":null,"boostValue":1.8}
{"index":{"_id":2}}
{"goodsName":"苹果 55英寸 3K超高清","skuCode":"skuCode2","brandName":"苹果","closeUserCode":["0"],"channelType":"cloudPlatform","shopCode":"sc00002","publicPrice":6188.88,"groupPrice":null,"boxPrice":null,"boostValue":1.0}
{"index":{"_id":3}}
{"goodsName":"苹果UA55RU7520JXXZ 53英寸 4K高清","skuCode":"skuCode3","brandName":"美国苹果","closeUserCode":["0"],"channelType":"cloudPlatform","shopCode":"sc00001","publicPrice":8388.88,"groupPrice":null,"boxPrice":[{"boxType":"box1","boxUserCode":["htd003","uc004"],"boxPriceDetail":4388.88},{"boxType":"box2","boxUserCode":["uc005","uc0010"],"boxPriceDetail":5388.88}],"boostValue":1.2}
{"index":{"_id":4}}
{"goodsName":"山东苹果UA55RU7520JXXZ 苹果54英寸 5K超高清","skuCode":"skuCode4","brandName":"山东苹果","closeUserCode":["uc001","uc002","uc003"],"channelType":"cloudPlatform","shopCode":"sc00001","publicPrice":8488.88,"groupPrice":[{"level":"level1","boxLevelPrice":"2488.88"},{"level":"level2","boxLevelPrice":"3488.88"}],"boxPrice":[{"boxType":"box1","boxUserCode":["uc004","uc005","uc006","uc001"],"boxPriceDetail":4488.88},{"boxType":"box2","boxUserCode":["htd007","htd008","htd009","uc0010"],"boxPriceDetail":5488.88}],"boostValue":1.2}

Inline script

少量代码跟随其他 DSL 一起执行的脚本，在下面的例子用会说明具体案例。

添加字段

如果我们想添加一个新字段，而新字段又依赖已有字段，如下所示，我们添加一个新品牌，品牌的名称为原有品牌的基础上拼接“新品”，就可以使用脚本来实现此业务。

POST my_goods/_update_by_query
{
  "script": {
    "source": "ctx._source.new_brandName = ctx._source.brandName + '新品'"
  }
}

#查询结果
GET my_goods/_search

#返回（省略部分无关字段）
"hits" : [
      {
        "_index" : "my_goods",
        "_source" : {
          "shopCode" : "sc00001",
          "new_brandName" : "苹果新品",
          "brandName" : "苹果",
          "closeUserCode" : [
            "0"
          ]
        }
      },
      {
        "_index" : "my_goods",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 1.0,
        "_source" : {
          "shopCode" : "sc00002",
          "new_brandName" : "苹果新品",
          "brandName" : "苹果",
          "closeUserCode" : [
            "0"
          ],
          "groupPrice" : null,
          "boxPrice" : null,
          "channelType" : "cloudPlatform",
          "boostValue" : 1.0,
          "publicPrice" : "6188.88",
          "goodsName" : "苹果 55英寸 3K超高清",
          "skuCode" : "skuCode2"
        }
      },
     ....
    ]

#可以看到使用脚本新增的字段 new_brandName 已经生效

上面的 source 表示我们使用了 Painless 脚本代码，这种使用少量代码在 DSL 中的 Painless 脚本称为 Inline script 。

删除字段

当我们需要删除已有字段时，可以通过脚本来删除

POST my_goods/_update_by_query
{
  "script": {
    "source": "ctx._source.remove('new_brandName')"
  }
}

更改字段值

在更改字段值时，我们使用了 params 参数的形式进行处理，使用 params 有一定优点，当脚本中 source 值一样时，ES 会视为同一个脚本，会进行缓存不需要重新编译，可以加快处理速度，在下次使用时可以拿出来直接使用而不用经过编译。

#性能较差，硬编码实现价格提升2倍
POST my_goods/_update/1
{
  "script": {
    "source": "ctx._source.publicPrice = ctx._source.publicPrice * 2",
    "lang": "painless"
  }
}

#性能较优，使用 params 将 ID 为1的商品的价格提高2倍
POST my_goods/_update/1
{
  "script": {
    "source": "ctx._source.publicPrice = ctx._source.publicPrice * params.promote_percent",
    "lang": "painless",
    "params": {
      "promote_percent": 2
    }
  }
}

#查询
GET my_goods/_doc/1

#返回
{
  "_index" : "my_goods",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 2,
  "_seq_no" : 4,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "goodsName" : "苹果 51英寸 4K超高清",
    "skuCode" : "skuCode1",
    "brandName" : "苹果",
    "closeUserCode" : [
      "0"
    ],
    "channelType" : "cloudPlatform",
    "shopCode" : "sc00001",
    "publicPrice" : 16377.76,
    "groupPrice" : null,
    "boxPrice" : null,
    "boostValue" : 1.8
  }
}
#可以看到，在更新前价格为“8188.88”，通过脚本更新后价格变为16377.76

在 Elasticsearch 中，以下的脚本会视为一个脚本：

"source": "ctx._source.publicPrice = ctx._source.publicPrice * params.promote_percent"

下面的会被认为是 2 个不同的脚本，运行时每次都需要编译，性能比上面使用 params

稍差：

"source": "ctx._source.publicPrice = ctx._source.publicPrice * 2"
"source": "ctx._source.publicPrice = ctx._source.publicPrice * 3"

排序

#修改goodsName可以被doc访问
PUT my_goods/_mapping
{
  "properties": {
    "goodsName":{
      "type":"text", 
      "fielddata": "true"
    }
  }
}
#查询并排序，根据商品名称长度并添加干扰因子1.1倍为最终排序结果
POST my_goods/_search
{
  "query": {
    "match": {
      "brandName": "苹果"
    }
  },
  "sort": {
    "_script": {
      "type": "number",
      "script": {
        "lang": "painless",
        "source": "doc['goodsName'].value.length() * params.factor",
        "params": {
          "factor": 1.1
        }
      },
      "order": "asc"
    }
  }
}

Stored script

先将脚本存储，在 DSL 查询时使用已经存储更好的脚本，叫做 stored script

#定义 stored script,脚本名称为：promote_price
PUT _scripts/promote_price
{
  "script": {
    "source": "ctx._source.publicPrice = ctx._source.publicPrice * params.value",
    "lang": "painless"
  }
}

如上代码所示，我们定义了一个名称为 promote_price 的脚本，作用就是提升售卖价格（publicPrice）一定的倍数，这个倍数是在调用时传入的。

POST my_goods/_update_by_query
{
  "script": {
    "id": "promote_price",
    "params": {
      "value": 2
    }
  }
}

执行 stored script，将会看到价格提升了 2 倍

Source 里字段访问

在使用 Painless 访问 Source 里的字段值时，需要根据运行时的上下文来确定使用的语法，Painless 常见的上下文有：update 、update_by_query、sort、ingest pipeline 等。

Context 访问字段
update ctx._source.field_name
ingest node ctx.field_name

分别举例使用 _source 与 ctx 来操作字段的值。

update

# 在上面的例子中，就曾使用过ctx._source.field_name 来更新数据
POST my_goods/_update/1
{
  "script": {
    "source": "ctx._source.publicPrice = ctx._source.publicPrice * params.promote_percent",
    "lang": "painless",
    "params": {
      "promote_percent": 2
    }
  }
}

ingest node

在ingest pipeline中更新字段值

#定义 pipeline
PUT _ingest/pipeline/add_my_goods_newField
{
  "processors": [
    {
      "script": {
        "lang": "painless",
        "source": "ctx.skuCode_brandName = ctx.skuCode + ctx.brandName"
      }
    }
  ]
}

#执行 pipeline
POST my_goods/_update_by_query?pipeline=add_my_goods_newField
{
  
}

#查询结果
GET my_goods/_search

#返回
"hits" : [
      {
        "_index" : "my_goods",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 1.0,
        "_source" : {
          "shopCode" : "sc00002",
          "brandName" : "苹果",
          "closeUserCode" : [
            "0"
          ],
          "skuCode_brandName" : "skuCode2苹果",
          "channelType" : "cloudPlatform",
          "publicPrice" : 12377.76,
          "goodsName_length" : 13,
          "groupPrice" : null,
          "boxPrice" : null,
          "boostValue" : 1.0,
          "goodsName" : "苹果 55英寸 3K超高清",
          "skuCode" : "skuCode2"
        }
      },
      {
        "_index" : "my_goods",
        "_type" : "_doc",
        "_id" : "3",
        "_score" : 1.0,
        "_source" : {
          "shopCode" : "sc00001",
          "brandName" : "美国苹果",
          "closeUserCode" : [
            "0"
          ],
          "skuCode_brandName" : "skuCode3美国苹果",
          "channelType" : "cloudPlatform",
          "publicPrice" : 16777.76,
          "goodsName_length" : 26,
          "groupPrice" : null,
          "boxPrice" : [
            {
              "boxType" : "box1",
              "boxUserCode" : [
                "htd003",
                "uc004"
              ],
              "boxPriceDetail" : 4388.88
            },
            {
              "boxType" : "box2",
              "boxUserCode" : [
                "uc005",
                "uc0010"
              ],
              "boxPriceDetail" : 5388.88
            }
          ],
          "boostValue" : 1.2,
          "goodsName" : "苹果UA55RU7520JXXZ 53英寸 4K高清",
          "skuCode" : "skuCode3"
        }
      },
   ....
]

可以看到 ，skuCode_brandName 是通过 skuCode+brandName 拼接成功的，通过 ctx.field 访问字段成功。

Painless Debug

Elasticsearch 中为我们提供了脚本调试方法，使我们在使用时可以方便的进行脚本调试，

#定义用户信息，shop_id为用户开的店铺ID信息
PUT /user_info/_doc/1?refresh
{
  "first": "Michael",
  "last": "Jordan",
  "shop_id": [
    100,
    102,
    103
  ],
  "time": "2021-05-09"
}

PUT /user_info/_doc/2?refresh
{
  "first": "Michael2",
  "last": "Jordan2",
  "shop_id": [
    110,
    112,
    113,
    114,
    115
  ],
  "time": "2021-05-08"
}


#查看mapping
GET  user_info/_mapping

#返回

{
  "user_info" : {
    "mappings" : {
      "properties" : {
        "first" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "last" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "shop_id" : {
          "type" : "long"
        },
        "time" : {
          "type" : "date"
        }
      }
    }
  }
}

可以看到返回了很多字段类型，包括：long、date、keyword、text，每种类型有哪些方法可以操作呢？一种是查看官网文档，另外一种获取使用的方法就是通过调试来获取信息了，使用_explain 来看看效果：

POST /user_info/_explain/1
{
  "query": {
    "script": {
      "script": "Debug.explain(doc.shop_id)"
    }
  }
}

#返回：
{
  "error": {
    "root_cause": [
      {
        "type": "script_exception",
        "reason": "runtime error",
        "painless_class": "org.elasticsearch.index.fielddata.ScriptDocValues.Longs",
        "to_string": "[100, 102, 103]",
        "java_class": "org.elasticsearch.index.fielddata.ScriptDocValues$Longs",
        "script_stack": [
          "Debug.explain(doc.shop_id)",
          "                 ^---- HERE"
        ],
        "script": "Debug.explain(doc.shop_id)",
        "lang": "painless",
        "position": {
          "offset": 17,
          "start": 0,
          "end": 26
        }
      }
    ],
    "type": "script_exception",
    "reason": "runtime error",
    "painless_class": "org.elasticsearch.index.fielddata.ScriptDocValues.Longs",
    "to_string": "[100, 102, 103]",
    "java_class": "org.elasticsearch.index.fielddata.ScriptDocValues$Longs",
    "script_stack": [
      "Debug.explain(doc.shop_id)",
      "                 ^---- HERE"
    ],
    "script": "Debug.explain(doc.shop_id)",
    "lang": "painless",
    "position": {
      "offset": 17,
      "start": 0,
      "end": 26
    },
    "caused_by": {
      "type": "painless_explain_error",
      "reason": null
    }
  },
  "status": 400
}

可以看到是一个 runtime error 异常，那我们应该如何解决呢？

仔细观察，doc.shop_id 是这样的类提供支撑：

"painless_class": "org.elasticsearch.index.fielddata.ScriptDocValues.Longs"
"java_class": "org.elasticsearch.index.fielddata.ScriptDocValues$Longs"

通过 Painless Script 的 API 帮助：https://www.elastic.co/guide/en/elasticsearch/painless/7.10/painless-api-reference.html，

最终找到 Long 类型的 API 文档地址：https://www.elastic.co/guide/en/elasticsearch/painless/7.10/painless-api-reference-shared-org-elasticsearch-index-fielddata.html#painless-api-reference-shared-ScriptDocValues-Longs

ScriptDocValues.Longs

  • List asList()
  • int getLength()
  • Collection asCollection()
  • Long get(int)
  • .......

我们通过观察数据知道 shop_id 存储的是一个 list 数据，加入我们要获取第一个数据，

再次调整脚本：

GET user_info/_search
{
  "query": {
    "function_score": {
      "script_score": {
        "script": {
          "lang": "painless",
          "source": """
               return doc['shop_id'].getLength();
          """
        }
      }
    }
  }
}

#返回：

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,
      "relation" : "eq"
    },
    "max_score" : 5.0,
    "hits" : [
      {
        "_index" : "user_info",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 5.0,
        "_source" : {
          "first" : "Michael2",
          "last" : "Jordan2",
          "shop_id" : [
            110,
            112,
            113,
            114,
            115
          ],
          "time" : "2021-05-08"
        }
      },
      {
        "_index" : "user_info",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 3.0,
        "_source" : {
          "first" : "Michael",
          "last" : "Jordan",
          "shop_id" : [
            100,
            102,
            103
          ],
          "time" : "2021-05-09"
        }
      }
    ]
  }
}

可以看到，得分最高的为 "max_score" : 5.0, 因为我们使用 script_score 调整了评分，以店铺 ID 个数为评分结果，文档 2 共计 5 个ID，所以返回的是 5 。

通过以上案例，详细解读了 Painless Debug 在实际场景中的应用，通过一步步分析最终掌握了调试、看错误信息、找官方文档解决的方法，最终实现了掌握 Painless Debug 的目的。

文章标签：
检索分析服务 Elasticsearch版
Java
安全
API
缓存
存储
相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务，构建一个高效、精准的语义搜索系统，模拟电商场景，深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch（Elastic）就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch，如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理，最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
工程师甲
目录
相关文章
行十三
|
消息中间件 存储 监控
云消息队列 RocketMQ 版（原ONS）体验
云消息队列 RocketMQ 版（原ONS）是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可用、高可靠的分布式“消息、事件、流”统一处理平台。它在阿里集团内部业务、阿里云以及开源社区中得到广泛应用。最新的版本进一步优化了高可靠低延迟的特性，并提供了多场景容灾解决方案，使其成为金融级业务消息的首选方案。由于专业及能力问题，本次我只能从产品功能体验方面进行简单的一些分析。
行十三
1913 64
星光下的赶路人
|
存储 SQL 大数据
大数据技术之ClickHouse---入门篇---介绍
大数据技术之ClickHouse---入门篇---介绍
星光下的赶路人
738 0
码农工程师
|
存储 Java Linux
TeamTalk - 蘑菇街开源的一款企业办公即时通信软件
TeamTalk 是蘑菇街开源的一款企业办公即时通信软件，最初是为自己内部沟通而做的 IM 工具。团队自己的介绍如下： 2013年我们蘑菇街从社区导购华丽转身时尚电商平台，为解决千万妹子和时尚卖家的沟通问题，我们开发了自己的即时通讯软件。既然已经有了用户使用的IM，为什么我们自己公司内部沟通还要用第三方的呢？因此就有了TT(TeamTalk)的雏形，现在蘑菇街内部的在线沟通全部通过TT来完成。随着TT功能的逐渐完善，我们决定把TT开源来回馈开源社区，希望国内的中小企业都能用上开源、免费、好用的IM工具！
码农工程师
1301 0
TeamTalk - 蘑菇街开源的一款企业办公即时通信软件
Jast
|
SQL
ElasticSearch Script操作数据
ElasticSearch Script操作数据
Jast
360 0
游客7dgyrbdm3doqi
|
人工智能 程序员 开发者
如何使用Ascend的ATB加速库？
ATB加速库专为Transformer模型优化设计，基于华为Ascend AI处理器，提升训练和推理效率。本文档详细介绍了如何实现一个ATB算子，涵盖基础Operation、插件机制和Graph Frame三种方式，从环境准备、算子创建、资源管理到最终执行，提供了完整的代码示例和步骤指南，帮助开发者快速掌握ATB算子的开发流程。
游客7dgyrbdm3doqi
388 4
游客fmoyiwnvddywe
|
监控 Java
线程池大小如何设置
在并发编程中，线程池是一个非常重要的组件，它不仅能够提高程序的响应速度，还能有效地利用系统资源。合理设置线程池的大小对于优化系统性能至关重要。本文将探讨如何根据应用场景和系统资源来设置线程池的大小。
游客fmoyiwnvddywe
516 1
码农阿豪
|
SQL 关系型数据库 数据库
PostgreSQL 常用函数分享
PostgreSQL 常用函数分享
码农阿豪
341 0
八百标兵奔北坡
|
开发框架
混入mixin的原理
混入mixin的原理
八百标兵奔北坡
185 0
码界西柚
|
canal 消息中间件 关系型数据库
【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析，实现高效数据同步
【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析，实现高效数据同步
码界西柚
657 0
游客rihqhtgkydneq
|
JSON 数据格式
Postman 请求头：快速入门
当你在使用 Postman 发送请求时，请求头（Headers）是你可以包含在 HTTP 请求中的重要部分之一。请求头包含了关于请求的元数据信息，这些信息对于服务器来处理请求是非常重要的。下面是一份详细的图文介绍，说明了如何在 Postman 中使用请求头。
游客rihqhtgkydneq
481 0
大数据与机器学习

检索分析服务 Elasticsearch版

热门文章

最新文章

  • 1
    重磅首发 |《Elasticsearch 中国开发者调查报告》探索开发者的现状和未来
  • 2
    【入门指南】使用阿里云Elasticsearch搭建ELK日志系统
  • 3
    （ElasticsSearch学习）歌词检索Demo的实现：二. 搭建spring boot+spring data+jest+elasticsearch环境，实现歌词的全文检索
  • 4
    时序数据库场景下的Elasticsearch（一）：技术特点简介
  • 5
    【X-Pack解读】阿里云Elasticsearch X-Pack 机器学习组件功能详解
  • 6
    阿里云Elasticsearch的X-Pack：机器学习、安全保障和可视化
  • 7
    【ELK入门】Elastic中文社区运维监控实战之架构篇
  • 8
    【最佳实践】如何从AWS中的Elasticsearch索引平滑迁移至阿里云
  • 9
    【上海Meetup回放视频+PPT下载整理】Elasticsearch Meetup系列第二期
  • 10
    【X-Pack解读】阿里云Elasticsearch X-Pack 报告组件功能详解
  • 1
    一行代码，让 Elasticsearch 集群瞬间雪崩——5000W 数据压测下的性能避坑全攻略
    412
  • 2
    参与 Elasticsearch Serverless AI 实践挑战 赢好礼！
    61
  • 3
    Elasticsearch 8.17 智能检索升级全攻略
    161
  • 4
    阿里云 Elasticsearch 的 AI 革新：高性能、低成本、智能化的搜索新纪元
    341
  • 5
    【2025云栖大会】AI 搜索引擎如何驱动亿级物流：货拉拉 x 阿里云 Elasticsearch
    225
  • 6
    阿里云Elasticsearch Serverless节省计划来啦！预付抵扣包享最高7折优惠！
    166
  • 7
    如何在 Elasticsearch 中构建你的智能 AI 助手？
    309
  • 8
    AI 搜索 MCP 最佳实践
    626
  • 9
    阿里云 Elasticsearch Serverless 检索增强型 8.17 版来袭！
    410
  • 10
    阿里云 Elasticsearch Serverless 检索增强型8.17 版免费邀测！
    437

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    对象存储OSS快速上手——如何使用ossbrower2