用 Python 优雅地玩转 Elasticsearch：实用技巧与最佳实践-阿里云开发者社区

Elasticsearch，这个开源的分布式搜索与数据分析引擎，因其强大的全文搜索功能而广受欢迎。

尽管Elasticsearch的核心是用Java编写的，它提供了REST API，让各种编程语言的开发者都能轻松与之交互，Python当然也不例外。

今天，我们将深入探讨如何将 Elasticsearch 与 Python 结合使用，提升我们的项目到新的高度。

1、入门准备

首先，确保我们有一个运行中的 Elasticsearch 8.X 实例、Kibana实例。

部署搭建细节推荐阅读《一本书讲透Elasticsearch》第 3 章 Elasticsearch 集群部署。

2、Elasticsearch Python 客户端介绍

在Python项目中，我们可以选择以下几个库与Elasticsearch交互：

elasticsearch-py：官方提供的低级客户端（Official low-level client for Elasticsearch），直接且灵活。

https://elasticsearch-py.readthedocs.io/en/v8.12.1/

elasticsearch-dsl：基于 elasticsearch-py 的高级封装，简化了很多操作，更适合日常使用。

https://elasticsearch-dsl.readthedocs.io/en/latest/

django-elasticsearch-dsl：为 Django 用户设计，基于elasticsearch-dsl，实现了与Django的深度集成。

https://django-elasticsearch-dsl.readthedocs.io/en/latest/

3、Elasticsearch Python 客户端适用场景及优缺点

客户端	应用场景	优点	缺点
elasticsearch-py	直接与Elasticsearch交互的底层操作	- 完整访问Elasticsearch API - 灵活性高	- 代码复杂，易出错 - 需要深入理解ES的查询DSL
elasticsearch-dsl	构建复杂搜索查询	- 简化查询构建 - 更Pythonic的接口 - 减少语法错误的风险	- 学习成本相对较高
django-elasticsearch-dsl	在Django项目中使用Elasticsearch	- 与Django无缝集成 - 自动同步Django模型与Elasticsearch文档	- 限定于Django项目 - 相比直接使用elasticsearch-py有更多抽象

4、使用 elasticsearch-py 进行增删改查基础操作

elasticsearch-py 是Elasticsearch的官方低级Python客户端。

它允许我们执行所有基本和高级的Elasticsearch操作，包括直接与集群交互、管理索引、执行CRUD（创建、读取、更新、删除）操作以及搜索。

以下是使用elasticsearch-py的一些基础操作示例：

4.1 导入依赖

导入必要的Python库，包括datetime、Elasticsearch、configparser，并配置警告过滤以忽略警告信息。

from elasticsearch import Elasticsearch
import configparser
import warnings
 
warnings.filterwarnings("ignore")

4.2 初始化Elasticsearch客户端

init_es_client函数从配置文件config.ini读取Elasticsearch的配置（如主机地址、用户名和密码），并初始化Elasticsearch客户端。这允许与Elasticsearch集群建立连接。

def init_es_client(config_path='./conf/config.ini'):
    """初始化并返回Elasticsearch客户端"""
    # 初始化配置解析器
    config = configparser.ConfigParser()
    # 读取配置文件
    config.read(config_path)
    # 从配置文件中获取Elasticsearch配置
    es_host = config.get('elasticsearch', 'ES_HOST')
    es_user = config.get('elasticsearch', 'ES_USER')
    es_password = config.get('elasticsearch', 'ES_PASSWORD')
 
    es = Elasticsearch(
        hosts=[es_host],
        basic_auth=(es_user, es_password),
        verify_certs=False,
        ca_certs='conf/http_ca.crt'
    )
    return es
basic_auth=(es_user, es_password)

Elasticsearch 8.X要求客户端连接时进行身份验证。这里使用基本认证（HTTP Basic Authentication）提供用户名和密码。这两个值应该对应于有效的Elasticsearch用户凭证，该用户需要有足够的权限执行客户端请求的操作。

verify_certs=False

这个选项告诉客户端是否验证Elasticsearch服务器的TLS证书。在生产环境中，我们应该将其设置为True以确保安全的通信。将此设置为False可能会导致中间人攻击等安全风险。在开发或测试环境中，如果使用的是自签名证书，可能需要暂时设置为False来避免验证错误。

ca_certs='conf/http_ca.crt'

当verify_certs=True时，这里指定了CA证书的路径，客户端将使用它来验证服务器证书的签名。这是实现TLS加密通信的关键部分。在Elasticsearch 8.X中，如果启用了安全特性（默认情况下启用），那么客户端需要信任连接到的Elasticsearch服务器使用的CA。如果Elasticsearch使用的是自签名证书或私有CA签发的证书，那么我们需要在客户端提供CA证书的路径。

对于Elasticsearch 8.X版本，正确配置客户端以安全地连接到Elasticsearch服务是非常重要的。这包括使用HTTPS协议、提供正确的用户认证凭证，以及在启用了TLS加密通信时验证服务器证书。为了最大化安全性和兼容性，强烈推荐在生产环境中使用由受信任CA签发的证书，并且始终验证服务器证书。

4.3 创建索引

create_index函数尝试创建一个新索引。如果指定的索引名已存在，则忽略创建操作。索引是数据存储和搜索的基本单位。

def create_index(es, index_name="test-index"):
    """创建索引，如果索引已存在则忽略"""
    if not es.indices.exists(index=index_name):
        es.indices.create(index=index_name)

4.4 定义映射

define_mapping函数为索引设置映射。映射定义了索引中文档的字段类型，如文本、整数和关键词等。这有助于Elasticsearch理解字段内容并优化搜索和聚合操作。

def define_mapping(es, index_name="test-index"):
    """为索引定义映射"""
    mapping = {
        "mappings": {
            "properties": {
                "name": {"type": "text"},
                "age": {"type": "integer"},
                "email": {"type": "keyword"}
            }
        }
    }
    es.indices.create(index=index_name, body=mapping, ignore=400)  # ignore=400忽略索引已存在错误

4.5 插入文档

insert_document函数向指定索引插入（或更新）一个文档。文档由一个Python字典表示，可以包含多个字段和值。如果提供了doc_id，该ID将用于文档；否则，Elasticsearch会自动生成一个ID。

def insert_document(es, index_name="test-index", doc_id=None, document=None):
    """插入文档到指定索引"""
    es.index(index=index_name, id=doc_id, document=document)

4.6 更新文档

update_document函数更新指定索引中的特定文档。需要文档的ID和要更新的字段。

def update_document(es, index_name="test-index", doc_id=None, updated_doc=None):
    """更新指定ID的文档"""
    es.update(index=index_name, id=doc_id, body={"doc": updated_doc})

4.7 删除文档

delete_document函数从指定索引中删除特定ID的文档。

def delete_document(es, index_name="test-index", doc_id=None):
    """删除指定ID的文档"""
    es.delete(index=index_name, id=doc_id)

4.8 搜索文档

search_documents 函数在指定索引中执行搜索查询，并返回匹配的文档。查询通过一个查询DSL（Domain-Specific Language）构建，可以非常灵活地定义搜索条件。

def search_documents(es, index_name="test-index", query=None):
    """在指定索引中搜索文档"""
    return es.search(index=index_name, body=query)

4.9 main函数

main函数是程序的入口点，按顺序执行了创建索引、定义映射、插入文档、更新文档、搜索文档和删除文档的操作，演示了与Elasticsearch交互的完整流程。

def main():
    # 初始化Elasticsearch客户端
    es = init_es_client()
 
    # 创建索引
    create_index(es)
 
    # 定义映射
    define_mapping(es)
 
    # 插入文档
    doc = {
        "name": "John Doe",
        "age": 30,
        "email": "john.doe@example.com"
    }
    insert_document(es, doc_id="1", document=doc)
 
    # 更新文档
    # 注意：这里假设我们知道文档的ID。实际使用时可能需要通过搜索等方式来确定ID
    update_document(es, doc_id="1", updated_doc={"age": 31})
 
    # 搜索文档
    query = {
        "query": {
            "match": {
                "name": "John Doe"
            }
        }
    }
    search_result = search_documents( es, query=query )
    print( search_result )
 
    # 删除文档
    delete_document(es, doc_id="1")

以上示例展示了使用elasticsearch-py进行基本的Elasticsearch操作。

这些操作涵盖了创建和删除索引、定义映射、插入、更新和删除文档以及基本的搜索功能。

elasticsearch-py提供了访问Elasticsearch强大功能的直接途径，但正如之前讨论的，使用它需要对Elasticsearch的工作原理有深入理解。

5、使用 elasticsearch-dsl 进行基础操作

如下代码演示了如何使用elasticsearch-dsl，一个Python库，以便与Elasticsearch进行高效交互。

我们将涵盖初始化客户端、创建索引、文档的CRUD操作以及执行搜索查询。

5.1 初始化 Elasticsearch 客户端

为了与Elasticsearch集群交互，首先需要建立连接。我们通过读取配置文件来获取连接信息，并创建一个默认连接。

def init_es_client_dsl(config_path='./conf/config.ini'):
    config = configparser.ConfigParser()
    config.read(config_path)
    es_host = config.get('elasticsearch', 'ES_HOST')
    es_user = config.get('elasticsearch', 'ES_USER')
    es_password = config.get('elasticsearch', 'ES_PASSWORD')
 
    connections.create_connection(
        hosts=[es_host],
        http_auth=(es_user, es_password),
        verify_certs=False
    )

5.2 创建索引

在Elasticsearch中，索引是存储文档的容器。我们定义了一个文档类 MyDocument，指定了索引名称和映射，并删除已存在的同名索引后重新创建。

class MyDocument(Document):
    name = Text()
    age = Integer()
    email = Text()
 
    class Index:
        name = 'test-index'
        settings = { "number_of_shards": 1, }
 
def create_index_dsl():
    es = connections.get_connection()
    es.indices.delete(index='test-index', ignore=[400, 404])
    MyDocument.init()

5.3 插入文档

将一个新文档插入到Elasticsearch。如果提供了id，将使用它作为文档ID；否则，Elasticsearch会自动生成一个。

def insert_document_dsl(document):
    doc = MyDocument(meta={'id': document.get('id', None)}, **document)
    doc.save()

5.4 更新文档

根据文档ID更新已存在的文档。这里我们更新了文档的某些字段。

def update_document_dsl(doc_id, updated_doc):
    doc = MyDocument.get(id=doc_id)
    for key, value in updated_doc.items():
        setattr(doc, key, value)
    doc.save()

5.5 删除文档

根据ID删除指定的文档。

def delete_document_dsl(doc_id):
    doc = MyDocument.get(id=doc_id)
    doc.delete()

5.6 搜索文档

执行一个搜索查询，返回匹配指定查询条件的文档。在此例中，我们使用match查询匹配名字字段。

def search_documents_dsl(query):
    es = connections.get_connection()
    es.indices.refresh(index="test-index")
 
    s = Search(index="test-index").query("match", name=query)
    response = s.execute()
    return response

5.7 主函数

main_ds l函数串联了上述所有步骤，展示了如何在实际应用中使用这些功能。

def main_dsl():
    init_es_client_dsl()
    create_index_dsl()
    insert_document_dsl({ ... })
    results = search_documents_dsl('John Doe')
    update_document_dsl('1', { ... })
    delete_document_dsl('1')

5.8 运行

将上述代码保存为Python文件并执行，可以看到从插入到搜索、更新和删除文档的完整流程。

5.9 特别强调——默认连接池管理

在elasticsearch-dsl中，当我们创建查询或者执行任何需要与Elasticsearch服务器通信的操作时，并不需要每次都显式地指定Elasticsearch连接实例。

这是因为elasticsearch-dsl内部维护了一个默认的连接池。当我们首次使用connections.create_connection函数创建连接时，如果不指定别名，这个连接就被设置为默认连接。

官方alias 示例：

from elasticsearch_dsl import connections
 
connections.create_connection(alias='my_new_connection', hosts=['localhost'], timeout=60)

后续的所有操作，如搜索查询，都会自动使用这个默认连接，除非咱们通过using参数显式指定了另一个连接。

这种设计使得在大多数情况下，我们只需在应用启动时建立一次连接，而不需要在每个查询中重复指定连接信息，从而简化了代码并提高了代码的可读性和维护性。

参见：

https://elasticsearch-dsl.readthedocs.io/en/latest/configuration.html#default-connection

6、小结

篇幅原因，django-elasticsearch-dsl API 没有展开。如果需要，欢迎留言讨论。

在本文中，我们探讨了如何将Elasticsearch与Python结合使用，通过两种主要的Python客户端——elasticsearch-py和elasticsearch-dsl。

elasticsearch-py提供了直接且灵活的底层API访问，适用于需要完整控制Elasticsearch交互细节的场景。

相比之下，elasticsearch-dsl提供了更高级的抽象，通过更为Pythonic的接口简化了复杂搜索查询的构建，使得代码更加简洁易读，尤其适合日常使用和复杂查询构建。

此外，我们还介绍了如何通过elasticsearch-dsl内部管理的默认连接池来简化连接管理，避免了在每次查询时重复指定连接信息，从而提高了开发效率和代码的可维护性。通过这种方式，开发者只需在应用启动时配置一次连接，之后便可以在整个应用中复用这个默认连接。

无论是直接使用elasticsearch-py进行底层操作，还是利用elasticsearch-dsl进行更加高效的数据处理和搜索，Elasticsearch都能为Python开发者提供强大的搜索和数据分析能力，帮助他们轻松应对各种数据处理和搜索需求，将项目提升到新的高度。在选择合适的客户端和API时，重要的是根据项目的具体需求和团队的熟悉程度来做出决策，以确保既能充分发挥Elasticsearch的强大功能，又能保持代码的可读性和可维护性。

7 年+积累、 Elastic 创始人Shay Banon 等 15 位专家推荐的 Elasticsearch 8.X新书已上线

更短时间更快习得更多干货！

和全球近2000+ Elastic 爱好者一起精进！

elastic6.cn——ElasticStack进阶助手

比同事抢先一步学习进阶干货！

用 Python 优雅地玩转 Elasticsearch：实用技巧与最佳实践

1、入门准备

2、Elasticsearch Python 客户端介绍

3、Elasticsearch Python 客户端适用场景及优缺点

4、使用 elasticsearch-py 进行增删改查基础操作

4.1 导入依赖

4.2 初始化Elasticsearch客户端

4.3 创建索引

4.4 定义映射

4.5 插入文档

4.6 更新文档

4.7 删除文档

4.8 搜索文档

4.9 main函数

5、使用 elasticsearch-dsl 进行基础操作

5.1 初始化 Elasticsearch 客户端

5.2 创建索引

5.3 插入文档

5.4 更新文档

5.5 删除文档

5.6 搜索文档

5.7 主函数

5.8 运行

5.9 特别强调——默认连接池管理

6、小结

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

用 Python 优雅地玩转 Elasticsearch：实用技巧与最佳实践

1、入门准备

2、Elasticsearch Python 客户端介绍

3、Elasticsearch Python 客户端适用场景及优缺点

4、使用 elasticsearch-py 进行增删改查基础操作

4.1 导入依赖

4.2 初始化Elasticsearch客户端

4.3 创建索引

4.4 定义映射

4.5 插入文档

4.6 更新文档

4.7 删除文档

4.8 搜索文档

4.9 main函数

5、使用 elasticsearch-dsl 进行基础操作

5.1 初始化 Elasticsearch 客户端

5.2 创建索引

5.3 插入文档

5.4 更新文档

5.5 删除文档

5.6 搜索文档

5.7 主函数

5.8 运行

5.9 特别强调——默认连接池管理

6、小结

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像