Elasticsearch，这个开源的分布式搜索与数据分析引擎，因其强大的全文搜索功能而广受欢迎。
尽管Elasticsearch的核心是用Java编写的，它提供了REST API，让各种编程语言的开发者都能轻松与之交互，Python当然也不例外。
今天，我们将深入探讨如何将 Elasticsearch 与 Python 结合使用，提升我们的项目到新的高度。
1、入门准备
首先，确保我们有一个运行中的 Elasticsearch 8.X 实例、Kibana实例。
部署搭建细节推荐阅读《一本书讲透Elasticsearch》第 3 章 Elasticsearch 集群部署。
2、Elasticsearch Python 客户端介绍
在Python项目中，我们可以选择以下几个库与Elasticsearch交互：
elasticsearch-py：官方提供的低级客户端（Official low-level client for Elasticsearch），直接且灵活。
https://elasticsearch-py.readthedocs.io/en/v8.12.1/
elasticsearch-dsl：基于 elasticsearch-py 的高级封装，简化了很多操作，更适合日常使用。
https://elasticsearch-dsl.readthedocs.io/en/latest/
django-elasticsearch-dsl：为 Django 用户设计，基于elasticsearch-dsl，实现了与Django的深度集成。
https://django-elasticsearch-dsl.readthedocs.io/en/latest/
3、Elasticsearch Python 客户端适用场景及优缺点
| 客户端 | 应用场景 | 优点 | 缺点 |
| elasticsearch-py | 直接与Elasticsearch交互的底层操作 | - 完整访问Elasticsearch API - 灵活性高 |
- 代码复杂，易出错 - 需要深入理解ES的查询DSL |
| elasticsearch-dsl | 构建复杂搜索查询 | - 简化查询构建 - 更Pythonic的接口 - 减少语法错误的风险 |
- 学习成本相对较高 |
| django-elasticsearch-dsl | 在Django项目中使用Elasticsearch | - 与Django无缝集成 - 自动同步Django模型与Elasticsearch文档 |
- 限定于Django项目 - 相比直接使用elasticsearch-py有更多抽象 |
4、使用 elasticsearch-py 进行增删改查基础操作
elasticsearch-py 是Elasticsearch的官方低级Python客户端。
它允许我们执行所有基本和高级的Elasticsearch操作，包括直接与集群交互、管理索引、执行CRUD（创建、读取、更新、删除）操作以及搜索。
以下是使用elasticsearch-py的一些基础操作示例：
4.1 导入依赖
导入必要的Python库，包括datetime、Elasticsearch、configparser，并配置警告过滤以忽略警告信息。
from elasticsearch import Elasticsearch import configparser import warnings warnings.filterwarnings("ignore")
4.2 初始化Elasticsearch客户端
init_es_client函数从配置文件config.ini读取Elasticsearch的配置（如主机地址、用户名和密码），并初始化Elasticsearch客户端。这允许与Elasticsearch集群建立连接。
def init_es_client(config_path='./conf/config.ini'): """初始化并返回Elasticsearch客户端""" # 初始化配置解析器 config = configparser.ConfigParser() # 读取配置文件 config.read(config_path) # 从配置文件中获取Elasticsearch配置 es_host = config.get('elasticsearch', 'ES_HOST') es_user = config.get('elasticsearch', 'ES_USER') es_password = config.get('elasticsearch', 'ES_PASSWORD') es = Elasticsearch( hosts=[es_host], basic_auth=(es_user, es_password), verify_certs=False, ca_certs='conf/http_ca.crt' ) return es basic_auth=(es_user, es_password)
Elasticsearch 8.X要求客户端连接时进行身份验证。这里使用基本认证（HTTP Basic Authentication）提供用户名和密码。这两个值应该对应于有效的Elasticsearch用户凭证，该用户需要有足够的权限执行客户端请求的操作。
verify_certs=False
这个选项告诉客户端是否验证Elasticsearch服务器的TLS证书。在生产环境中，我们应该将其设置为True以确保安全的通信。将此设置为False可能会导致中间人攻击等安全风险。在开发或测试环境中，如果使用的是自签名证书，可能需要暂时设置为False来避免验证错误。
ca_certs='conf/http_ca.crt'
当verify_certs=True时，这里指定了CA证书的路径，客户端将使用它来验证服务器证书的签名。这是实现TLS加密通信的关键部分。在Elasticsearch 8.X中，如果启用了安全特性（默认情况下启用），那么客户端需要信任连接到的Elasticsearch服务器使用的CA。如果Elasticsearch使用的是自签名证书或私有CA签发的证书，那么我们需要在客户端提供CA证书的路径。
对于Elasticsearch 8.X版本，正确配置客户端以安全地连接到Elasticsearch服务是非常重要的。这包括使用HTTPS协议、提供正确的用户认证凭证，以及在启用了TLS加密通信时验证服务器证书。为了最大化安全性和兼容性，强烈推荐在生产环境中使用由受信任CA签发的证书，并且始终验证服务器证书。
4.3 创建索引
create_index函数尝试创建一个新索引。如果指定的索引名已存在，则忽略创建操作。索引是数据存储和搜索的基本单位。
def create_index(es, index_name="test-index"): """创建索引，如果索引已存在则忽略""" if not es.indices.exists(index=index_name): es.indices.create(index=index_name)
4.4 定义映射
define_mapping函数为索引设置映射。映射定义了索引中文档的字段类型，如文本、整数和关键词等。这有助于Elasticsearch理解字段内容并优化搜索和聚合操作。
def define_mapping(es, index_name="test-index"): """为索引定义映射""" mapping = { "mappings": { "properties": { "name": {"type": "text"}, "age": {"type": "integer"}, "email": {"type": "keyword"} } } } es.indices.create(index=index_name, body=mapping, ignore=400) # ignore=400忽略索引已存在错误
4.5 插入文档
insert_document函数向指定索引插入（或更新）一个文档。文档由一个Python字典表示，可以包含多个字段和值。如果提供了doc_id，该ID将用于文档；否则，Elasticsearch会自动生成一个ID。
def insert_document(es, index_name="test-index", doc_id=None, document=None): """插入文档到指定索引""" es.index(index=index_name, id=doc_id, document=document)
4.6 更新文档
update_document函数更新指定索引中的特定文档。需要文档的ID和要更新的字段。
def update_document(es, index_name="test-index", doc_id=None, updated_doc=None): """更新指定ID的文档""" es.update(index=index_name, id=doc_id, body={"doc": updated_doc})
4.7 删除文档
delete_document函数从指定索引中删除特定ID的文档。
def delete_document(es, index_name="test-index", doc_id=None): """删除指定ID的文档""" es.delete(index=index_name, id=doc_id)
4.8 搜索文档
search_documents 函数在指定索引中执行搜索查询，并返回匹配的文档。查询通过一个查询DSL（Domain-Specific Language）构建，可以非常灵活地定义搜索条件。
def search_documents(es, index_name="test-index", query=None): """在指定索引中搜索文档""" return es.search(index=index_name, body=query)
4.9 main函数
main函数是程序的入口点，按顺序执行了创建索引、定义映射、插入文档、更新文档、搜索文档和删除文档的操作，演示了与Elasticsearch交互的完整流程。
def main(): # 初始化Elasticsearch客户端 es = init_es_client() # 创建索引 create_index(es) # 定义映射 define_mapping(es) # 插入文档 doc = { "name": "John Doe", "age": 30, "email": "john.doe@example.com" } insert_document(es, doc_id="1", document=doc) # 更新文档 # 注意：这里假设我们知道文档的ID。实际使用时可能需要通过搜索等方式来确定ID update_document(es, doc_id="1", updated_doc={"age": 31}) # 搜索文档 query = { "query": { "match": { "name": "John Doe" } } } search_result = search_documents( es, query=query ) print( search_result ) # 删除文档 delete_document(es, doc_id="1")
以上示例展示了使用elasticsearch-py进行基本的Elasticsearch操作。
这些操作涵盖了创建和删除索引、定义映射、插入、更新和删除文档以及基本的搜索功能。
elasticsearch-py提供了访问Elasticsearch强大功能的直接途径，但正如之前讨论的，使用它需要对Elasticsearch的工作原理有深入理解。
5、使用 elasticsearch-dsl 进行基础操作
如下代码演示了如何使用elasticsearch-dsl，一个Python库，以便与Elasticsearch进行高效交互。
我们将涵盖初始化客户端、创建索引、文档的CRUD操作以及执行搜索查询。
5.1 初始化 Elasticsearch 客户端
为了与Elasticsearch集群交互，首先需要建立连接。我们通过读取配置文件来获取连接信息，并创建一个默认连接。
def init_es_client_dsl(config_path='./conf/config.ini'): config = configparser.ConfigParser() config.read(config_path) es_host = config.get('elasticsearch', 'ES_HOST') es_user = config.get('elasticsearch', 'ES_USER') es_password = config.get('elasticsearch', 'ES_PASSWORD') connections.create_connection( hosts=[es_host], http_auth=(es_user, es_password), verify_certs=False )
5.2 创建索引
在Elasticsearch中，索引是存储文档的容器。我们定义了一个文档类 MyDocument，指定了索引名称和映射，并删除已存在的同名索引后重新创建。
class MyDocument(Document): name = Text() age = Integer() email = Text() class Index: name = 'test-index' settings = { "number_of_shards": 1, } def create_index_dsl(): es = connections.get_connection() es.indices.delete(index='test-index', ignore=[400, 404]) MyDocument.init()
5.3 插入文档
将一个新文档插入到Elasticsearch。如果提供了id，将使用它作为文档ID；否则，Elasticsearch会自动生成一个。
def insert_document_dsl(document): doc = MyDocument(meta={'id': document.get('id', None)}, **document) doc.save()
5.4 更新文档
根据文档ID更新已存在的文档。这里我们更新了文档的某些字段。
def update_document_dsl(doc_id, updated_doc): doc = MyDocument.get(id=doc_id) for key, value in updated_doc.items(): setattr(doc, key, value) doc.save()
5.5 删除文档
根据ID删除指定的文档。
def delete_document_dsl(doc_id): doc = MyDocument.get(id=doc_id) doc.delete()
5.6 搜索文档
执行一个搜索查询，返回匹配指定查询条件的文档。在此例中，我们使用match查询匹配名字字段。
def search_documents_dsl(query): es = connections.get_connection() es.indices.refresh(index="test-index") s = Search(index="test-index").query("match", name=query) response = s.execute() return response
5.7 主函数
main_ds l函数串联了上述所有步骤，展示了如何在实际应用中使用这些功能。
def main_dsl(): init_es_client_dsl() create_index_dsl() insert_document_dsl({ ... }) results = search_documents_dsl('John Doe') update_document_dsl('1', { ... }) delete_document_dsl('1')
5.8 运行
将上述代码保存为Python文件并执行，可以看到从插入到搜索、更新和删除文档的完整流程。
5.9 特别强调——默认连接池管理
在elasticsearch-dsl中，当我们创建查询或者执行任何需要与Elasticsearch服务器通信的操作时，并不需要每次都显式地指定Elasticsearch连接实例。
这是因为elasticsearch-dsl内部维护了一个默认的连接池。当我们首次使用connections.create_connection函数创建连接时，如果不指定别名，这个连接就被设置为默认连接。
官方alias 示例：
from elasticsearch_dsl import connections connections.create_connection(alias='my_new_connection', hosts=['localhost'], timeout=60)
后续的所有操作，如搜索查询，都会自动使用这个默认连接，除非咱们通过using参数显式指定了另一个连接。
这种设计使得在大多数情况下，我们只需在应用启动时建立一次连接，而不需要在每个查询中重复指定连接信息，从而简化了代码并提高了代码的可读性和维护性。
参见：
https://elasticsearch-dsl.readthedocs.io/en/latest/configuration.html#default-connection
6、小结
篇幅原因，django-elasticsearch-dsl API 没有展开。如果需要，欢迎留言讨论。
在本文中，我们探讨了如何将Elasticsearch与Python结合使用，通过两种主要的Python客户端——elasticsearch-py和elasticsearch-dsl。
elasticsearch-py提供了直接且灵活的底层API访问，适用于需要完整控制Elasticsearch交互细节的场景。
相比之下，elasticsearch-dsl提供了更高级的抽象，通过更为Pythonic的接口简化了复杂搜索查询的构建，使得代码更加简洁易读，尤其适合日常使用和复杂查询构建。
此外，我们还介绍了如何通过elasticsearch-dsl内部管理的默认连接池来简化连接管理，避免了在每次查询时重复指定连接信息，从而提高了开发效率和代码的可维护性。通过这种方式，开发者只需在应用启动时配置一次连接，之后便可以在整个应用中复用这个默认连接。
无论是直接使用elasticsearch-py进行底层操作，还是利用elasticsearch-dsl进行更加高效的数据处理和搜索，Elasticsearch都能为Python开发者提供强大的搜索和数据分析能力，帮助他们轻松应对各种数据处理和搜索需求，将项目提升到新的高度。在选择合适的客户端和API时，重要的是根据项目的具体需求和团队的熟悉程度来做出决策，以确保既能充分发挥Elasticsearch的强大功能，又能保持代码的可读性和可维护性。
7 年+积累、 Elastic 创始人Shay Banon 等 15 位专家推荐的 Elasticsearch 8.X新书已上线
更短时间更快习得更多干货！
和全球 近2000+ Elastic 爱好者一起精进！
elastic6.cn——ElasticStack进阶助手
比同事抢先一步学习进阶干货！
