高性能向量检索库
milvus
简介
Milvus 是一个开源的向量数据库引擎，旨在提供高效的向量存储、检索和分析能力。它被设计用于处理大规模的高维向量数据，常用于机器学习、计算机视觉、自然语言处理和推荐系统等领域。Milvus 提供了多种功能和特性，使其成为处理向量数据的理想选择。以下是一些 Milvus 的主要特点：
高性能：Milvus 使用了高度优化的数据结构和索引算法，以实现快速的向量检索。它支持多种索引类型，如平面索引、倒排索引和 HNSW（Hierarchical Navigable Small World）等，这些索引能够加速向量的相似度搜索。
可扩展性：Milvus 具备良好的可扩展性，可以轻松地扩展到大规模的向量数据集。它支持分布式部署，可以在多个节点上进行数据存储和查询操作，实现高吞吐量和低延迟。
多样化的向量类型：Milvus 支持多种向量类型，包括浮点型向量、二进制向量和文本向量等。这使得它可以适应不同领域和应用中的向量数据需求。
多语言支持：Milvus 提供了多种编程语言的 SDK（软件开发工具包），包括 Python、Java、Go 和 C++ 等，使开发者可以方便地集成 Milvus 到他们的应用程序中。
可视化管理界面：Milvus 提供了一个易于使用的 Web 界面，用于管理和监控向量数据库。开发者可以通过该界面进行数据导入、索引构建和查询优化等操作，同时还能够查看系统状态和性能指标。
总之，Milvus 是一个功能强大的向量数据库引擎，通过其高性能、可扩展性和多样化的特性，能够有效地存储和检索大规模的高维向量数据。它在许多领域的应用中发挥着重要作用，帮助开发者加速向量相关任务的开发和部署。
安装
- docker 安装镜像：docker pull milvusdb/milvus:cpu-latest
- 创建工作目录：
mkdir milvus
cd milvus
mkdir congf
mkdir db
mkdir logs
mkdir wal
我的目录结构是：
milvus │ ├─conf //配置文件目录 │ server_config.yaml //配置文件 搜索引擎配置都在这里修改 │ ├─db //数据库存储目录 你的索引与向量存储的位置 │ └─logs //日志存储目录 │ └─wal // 预写式日志相关配置
server_config.yaml
docker run -it milvusdb/milvus:cpu-latest bash
docker cp 74c20a680091:/var/lib/milvus/conf/server_config.yaml milvus/conf/
启动容器
docker run -td --name mymilvus -e "TZ=Asia/Shanghai" -p 19530:19530 -p 19121:19121 -v /work/lnn_workspace/chatgpt/search/milvus/conf:/var/lib/milvus/conf -v /work/lnn_workspace/chatgpt/search/milvus/db:/var/lib/milvus/db -v /work/lnn_workspace/chatgpt/search/milvus/logs:/var/lib/milvus/logs milvusdb/milvus:cpu-latest
docker ps | grep mymilvus
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-orhH8dlK-1685346967888)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230519105321396.png)]
安装pymilvus
pip install pymilvus==1.1.2 ps:注意这里安装最新版本可以会无法正常调用，1.1.2经过测试可正常使用
调用
# -*- coding: utf-8 -*- # 导入相应的包 import numpy as np from milvus import Milvus, MetricType # 初始化一个Milvus类，以后所有的操作都是通过milvus来的 milvus = Milvus(host='localhost', port='19530') # 向量个数 num_vec = 5000 # 向量维度 vec_dim = 768 # name collection_name = "test_collection" # 创建collection，可理解为mongo的collection collection_param = { 'collection_name': collection_name, 'dimension': vec_dim, 'index_file_size': 32, 'metric_type': MetricType.IP # 使用内积作为度量值 } milvus.create_collection(collection_param) # 随机生成一批向量数据 # 支持ndarray，也支持list vectors_array = np.random.rand(num_vec, vec_dim) # 把向量添加到刚才建立的collection中 status, ids = milvus.insert(collection_name=collection_name, records=vectors_array) # 返回 状态和这一组向量的ID milvus.flush([collection_name]) # 输出统计信息 print(milvus.get_collection_stats(collection_name)) # 创建查询向量 query_vec_array = np.random.rand(1, vec_dim) # 进行查询, status, results = milvus.search(collection_name=collection_name, query_records=query_vec_array, top_k=5) print(status) print(results) # 如果不用可以删掉 status = milvus.drop_collection(collection_name) # 断开、关闭连接 milvus.close()
collection_name = "test_collection" - 定义集合名称为test_collection collection_param = { 'collection_name': collection_name, 'dimension': vec_dim, 'index_file_size': 32, 'metric_type': MetricType.IP } milvus.create_collection(collection_param) - collection_name 指定集合名称为test_collection - dimension 表示集合中向量的维度,由vec_dim变量赋值 - index_file_size 设置索引文件大小为32MB - metric_type 设置度量类型为IP,表示使用向量内积作为相似度度量 所以,这段代码定义了集合名称和相关参数,用于在Milvus服务上创建一个新的集合。 在Milvus中,集合相当于关系数据库的表,是存储向量的基本单元。在创建集合时,我们需要指定: 1. 集合名称:唯一标识一个集合 2. 向量维度:集合中向量的特征数量 3. 度量类型:测量向量之间相似度的算法,如IP(内积)、L2(欧氏距离)等 4. 索引文件大小:用于提高搜索性能,索引文件会存储向量的索引信息
faiss
简介
Faiss是Facebook开源的一个向量检索库,用于大规模向量集合的索引和搜索。主要功能包括:
1.支持多种索引结构: IVF, IVFFlat, HNSW, etc。这些索引结构可以实现高精度和高召回的向量搜索。
2.支持多种度量方式:内积,欧氏距离,cosine 相似度等。可选择合适的度量方式对向量集合建立索引。
3.快速的索引构建与搜索:Faiss使用GPU加速,可以实现亿量级向量的索引构建和搜索。
4.降维与聚类:Faiss提供PCA,IVFFlat等算法进行向量降维,并支持Kmeans算法进行向量聚类。
5.高级特性:Faiss支持在线学习,异构向量检索,索引压缩等高级特性。
Faiss的典型应用有:
1.图像检索:在大规模图片数据库中找到与输入图片最相似的图片。
2.文本匹配:快速找到与输入文本最相近的文本内容。
3.推荐系统:根据用户兴趣对大量商品进行快速检索和推荐。
4.声纹识别:在海量语音数据中实现语音识别和检索。
Faiss提供C++, Python和Java语言接口,可以轻松构建向量检索系统。如果需要管理和搜索海量高维向量,Faiss是一个非常好的选择。
安装
install faiss-cpu
调用
# 导入库 import numpy as np import faiss # 向量个数 num_vec = 5000 # 向量维度 vec_dim = 768 # 搜索topk topk = 10 # 随机生成一批向量数据 vectors = np.random.rand(num_vec, vec_dim) # 创建索引 faiss_index = faiss.IndexFlatL2(vec_dim) # 使用欧式距离作为度量 # 添加数据 faiss_index.add(vectors) # 查询向量 假设有5个 query_vectors = np.random.rand(5, vec_dim) # 搜索结果 # 分别是 每条记录对应topk的距离和索引 # ndarray类型 。shape：len(query_vectors)*topk res_distance, res_index = faiss_index.search(query_vectors, topk) print(res_index) print(res_distance)
