faiss 三个最基础的 index. 分别是 IndexFlatL2, IndexIVFFlat, IndexIVFPQ
搜索时，可以以查询向量为中心，返回距离在一定范围内的结果，如返回数据库中与查询向量距离小于0.3的结果。不是所有的Index都支持按距离检索，但是下面三种Index都支持，只支持在CPU使用。
一、IndexFlatL2 - 最基础的Index
IndexFlatL2索引的结果是精确的,可以用来作为其他索引测试中准确性程度的参考.
import numpy as np import faiss import time def demo_IndexFlatL2(): d = 2048 # 2048维的数据 nb = 2 # database size nq = 1 # nb of queries np.random.seed(1234) index = faiss.IndexFlatL2(d) print(index.is_trained) # 随机nb个数据插入索引 xb = np.random.random((nb, d)).astype('float32') xb[:, 0] += np.arange(nb) / 1000. index.add(xb) # 再随机nb个数据插入索引 xb1 = np.random.random((nb, d)).astype('float32') xb1[:, 0] += np.arange(nb) / 1000. index.add(xb1) print('index.ntotal:', index.ntotal) # 随机nq个数据用于查询 xq = np.random.random((nq, d)).astype('float32') xq[:, 0] += np.arange(nq) / 1000. k = 4 # 查询距离最近的4个 D, I = index.search(xq, k) # 返回值D是距离 I是索引 print("I: ", I) # 按照距离查询 dist = 1000 # 定义一个半径/阈值 _, D, I = index.range_search(xb[[2], :], dist) # 用第2个向量查询 print('range_search res:', I) # 删除元素，dtype=np.int64非常重要 print('remove之前ntotal:', index.ntotal) index.remove_ids(np.asarray((2,3), dtype=np.int64)) print('remove之后ntotal:', index.ntotal) if __name__ == '__main__': demo_IndexFlatL2()
二、更快的搜索 - IndexIVFFlat
为了加快搜索速度，可以将数据集分割成几部分。我们在d维空间中定义Voronoi单元格，并且每个数据库矢量都落入其中一个单元格中。在搜索时，只有查询x所在单元中包含的数据库向量y与少数几个相邻查询向量进行比较。(划分搜索空间)
这种类型的索引需要一个训练的过程，可以在与数据库向量具有相同分布的任何向量集合上执行。
这IndexIVFFlat还需要另一个索引，即量化器(quantizer)，它将矢量分配给Voronoi单元。每个单元由一个质心定义，找到一个矢量所在的Voronoi单元包括在质心集中找到该矢量的最近邻居。这是另一个索引的任务，通常是索引IndexFlatL2。
搜索方法有两个参数：
- nlist 划分单元的数量
- nprobe 执行搜索访问的单元格数(不包括nlist)
nprobe 参数始终是调整结果速度和准确度之间折中的一种方式 。设置 nprobe = nlist 将给出与蛮力搜索（但会更慢）相同的结果。
import numpy as np import faiss import time def demo_IndexIVFFlat(): d = 64 # 向量维度 nb = 200 # 向量集大小 nq = 10000 # 查询次数 np.random.seed(1234) # 随机种子,使结果可复现 nlist = 100 k = 4 quantizer = faiss.IndexFlatL2(d) # the other index index = faiss.IndexIVFFlat(quantizer, d, nlist, faiss.METRIC_L2) # here we specify METRIC_L2, by default it performs inner-product search xb = np.random.random((nb, d)).astype('float32') xb[:, 0] += np.arange(nb) / 1000. index.train(xb) index.add(xb) # 添加索引可能会有一点慢 print('index.ntotal:', index.ntotal) xb1 = np.random.random((nb, d)).astype('float32') xb1[:, 0] += np.arange(nb) / 1000. index.train(xb1) index.add(xb1) # 添加索引可能会有一点慢 print('index.ntotal:', index.ntotal) xq = np.random.random((nq, d)).astype('float32') xq[:, 0] += np.arange(nq) / 1000. D, I = index.search(xq, k) # 搜索 print(I[-5:]) # 最初五次查询的结果 index.nprobe = 10 # 执行搜索访问的单元格数 默认 nprobe 是1 ,可以设置的大一些试试 D, I = index.search(xq, k) print(I[-5:]) # 最后五次查询的结果 # 按照距离查询 dist = 1000 # 定义一个半径/阈值 _, D, I = index.range_search(xb[[2], :], dist) # 用第2个向量查询 print('range_search res:', I) # 删除元素，dtype=np.int64非常重要 print('remove之前ntotal:', index.ntotal) index.remove_ids(np.asarray((2,3), dtype=np.int64)) print('remove之后ntotal:', index.ntotal) if __name__ == '__main__': demo_IndexIVFFlat()
三、更低的内存占用 - IndexIVFPQ
索引IndexFlatL2和IndexIVFFlat都存储完整的向量。 为了扩展到非常大的数据集，Faiss提供了基于产品量化器的有损压缩来压缩存储的向量的变体。压缩的方法基于乘积量化(Product Quantizer)。
在这种情况下，由于矢量没有精确存储，搜索方法返回的距离也是近似值。
import numpy as np import faiss import time def demo_IndexIVFPQ(): d = 64 # 向量维度 nb = 100000 # 向量集大小 nq = 10000 # 查询次数 np.random.seed(1234) # 随机种子,使结果可复现 xb = np.random.random((nb, d)).astype('float32') xb[:, 0] += np.arange(nb) / 1000. xq = np.random.random((nq, d)).astype('float32') xq[:, 0] += np.arange(nq) / 1000. nlist = 100 m = 8 k = 4 quantizer = faiss.IndexFlatL2(d) # 内部的索引方式依然不变 index = faiss.IndexIVFPQ(quantizer, d, nlist, m, 8) # 每个向量都被编码为8个字节大小 index.train(xb) index.add(xb) D, I = index.search(xb[:5], k) # 测试 print(I) print(D) index.nprobe = 10 # 与以前的方法相比 D, I = index.search(xq, k) # 检索 print(I[-5:]) # 按照距离查询 dist = 1000 # 定义一个半径/阈值 _, D, I = index.range_search(xb[[2], :], dist) # 用第2个向量查询 print('range_search res:', I) # 删除元素，dtype=np.int64非常重要 print('remove之前ntotal:', index.ntotal) index.remove_ids(np.asarray((2,3), dtype=np.int64)) print('remove之后ntotal:', index.ntotal) if __name__ == '__main__': demo_IndexIVFPQ()
