上一篇介绍了基于RAG实现简单的知识库问答功能，使用了两个向量数据库Chroma和FAISS，测试了功能情况。这篇文章继续优化，引入开源嵌入大模型all-MiniLM-L6-v2，并改造为先用大模型回答，再根据问题关键词从内部知识库查询问答结果。
一、嵌入大模型all-MiniLM-L6-v2介绍
all - MiniLM - L6 - v2 是一个轻量级的语言模型，在自然语言处理领域应用广泛。基于 Transformer 架构，有 6 层 Transformer 编码器，具有 38M 参数，模型文件大小约 70MB。该系列模型旨在通过知识蒸馏等技术，在保持较高性能的同时，减小模型规模，提高模型的运行效率和可部署性。以下是这个模型的特点
1.轻量级
参数量少，模型文件小，运行时资源消耗少，在 CPU 上推理速度可达 780 字 / 秒，GPU 显存需求仅 2GB，适合在边缘设备、集成显卡或资源受限的环境中运行。
2.性能出色
通过对比学习和知识蒸馏技术，在句子相似度、信息检索等任务中表现优异，在相关的 MTEB 榜单准确率接近大型模型，尤其擅长处理短文本。并且对多语言有较好的兼容性，支持 30 多种语言场景。
3.开发友好
借助 sentence - transformers 库，仅需几行代码即可加载模型并生成句子嵌入，开发成本低，便于集成到各种应用中。同时，它还支持与 Faiss 、Chroma等向量数据库结合，实现高效的文本聚类与检索。
二、具体的功能实现
1.创建HuggingFaceEmbeddings实例
model_path = r"E:\models\all-MiniLM-L6-v2"
model_kwargs = {'device': 'cpu'}
encode_kwargs = {'normalize_embeddings': True}
embeddings = HuggingFaceEmbeddings(
model_name=model_path,
model_kwargs=model_kwargs,
encode_kwargs=encode_kwargs
)
# 使用 Chroma 创建向量数据库并存储文档向量
vectorstore = Chroma.from_documents(docs, embeddings)
AI 代码解读
2.问答优化
# 获取用户输入的问题
question = input("请输入你的问题（输入 'q' 退出）：")
if question.lower() == 'q':
break
else:
if "知识库" not in question:
response = chat_model.invoke(question)
print("答案是：", response.content)
else:
answer = qa.run(question)
print("答案是：", answer)
AI 代码解读
3.运行代码测试功能
增加了几个文档，从不同纬度描述了相关内容，如下图所示：
运行效果如下图所示：
三、总结
all-MiniLM-L6-v2是低版本的模型，我只是为了本地测试。如需要可以使用更大参数的all-MiniLM-L12-v2等。不同的预训练模型在不同的任务和领域中可能表现不同，要根据具体需求选择合适的模型。后续可基于这个功能进行扩展和优化，敬请关注。
