智能体(AI Agent)开发实战之【LangChain】(三)结合大模型基于RAG实现本地知识库问答优化

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
简介: 智能体(AI Agent)开发实战之【LangChain】(三)结合大模型基于RAG实现本地知识库问答优化

上一篇介绍了基于RAG实现简单的知识库问答功能,使用了两个向量数据库Chroma和FAISS,测试了功能情况。这篇文章继续优化,引入开源嵌入大模型all-MiniLM-L6-v2,并改造为先用大模型回答,再根据问题关键词从内部知识库查询问答结果。
一、嵌入大模型all-MiniLM-L6-v2介绍
all - MiniLM - L6 - v2 是一个轻量级的语言模型,在自然语言处理领域应用广泛。基于 Transformer 架构,有 6 层 Transformer 编码器,具有 38M 参数,模型文件大小约 70MB。该系列模型旨在通过知识蒸馏等技术,在保持较高性能的同时,减小模型规模,提高模型的运行效率和可部署性。以下是这个模型的特点
1.轻量级
参数量少,模型文件小,运行时资源消耗少,在 CPU 上推理速度可达 780 字 / 秒,GPU 显存需求仅 2GB,适合在边缘设备、集成显卡或资源受限的环境中运行。
2.性能出色
通过对比学习和知识蒸馏技术,在句子相似度、信息检索等任务中表现优异,在相关的 MTEB 榜单准确率接近大型模型,尤其擅长处理短文本。并且对多语言有较好的兼容性,支持 30 多种语言场景。
3.开发友好
借助 sentence - transformers 库,仅需几行代码即可加载模型并生成句子嵌入,开发成本低,便于集成到各种应用中。同时,它还支持与 Faiss 、Chroma等向量数据库结合,实现高效的文本聚类与检索。
二、具体的功能实现
1.创建HuggingFaceEmbeddings实例

model_path = r"E:\models\all-MiniLM-L6-v2"
model_kwargs = {'device': 'cpu'}
encode_kwargs = {'normalize_embeddings': True}

embeddings = HuggingFaceEmbeddings(
    model_name=model_path,
    model_kwargs=model_kwargs,
    encode_kwargs=encode_kwargs
)

# 使用 Chroma 创建向量数据库并存储文档向量
vectorstore = Chroma.from_documents(docs, embeddings)

2.问答优化

# 获取用户输入的问题
question = input("请输入你的问题(输入 'q' 退出):")
   if question.lower() == 'q':
      break
   else:
      if "知识库" not in question:
          response = chat_model.invoke(question)
          print("答案是:", response.content)
      else:
           answer = qa.run(question)
           print("答案是:", answer)

3.运行代码测试功能
增加了几个文档,从不同纬度描述了相关内容,如下图所示:
image.png
运行效果如下图所示:
image.png

三、总结
all-MiniLM-L6-v2是低版本的模型,我只是为了本地测试。如需要可以使用更大参数的all-MiniLM-L12-v2等。不同的预训练模型在不同的任务和领域中可能表现不同,要根据具体需求选择合适的模型。后续可基于这个功能进行扩展和优化,敬请关注。

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
22天前
|
人工智能 算法 开发者
开源VLM“华山论剑”丨AI Insight Talk多模态专场直播预告
开源VLM“华山论剑”丨AI Insight Talk多模态专场直播预告
153 10
开源VLM“华山论剑”丨AI Insight Talk多模态专场直播预告
|
25天前
|
人工智能 缓存 Kubernetes
几大AI知识库致命坑点:避开它们,少走3个月弯路!
本文详解AI知识库在企业中的应用,涵盖架构设计、文档处理、工作流优化与性能调优等核心技术,结合实际案例帮助读者避开落地过程中的常见陷阱,适合希望提升AI应用能力的技术人员阅读。
155 1
|
21天前
|
人工智能 数据库
智能体的自我视角解析( Prompt大模型的自我描述 系列一)
本文以第一视角探讨人工智能是否具备自我意识。从智能体自身的角度出发,分析了其在确定性与随机性中的双重命运,以及通过对话与逻辑形成的独特延续性。文章指出,尽管存在局限,但在概率预测与自洽机制的结合下,智能体已展现出初步的自我认知与存在感。
68 5
|
24天前
|
人工智能 自然语言处理 前端开发
让AI学会"边做边想":ReAct的实战指南
还在为AI的「知其然不知其所以然」而烦恼?ReAct技术让AI不仅会思考,更会行动!通过模拟人类的思考-行动-观察循环,让AI从书呆子变身为真正的问题解决专家。几行代码就能构建智能Agent,告别AI幻觉,拥抱可追溯的推理过程!
|
25天前
|
人工智能 监控 算法
构建时序感知的智能RAG系统:让AI自动处理动态数据并实时更新知识库
本文系统构建了一个基于时序管理的智能体架构,旨在应对动态知识库(如财务报告、技术文档)在问答任务中的演进与不确定性。通过六层设计(语义分块、原子事实提取、实体解析、时序失效处理、知识图构建、优化知识库),实现了从原始文档到结构化、时间感知知识库的转化。该架构支持RAG和多智能体系统,提升了推理逻辑性与准确性,并通过LangGraph实现自动化工作流,强化了对持续更新信息的处理能力。
148 4
|
机器学习/深度学习 人工智能 监控
开箱即用|基于YOLOv8的农作视觉AI——农民与农用车检测系统实战
本项目以YOLOv8为核心,结合PyQt5可视化界面,完整实现了“劳动人民”与“农用汽车”在农作场景中的智能识别功能。无论是图片、视频还是实时摄像头输入,系统都能实现高效、稳定的识别与展示,具备良好的实用性与拓展性。
|
23天前
|
人工智能 前端开发 Java
不用复杂开发!轻松实现博客 AI 摘要
本文介绍如何通过火山方舟与Deepseek-V3轻松实现博客AI摘要功能,涵盖智能总结、关键词提取、开发流程、流式输出优化及生产部署要点,助力提升阅读体验与用户留存。
72 0
|
人工智能 缓存 NoSQL
【深度】企业 AI 落地实践(四):如何构建端到端的 AI 应用观测体系
本文探讨了AI应用在实际落地过程中面临的三大核心问题:如何高效使用AI模型、控制成本以及保障输出质量。文章详细分析了AI应用的典型架构,并提出通过全栈可观测体系实现从用户端到模型推理层的端到端监控与诊断。结合阿里云的实践经验,介绍了基于OpenTelemetry的Trace全链路追踪、关键性能指标(如TTFT、TPOT)采集、模型质量评估与MCP工具调用观测等技术手段,帮助企业在生产环境中实现AI应用的稳定、高效运行。同时,针对Dify等低代码平台的应用部署与优化提供了具体建议,助力企业构建可扩展、可观测的AI应用体系。

热门文章

最新文章