MiniRAG:迷你 RAG 系统加成小型语言模型,爆发出与大型语言模型相当的性能

本文涉及的产品
NLP自然语言处理_基础版,每接口每天50万次
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_高级版,每接口累计50万次
简介: MiniRAG 是香港大学推出的新型 RAG 系统,专为资源受限场景设计,支持高效知识检索与推理,适用于多种应用场景。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 高效检索:基于异构图索引机制,快速从大量数据中检索相关知识。
  2. 轻量级设计:专为小型语言模型设计,降低计算和存储需求。
  3. 强大推理:支持复杂推理任务,适用于多种应用场景。

正文(附运行示例)

MiniRAG 是什么

MiniRAG

MiniRAG 是香港大学推出的一种新型检索增强型生成(RAG)系统,专为在资源受限的场景下高效部署小型语言模型(SLMs)而设计。它通过语义感知的异构图索引机制和轻量级拓扑增强检索方法,显著降低了计算和存储需求。

MiniRAG 在实验中展现出与大型语言模型(LLMs)相当的性能,同时仅需 25% 的存储空间。该系统还提供了全面的基准数据集,用于评估轻量级 RAG 系统在现实设备场景下的表现,推动资源受限环境下高效、私密的 RAG 系统的发展。

MiniRAG 的主要功能

  • 高效的知识检索:基于独特的异构图索引机制,快速准确地从大量数据中检索出与用户查询最相关的知识。
  • 轻量级的模型兼容性:专为小型语言模型(SLMs)设计,显著降低对计算资源和存储空间的需求。
  • 强大的推理能力:借助查询引导的推理路径发现机制,处理复杂的、多步骤的推理任务。
  • 适应性强:适用于即时通讯、个人内容管理、本地文档检索等多种应用场景。

MiniRAG 的技术原理

  • 语义感知的异构图索引机制

    • 文本块节点(Vc):保留原始文本的上下文完整性,直接参与检索阶段。
    • 实体节点(Ve):从文本块中提取的关键语义元素,如事件、地点、时间引用和领域特定概念。
    • 实体-实体连接(Eα):捕捉命名实体之间的语义关系、层次结构和时空依赖关系。
    • 实体-文本块连接(Eβ):连接命名实体及其对应的上下文,保持上下文相关性和语义连贯性。
    • 边的语义描述:基于语言模型生成的描述,为连接的节点提供明确的关系上下文。
  • 轻量级拓扑增强检索方法

    • 查询语义映射:用实体提取和轻量级句子嵌入模型,将用户输入的查询与图索引数据进行对齐。
    • 查询驱动的推理路径发现:基于智能查询引导机制,在异构图中构建推理路径。
    • 拓扑增强的图检索:结合基于嵌入的相似性搜索和图结构的拓扑信息,识别与查询相关的高质量实体-实体连接。
    • 查询相关文本块的检索:基于实体-文本块连接,收集与推理路径相关的文本块。
    • 融合增强生成:将检索到的关键关系和最优文本块与先前确定的答案节点进行整合,构建全面且结构化的输入表示。

如何运行 MiniRAG

安装

  • 从源码安装(推荐)
cd MiniRAG
pip install -e .
AI 代码解读
  • 从 PyPI 安装(代码基于 LightRAG,因此可以直接安装)
pip install lightrag-hku
AI 代码解读

快速开始

  • 所有复现代码可以在 ./reproduce 目录下找到。
  • 下载您需要的知识库数据集。
  • 将数据集放入 ./dataset 目录下。
  • Note:我们已经将 LiHua-World 数据集以 LiHuaWorld.zip 的形式放在了 ./dataset/LiHua-World/data/ 目录下。如果您想使用其他数据集,可以将其放在 ./dataset/xxx 目录下。

然后使用以下命令对数据集进行索引:

python ./reproduce/Step_0_index.py
python ./reproduce/Step_1_QA.py
AI 代码解读

或者,使用 ./main.py 中的代码初始化 MiniRAG。

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

目录
打赏
0
12
12
1
223
分享
相关文章
VSI-Bench:李飞飞谢赛宁团队推出视觉空间智能基准测试集,旨在评估多模态大语言模型在空间认知和理解方面的能力
VSI-Bench是由李飞飞和谢赛宁团队推出的视觉空间智能基准测试集,旨在评估多模态大型语言模型(MLLMs)在空间认知和理解方面的能力。该基准测试集包含超过5000个问题-答案对,覆盖近290个真实室内场景视频,涉及多种环境,能够系统地测试和提高MLLMs在视觉空间智能方面的表现。
71 16
VSI-Bench:李飞飞谢赛宁团队推出视觉空间智能基准测试集,旨在评估多模态大语言模型在空间认知和理解方面的能力
RAG真能提升LLM推理能力?人大最新研究:数据有噪声,RAG性能不升反降
随着大型语言模型(LLM)在自然语言处理领域的广泛应用,检索增强生成(RAG)技术因能引入新知识和减少幻觉而受到关注。然而,RAG对LLM推理能力的实际提升效果仍存争议。中国人民大学的一项研究表明,RAG虽能辅助LLM推理,但在处理含噪信息和深度推理时面临挑战。为此,研究团队提出了DPrompt tuning方法,旨在解决噪声问题并提升RAG性能。
64 12
更快、更强、更经济!港大开源大模型RAG系统LightRAG
香港大学研究团队推出LightRAG,一款新型检索增强生成系统。LightRAG通过引入图结构优化文本索引和检索,克服了传统RAG系统在上下文感知、数据表示和更新效率方面的局限。其双级检索系统、图结构与向量表示的融合及增量更新算法,显著提升了检索准确性和效率,适用于智能客服、知识问答和智能搜索等多个领域。
130 3
小钢炮进化,MiniCPM 3.0 开源!4B参数超GPT3.5性能,无限长文本,超强RAG三件套!模型推理、微调实战来啦!
旗舰端侧模型面壁「小钢炮」系列进化为全新 MiniCPM 3.0 基座模型,再次以小博大,以 4B 参数,带来超越 GPT-3.5 的性能。并且,量化后仅 2GB 内存,端侧友好。
小钢炮进化,MiniCPM 3.0 开源!4B参数超GPT3.5性能,无限长文本,超强RAG三件套!模型推理、微调实战来啦!
MemoryScope:为LLM聊天机器人配备的长期记忆系统
如何选择合适的方法构建自己的智能体助理呢?这里向您介绍强大、低延迟、安全可控的MemoryScope开源项目。
可信度超越GPT-4V,清华&面壁揭秘小钢炮模型背后的高效对齐技术
【6月更文挑战第15天】清华大学与面壁智能合作的RLAIF-V框架挑战GPT-4V,通过开源AI反馈增强大语言模型的可信度。该框架利用开放数据和在线学习优化对齐,减少幻觉错误,12B参数模型表现超越GPT-4V。虽有数据质量和稳定性问题,但展示出开源MLLMs潜力。[链接: https://arxiv.org/abs/2405.17220]
143 1
多模态大模型不够灵活,谷歌DeepMind创新架构Zipper:分开训练再压缩
【6月更文挑战第12天】谷歌DeepMind的Zipper架构解决了多模态大模型灵活性问题,通过分解为单模态模型并用“压缩”过程组合,实现多模态生成。该方法允许独立训练每个模态,提升灵活性和可扩展性,适用于数据有限或领域特定的模态。Zipper利用交叉注意力机制融合模态输出,适用于图像描述、语音识别等任务。尽管需要更多计算资源且性能受限于单模态模型质量,但已在ASR和TTS领域展现潜力。论文链接:https://arxiv.org/pdf/2405.18669
76 3
Sora的四大局限性
【2月更文挑战第16天】Sora的四大局限性
225 3
Sora的四大局限性
ICLR 2024:RLHF有了通用平台和基准,天大开源,专攻现实决策场景
【4月更文挑战第21天】天津大学在ICLR 2024发布RLHF新框架Uni-RLHF,以人类反馈引导强化学习,降低奖励函数设计需求,适应现实决策场景。该框架提供通用平台和基准,支持大规模众包注释,促进研究。尽管面临准确捕捉人类反馈、数据质量和多任务处理等挑战,但开源特性加速了学术进步。[链接](https://arxiv.org/abs/2402.02423)
122 0

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等