KAG:增强 LLM 的专业能力!蚂蚁集团推出专业领域知识增强框架,支持逻辑推理和多跳问答

本文涉及的产品
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_高级版,每接口累计50万次
NLP自然语言处理_基础版,每接口每天50万次
简介: KAG 是蚂蚁集团推出的专业领域知识服务框架,通过知识增强提升大型语言模型在特定领域的问答性能,支持逻辑推理和多跳事实问答,显著提升推理和问答的准确性和效率。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 知识增强:KAG 通过知识图谱和向量检索结合,提升大型语言模型在特定领域的问答能力。
  2. 混合推理:采用逻辑形式引导的混合推理引擎,支持复杂问题的符号化和结构化求解。
  3. 知识对齐:通过语义推理进行知识对齐,提升知识的标准化和连通性。

正文(附运行示例)

KAG 是什么

公众号: 蚝油菜花 - KAG

KAG(Knowledge Augmented Generation)是蚂蚁集团推出的专业领域知识服务框架,旨在通过知识增强提升大型语言模型(LLMs)在特定领域的问答性能。KAG 基于知识和文本块的互索引结构,整合非结构化数据、结构化信息以及业务专家经验,形成统一的业务知识图谱。

KAG 推出了逻辑形式引导的混合推理引擎,将自然语言问题转化为结合语言和符号的问题解决过程,支持逻辑推理和多跳事实问答等功能,有效克服传统 RAG 向量相似性计算的模糊性和 OpenIE 引入的噪声问题,显著提升推理和问答的准确性和效率。

KAG 的主要功能

  • 专业领域问答增强:结合知识图谱和向量检索,提升大型语言模型在特定领域的问答能力,生成更准确、专业和逻辑性强的答案。
  • 知识表示与检索优化:用LLM友好的知识表示框架,实现知识图谱与原始文本块的互索引,优化知识的表示、推理和检索过程,提高检索结果的准确性和相关性。
  • 混合推理与问题解决:基于逻辑形式引导的混合推理引擎,将自然语言问题转化为结合语言和符号的问题解决过程,实现检索、知识图谱推理、语言推理和数值计算的集成,有效处理复杂问题。
  • 知识对齐与语义增强:基于语义推理进行知识对齐,定义领域知识为各种语义关系,提高知识的标准化和连通性,增强知识表示的准确性和一致性。

KAG 的技术原理

  • 知识图谱与向量检索结合:基于知识图谱的结构化语义信息和向量检索的高效性,知识图谱组织和表示领域知识,借助向量检索快速获取与问题相关的知识片段。
  • LLM友好的知识表示:设计LLMFriSPG框架,将知识图谱的数据、信息和知识层次结构与大型语言模型的输入输出格式相适配,实现知识的统一表示和有效传递。
  • 互索引机制:建立知识图谱结构与原始文本块之间的互索引关系,让图结构中的实体、关系等与文本块中的内容相互关联,增强知识的语义连通性和检索的准确性。
  • 逻辑形式引导推理:采用逻辑形式语言将复杂问题分解为多个子问题,基于规划、推理和检索等操作符进行求解,实现问题解决过程的符号化和结构化,提高推理的严谨性和可解释性。
  • 语义推理与知识对齐:在知识图谱的构建和检索过程中,用语义推理技术对知识进行对齐和整合,识别和建立知识之间的语义关系,提升知识的准确性和一致性。

如何运行 KAG

1. 安装依赖

首先,确保你的系统满足以下要求:

  • 推荐系统版本:macOS Monterey 12.6 或更高版本,CentOS 7 / Ubuntu 20.04 或更高版本,Windows 10 LTSC 2021 或更高版本。
  • 软件要求:macOS / Linux 用户需要安装 Docker 和 Docker Compose,Windows 用户需要安装 WSL 2 / Hyper-V、Docker 和 Docker Compose。

2. 下载并启动服务

使用以下命令下载 docker-compose.yml 文件并启动服务:

# 设置 HOME 环境变量(仅 Windows 用户需要执行此命令)
# set HOME=%USERPROFILE%

curl -sSL https://raw.githubusercontent.com/OpenSPG/openspg/refs/heads/master/dev/release/docker-compose-west.yml -o docker-compose-west.yml
docker compose -f docker-compose-west.yml up -d

3. 使用 KAG 产品

在浏览器中访问 KAG 产品的默认 URL:http://127.0.0.1:8887

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
16天前
|
机器学习/深度学习 人工智能 算法
LLM超越人类时该如何对齐?谷歌用新RLHF框架解决了这个问题
谷歌提出了一种名为Evolving Alignment via Asymmetric Self-Play(eva)的新RLHF框架,通过创造者和解决者交替优化,生成具有挑战性的提示,提高模型泛化能力、样本效率和对齐鲁棒性。实验结果显示,eva在多个基准上显著提升性能,展示了其创新性和有效性。然而,eva的实现较为复杂,且实际应用中的长期效果仍待验证。
39 5
|
26天前
|
开发框架 人工智能 安全
Promptic:轻量级 LLM 应用开发框架,提供完善的底层功能,使开发者更专注于构建上层功能
Promptic 是一个轻量级的 LLM 应用开发框架,支持通过一行代码切换不同的 LLM 服务提供商。它提供了类型安全的输出、流式支持、内置对话记忆、错误处理和重试等功能,帮助开发者专注于构建功能,而不是底层的复杂性。
69 6
Promptic:轻量级 LLM 应用开发框架,提供完善的底层功能,使开发者更专注于构建上层功能
|
15天前
|
JSON 人工智能 算法
探索大型语言模型LLM推理全阶段的JSON格式输出限制方法
本篇文章详细讨论了如何确保大型语言模型(LLMs)输出结构化的JSON格式,这对于提高数据处理的自动化程度和系统的互操作性至关重要。
|
1月前
|
机器学习/深度学习 存储 缓存
ORCA:基于持续批处理的LLM推理性能优化技术详解
大语言模型(LLMs)的批处理优化面临诸多挑战,尤其是由于推理过程的迭代性导致的资源利用不均问题。ORCA系统通过引入迭代级调度和选择性批处理技术,有效解决了这些问题,大幅提高了GPU资源利用率和系统吞吐量,相比FasterTransformer实现了最高37倍的性能提升。
133 26
|
1月前
|
缓存 算法 关系型数据库
MIT韩松团队长上下文LLM推理高效框架DuoAttention:单GPU实现330万Token上下文推理
麻省理工学院韩松团队提出DuoAttention框架,旨在提高大型语言模型(LLM)处理长上下文的效率。该框架通过区分检索头和流式头,仅对检索头应用全键值缓存,减少内存消耗和计算时间,同时保持模型长上下文处理能力。实验结果显示,DuoAttention在多种模型架构上显著提升了推理效率,为LLM的实际应用提供了新可能。
64 14
|
1月前
|
人工智能 算法
图像伪造照妖镜!北大发布多模态LLM图像篡改检测定位框架FakeShield
北京大学研究团队提出了一种名为FakeShield的多模态框架,旨在解决图像伪造检测与定位(IFDL)中的黑箱问题及泛化能力不足。FakeShield不仅能评估图像真实性,生成篡改区域的掩码,还能提供像素级和图像级的篡改线索及详细文本描述,增强检测的可解释性。通过使用GPT-4o增强现有数据集,创建多模态篡改描述数据集(MMTD-Set),并引入领域标签引导的可解释伪造检测模块(DTE-FDM)和多模态伪造定位模块(MFLM),FakeShield在多种篡改技术的检测与定位上表现优异,为图像真实性维护提供了有力工具。
67 14
|
1月前
|
缓存 自然语言处理 API
Ascend推理组件MindIE LLM
MindIE LLM是基于昇腾硬件的大语言模型推理组件,提供高性能的多并发请求调度与优化技术,如Continuous Batching、PageAttention等,支持Python和C++ API,适用于高效能推理需求。其架构包括深度定制优化的模型模块、文本生成器和任务调度管理器,支持多种模型框架和量化方式,旨在提升大规模语言模型的推理效率和性能。
|
1月前
|
自然语言处理 资源调度 并行计算
从本地部署到企业级服务:十种主流LLM推理框架的技术介绍与对比
本文深入探讨了十种主流的大语言模型(LLM)服务引擎和工具,涵盖从轻量级本地部署到高性能企业级解决方案,详细分析了它们的技术特点、优势及局限性,旨在为研究人员和工程团队提供适合不同应用场景的技术方案。内容涉及WebLLM、LM Studio、Ollama、vLLM、LightLLM、OpenLLM、HuggingFace TGI、GPT4ALL、llama.cpp及Triton Inference Server与TensorRT-LLM等。
160 7
|
3月前
|
前端开发 机器人 API
前端大模型入门(一):用 js+langchain 构建基于 LLM 的应用
本文介绍了大语言模型(LLM)的HTTP API流式调用机制及其在前端的实现方法。通过流式调用,服务器可以逐步发送生成的文本内容,前端则实时处理并展示这些数据块,从而提升用户体验和实时性。文章详细讲解了如何使用`fetch`发起流式请求、处理响应流数据、逐步更新界面、处理中断和错误,以及优化用户交互。流式调用特别适用于聊天机器人、搜索建议等应用场景,能够显著减少用户的等待时间,增强交互性。
716 2
|
3月前
|
机器学习/深度学习 人工智能 运维
企业内训|LLM大模型在服务器和IT网络运维中的应用-某日企IT运维部门
本课程是为某在华日资企业集团的IT运维部门专门定制开发的企业培训课程,本课程旨在深入探讨大型语言模型(LLM)在服务器及IT网络运维中的应用,结合当前技术趋势与行业需求,帮助学员掌握LLM如何为运维工作赋能。通过系统的理论讲解与实践操作,学员将了解LLM的基本知识、模型架构及其在实际运维场景中的应用,如日志分析、故障诊断、网络安全与性能优化等。
103 2

热门文章

最新文章