OpenSPG 新版发布:新增大模型知识抽取,3 步快速搭建专属知识图谱

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,1000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: OpenSPG 新版发布,支持大模型增强的图谱构建,仅需 3 个步骤快速搭建专属知识图谱。

随着 ChatGPT 的横空出世,大模型已然成为人工智能领域的焦点。大模型在语言理解、对话生成方面表现得尤其亮眼,而知识图谱则擅长大模型所无法解决的事实性“幻觉”和复杂推理问题。将知识图谱和大语言模型结合起来,充分发挥各自的优势,能为用户提供更优质的人工智能服务和产品。

去年 10 月 26 日,OpenSPG 正式开源,希望和社区一起共同推动知识图谱技术的发展和大模型+知识图谱双驱技术的落地应用。今年 1 月 10 日,OpenSPG 发布了 0.0.2 版本,旨在帮助用户进一步降低知识图谱的使用门槛,并通过神经网络框架 NN4K,为 OpenSPG 接入简单易用、模式统一的大模型服务。

GitHub:https://github.com/OpenSPG/openspg,欢迎大家 Star 关注~

下面将为大家一一介绍这些最新功能:

亮点一览

compare.jpg

镜像版支持一键安装部署,只需 2 行命令即可完成 OpenSPG 服务端和客户端部署;

发布知识建模最佳实践指导原则,只需记住 7 个原则就可以搞定 SPG 图谱建模,无需理解复杂的图谱术语;

基于 KNext 可编程框架,用户只需 3 个步骤即可完成知识构建,Schema 面向对象建模、开发知识构建算子以及编排 BuilderChain,快速完成单图谱构建;

基于 NN4K 支持大模型知识抽取,提供完整的 LLM SFT、SPG Based AutoPrompt 和 LLM Invoker 完整链路,并内置 GPT 链路;

开源逻辑规则推理 Reasoner,可体验完备的逻辑规则与基础事实融合的全新知识推理引擎。

更新 1:2 条命令搞定安装部署

OpenSPG 0.0.2 开始支持镜像版一键安装部署,用户只需要运行 2 条 Docker 命令就可以完成部署。

OpenSPG 将整个应用分为客户端和服务端,客户端包含 KNext 框架,Builder 和 Reasoner 引擎,服务端包含 Schema 服务,TuGraph 图存储引擎,ElasticSearch 搜索引擎。客户端和服务端分别提供 Docker 镜像的快速部署。

👉 了解详情:https: //spg.openkg.cn/tutorial/installation/installation

更新 2:7 个原则搞定 Schema 建模

为了帮助大家更好地理解和应用 SPG 构建知识图谱,我们从 SPG 建模的最佳实践中总结出 7 个原则,发布在 OpenSPG 0.0.2 的用户文档中,并且每个原则都搭配了相关示例进行说明。用户只需要了解这 7 个原则,就能够搞定知识图谱的 Schema 建模。

👉 了解详情:

  • https: //spg.openkg.cn/introduction/schema
  • https: //spg.openkg.cn/tutorial/schema/best_practice

更新 3:升级 KNext 可编程框架,3 个步骤实现知识构建

KNext 框架定义了 Chain,Component,Operator 等抽象模型,用户可以基于这些模型快速构建和使用图谱。

Component 定义图谱组件化能力,比如知识抽取,知识映射,知识推理等。Chain 将这些组件化能力串连完成图谱构建或者推理等流程。Operator 定义了 4 类算子,包含知识抽取、实体链指、关系预测、知识融合,用户可以自定义这些算子完成知识图谱构建过程中的复杂处理。每个任务只需要关注单类型要素及一跳出边的构建,系统会自动完成复杂子图的组装和构造,将图谱构建成本降到更低。
👉 了解详情:https: //spg.openkg.cn/introduction/knext

更新 4:基于 NN4K 的大模型知识抽取

ChatGPT 在多种任务中表现出的智能令人印象深刻,使用 ChatGPT 和其他大语言模型增强知识图谱,可使知识图谱的构建过程更加准确和自动化,为此我们抽象了适合知识图谱的神经网络框架 NN4K。

NN4K 是一个神经网络模型的开发、管理、服务框架,为 OpenSPG 提供简单易用、模式统一的大模型服务。此次发布我们实现了在知识图谱构建过程中,调用大语言模型技术帮助构建图谱。与 OpenAI API 兼容的大语言模型服务,可通过修改配置方便接入;与 OpenAI API 不兼容的大语言模型服务,用户可通过开发自定义 NNInvoker 的方式接入。

👉 了解详情:https: //spg.openkg.cn/tutorial/knext/nn4k

更新 5:开源规则推理 Reasoner

规则推理是知识图谱非常重要的一部分,将图谱的事实知识抽象并关联到具有实际的商业价值的逻辑知识。在 OpenSPG 0.0.2 中开源了完整的 Reasoner 能力,包括语法解析,执行计划,推理执行引擎。同时执行引擎侧定义 RDG 引擎扩展层,允许用户将推理能力迁移到自有图计算引擎。

👉 了解详情:https: //spg.openkg.cn/introduction/reasoner

作为 2024 年的第一个版本,OpenSPG 在提高易用性,以及和大模型技术结合上迈出了第一步。2024 年我们将持续持续深化 SPG 与 LLM 双向驱动的技术范式,开源新一代知识引擎完整技术栈。在这个过程中,持续提升 SPG 的语义表达能力,提升易用性降低使用门槛,发布更多开箱即用的工具包、案例最佳实践、教学案例视频等。也期待社区同仁一起加入共建新一代 AI 引擎框架。

相关文章
|
机器学习/深度学习 存储 NoSQL
Graph RAG: 知识图谱结合 LLM 的检索增强
RAG(Retrieval Argumented Generation)这种基于特定任务/问题的文档检索范式中,我们通常先收集必要的上下文,然后利用具有认知能力的机器学习模型进行上下文学习(in-context learning),来合成任务的答案。这次,我们借助 LLM 的力量,强化下 RAG。
2915 0
Graph RAG: 知识图谱结合 LLM 的检索增强
|
监控 前端开发 JavaScript
Qt Quick调试之道:跟踪、输出与打印信息的全面攻略
Qt Quick调试之道:跟踪、输出与打印信息的全面攻略
996 0
|
8月前
|
存储 自然语言处理 NoSQL
6.4K star!轻松搞定专业领域大模型推理,这个知识增强框架绝了!
🔥「垂直领域大模型落地难?逻辑推理总出错?这个来自OpenSPG的开源框架,让专业领域知识服务变得像搭积木一样简单!」
396 3
|
11月前
|
人工智能 知识图谱 Docker
KAG:增强 LLM 的专业能力!蚂蚁集团推出专业领域知识增强框架,支持逻辑推理和多跳问答
KAG 是蚂蚁集团推出的专业领域知识服务框架,通过知识增强提升大型语言模型在特定领域的问答性能,支持逻辑推理和多跳事实问答,显著提升推理和问答的准确性和效率。
3193 46
KAG:增强 LLM 的专业能力!蚂蚁集团推出专业领域知识增强框架,支持逻辑推理和多跳问答
|
7月前
|
存储 JSON 数据可视化
从零构建知识图谱:使用大语言模型处理复杂数据的11步实践指南
本文将基于相关理论知识和方法构建一个完整的端到端项目,系统展示如何利用知识图谱方法对大规模数据进行处理和分析。
1368 7
从零构建知识图谱:使用大语言模型处理复杂数据的11步实践指南
|
6月前
|
人工智能 API 定位技术
MCP全方位扫盲
MCP(Model Context Protocol)是由Anthropic提出的协议,旨在标准化大模型与外部数据源和工具的通信方式。其核心架构包括MCP Client(客户端)和MCP Server(服务端),通过标准化接口实现解耦,支持不同LLM无缝调用工具。相比传统方法,MCP简化了Prompt工程,减少定制代码,提升复用性。实际场景中,如天气查询或支付处理,MCP可智能调用对应工具,优化用户体验。MCP的核心价值在于标准化通信、统一工具描述及动态兼容性,成为大模型与外部服务的智能桥梁。
|
6月前
|
存储 人工智能 前端开发
Google揭秘Agent架构三大核心:工具、模型与编排层实战指南
本文为Google发布的Agent白皮书全文翻译。本文揭示了智能体如何突破传统AI边界,通过模型、工具与编排层的三位一体架构,实现自主推理与现实交互。它不仅详解了ReAct、思维树等认知框架的运作逻辑,更通过航班预订、旅行规划等案例,展示了智能体如何调用Extensions、Functions和Data Stores,将抽象指令转化为真实世界操作。文中提出的“智能体链式组合”概念,预示了未来多智能体协作解决复杂问题的革命性潜力——这不仅是技术升级,更是AI赋能产业的范式颠覆。
1759 1
|
存储 关系型数据库 分布式数据库
GraphRAG:基于PolarDB+通义千问+LangChain的知识图谱+大模型最佳实践
本文介绍了如何使用PolarDB、通义千问和LangChain搭建GraphRAG系统,结合知识图谱和向量检索提升问答质量。通过实例展示了单独使用向量检索和图检索的局限性,并通过图+向量联合搜索增强了问答准确性。PolarDB支持AGE图引擎和pgvector插件,实现图数据和向量数据的统一存储与检索,提升了RAG系统的性能和效果。
|
人工智能 自然语言处理 大数据
大模型+知识图谱双驱架构:新一代《知识语义框架SPG》白皮书
白皮书展望了SPG与LLM双向驱动的技术架构。通过基于SPG构建统一的图谱技术框架,可以屏蔽复杂的技术细节以支持新业务的快速部署,真正实现知识图谱技术的框架化、平民化、普惠化。
|
11月前
|
存储 人工智能 算法
RAG七十二式:2024年度RAG清单
作者遴选了2024年度典型的RAG系统和论文(含AI注解、来源、摘要信息),并于文末附上RAG综述和测试基准材料,希望阅读完本文可以帮助大家速通RAG。