OpenSPG 新版发布:新增大模型知识抽取,3 步快速搭建专属知识图谱

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: OpenSPG 新版发布,支持大模型增强的图谱构建,仅需 3 个步骤快速搭建专属知识图谱。

随着 ChatGPT 的横空出世,大模型已然成为人工智能领域的焦点。大模型在语言理解、对话生成方面表现得尤其亮眼,而知识图谱则擅长大模型所无法解决的事实性“幻觉”和复杂推理问题。将知识图谱和大语言模型结合起来,充分发挥各自的优势,能为用户提供更优质的人工智能服务和产品。

去年 10 月 26 日,OpenSPG 正式开源,希望和社区一起共同推动知识图谱技术的发展和大模型+知识图谱双驱技术的落地应用。今年 1 月 10 日,OpenSPG 发布了 0.0.2 版本,旨在帮助用户进一步降低知识图谱的使用门槛,并通过神经网络框架 NN4K,为 OpenSPG 接入简单易用、模式统一的大模型服务。

GitHub:https://github.com/OpenSPG/openspg,欢迎大家 Star 关注~

下面将为大家一一介绍这些最新功能:

亮点一览

compare.jpg

镜像版支持一键安装部署,只需 2 行命令即可完成 OpenSPG 服务端和客户端部署;

发布知识建模最佳实践指导原则,只需记住 7 个原则就可以搞定 SPG 图谱建模,无需理解复杂的图谱术语;

基于 KNext 可编程框架,用户只需 3 个步骤即可完成知识构建,Schema 面向对象建模、开发知识构建算子以及编排 BuilderChain,快速完成单图谱构建;

基于 NN4K 支持大模型知识抽取,提供完整的 LLM SFT、SPG Based AutoPrompt 和 LLM Invoker 完整链路,并内置 GPT 链路;

开源逻辑规则推理 Reasoner,可体验完备的逻辑规则与基础事实融合的全新知识推理引擎。

更新 1:2 条命令搞定安装部署

OpenSPG 0.0.2 开始支持镜像版一键安装部署,用户只需要运行 2 条 Docker 命令就可以完成部署。

OpenSPG 将整个应用分为客户端和服务端,客户端包含 KNext 框架,Builder 和 Reasoner 引擎,服务端包含 Schema 服务,TuGraph 图存储引擎,ElasticSearch 搜索引擎。客户端和服务端分别提供 Docker 镜像的快速部署。

👉 了解详情:https://spg.openkg.cn/tutorial/installation/installation

更新 2:7 个原则搞定 Schema 建模

为了帮助大家更好地理解和应用 SPG 构建知识图谱,我们从 SPG 建模的最佳实践中总结出 7 个原则,发布在 OpenSPG 0.0.2 的用户文档中,并且每个原则都搭配了相关示例进行说明。用户只需要了解这 7 个原则,就能够搞定知识图谱的 Schema 建模。

👉 了解详情:

更新 3:升级 KNext 可编程框架,3 个步骤实现知识构建

KNext 框架定义了 Chain,Component,Operator 等抽象模型,用户可以基于这些模型快速构建和使用图谱。

Component 定义图谱组件化能力,比如知识抽取,知识映射,知识推理等。Chain 将这些组件化能力串连完成图谱构建或者推理等流程。Operator 定义了 4 类算子,包含知识抽取、实体链指、关系预测、知识融合,用户可以自定义这些算子完成知识图谱构建过程中的复杂处理。每个任务只需要关注单类型要素及一跳出边的构建,系统会自动完成复杂子图的组装和构造,将图谱构建成本降到更低。
👉 了解详情:https://spg.openkg.cn/introduction/knext

更新 4:基于 NN4K 的大模型知识抽取

ChatGPT 在多种任务中表现出的智能令人印象深刻,使用 ChatGPT 和其他大语言模型增强知识图谱,可使知识图谱的构建过程更加准确和自动化,为此我们抽象了适合知识图谱的神经网络框架 NN4K。

NN4K 是一个神经网络模型的开发、管理、服务框架,为 OpenSPG 提供简单易用、模式统一的大模型服务。此次发布我们实现了在知识图谱构建过程中,调用大语言模型技术帮助构建图谱。与 OpenAI API 兼容的大语言模型服务,可通过修改配置方便接入;与 OpenAI API 不兼容的大语言模型服务,用户可通过开发自定义 NNInvoker 的方式接入。

👉 了解详情:https://spg.openkg.cn/tutorial/knext/nn4k

更新 5:开源规则推理 Reasoner

规则推理是知识图谱非常重要的一部分,将图谱的事实知识抽象并关联到具有实际的商业价值的逻辑知识。在 OpenSPG 0.0.2 中开源了完整的 Reasoner 能力,包括语法解析,执行计划,推理执行引擎。同时执行引擎侧定义 RDG 引擎扩展层,允许用户将推理能力迁移到自有图计算引擎。

👉 了解详情:https://spg.openkg.cn/introduction/reasoner

作为 2024 年的第一个版本,OpenSPG 在提高易用性,以及和大模型技术结合上迈出了第一步。2024 年我们将持续持续深化 SPG 与 LLM 双向驱动的技术范式,开源新一代知识引擎完整技术栈。在这个过程中,持续提升 SPG 的语义表达能力,提升易用性降低使用门槛,发布更多开箱即用的工具包、案例最佳实践、教学案例视频等。也期待社区同仁一起加入共建新一代 AI 引擎框架。

相关文章
|
10月前
|
数据采集 机器学习/深度学习 存储
从零开始的知识图谱生活,构建一个百科知识图谱,完成基于Deepdive的知识抽取、基于ES的简单语义搜索、基于 REfO 的简单KBQA
从零开始的知识图谱生活,构建一个百科知识图谱,完成基于Deepdive的知识抽取、基于ES的简单语义搜索、基于 REfO 的简单KBQA
从零开始的知识图谱生活,构建一个百科知识图谱,完成基于Deepdive的知识抽取、基于ES的简单语义搜索、基于 REfO 的简单KBQA
|
分布式计算 数据可视化 大数据
用Spark分析Amazon的8000万商品评价(内含数据集、代码、论文)
尽管数据科学家经常通过分布式云计算来处理数据,但是即使在一般的笔记本电脑上,只要给出足够的内存,Spark也可以工作正常(在这篇文章中,我使用2016年MacBook Pro / 16GB内存,分配给Spark 8GB内存)。
19439 0
|
14天前
|
存储 算法 数据挖掘
详述RAG的5步流程和12个优化策略
详述RAG的5步流程和12个优化策略。
详述RAG的5步流程和12个优化策略
|
17天前
|
数据采集 存储 人工智能
【AI大模型应用开发】【LangChain系列】实战案例4:再战RAG问答,提取在线网页数据,并返回生成答案的来源
【AI大模型应用开发】【LangChain系列】实战案例4:再战RAG问答,提取在线网页数据,并返回生成答案的来源
59 0
|
2月前
|
机器学习/深度学习 数据处理 API
视觉智能平台常见问题之通用图像打标位置报警告如何解决
视觉智能平台是利用机器学习和图像处理技术,提供图像识别、视频分析等智能视觉服务的平台;本合集针对该平台在使用中遇到的常见问题进行了收集和解答,以帮助开发者和企业用户在整合和部署视觉智能解决方案时,能够更快地定位问题并找到有效的解决策略。
30 4
视觉智能平台常见问题之通用图像打标位置报警告如何解决
|
2月前
|
小程序 前端开发 JavaScript
视觉智能平台常见问题之调用多器官分割服务时提示所示报错如何解决
视觉智能平台是利用机器学习和图像处理技术,提供图像识别、视频分析等智能视觉服务的平台;本合集针对该平台在使用中遇到的常见问题进行了收集和解答,以帮助开发者和企业用户在整合和部署视觉智能解决方案时,能够更快地定位问题并找到有效的解决策略。
23 0
|
9月前
|
JSON 前端开发 数据可视化
SolidUI AI生成可视化,0.1.0版本模块划分以及源码讲解
SolidUI AI生成可视化,0.1.0版本模块划分以及源码讲解
77 0
|
人工智能 Cloud Native 数据挖掘
|
12月前
|
人工智能 数据可视化 人机交互
基于跨模态元迁移,美图&大连理工的参考视频目标分割方法只需单阶段
基于跨模态元迁移,美图&大连理工的参考视频目标分割方法只需单阶段
|
12月前
|
测试技术 数据安全/隐私保护
Sonic 开源移动端云真机测试平台 - 用例编写与回放流程实例演示,任务定时执行、图像相似度定位、公共步骤、公共参数、测试套件等(上)
Sonic 开源移动端云真机测试平台 - 用例编写与回放流程实例演示,任务定时执行、图像相似度定位、公共步骤、公共参数、测试套件等
549 0