OpenSPG 新版发布:新增大模型知识抽取,3 步快速搭建专属知识图谱

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: OpenSPG 新版发布,支持大模型增强的图谱构建,仅需 3 个步骤快速搭建专属知识图谱。

随着 ChatGPT 的横空出世,大模型已然成为人工智能领域的焦点。大模型在语言理解、对话生成方面表现得尤其亮眼,而知识图谱则擅长大模型所无法解决的事实性“幻觉”和复杂推理问题。将知识图谱和大语言模型结合起来,充分发挥各自的优势,能为用户提供更优质的人工智能服务和产品。

去年 10 月 26 日,OpenSPG 正式开源,希望和社区一起共同推动知识图谱技术的发展和大模型+知识图谱双驱技术的落地应用。今年 1 月 10 日,OpenSPG 发布了 0.0.2 版本,旨在帮助用户进一步降低知识图谱的使用门槛,并通过神经网络框架 NN4K,为 OpenSPG 接入简单易用、模式统一的大模型服务。

GitHub:https://github.com/OpenSPG/openspg,欢迎大家 Star 关注~

下面将为大家一一介绍这些最新功能:

亮点一览

compare.jpg

镜像版支持一键安装部署,只需 2 行命令即可完成 OpenSPG 服务端和客户端部署;

发布知识建模最佳实践指导原则,只需记住 7 个原则就可以搞定 SPG 图谱建模,无需理解复杂的图谱术语;

基于 KNext 可编程框架,用户只需 3 个步骤即可完成知识构建,Schema 面向对象建模、开发知识构建算子以及编排 BuilderChain,快速完成单图谱构建;

基于 NN4K 支持大模型知识抽取,提供完整的 LLM SFT、SPG Based AutoPrompt 和 LLM Invoker 完整链路,并内置 GPT 链路;

开源逻辑规则推理 Reasoner,可体验完备的逻辑规则与基础事实融合的全新知识推理引擎。

更新 1:2 条命令搞定安装部署

OpenSPG 0.0.2 开始支持镜像版一键安装部署,用户只需要运行 2 条 Docker 命令就可以完成部署。

OpenSPG 将整个应用分为客户端和服务端,客户端包含 KNext 框架,Builder 和 Reasoner 引擎,服务端包含 Schema 服务,TuGraph 图存储引擎,ElasticSearch 搜索引擎。客户端和服务端分别提供 Docker 镜像的快速部署。

👉 了解详情:https: //spg.openkg.cn/tutorial/installation/installation

更新 2:7 个原则搞定 Schema 建模

为了帮助大家更好地理解和应用 SPG 构建知识图谱,我们从 SPG 建模的最佳实践中总结出 7 个原则,发布在 OpenSPG 0.0.2 的用户文档中,并且每个原则都搭配了相关示例进行说明。用户只需要了解这 7 个原则,就能够搞定知识图谱的 Schema 建模。

👉 了解详情:

  • https: //spg.openkg.cn/introduction/schema
  • https: //spg.openkg.cn/tutorial/schema/best_practice

更新 3:升级 KNext 可编程框架,3 个步骤实现知识构建

KNext 框架定义了 Chain,Component,Operator 等抽象模型,用户可以基于这些模型快速构建和使用图谱。

Component 定义图谱组件化能力,比如知识抽取,知识映射,知识推理等。Chain 将这些组件化能力串连完成图谱构建或者推理等流程。Operator 定义了 4 类算子,包含知识抽取、实体链指、关系预测、知识融合,用户可以自定义这些算子完成知识图谱构建过程中的复杂处理。每个任务只需要关注单类型要素及一跳出边的构建,系统会自动完成复杂子图的组装和构造,将图谱构建成本降到更低。
👉 了解详情:https: //spg.openkg.cn/introduction/knext

更新 4:基于 NN4K 的大模型知识抽取

ChatGPT 在多种任务中表现出的智能令人印象深刻,使用 ChatGPT 和其他大语言模型增强知识图谱,可使知识图谱的构建过程更加准确和自动化,为此我们抽象了适合知识图谱的神经网络框架 NN4K。

NN4K 是一个神经网络模型的开发、管理、服务框架,为 OpenSPG 提供简单易用、模式统一的大模型服务。此次发布我们实现了在知识图谱构建过程中,调用大语言模型技术帮助构建图谱。与 OpenAI API 兼容的大语言模型服务,可通过修改配置方便接入;与 OpenAI API 不兼容的大语言模型服务,用户可通过开发自定义 NNInvoker 的方式接入。

👉 了解详情:https: //spg.openkg.cn/tutorial/knext/nn4k

更新 5:开源规则推理 Reasoner

规则推理是知识图谱非常重要的一部分,将图谱的事实知识抽象并关联到具有实际的商业价值的逻辑知识。在 OpenSPG 0.0.2 中开源了完整的 Reasoner 能力,包括语法解析,执行计划,推理执行引擎。同时执行引擎侧定义 RDG 引擎扩展层,允许用户将推理能力迁移到自有图计算引擎。

👉 了解详情:https: //spg.openkg.cn/introduction/reasoner

作为 2024 年的第一个版本,OpenSPG 在提高易用性,以及和大模型技术结合上迈出了第一步。2024 年我们将持续持续深化 SPG 与 LLM 双向驱动的技术范式,开源新一代知识引擎完整技术栈。在这个过程中,持续提升 SPG 的语义表达能力,提升易用性降低使用门槛,发布更多开箱即用的工具包、案例最佳实践、教学案例视频等。也期待社区同仁一起加入共建新一代 AI 引擎框架。

相关文章
|
3月前
|
机器学习/深度学习 数据采集 人工智能
揭秘!47页文档拆解苹果智能,从架构、数据到训练和优化
【8月更文挑战第23天】苹果公司发布了一份47页的研究文档,深入解析了其在智能基础语言模型领域的探索与突破。文档揭示了苹果在此领域的雄厚实力,并分享了其独特的混合架构设计,该设计融合了Transformer与RNN的优势,显著提高了模型处理序列数据的效能与表现力。然而,这种架构也带来了诸如权重平衡与资源消耗等挑战。苹果利用海量、多样的高质量数据集训练模型,但确保数据质量及处理噪声仍需克服。此外,苹果采取了自监督与无监督学习相结合的高效训练策略,以增强模型的泛化与稳健性,但仍需解决预训练任务选择及超参数调优等问题。
148 66
|
3月前
|
自然语言处理
预训练模型STAR问题之开放信息抽取(OpenIE)目标的问题如何解决
预训练模型STAR问题之开放信息抽取(OpenIE)目标的问题如何解决
|
5月前
|
机器学习/深度学习 人工智能 Java
人工智能平台PAI产品使用合集之已经通过自定义镜像部署了一个模型,想要上传并导入其他模型,该如何操作
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
4月前
|
人工智能 自然语言处理 搜索推荐
阿里云搜索开发工作台:快速搭建AI语义搜索与RAG链路的深度解析
阿里云搜索开发工作台凭借其丰富的组件化服务和强大的模型能力,为企业快速搭建AI语义搜索及RAG链路提供了有力支持。通过该平台,企业可以灵活调用各种服务,实现高效的数据处理、查询分析、索引构建和文本生成等操作,从而大幅提升信息获取与处理能力。随着AI技术的不断发展,阿里云搜索开发工作台将继续优化和完善其服务,为企业数字化转型和智能化升级注入更强动力。
152 0
|
5月前
|
运维 数据管理 关系型数据库
数据管理DMS产品使用合集之新版本的ER图在什么位置
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
48 3
|
6月前
|
开发框架 API 决策智能
ModelScope-Agent框架再升级!新增一键配置多人聊天,配套开源多智能体数据集和训练
ModelScope-Agent是魔搭社区推出的适配开源大语言模型(LLM)的AI Agent(智能体)开发框架,借助ModelScope-Agent,所有开发者都可基于开源 LLM 搭建属于自己的智能体应用。在最新升级完Assistant API和Tool APIs之后,我们又迎来了多智能体聊天室的升级,通过几分钟快速配置即可搭建一个全新的聊天室。
|
6月前
|
消息中间件 JavaScript Java
MQ产品使用合集之视觉智能平台人脸搜索1:N怎么更新人脸数据
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
5月前
|
分布式计算 运维 DataWorks
DataWorks产品使用合集之数据预览功能如何进行单独对个体进行设置
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
6月前
|
机器学习/深度学习 数据处理 API
视觉智能平台常见问题之通用图像打标位置报警告如何解决
视觉智能平台是利用机器学习和图像处理技术,提供图像识别、视频分析等智能视觉服务的平台;本合集针对该平台在使用中遇到的常见问题进行了收集和解答,以帮助开发者和企业用户在整合和部署视觉智能解决方案时,能够更快地定位问题并找到有效的解决策略。
视觉智能平台常见问题之通用图像打标位置报警告如何解决
|
Android开发 iOS开发
AppsFlyer 研究(九)OneLink模板配置步骤
AppsFlyer 研究(九)OneLink模板配置步骤
266 0