1. 实验基本信息
实验标题:AI 虚拟⼥友——胡桃
效果展示:ComfyUI 后端演示效果:
WebUI 演示效果:
⽂字介绍:
⼯作流的核⼼是我们研发的 comfyui_ LLM _party 中的 LLM 节点以及知识图谱⼯具包(KG)。凭借 LLM 节点的 tool calling 能⼒与包含了⻆⾊⼈设的知识图谱进⾏交互,从⽽实现⻆⾊的⼈设稳定。
通过将⽤户输⼊的信息中新的信息保存到知识图谱中,从⽽让AI ⼥友获得⻓期记忆。让 LLM 控制⻆⾊的语⾔以及表情,通过⻆⾊lora 实现实时⻆⾊表情的实时⽣成。⽤户可以更改⼈设知识图谱和⻆⾊ lora来获得⼀个只属于⾃⼰的 AI ⼥友。
2. 工具包介绍
3. 具体操作步骤
(1) 将工作流 json文件拖入 comfyui 中。
(2) 安装 LLM party以及其他未安装的节点。
(3) 重启 comfyui。
(4) 选择你的女友人设知识图谱文件以及女友人设 lora (本次演示中只给出了一个,知识图谱文件以及女友人设lora 都可以让用户自主定制)。
(5) 通过用户输入框与 AI 女友进行对话。
(1) 登陆PAI ArtLab平台
登陆阿里云:请先点击链接https://aliyun.com/来到阿里云登陆界面,输入账密登陆。
登陆成功后,完成账户个⼈实名认证。
登陆成功并且实名认证后,点击链接访问 PAI ArtLab。
按提示逐步进⾏授权操作,开通 PAI ArtLab:
进⼊平台后,第⼀时间点击右上⻆「领取免费试⽤资源」,领取⽅式参考下图。
平台遵循后付费(按量计费)的计费模式。当您未领取免费试⽤资源或未购买资源包,使⽤平台产⽣的费⽤将从您的阿⾥云账号余额中扣除。请您使⽤前确保领取免费试⽤资源。
(2) 各个实验对应操作步骤。
领取完试⽤额度后后,⾸⻚⼯具箱点击「ComfyUI(专享版)」,拉起服务。
服务拉起后,点击「AI虚拟⼥友-胡桃」⼯作流,「加载」⼯作流⽂件,需要耐⼼等待⼏秒。
*ComfyUI ⼀键加载 Json ⼯作流,⽆需复杂操作。
在⻩⾊区域输⼊⽂字即可开始对话。
(3) 解锁更多玩法
Graph RAG 是微软研究院开发的一种创新性检索增强生成(RAG)方法,旨在提高大语言模型模型(LLM s)在处理复杂信息和私有数据集时的推理能力。它用大语言模型分析数据,建立知识图谱,回答用户关于私有数据的问题。
Graph RAG 能做什么?
Graph RAG 能连接大量信息,回答普通搜索难以解答的问题。它可以回答跨文档的问题,也能总结数据集的主要主题。
Graph RAG 的用途是什么?
Graph RAG 用于复杂信息分析,适合处理跨文档、有噪音或主题抽象的数据。
Graph RAG 特点
∙ 知识图谱提取:使用 LLM 自动从输入文本文档中创建知识图谱,表示数据中的实体、关系和关键声明;
∙ 层次聚类:使用 Leiden 技术对图进行层次聚类,识别密集连接节点的社区。(社区摘要:为层次结构中的每个社区生成摘要,提供对数据集的整体理解);
∙ 增强查询处理:在查询时利用知识图谱和社区摘要,提供给比传统 RAG 方法更全面和多样化的响应;
∙ 性能提升:与朴素的RAG 和层次文本摘要方法相比,Graph RAG 在全面性、多样性和赋能指标上表现更优,同时每次查询使用的token 更低。
(4) Q&A
Q:为什么我打开的⻚⾯是英⽂版?和教程⾥截图不⼀样。
A:可以 artlab ⻚⾯⾥找到右上⽅⼩⻮轮,点击后出现⾯板,按照下⽅操作在⾯板中选择切换语⾔⾄中⽂简体。
Q:我要如何查看当前任务进展呢?
A:右侧⾯板选择「显示队列」(View Queue),可以查看当前任务进度哦。