基于 PAI-ArtLab 使用 ComfyUI 搭建对话式 AI 女友

简介: 本实验介绍了一款名为“AI虚拟女友——胡桃”的应用,通过ComfyUI后端与WebUI展示效果,结合LLM节点和知识图谱工具包(KG),实现角色人设稳定及长期记忆功能。用户可通过输入信息与AI互动,并自定义人设知识图谱和角色LoRA。操作步骤包括登录PAI ArtLab平台、加载工作流文件、配置角色参数并与AI对话。此外,还提供了Graph RAG技术详解及常见问题解答,帮助用户更好地理解和使用该系统。

1. 实验基本信息

 

实验标题:AI 虚拟⼥友——胡桃

 

效果展示:ComfyUI 后端演示效果:

image.png

WebUI 演示效果:

image.png

⽂字介绍:

 

⼯作流的核⼼是我们研发的 comfyui_ LLM _party 中的 LLM 节点以及知识图谱⼯具包(KG)。凭借 LLM 节点的 tool calling 能⼒与包含了⻆⾊⼈设的知识图谱进⾏交互,从⽽实现⻆⾊的⼈设稳定。

 

通过将⽤户输⼊的信息中新的信息保存到知识图谱中,从⽽让AI ⼥友获得⻓期记忆。让 LLM 控制⻆⾊的语⾔以及表情,通过⻆⾊lora 实现实时⻆⾊表情的实时⽣成。⽤户可以更改⼈设知识图谱和⻆⾊ lora来获得⼀个只属于⾃⼰的 AI ⼥友。


2. 工具包介绍

image.png

image.png

3. 具体操作步骤

(1)   将工作流 json文件拖入 comfyui 中。

(2)   安装 LLM party以及其他未安装的节点。

(3)   重启 comfyui

(4)   选择你的女友人设知识图谱文件以及女友人设 lora (本次演示中只给出了一个,知识图谱文件以及女友人设lora 都可以让用户自主定制)。

(5)   通过用户输入框与 AI 女友进行对话。


(1) 登陆PAI ArtLab平台

登陆阿里云:请先点击链接https://aliyun.com/来到阿里云登陆界面,输入账密登陆。

  image.png

登陆成功后,完成账户个⼈实名认证。

image.png

登陆成功并且实名认证后,点击链接访问 PAI ArtLab

 

按提示逐步进⾏授权操作,开通 PAI ArtLab

  image.png

进⼊平台后,第⼀时间点击右上⻆「领取免费试⽤资源」,领取⽅式参考下图。

 

平台遵循后付费(按量计费)的计费模式。当您未领取免费试⽤资源或未购买资源包,使⽤平台产⽣的费⽤将从您的阿⾥云账号余额中扣除。请您使⽤前确保领取免费试⽤资源。

image.png

(2)   各个实验对应操作步骤。

领取完试⽤额度后后,⾸⻚⼯具箱点击「ComfyUI(专享版)」,拉起服务。

image.png

服务拉起后,点击「AI虚拟⼥友-胡桃」⼯作流,「加载」⼯作流⽂件,需要耐⼼等待⼏秒。

*ComfyUI ⼀键加载 Json ⼯作流,⽆需复杂操作。

image.png

在⻩⾊区域输⼊⽂字即可开始对话。

image.png

(3) 解锁更多玩法

image.png

image.png

Graph RAG 是微软研究院开发的一种创新性检索增强生成(RAG)方法,旨在提高大语言模型模型(LLM s)在处理复杂信息和私有数据集时的推理能力。它用大语言模型分析数据,建立知识图谱,回答用户关于私有数据的问题。


Graph RAG 能做什么?

Graph RAG 能连接大量信息,回答普通搜索难以解答的问题。它可以回答跨文档的问题,也能总结数据集的主要主题。

Graph RAG 的用途是什么?

Graph RAG 用于复杂信息分析,适合处理跨文档、有噪音或主题抽象的数据。

 

Graph RAG 特点

∙       知识图谱提取:使用 LLM 自动从输入文本文档中创建知识图谱,表示数据中的实体、关系和关键声明;

∙       层次聚类:使用 Leiden 技术对图进行层次聚类,识别密集连接节点的社区。(社区摘要:为层次结构中的每个社区生成摘要,提供对数据集的整体理解);

∙       增强查询处理:在查询时利用知识图谱和社区摘要,提供给比传统 RAG 方法更全面和多样化的响应;

∙        性能提升:与朴素的RAG 和层次文本摘要方法相比,Graph RAG 在全面性、多样性和赋能指标上表现更优,同时每次查询使用的token 更低。

(4) Q&A

Q:为什么我打开的⻚⾯是英⽂版?和教程⾥截图不⼀样。

A:可以 artlab ⻚⾯⾥找到右上⽅⼩⻮轮,点击后出现⾯板,按照下⽅操作在⾯板中选择切换语⾔⾄中⽂简体。

image.png

image.png

Q:我要如何查看当前任务进展呢?

A:右侧⾯板选择「显示队列」(View Queue),可以查看当前任务进度哦。

相关文章
|
6天前
|
机器学习/深度学习 人工智能 自然语言处理
AI训练师入行指南(四):模型训练
本文以“从璞玉到珍宝”为喻,深入探讨AI模型训练的全过程。数据集是灵魂原石,领域适配性、质量和规模决定模型高度;优化器如刻刀手法,学习率调整和正则化确保精细雕刻;超参数优化与多模态注意力机制提升性能。通过案例解析(如DeepSeek-Chat、通义千问),展示特定数据如何塑造专属能力。最后提供避坑工具箱,涵盖过拟合解决与资源不足应对策略,强调用`torch.save()`记录训练历程,助力打造智能传世之作。
31 0
|
10天前
|
机器学习/深度学习 人工智能 自然语言处理
AI训练师入行指南(三):机器学习算法和模型架构选择
从淘金到雕琢,将原始数据炼成智能珠宝!本文带您走进数字珠宝工坊,用算法工具打磨数据金砂。从基础的经典算法到精密的深度学习模型,结合电商、医疗、金融等场景实战,手把手教您选择合适工具,打造价值连城的智能应用。掌握AutoML改装套件与模型蒸馏术,让复杂问题迎刃而解。握紧算法刻刀,为数字世界雕刻文明!
41 6
|
17天前
|
JSON 数据格式
基于 PAI-ArtLab 使用 ComfyUI 生成产品效果图
本文介绍了通过PAI ArtLab平台生成电商背景图的实验。用户可上传汽车、家电、化妆品等产品图片,快速生成背景并提升画质,实现降本增效。具体步骤包括登录阿里云完成实名认证,访问PAI ArtLab平台领取免费试用资源,使用ComfyUI加载工作流并上传图片,调整参数生成结果。此外,还提供了 Flux重绘和ControlNet微调等高级功能,以及常见问题解答,帮助用户更好地操作与优化图片效果。
|
17天前
|
JSON 数据格式
基于 PAI-ArtLab 使用 ComfyUI 生成服装面料迁移
本文介绍了通过PAI ArtLab平台将服装印花迁移到模特穿上的实验过程。首先,用户需登录阿里云并完成实名认证,访问PAI ArtLab平台领取免费试用资源。接着,在ComfyUI(专享版)中加载Json工作流文件,上传衣服版型、印花和模特图片,添加提示词队列等待生成结果。最后,提供了常见问题解答,如语言切换和任务进度查看方法。
|
17天前
|
JSON 数据格式
基于 PAI-ArtLab 使用 ComfyUI 生成高精度人物手办
通过一张照片,即可在PAI ArtLab平台上生成专属手办形象,让女生更萌、男生更帅!实验分三步:首先登录阿里云完成实名认证并进入PAI ArtLab平台领取免费试用资源;接着使用ComfyUI加载工作流,上传半身肖像照生成初步结果;最后通过提示词或更换模型进阶创作,如添加太阳镜或切换二次元风格。整个过程简单快捷,约需2-3分钟,支持查看任务进度和语言切换。
|
17天前
|
人工智能 搜索推荐
基于 PAI-ArtLab 使用 ComfyUI 生成人像写真
本实验基于SDXL、InstantID技术,解决AI人像摄影中人物面部特征在风格迁移与图像放大后无法高度还原的问题。内置6种儿童风格提示词模板及提示词翻译模块,支持中文书写相关图像提示词测试个性化风格。需登录阿里云PAI ArtLab平台操作,领取免费试用资源后,通过ComfyUI(专享版)拉起服务并加载工作流,上传图片、选择草图、更换连线等步骤生成不同风格成果。还提供自定义风格模块和常见问题解答,方便用户解锁更多玩法。
|
25天前
|
人工智能 开发工具 git
LanPaint:零训练消除AI图像违和感!与ComfyUI完美兼容的无损修复神器
LanPaint 是一款基于 Stable Diffusion 的零训练 AI 图像修复工具,支持无缝修复和内容替换,适用于从简单修复到复杂损坏恢复的多种场景。
70 0
LanPaint:零训练消除AI图像违和感!与ComfyUI完美兼容的无损修复神器
|
1月前
|
人工智能 智能设计 自然语言处理
2024云栖大会回顾|PAI ArtLab x 通往AGI之路系列活动,PAI ArtLab助力行业AI创新
2024云栖大会回顾|PAI ArtLab x 通往AGI之路系列活动,PAI ArtLab助力行业AI创新
|
2月前
|
机器学习/深度学习 数据采集 人工智能
容器化机器学习流水线:构建可复用的AI工作流
本文介绍了如何构建容器化的机器学习流水线,以提高AI模型开发和部署的效率与可重复性。首先,我们探讨了机器学习流水线的概念及其优势,包括自动化任务、确保一致性、简化协作和实现CI/CD。接着,详细说明了使用Kubeflow Pipelines在Kubernetes上构建流水线的步骤,涵盖安装、定义流水线、构建组件镜像及上传运行。容器化流水线不仅提升了环境一致性和可移植性,还通过资源隔离和扩展性支持更大规模的数据处理。
|
2月前
|
人工智能 自然语言处理 API
ComfyUI-Copilot:阿里把AI助手塞进ComfyUI:一句话生成工作流,自动布线/调参/选模型,小白秒变大神!
ComfyUI-Copilot 是阿里推出的基于 ComfyUI 的 AI 智能助手,支持自然语言交互、智能节点推荐和自动工作流辅助,降低开发门槛并提升效率。
447 6
ComfyUI-Copilot:阿里把AI助手塞进ComfyUI:一句话生成工作流,自动布线/调参/选模型,小白秒变大神!

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等