PS上的开源Stable Diffusion插件来了:一键AI脑补,即装即用

简介: PS上的开源Stable Diffusion插件来了:一键AI脑补,即装即用


网友:「它能颠覆整个行业。」

Stable Diffusion 是今年 AI 领域内大火的新技术,得益于 Stability AI 的开源精神,它催生了众多 AI 绘画的应用。相比传统的绘画方法,根据文本生成图像的方法操作简单,画图速度也快,每次生成都会呈现不一样的效果。


随着技术的发展,消费级 GPU 也已能在数十秒内生成图片,人们开始考虑将 AI 绘图能力用于生产力。鉴于 Stable Diffusion 早已开源,开发者将其用来创建做图工具也是情理之中。


比如此前的 Automatic1111,就是 Stable Diffusion 用户社区常用的网络 UI,但对于经常使用 Photoshop 的专业用户来说,还是不够方便。



现在,借助 Auto-Photoshop-StableDiffusion-Plugin,用户可以直接在最著名的绘图软件 Photoshop 中使用 Automatic1111 Stable Diffusion 的功能,而无需在程序之间切换。


这意味着你可以在熟悉的 Photoshop 环境中轻松使用 Stable Diffusion AI,即装即用。安装这个插件之后,你可以使用所有喜欢的工具编辑 Stable Diffusion 图像,并将其便捷地保存在 Photoshop 中。


,时长01:37


项目链接:https://github.com/AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin


功能介绍


快速测试


1. 在 PhotoShop 中新建一个项目。

2. 加载插件后,不要选择或更改任何内容。只需点击「生成」按钮。

3. 如果看到一只猫的图像被加载到画布上,那么一切都已正确设置。


txt2Img


1. 使用矩形选框工具并选择正方形(1x1 比例)

   a. 在选择工具中,可以将比率设置为 512x512 或 512x768;

   b. 只需确保选择的比例等于生成的图像的大小。

2. 编写 prompt 并单击「生成」。

3. 结果将调整大小以适合所选区域。但别担心,图像将作为智能对象加载到 PhotoShop 中。所以你可以在不损失质量的情况下调整它的大小。


img2img


1. 选择一个位于其自身图层上的图像。

   a. 如果希望生成的图像完美地放置在初始图像上,可选「Ctrl + 单击」图层缩略图。

2. 在插件 UI 中将模式更改为「img2img」。

3. 单击「设置初始映像」按钮。如果图像没有更改为所选图层。点击多次(作者正在解决这个问题)。

4. 点击生成。


inpaint


1. 将插件模式更改为 「inpaint」。

2. 在要修复的图像之上创建一个方形选区:

   a. 通过矩形选框工具;

   b. 或通过「ctrl+click」图层缩略图。

3. 创建一个新图层,并在选定区域内绘制白色。请注意,任何白色区域都将通过 Stable Diffusion 重新生成。

4. 单击「Init Inpaint Mask」按钮。

   a. 单击之前确保当前仍在白色图层上;

   b. 点击后插件会生成一个合适的黑白遮罩,将其设置为 Stable Diffusion 要使用的遮罩。

   c. 它还会在所选区域下创建画布快照,并将此快照用作初始图像。

5. 单击「生成」按钮。



outpaint


1. 将插件模式更改为修复。请记住,「outpaint」只是修复的一个特例。

2. 创建一个与要扩展的图像相交的「矩形选择」。

3. 单击「Init Outpaint Mask」,这将会:

   a. 在选择下创建画布的快照,并将其用作 Stable Diffusion 的「初始图像」;

   b. 创建一个黑白蒙版并将其用作「初始蒙版」;

   c. 它将更新插件 UI 中的「初始图像」和「初始掩码」。


一些经验之谈


  • 为了获得最佳的 inpaint 和 outpaint 效果,必须选择「stable-diffusion inpainting model」。
  • img2img 的「初始图像」不能有透明度。
  • 始终检查插件 UI 中的「初始图像」和「初始掩码」,并确保它们与画布上的图层相匹配。如果要调整不匹配,请执行以下操作:
  • 在图层面板中选择「group_mask」并点击「set init mask」按钮。
  • 在图层面板中选择「group_init_image」并点击「set init image」按钮。
  • 选择模型后,可能需要等待它加载到 Stable Diffusion 中,然后才能点击生成。
  • 检查进度条是否停留在 0% 或 1%:如果你认为它花费的时间太长并想再次重新生成,可以随时取消 / 中断请求。
  • 不要打开多个 PhotoShop 文档,这将破坏插件。请一次只处理一个项目。


关于 img2img、inpaint 或 outpaint 的问题


  • img2img、inpaint 和 outpaint 使用 photoshop 的「快速导出为 png」功能。
  • 随机快速导出为 png 会损坏,这是一个已知的 photoshop 错误。


若想测试该功能是否已损坏以及问题的原因,可执行以下操作:


  • 选择一个图层并右键单击它,然后选择快速导出为 png。如果收到窗口提示,则快速导出工作正常。反之如果没有任何反应,那么你需要重新启动 photoshop 并再次尝试导出功能,直到它起作用为止。
  • 在导出功能有效时你可以使用该插件,否则 img2img、inpaint 和 outpaint 将无法正常工作。


如何安装


第一次运行插件时:


1、下载插件:


git clone https://github.com/AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin.git


2、在「Auto-Photoshop-StableDiffusion-Plugin」下运行「start_server.bat」


3、在你安装 automatic1111 的位置,编辑 webui-user.bat 改这一行内容:

set COMMANDLINE_ARGS=



set COMMANDLINE_ARGS= --api

这将允许插件与 automatic1111 项目进行通信。保存后关闭「webui-user.bat」文件,正常运行即可。


4、运行 photoshop。选择编辑→首选项→插件,确保选中「启用开发者模式」(Enable Developer Mod)选框。


5、安装官方的「Adobe UXP Developer Tool」,此工具会将插件添加到 photoshop:https://developer.adobe.com/photoshop/uxp/devtool/installation/


6、运行 Adobe UXP Developer Tool 并单击右上角的「添加插件」按钮。导航到「Auto-Photoshop-StableDiffusion-Plugin” 文件夹所在的位置并打开「manifest.json」


7、选择插件并点击 Actions → Load Selected,就完成了。


第二次及后续运行插件的步骤:


1、启动 「webui-user.bat」

2、启动 「start_server.bat」

3、启动 「Photoshop」

4、启动 「Adobe UXP Developer Tool」并加载插件

相关文章
|
5天前
|
人工智能
AniDoc:蚂蚁集团开源 2D 动画上色 AI 模型,基于视频扩散模型自动将草图序列转换成彩色动画,保持动画的连贯性
AniDoc 是一款基于视频扩散模型的 2D 动画上色 AI 模型,能够自动将草图序列转换为彩色动画。该模型通过对应匹配技术和背景增强策略,实现了色彩和风格的准确传递,适用于动画制作、游戏开发和数字艺术创作等多个领域。
61 16
AniDoc:蚂蚁集团开源 2D 动画上色 AI 模型,基于视频扩散模型自动将草图序列转换成彩色动画,保持动画的连贯性
|
2天前
|
人工智能 自然语言处理 JavaScript
Univer:开源全栈 AI 办公工具,支持 Word、Excel、PPT 等文档处理和多人实时协作
Univer 是一款开源的 AI 办公工具,支持 Word、Excel 等文档处理的全栈解决方案。它具有强大的功能、高度的可扩展性和跨平台兼容性,适用于个人和企业用户,能够显著提高工作效率。
31 7
Univer:开源全栈 AI 办公工具,支持 Word、Excel、PPT 等文档处理和多人实时协作
|
4天前
|
人工智能 Linux API
PromptWizard:微软开源 AI 提示词自动化优化框架,能够迭代优化提示指令和上下文示例,提升 LLMs 特定任务的表现
PromptWizard 是微软开源的 AI 提示词自动化优化框架,通过自我演变和自我适应机制,迭代优化提示指令和上下文示例,提升大型语言模型(LLMs)在特定任务中的表现。本文详细介绍了 PromptWizard 的主要功能、技术原理以及如何运行该框架。
50 8
PromptWizard:微软开源 AI 提示词自动化优化框架,能够迭代优化提示指令和上下文示例,提升 LLMs 特定任务的表现
|
9天前
|
机器学习/深度学习 人工智能
Leffa:Meta AI 开源精确控制人物外观和姿势的图像生成框架,在生成穿着的同时保持人物特征
Leffa 是 Meta 开源的图像生成框架,通过引入流场学习在注意力机制中精确控制人物的外观和姿势。该框架不增加额外参数和推理成本,适用于多种扩散模型,展现了良好的模型无关性和泛化能力。
52 11
Leffa:Meta AI 开源精确控制人物外观和姿势的图像生成框架,在生成穿着的同时保持人物特征
|
14天前
|
人工智能 API 语音技术
TEN Agent:开源的实时多模态 AI 代理框架,支持语音、文本和图像的实时通信交互
TEN Agent 是一个开源的实时多模态 AI 代理框架,集成了 OpenAI Realtime API 和 RTC 技术,支持语音、文本和图像的多模态交互,具备实时通信、模块化设计和多语言支持等功能,适用于智能客服、实时语音助手等多种场景。
105 15
TEN Agent:开源的实时多模态 AI 代理框架,支持语音、文本和图像的实时通信交互
|
7天前
|
机器学习/深度学习 人工智能 算法
X-AnyLabeling:开源的 AI 图像标注工具,支持多种标注样式,适于目标检测、图像分割等不同场景
X-AnyLabeling是一款集成了多种深度学习算法的图像标注工具,支持图像和视频的多样化标注样式,适用于多种AI训练场景。本文将详细介绍X-AnyLabeling的功能、技术原理以及如何运行该工具。
47 2
X-AnyLabeling:开源的 AI 图像标注工具,支持多种标注样式,适于目标检测、图像分割等不同场景
|
14天前
|
数据采集 人工智能 编解码
书生·万象InternVL 2.5:上海 AI Lab 开源的多模态大语言模型,超越了目前许多商业模型
书生·万象InternVL 2.5是由上海AI实验室OpenGVLab团队推出的开源多模态大语言模型系列。该模型在多模态理解基准(MMMU)上表现优异,超越了许多商业模型,适用于图像和视频分析、视觉问答、文档理解和多语言处理等多个领域。
60 7
书生·万象InternVL 2.5:上海 AI Lab 开源的多模态大语言模型,超越了目前许多商业模型
|
14天前
|
机器学习/深度学习 人工智能 自然语言处理
MMAudio:开源 AI 音频合成项目,根据视频或文本生成同步的音频
MMAudio 是一个基于多模态联合训练的高质量 AI 音频合成项目,能够根据视频内容或文本描述生成同步的音频。该项目适用于影视制作、游戏开发、虚拟现实等多种场景,提升用户体验。
64 7
MMAudio:开源 AI 音频合成项目,根据视频或文本生成同步的音频
|
1天前
|
人工智能 数据挖掘 BI
结构化表格也成模态!浙大TableGPT2开源,最强表格AI问世
在AI快速发展中,大型语言模型(LLMs)如GPTs等展现了巨大潜力。然而,表格数据整合这一关键领域发展不足。浙江大学提出TableGPT2,使用593.8K张表格和2.36M查询-表格-输出三元组进行预训练和微调。该模型创新性地引入了表格编码器,增强了处理模糊查询、缺失列名和不规则表格的能力。TableGPT2在23个基准测试指标上表现出色,7B模型性能提升35.20%,72B模型提升49.32%。其开源代码和模型为社区提供了强大的研究工具。
21 12
|
7天前
|
机器学习/深度学习 人工智能 自然语言处理
MetaGPT开源SELA,用AI设计AI,效果超越OpenAI使用的AIDE
MetaGPT团队开源了Tree-Search Enhanced LLM Agents(SELA)系统,通过蒙特卡罗树搜索(MCTS)优化AutoML过程,显著提升了机器学习模型的构建效率和性能。SELA在20个数据集上的实验结果表明,其性能优于传统AutoML方法和基于LLM的代理,为AutoML领域带来了新的突破。
31 4

热门文章

最新文章