一、简介
在保持输入主体不变的情况下生成背景的需求广泛存在,可用于海报生成、商品换背景多种场景。本文介绍一种使用扩散模型生成背景的技术,背景生成内容可接受图像、文字prompt和图像边缘edge等3中不同的引导方式,这些引导方式可以组合使用,灵活的控制生成背景的内容。该模型具有很好的通用性,对主体内容无限制,适用各种不同的图像主体,例如各类商品、动物甚至人像等。
二、模型结构
首先输入需要生成背景的主体, 使用一种或者多种引导方式来控制生成的背景内容。
三、效果展示
四、生成引导方式
1. 图像引导
使用图像来引导控制背景生成的内容,适用于手头已有合适的图像,想要为主体生成类似的背景。可以免去写文本prompt的烦恼,所见即所得。
引导图像:
生成效果:
2. 文字引导
引导文本: 光滑桌面,窗外有山有水
3. 图像+文字引导
引导图像:
仅图像引导效果:
增加引导文本: 远处有晚霞
图像+文本引导效果如下:
4. 使用边缘进行精确的空间控制
图像引导和文本引导都能对背景的整体环境内容、风格有较好的引导效果。如果需要需要对背景元素的位置形状进行精确的控制,就需要使用呢边缘edge进行生成控制。
引导文本:鲜花盛开。引导图像和引导边缘如下:
生成效果:
还可以设置边缘引导图层到主体图层的上面,形成更加逼真的遮挡效果: