在stable diffussion中控制生成图片的光线

简介: 在摄影中,光线起着至关重要的作用,它对图像的整体质量和氛围有着显著的影响。您可以使用光线来增强主题,创造深度和维度,传达情感,以及突出重要细节。在这篇文章中,我会告诉你如何在stable diffussion中控制生成图片的光线。

在摄影中,光线起着至关重要的作用,它对图像的整体质量和氛围有着显著的影响。您可以使用光线来增强主题,创造深度和维度,传达情感,以及突出重要细节。

在这篇文章中,我会告诉你如何在stable diffussion中控制生成图片的光线。

软件

我们将使用 AUTOMATIC1111 Stable Diffusion GUI 来创建图像。

使用光线关键词

最简单的控制光线的方法就是在提示中添加光线关键词

我将使用以下基础提示和负面提示来说明效果。

正向提示词:

masterpiece,best quality,masterpiece,best quality,official art,extremely detailed CG unity 8k wallpaper,a beautiful woman,

负向提示词:

lowers,monochrome,grayscales,skin spots,acnes,skin blemishes,age spot,6 more fingers on one hand,deformity,bad legs,error legs,bad feet,malformed limbs,extra limbs,

模型:majicmixRealistic_v7

宽度:512

高度:768

CFG 刻度:7

下面是使用基础提示词生成的图片,他们看起来还不错,但是光线就不怎么样了。

image-20240703143858781

Volumetric lighting是在图像上明显的光束。它在摄影中用于增加体积感。

在提示中添加关键词Volumetric lighting

image-20240703144120928

rim lighting为主题添加了明亮的轮廓。它可能会使主题变暗。您可以与其他光线术语结合使用以照亮主题。

在提示中添加关键词rim lighting

image-20240703144310934

Sunlight为图像添加了阳光。它倾向于呈现自然背景。

在提示中添加关键词Sunlight

image-20240703144429961

Backlight将光源置于主题之后。通过添加这个关键词,您可以产生一些时尚的效果。

在提示中添加Backlight

image-20240703144516763

众所周知,Stable Diffusion 在没有引导的情况下不会产生黑暗的图像。

解决这个问题的方法有很多,包括使用模型和 LoRA。但更简单的方法是添加一些昏暗的光线关键词。

在提示中添加dimly lit

image-20240703144626131

Crepuscular rays在云层中添加了光线穿透的光线。它可以创造出令人惊叹的视觉效果。

这个提示和肖像宽高比通常呈现全身图像,添加Crepuscular rays会放大。

image-20240703144742215

技巧:

  • 如果您没有看到效果,请增加关键词的权重。
  • 这些光线关键词并不总是有效。一次生成几张图像进行测试。
  • 在提示生成器中找到更多的光线关键词。

    控制特定区域的光线

提示中的光线关键词适用于整个图像。这里我会告诉你如何控制特定区域的光线。

这里你需要安装一个插件叫做regional Prompter。

下载地址如下: https://github.com/hako-mikan/sd-webui-regional-prompter.git

安装好之后,可以在工作区的下方发现这个Regional Prompter的区域。

在这个例子中,我们将对图像的上部和下部应用不同的光线。

txt2img页面上,展开regional Prompter部分。

image-20240703150427848

按我上面的选择进行设置。

基本上含义就是把图片按2:3的比例分割成两部分,来分别进行promot设置。

regional Prompter是一个非常强大的工具,可以产出非常惊艳的效果。我会在后续的文章中详细介绍regional Prompter。

这里只是作为一个使用场景。

我们改下输入提示:

正向提示词:

masterpiece,best quality,masterpiece,best quality,official art,extremely detailed CG unity 8k wallpaper,a beautiful woman,
BREAK
( hard light:1.2),(volumetric:1.2),well-lit,
BREAK
(dimly lit:1.4),

负面提示词保持不变。

这样我们的到了一个上面光亮,下面昏暗的图片。

image-20240703150710842

现在尝试交换光线分配。

masterpiece,best quality,masterpiece,best quality,official art,extremely detailed CG unity 8k wallpaper,a beautiful woman,
BREAK
(dimly lit:1.4),
BREAK
( hard light:1.2),(volumetric:1.2),well-lit,

image-20240703150837199

光线相应地交换。

技巧:

  • 如果您没有看到效果,请调整关键词的权重。
  • 区域提示并不总是100%有效。可以多尝试一些图片看看效果。

    使用 ControlNet 控制光线

除了上面的提示词和regional Prompter来控制光线之外。我们还可以使用controlNet来对图片的光线进行更加精确的控制。

controlNet是一个单独的插件,所以你需要先安装它。

Txt2img 设置

安装好controlNet之后,在txt2img页面上,像平常一样生成图像。

image-20240703151405473

点击发送到 img2img

这个操作会把所有的提示,负面提示,图像大小和种子值拷贝到 img2img 页面。

Img2img 设置

img2img页面上,导航到 ControlNet 部分。

将您刚刚保存的图像上传到ControlNet 单元 0

image-20240703173952451

大家可以使用我的配置选项。

这里我们需要选择Depth模型,在preprocessor中选择depth_zoe,model选择control_xxxx_depth。

向上滚动到img2img 画布。删除图像。

然后使用画图工具绘制一个黑白的模板图。

白色代表光线。

如下所示:

image-20240703174500514

把这个图像上传到img2img 画布

调整大小模式设置为仅调整大小。

去噪强度设置为 0.9。

点击生成

您应该得到带有横向光源的图像。

image-20240703174546141

如果你不想创建自己的光源,那么可以baidu一下黑白光源图片:

image-20240703174814660

比如第一张光源图片,我们可以得到下面的图片:

image-20240703174921267

备注

不一定必须使用深度控制模型。其他模型,如 canny 和lineart模型,也可以工作。你可以尝试使用预处理器,看看哪一个适合你。

如果您看到不自然的颜色,请减少Controlnet 权重

调整去噪强度并观察效果。
点我查看更多精彩内容:www.flydean.com

相关文章
|
7月前
|
编解码 人工智能 测试技术
无需训练,这个新方法实现了生成图像尺寸、分辨率自由
【4月更文挑战第25天】研究人员提出FouriScale方法,解决了扩散模型在生成高分辨率图像时的结构失真问题。通过膨胀卷积和低通滤波,该方法实现不同分辨率下图像的结构和尺度一致性,无需重新训练模型。实验显示FouriScale在保持图像真实性和完整性的同时,能生成任意尺寸的高质量图像,尤其在处理高宽比图像时表现出色。尽管在极高分辨率生成上仍有局限,但为超高清图像合成技术提供了新思路。[链接: https://arxiv.org/abs/2403.12963]
81 5
|
机器学习/深度学习 传感器 算法
【交互式阈值二进制图像】采用彩色或单色图像通过交互/手动方式阈值单色图像或彩色图像的单个色带研究(Matlab代码实现)
【交互式阈值二进制图像】采用彩色或单色图像通过交互/手动方式阈值单色图像或彩色图像的单个色带研究(Matlab代码实现)
|
7月前
Stable Diffusion文生图-图生图-ControINet插件-线稿上色-生产全套表情包-3D Openpose-局部重绘-换衣服,换姿势人设三视图一键生成教程大全(二)
Stable Diffusion文生图-图生图-ControINet插件-线稿上色-生产全套表情包-3D Openpose-局部重绘-换衣服,换姿势人设三视图一键生成教程大全(二)
280 4
|
7月前
|
编解码 人工智能 自然语言处理
Stable Diffusion文生图-图生图-ControINet插件-线稿上色-生产全套表情包-3D Openpose-局部重绘-换衣服,换姿势人设三视图一键生成教程大全(一)
Stable Diffusion文生图-图生图-ControINet插件-线稿上色-生产全套表情包-3D Openpose-局部重绘-换衣服,换姿势人设三视图一键生成教程大全(一)
534 1
|
7月前
|
存储 传感器 数据安全/隐私保护
CVPR 2024 Highlight:基于单曝光压缩成像,不依赖生成模型也能从单张图像中重建三维场景
【5月更文挑战第15天】CVPR 2024会议上,清华大学研究人员提出的SCINeRF利用单曝光压缩成像(SCI)技术结合神经辐射场(NeRF)进行3D场景重建。SCI以低成本捕捉高维数据,而SCINeRF将SCI的成像过程融入NeRF训练,实现复杂场景的高效重建。实验显示,该方法在图像重建和多视角图像生成方面取得优越性能,但实际应用仍需解决SCI系统设计、训练效率和模型泛化等挑战。[Link: https://arxiv.org/abs/2403.20018]
174 2
|
7月前
|
机器学习/深度学习 人工智能 达摩院
DDColor:AI图像着色工具,优秀的黑白图像上色模型,支持双解码器!
DDColor:AI图像着色工具,优秀的黑白图像上色模型,支持双解码器!
398 3
|
7月前
|
传感器 自动驾驶 机器人
【Stable Diffusion】通过ControlNet修复手臂
【Stable Diffusion】通过ControlNet修复手臂
103 0
|
人工智能 编解码 数据可视化
Stable Diffusion基础:精准控制之ControlNet
在AI绘画中精确控制图片的生成是一件比较困难的事情,炼丹师们经常需要大量抽卡才能得到一张满意的图片,不过随着 ControlNet 的诞生,这一问题得到了很大的缓解。 ControlNet 提供了十几种控制网络模型,有的可以控制画面的结构,有的可以控制人物的姿势,还有的可以控制图片的画风,这对于提高绘画质量、提升生图速度特别有用;基于 ControlNet 的能力,炼丹师们还可以将AI绘画拓展到更多的应用场景,比如艺术二维码、光影文字、线稿上色、老照片修复、图片风格转绘等等。
672 0
Stable Diffusion基础:精准控制之ControlNet
|
编解码 人工智能 移动开发
AIGC图像分辨率太低?快来试试像素感知扩散超分模型,你想要的细节都在这里
阿里巴巴最新自研的像素感知扩散超分模型已经开源,它把扩散模型强大的生成能力和像素级控制能力相结合,能够适应从老照片修复到AIGC图像超分的各种图像增强任务和各种图像风格,并且能够控制生成强度和增强风格。这项技术的直接应用之一是AIGC图像的后处理增强和二次生成,能够带来可观的效果提升。
892 4
|
存储 人工智能 Serverless
玩转 ControlNet:Stable Diffusion 制作光影文字效果
基于函数计算部署Stable Diffusion, 制作光影文字可以作为进阶 Stable Diffusion 的必备一课
1614 3
下一篇
DataWorks