黑森林Kontext LoRA：多种新奇图像编辑新玩法！魔搭首发！附炼丹训练指南

♦引言

黑森林的Kontext 模型已经开源了一段时间，社区生态迅猛发展，Kontext LoRA已经层出不穷。就在今天，魔搭社区的开发者开源了4种全新的Kontext LoRA，blingbling的雕像风格、拿捏氛围感的图像美学提升神器...

本期文章，魔搭带你玩转这几个Kontext 的 LoRA，解锁新奇的图像编辑新玩法！

LoRA案例效果

编辑

编辑

编辑

编辑

玩法1：低分辨率图像的高清修复

模型链接

https://modelscope.cn/models/DiffSynth-Studio/FLUX.1-Kontext-dev-lora-highresfix

编辑指令：

Improve the clarity.

这个 LoRA 模型是使用大量高清图及其低分辨率版本训练而来的，可以大幅度提升图像的清晰度。例如下面这张图经过模型处理后，画面变得非常清晰。

编辑

不过这还不是这个 LoRA 模型的全部功力，它在表情包处理上有奇效。例如，下面是一张经过多次转发导致出现“电子包浆”的表情包图片。使用这个 LoRA 模型，就可以发挥 Kontext 模型的图像编辑能力消除其中的噪声，让表情包重现生机。

编辑

当图像内容出现模糊时，模型也可以自行发挥想象力，补充其中的细节。例如下面这张表情包，经过高清化处理之后，呈现出尴尬又不失魔性的笑容。

编辑

玩法2：图像的局部编辑与外扩

模型链接

https://modelscope.cn/models/DiffSynth-Studio/FLUX.1-Kontext-dev-lora-SuperOutpainting

编辑指令：

Outpaint the image. + 英文图像描述（可选）

Kontext模型本身有一定图像外扩能力，但是对prompt和输入样例不稳定，可能导致非指定区域也被修改。因此，我们使用EliGen训练集构建了Kontext的图像外扩训练集，训练了这个LoRA模型，可以稳定地完成图像外扩，也可以泛化到图像重绘和局部编辑情形。

如下，给定部分区域缺失的图像，可以让模型直接进行图像重绘，绘出缺失部分。

编辑

而如果待补全区域过大，则是图像外扩任务。如下的例子中，给定几朵花，模型可以绘制整个场景。

编辑

图像外扩可以进一步用在拉远场景视角上，比如我们将上一个输出的场景图置于图的中央，并再执行一次外扩，可以得到更大视角的场景图。

编辑

以下是人物场景下，连续进行两次图像外扩的例子。

编辑

我们可以利用这个LoRA模型的图像外扩和局部编辑能力来做一下有意思的事情。比如我们可以进行经典表情包的局部替换，如下例所示，输入指令为：Outpaint the image. A chicken-headed man in suspenders is playing the basketball.

编辑

可以看到 "Kuntext" 的出色生成效果。还可以进行热门表情包的组合，比如，先手动将表情包粘贴到一张图上，然后让模型进行重绘，如下例所示。

编辑

进一步地，可以只保留原图的少部分内容，让模型自由发挥，比如下面两个例子，输入指令均为：Outpaint the image. A chicken-headed man in suspenders is playing the basketball with a white background.

编辑

玩法3：图像的美学提升

模型链接

https://modelscope.cn/models/DiffSynth-Studio/FLUX.1-Kontext-dev-lora-ArtAug

编辑指令：

Enhance the aesthetic quality of this image.

Kontext 模型在训练过程中其实已经潜移默化地学习到了一定的图像理解能力，既然如此，模型就有理解什么是“美”的能力，经过训练后可以进一步激发其能力，用于提升图像的美感。例如这只小鸟的图片，模型可以增加环境细节，让画面看起来更协调。

编辑

编辑

当然，美学提升后的图片可以继续作为模型输入，从而进一步提升美学质量。上面的图像经过多次处理后，呈现出深邃的景深感。

下面这个例子也是类似的，经过多次美学提升后，画面中晚霞的光线更加柔美，四周也出现了姹紫嫣红的花朵。

编辑

玩法4：风格变变变

模型链接：

https://modelscope.cn/models/DiffSynth-Studio/FLUX.1-Kontext-dev-lora-blingbling

编辑指令：

Transform into a glass sculpture.

这个 LoRA 可以端到端地实现风格迁移，把任何物体转化为玻璃雕像。这是一种特殊的风格，由于玻璃透明的特性，模型不仅要保持物体结构，还需要推理出背后的景物，并根据环境光照调整玻璃表面光线的反射和折射。但对于 Kontext 模型来说，这个任务稍经训练即可完成。我们来看几组例子：

编辑

编辑

此外，由于 FLUX 和 Kontext 模型的结构相似性，原本为 FLUX 训练的 LoRA 模型也可用于 Kontext 的风格迁移，下面是一些社区用户提供的例子。

视觉风格：抽象色块

模型链接：

https://modelscope.cn/models/cancel13/cxsk

编辑指令：

Translate the style into abstract color blocks.

编辑

视觉风格：线条插画

模型链接：

https://modelscope.cn/models/Dyrice/F.1_InternetCommercialFlatPortraitIllustration

编辑指令：

Convert the visual style into line illustrations.

编辑

在线图像编辑

以上提及的几个LoRA 模型可以直接在魔搭社区的 AIGC 专区进行生图体验。

在线生图地址：

https://modelscope.cn/aigc/imageGeneration?tab=advanced

LoRA推理与训练

本地部署推理和训练时，可使用开源项目 DiffSynth-Studio。

DiffSynth-Studio 本地部署推理

安装：

git clone https://github.com/modelscope/DiffSynth-Studio.git
cd DiffSynth-Studio
pip install -e .

git clone https://github.com/modelscope/DiffSynth-Studio.git cd DiffSynth-Studio pip install -e .

推理：

import torch
from diffsynth.pipelines.flux_image_new import FluxImagePipeline, ModelConfig
from PIL import Image
from modelscope import snapshot_download
pipe = FluxImagePipeline.from_pretrained(
    torch_dtype=torch.bfloat16,
    device="cuda",
    model_configs=[
        ModelConfig(model_id="black-forest-labs/FLUX.1-Kontext-dev", origin_file_pattern="flux1-kontext-dev.safetensors"),
        ModelConfig(model_id="black-forest-labs/FLUX.1-dev", origin_file_pattern="text_encoder/model.safetensors"),
        ModelConfig(model_id="black-forest-labs/FLUX.1-dev", origin_file_pattern="text_encoder_2/"),
        ModelConfig(model_id="black-forest-labs/FLUX.1-dev", origin_file_pattern="ae.safetensors"),
    ],
)
pipe.load_lora(
    pipe.dit,
    ModelConfig(model_id="DiffSynth-Studio/FLUX.1-Kontext-dev-lora-highresfix", origin_file_pattern="model.safetensors")
)
image = Image.open("your_image.jpg")
image = pipe(
    prompt="Improve the clarity.",
    kontext_images=image,
    embedded_guidance=2.5,
    seed=0,
)
image.save("output.jpg")

DiffSynth-Studio 训练

虽然 Kontext 的模型结构与 FLUX 一致，但作为一个图像编辑模型，其生成过程融入了额外的输入图像，因此训练算法也需要作出针对性的修改。DiffSynth-Studio 已经支持了 Kontext 原生编辑模式的训练。

编辑

以上这些 LoRA 模型都是基于 DiffSynth-Studio 训练的，训练教程可参考往期文章：

FLUX.1 Kontext 的全生态教程来啦！AIGC专区在线试玩！DiffSynth框架、Com

或进入 DiffSynth-Studio 的开源项目页面查看。

DiffSynth-Studio地址：

https://github.com/modelscope/DiffSynth-Studio/tree/main/examples/flux

编辑

点击链接，即可跳转模型链接~

https://modelscope.cn/models/DiffSynth-Studio/FLUX.1-Kontext-dev-lora-highresfix