一、项目实操痛点
在漫剧分镜制作过程中,不管是从零搭建还是导入网络分享的绘图工作流,我遇到大量现实问题:
- 第三方工作流只是配置文件,不包含模型资源。导入 JSON 之后红色缺失节点,模型下拉框空白,很多新手误以为下载 JSON 就拿到完整绘图方案ComfyUI。
- 图生图 denoise 重绘强度拿捏不准。强度过低画面完全没变化,强度过高直接丢掉原图构图、人物人设,等同于重新文生图,漫剧分镜迭代反复返工。
- 8G 显存压力突出,同时加载 Checkpoint、IP‑Adapter、ControlNet、LoRA,跑少量几张图就 CUDA OOM 崩溃,分享者很多使用 16G 以上显卡调试,没有针对低配硬件优化。
- 角色一致性难以保障,单纯依靠固定 seed 无法锁住人物长相,图生图迭代分镜持续出现换脸、五官漂移。
- GUI 手动操作效率低下,几十上百张漫剧分镜,手动上传图片、修改提示词、点击生成,重复工作量大,缺少自动化批量处理方案。
- 黑图、发灰、畸形肢体高频出现,排查之后发现大多是 VAE 不匹配、分辨率超出模型训练区间、反向提示词缺失。
- 具体资源模型请看这一篇文章https://developer.aliyun.com/article/1772270?spm=a2c6h.13148508.setting.17.265b4f0eHwHWD2
二、SD 底层:文生图与图生图核心原理
2.1 文生图底层链路
加载 Checkpoint 权重 → CLIP 编码器解析正向、反向提示词 → 创建空白潜空间噪声张量 → KSampler 迭代去噪采样 → VAE 解码器,把 latent 潜张量还原为像素图片输出阿里云开发...。
2.2 图生图底层链路(漫剧分镜重绘核心)
图生图和文生图最大差异是 latent 潜张量来源,不再使用空白噪声,而是来源于输入原图编码得到的潜特征。
- Load Image 读取参考分镜原图;
- VAE Encode:像素图片压缩为潜空间 latent 张量,保留原图构图、姿态、光影等低频信息;
- 根据 denoise_strength 向 latent 叠加高斯噪声:
- 0.1‑0.3:轻微调色、修复画质,构图人物几乎不变;
- 0.4‑0.55:漫剧分镜迭代最优区间,修改画风、表情服饰,保留主体构图;
- 0.6‑0.8:大幅度重绘画面,仅保留粗略布局;
- 1.0:完全等价文生图,丢弃原图全部信息,业务场景不建议使用。
- CLIP 编码提示词送入 UNet 做条件约束;
- KSampler 完成采样去噪;
- VAE Decode 解码输出最终图片。
关键认知:图生图不是在原图上面涂抹,是在潜空间做噪声重采样,denoise 参数直接决定对原图信息保留程度,这也是调参的重中之重ComfyUI。
三、ComfyUI 实操搭建绘图工作流
运行环境:Windows,RTX3060 8G,ComfyUI 原版,已安装 ComfyUI‑Manager、IP‑Adapter、ControlNet 相关自定义节点。 8G 显存启动参数:
python main.py --lowvram --use-pytorch-cross-attention,开启低显存模式缓解 OOM 问题。
3.1 核心节点清单(图生图)
Load Checkpoint:加载 SD 底模;Load Image:加载待重绘原始分镜;VAE Encode:原图编码得到 latent 潜张量;IPAdapter Apply(漫剧必选):载入角色参考图,锁定人物五官身份;ControlNet Apply(可选):OpenPose/Canny 锁定人物姿态、画面构图;CLIP Text Encode:正向、反向提示词编码;KSampler:采样器,配置 denoise、采样步数、CFG;VAE Decode:潜空间解码输出图片;Save Image:图片保存输出。
3.2 漫剧场景实测可用参数
- 画布分辨率:576×1024(9:16 竖屏)
- 采样器:dpmpp_2m_sde /euler a
- 采样步数:22‑28 步
- CFG scale:5‑7,过高极易出现肢体畸形崩坏
- denoise_strength:漫剧分镜迭代优先选用 0.4‑0.55
- IP‑Adapter 权重:0.65‑0.75,兼顾角色身份与画面改动自由度,不要设置为 1.0,画面容易僵硬固化。
通用反向提示词模板:畸形,多指,缺指,五官扭曲,水印,文字,模糊,低画质,肢体变形,人物换脸。
3.3 第三方绘图工作流导入排错步骤
- 将 JSON 文件拖拽至浏览器画布,如果画布空白,点击右下角
Fit View适配视图。 - 出现红色 Missing Nodes 节点:打开 ComfyUI‑Manager,执行
Install Missing Custom Nodes,完全关闭控制台窗口,重启 ComfyUI。 - 核对各个模型加载节点:Checkpoint、LoRA、ControlNet、VAE,确认模型文件名与工作流内填写完全一致,放置到对应 models 子目录。
- 根据自己显卡修改参数:8G 显卡降低分辨率,batch_size 设置为 1 串行推理,关闭闲置 ControlNet、IP‑Adapter 节点。
- 小样本测试,生成 1‑2 张图片验证画面效果,确认无报错之后再做批量推理,不要直接跑大量业务分镜。
四、Python 脚本:ComfyUI API 批量图生图处理漫剧分镜
使用前提:GUI 调试完成图生图工作流,保存为
img2img_workflow.json,ComfyUI 保持开启,端口 8188。 依赖安装:pip install requests websocket-client uuid
import os import json import websocket import requests import uuid COMFYUI_HOST = "127.0.0.1:8188" CLIENT_ID = str(uuid.uuid4()) WORKFLOW_PATH = "./img2img_workflow.json" INPUT_IMG_DIR = "./source_frames/" #待重绘原始分镜文件夹 OUTPUT_IMG_DIR = "./img2img_out/" os.makedirs(OUTPUT_IMG_DIR, exist_ok=True) def load_workflow_template(json_file): with open(json_file, "r", encoding="utf-8") as f: return json.load(f) def submit_prompt(workflow_data): payload = {"prompt": workflow_data, "client_id": CLIENT_ID} resp = requests.post(f"http://{COMFYUI_HOST}/prompt", json=payload, timeout=400) return resp.json() def fetch_output_image(ws_conn, prompt_id): while True: raw_msg = ws_conn.recv() msg = json.loads(raw_msg) if msg["type"] == "executed" and msg["data"]["prompt_id"] == prompt_id and msg["data"]["node"] is None: outputs = msg["data"]["outputs"] for node_id in outputs: for img_info in outputs[node_id]["images"]: img_bin = requests.get(f"http://{COMFYUI_HOST}/view/{img_info['filename']}").content return img_bin def scan_source_images(folder): img_list = [] for fname in sorted(os.listdir(folder)): suffix = fname.lower().split(".")[-1] if suffix in ["png","jpg","jpeg"]: img_list.append(os.path.join(folder, fname)) return img_list if __name__ == "__main__": wf_template = load_workflow_template(WORKFLOW_PATH) img_path_list = scan_source_images(INPUT_IMG_DIR) print(f"待处理分镜总数:{len(img_path_list)}") ws = websocket.create_connection(f"ws://{COMFYUI_HOST}/ws?clientId={CLIENT_ID}") for idx, img_file in enumerate(img_path_list): # 修改此处"4"为你工作流中Load Image节点的真实ID wf_template["4"]["inputs"]["image"] = img_file submit_result = submit_prompt(wf_template) prompt_id = submit_result["prompt_id"] print(f"正在处理 {os.path.basename(img_file)},prompt_id:{prompt_id}") img_bytes = fetch_output_image(ws, prompt_id) save_file = os.path.join(OUTPUT_IMG_DIR, os.path.basename(img_file)) with open(save_file, "wb") as fw: fw.write(img_bytes) print(f"✅完成输出 {save_file}") ws.close() print("全部批量图生图任务执行完毕")
脚本注意事项:
wf_template["4"]里面的节点 ID,需要对照你本地 JSON 文件中 Load Image 节点 ID,ID 错误会一直重复处理同一张图片。
五、FFmpeg 配套指令:分镜图片后期预处理、生成预览视频
# 统一缩放至漫剧9:16标准尺寸(单张示例,可循环批量执行) ffmpeg -y -i ./img2img_out/frame_000.png -vf scale=576:1024 -q:v 95 fixed_frame_000.png # 图片序列快速生成预览短视频,检查分镜连贯性 ffmpeg -y -framerate 3 -i ./img2img_out/frame_%03d.png -c:v libx264 -r 24 -pix_fmt yuv420p preview_manju.mp4
六、故障排查表
表格
| 现象 | 原因 | 解决办法 |
| 图生图输出几乎和原图一模一样 | denoise 重绘强度过低 | 漫剧迭代建议 0.4‑0.55 区间测试调整 |
| 图生图之后构图大变、人物丢失 | denoise 接近 1.0;缺少构图约束 | 降低 denoise;接入 ControlNet Canny/OpenPose 锁定姿态 |
| 生成黑图、画面灰蒙蒙 | VAE 和底模不匹配;模型损坏;分辨率过大 | 更换配套 VAE;校验模型文件;降低输出分辨率 |
| 8G 显卡运行 CUDA OOM 闪退 | 多模型同时常驻显存,没有开启低显存模式 | 启动参数添加--lowvram;不用的 ControlNet 及时卸载;串行任务;虚拟内存放置 NVMe 固态 |
| 迭代分镜人物持续变脸 | 仅依靠 seed 固定,缺少角色特征约束 | IP‑Adapter 搭配角色 LoRA,每轮图生图带入角色参考图,不要只依靠文字提示词描述长相 |
| 导入第三方工作流红色节点 | 本地缺失自定义节点 | ComfyUI‑Manager 安装缺失节点,重启 ComfyUI |
| 大量畸形肢体画面 | CFG 过高,步数不足,反向提示词缺失 | CFG 控制 5‑7,steps≥22,完善负面提示词 |
七、第三方绘图工作流使用最佳实践
- JSON 只是节点连线和参数配置,不携带模型、LoRA、自定义节点代码,拿到之后务必备份原始文件,修改另存副本。
- 绝对不要直接把网络分享的工作流直接投入批量业务,必须在本机环境小样本测试,验证画面、显存稳定性之后再使用。
- 排错优先看黑色控制台窗口,大部分报错信息都会打印在这里,比 UI 弹窗信息更加完整。
- 文件、模型路径尽量使用英文,Windows 系统中文路径容易出现读取异常。
- 漫剧生产统一分辨率、统一反向提示词模板,保障批量输出画风一致性。
- 本机调试适配完成之后,重新导出一份 JSON,后续批量脚本使用这份适配本机硬件的工作流。
八、FAQ
Q:denoise 是不是越低效果越好?A:不是。denoise 太低,模型没有修改空间,做表情修改、画风迁移完全不起效果;过高直接丢失原图构图。漫剧场景优先 0.4‑0.55 区间,再根据画面微调 0.05 幅度。
Q:固定 seed 就可以保证图生图人物不变吗?A:不行。seed 只能控制初始噪声,SD 模型本身没有人物身份记忆,想要锁定角色,必须 IP‑Adapter、LoRA、ControlNet 组合使用,单纯依靠 seed 效果有限。
Q:网上下载的绘图工作流为什么别人效果好,我本地画面差距很大?A:模型版本、VAE、LoRA、显卡显存、采样参数都会影响最终画面。JSON 只记录参数,模型文件不一致,画面效果就会发生偏移。
Q:8G 显卡批量跑图生图,有什么实操建议?A:开启 lowvram 启动参数,任务串行执行,不要并发;及时卸载闲置模型;分辨率不要盲目拉高,优先 576×1024 这类适配 8G 显存的尺寸。
Q:图生图出现黑图怎么快速定位?A:分步排查:更换配套 VAE;降低输出分辨率;更换 Checkpoint 底模;校验模型文件完整性;查看控制台报错日志。
九、总结
ComfyUI 底层 SD 绘图(文生图 + 图生图)拥有极高自由度,但同时也对使用者有一定技术要求。网络上分享的绘图工作流可以作为很好的参考模板,但不能拿来开箱即用。
图生图的核心是潜空间重采样,denoise 降噪强度、VAE、IP‑Adapter 角色约束是漫剧分镜重绘三个关键点。实际项目标准流程:导入工作流 → 修复缺失节点、补齐模型资源 → 根据本机显卡调整硬件参数 → 少量图片测试验证画面效果 → 确认稳定之后接入 Python API 脚本批量推理。