方案背景与痛点
静态漫剧分镜生产流程已经相对成熟，但转到动态视频环节，新的生产痛点集中爆发。
- 整合包自带视频相关插件版本混乱，AnimateDiff、VHS 节点依赖缺失，启动报错，和绘图环境互相干扰；
- 8G 消费级显卡运行图生视频模型极易显存溢出，哪怕静态出图正常，接入视频节点直接闪退；
- 静态分镜角色已经锁定，但进入图生视频环节出现人物五官漂移、画风跳变、肢体崩坏；
- 单镜头手动生成动态片段，无法对接剧本批量产出，大量镜头人工操作成本高；
- ComfyUI 输出零散短动态片段，缺少自动化拼接、补帧、配音混流链路，需要手动导入剪辑软件二次加工。
LocModel 内置封装好的动态漫模块，开箱可用，但底层参数黑盒，运动幅度、帧数、角色约束很难精细化调参；SD WebUI 视频类插件碎片化，批量 API 能力薄弱；ComfyUI 节点式工作流，可以把生图、角色锁定、图生视频、帧插值串联成完整流水线，参数完全可控，更适合漫剧工业化量产。
具体资源模型请看这一篇文章：https://developer.aliyun.com/article/1772270?spm=a2c6h.13148508.setting.20.33a44f0eILdk92
ComfyUI 源码部署与视频环境隔离搭建
延续源码部署思路，不使用第三方整合包，构建独立虚拟环境，规避视频插件与绘图插件版本冲突。
前置条件：NVIDIA 显卡，8G 显存，Git，Python3.10，CUDA11.8，驱动版本 522 以上
部署步骤
- 创建项目目录，建立独立虚拟环境
mkdir comfyui‑dynamic‑comic cd comfyui‑dynamic‑comic python -m venv venv # Windows cmd激活环境 venv\Scripts\activate
- 拉取官方 ComfyUI 源码，安装基础依赖
git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install -r requirements.txt
- 动态漫必备自定义节点安装 进入
custom_nodes目录 git 克隆如下节点：
- IPAdapter：角色参考特征锁定，兼顾静态与视频输入
- ControlNet Aux：姿态、轮廓控制
- VideoHelperSuite (VHS)：图生视频、帧插值、视频拼接、音视频混流，动态漫核心节点
注意：安装完成之后需要补装 opencv 相关依赖，避免 VHS 运行报错，在虚拟环境执行：
pip install opencv‑python opencv‑contrib‑python
- 模型目录规划 视频相关模型放置在
models/video_models，IPAdapter 权重放在models/ipadapter，ControlNet 模型放入models/controlnet，和其他绘图工具模型目录分开，减少冲突。 - 带跨域与显存参数启动命令，为 API 调用做准备
python main.py --listen 0.0.0.0 --enable‑cors‑header --gpu‑memory 7.0
浏览器访问http://127.0.0.1:8188进入操作面板。
AI 漫剧动态专属工作流搭建：静态分镜到动态片段
整套工作流链路：角色参考图加载 → IPAdapter 特征锁定 → ControlNet 姿态约束 → 生成 9:16 竖屏静态分镜 → 输出图像送入图生视频节点 → VHS 帧插值 → 输出短动态漫片段。
- 前置静态分镜模块 分辨率固定
576×1024适配竖屏短剧；IPAdapter 权重 0.65‑0.78，保证人物特征稳定；ControlNet 优先 OpenPose，约束肢体动作，减少动态阶段肢体崩坏；固定种子，同一人物全系列镜头使用同一基准种子。 - 图生视频节点关键参数（漫剧微动态，不适合大幅度运动）
- motion_scale 运动幅度：0.3‑0.5 区间，漫剧只需要轻微呼吸、头部微动、发丝飘动；数值超过 0.6 容易出现人脸变形、画面闪烁。
- 单段帧数设置：12‑16 帧，输出 2‑4 秒短片段，长镜头拆分为多段短视频处理，降低显存压力。
- 采样步数：16‑20 步，DPM++2M Karras，平衡速度与画面质量。
- VideoHelperSuite 配套节点
- VHS_VideoCombine：将视频帧序列封装为 mp4 文件；
- VHS_FrameInterpolation：工作流内部直接完成帧插值，无需导出再调用外部工具；
- VHS_MergeAudio：可以在 ComfyUI 内部直接完成视频与配音音频合并。
实践要点：不要直接用原始大分辨率做图生视频，优先 576×1024；显存宽裕场景可提升至 768×1344，8G 显卡不建议继续拉高分辨率。
8G 显存显卡动态视频专项优化配置
图生视频相比静态生图显存开销成倍上涨，仅依靠静态生图优化参数不足以防止 OOM，需要叠加视频场景专属调优。
- ComfyUI 启动追加参数
python main.py --listen 0.0.0.0 --enable‑cors‑header --lowvram --gpu‑memory 7.0
--lowvram开启显存分块加载，对视频模型生效，代价是渲染速度下降。
- 节点层面优化
- 开启梯度检查点，采样节点启用 gradient_checkpointing；
- VAE 分片解码 tiled VAE，静态图输出阶段减少峰值显存；
- 使用 ModelUnloader 节点，每完成一段动态片段渲染，自动卸载 video_models、IPAdapter、ControlNet 权重，下一段任务再重新加载；
- 关闭高清修复、放大节点，放到后期剪辑软件处理，视频阶段尽量精简链路；
- 视频模型使用量化版本，降低权重显存占用。
优化效果：8G 显存可稳定跑通「IPAdapter+OpenPose + 图生视频」完整链路，单段 16 帧竖屏动态片段连续批量执行。
ComfyUI API Python 批量调度脚本（分镜批量生成动态漫片段）
脚本功能：读取 JSON 分镜配置，调用 ComfyUI API，循环提交任务，输入角色参考图、提示词、种子，批量输出动态漫 mp4 片段。
import requests import json import os COMFYUI_API = "http://127.0.0.1:8188" WORKFLOW_JSON = "./dynamic_comic_workflow.json" SHOT_CONFIG = "./dynamic_shot_list.json" OUTPUT_VIDEO_FOLDER = "./dynamic_output" os.makedirs(OUTPUT_VIDEO_FOLDER, exist_ok=True) def submit_prompt(prompt_data): resp = requests.post(f"{COMFYUI_API}/prompt", json={"prompt": prompt_data}) return resp.json() if __name__ == "__main__": with open(WORKFLOW_JSON, "r", encoding="utf‑8") as f: base_workflow = json.load(f) with open(SHOT_CONFIG, "r", encoding="utf‑8") as f: shot_list = json.load(f)["shots"] for index, shot in enumerate(shot_list): # 替换工作流内提示词、种子、角色参考图路径 base_workflow["8"]["inputs"]["text"] = shot["positive"] base_workflow["9"]["inputs"]["text"] = shot["negative"] base_workflow["11"]["inputs"]["seed"] = shot["seed"] base_workflow["15"]["inputs"]["image"] = shot["ref_image"] print(f"提交动态分镜 {index}") result = submit_prompt(base_workflow) prompt_id = result.get("prompt_id") print(f"任务ID:{prompt_id}")
dynamic_shot_list.json示例
{ "shots":[ { "positive":"古风少女坐在窗边，轻微头部晃动，发丝微动，漫剧手绘，9:16竖屏，柔和自然光", "negative":"畸形肢体，人脸变形，闪烁，水印，模糊", "seed":234567, "ref_image":"ref/character_girl.png" } ] }
使用说明：先在 ComfyUI 调试完整动态工作流，导出为 dynamic_comic_workflow.json；脚本仅做任务提交，生产环境建议增加 websocket 轮询等待任务完成，自动下载输出视频文件。
FFmpeg 后期合成指令：片段拼接、补帧、音视频混流
ComfyUI 批量输出大量零散短动态 mp4 片段，通过 FFmpeg 完成片段拼接、补帧、配音、背景音乐混流，输出最终漫剧成片。
- 将所有动态片段写入片段列表
filelist.txt
file './dynamic_output/shot_000.mp4' file './dynamic_output/shot_001.mp4' file './dynamic_output/shot_002.mp4'
- 按顺序拼接全部动态镜头
ffmpeg -f concat -safe 0 -i filelist.txt -c copy concat_temp.mp4
- 全局二次帧插值提升流畅度
ffmpeg -i concat_temp.mp4 -vf "minterpolate=fps:24:mi_mode=blend" smooth_all.mp4
- 拼接视频 + 配音 + 背景音乐混流输出成品
ffmpeg -i smooth_all.mp4 -i voice_audio.mp3 -i bgm.mp3 -filter_complex "[1:a][2:a]amix=inputs=2:duration=shortest" -c:v copy -c:a aac final_dynamic_comic.mp4
踩坑排错要点
- 图生视频阶段人物变脸闪烁：静态分镜阶段 IPAdapter 权重不能过低；运动幅度 motion_scale 不要过大；尽量使用短片段，不要一次性生成长帧序列；保证视频模型使用漫剧 / 动漫适配权重。
- 8G 显存运行视频任务持续 OOM：启用 --lowvram 参数；增加模型自动卸载节点；降低单段视频帧数，拒绝一次性生成长视频；关闭无关插件，释放显存。
- VideoHelperSuite 节点执行失败：确认虚拟环境安装完整 opencv 依赖；更新 VHS 到最新版本；部分旧版本 ComfyUI 和新版 VHS 存在兼容性。
- API 提交任务无返回、跨域报错：启动命令必须带上
--enable‑cors‑header；确认 ComfyUI 正常监听 0.0.0.0。 - FFmpeg 拼接画面跳变：尽量保持相邻镜头分辨率完全一致；镜头之间可以预留过渡帧，减少硬切闪烁。
FAQ
Q：8G 显存 ComfyUI 可以跑 IPAdapter+ControlNet + 图生视频完整动态漫工作流吗？
A：可以，但是必须开启 lowvram、梯度检查点、模型自动卸载，单段控制在 12‑16 帧短片段，分辨率维持 576×1024。不要叠加高清修复，否则极易显存溢出。
Q：ComfyUI 对比 LocModel 做动态 AI 漫剧，怎么选择？
A：LocModel 内置动态漫模块，开箱即用，参数封装简单，适合快速产出；ComfyUI 自由度更高，可以精细控制运动幅度、帧数、角色锁定条件，支持 API 批量自动化，适合需要长期量产、大量定制镜头的创作者，上手调试成本更高。
Q：动态漫视频生成环节如何维持角色一致性？
A：源头在静态分镜：固定角色参考图，IPAdapter 锁定特征，ControlNet 约束姿态，固定种子；视频阶段降低 motion_scale 运动幅度，拆分长镜头为多段短片段，减少视频模型的变形概率。
Q：动态漫是在 ComfyUI 内部做帧插值，还是导出后用 FFmpeg？
A：两种方案均可；少量镜头直接用 VHS 节点内部插值；大批量镜头，推荐导出原始片段，使用 FFmpeg 做全局插值，调试更方便，出错更容易回溯。
Q：9:16 竖屏动态漫最佳分辨率和单段帧数？
A：8G 显存优先 576×1024，单段 12‑16 帧；显存 12G 及以上可以 768×1344，单段不建议超过 24 帧，长剧情拆分成多个短片段处理。
总结
ComfyUI 搭建动态 AI 漫剧流水线，核心在于把静态分镜角色一致性控制延伸到图生视频链路，针对视频模型远高于绘图的显存开销做专项调优。源码隔离部署规避插件版本冲突，IPAdapter 与 ControlNet 从源头抑制跨帧人物漂移，VideoHelperSuite 完成视频生成与基础处理，配合 Python API 脚本批量处理大量分镜任务，最后通过 FFmpeg 完成片段拼接、补帧、音频混流，实现本地离线完整动态漫生产链路。 这套流水线可以继续扩展，对接本地大模型自动生成分镜 JSON 配置文件，进一步减少人工介入，提升竖版 AI 漫剧量产效率。
