一、剧本 & 分镜前置提效(最容易被忽略,节省大量人工)
核心:把人工写提示词、拆镜头的工作交给本地 LLM,标准化输出,减少反复修改。
- 固化短剧编剧 Skill 模板,批量生成剧本 用男女频专用提示词模板喂给本地 Ollama/Qwen,一次性生成带角色、场景、动作、台词的剧本,而不是一句一句生成。
- 剧本自动解析分镜,结构化输出 JSON 不再手动录入每个镜头,脚本自动识别角色、场景、情绪,自动生成画面提示词、运镜、镜头时长。
具体教程资源请看这一篇文章:单 8G 显卡离线跑通 AI 漫剧长剧集,自动换场景不崩人设,全链路 Agent 无人值守渲染方案-CSDN博客
from ollama import chat import json system_prompt = """你是短剧分镜生成器,输入剧本,输出JSON数组,每条镜头包含:shot_id,角色,场景,台词,画面提示词,运镜,时长。只输出JSON,不要额外文字。""" def script_to_shot(script_text): res = chat(model="qwen3:8b", messages=[ {"role":"system", "content":system_prompt}, {"role":"user", "content": script_text} ]) return json.loads(res["message"]["content"]) if __name__ == "__main__": raw_script = open("script.txt","r",encoding="utf-8").read() shot_list = script_to_shot(raw_script) json.dump(shot_list, open("shot_list.json","w",encoding="utf-8"), ensure_ascii=False, indent=2)
- 提示词库分类沉淀 建立库:古风 / 现代 / 都市 / 玄幻、夜景、雨天、室内、打斗镜头提示词模板,Agent 自动拼接,不用每次从零写提示词。
- 统一镜头时长规范 固定单镜头 24 帧 / 32 帧,统一工作流参数,避免每个镜头单独调参。
二、角色资产预缓存方案(解决人设漂移,同时大幅提速)
角色反复重提取特征,是很大的时间浪费。
- 一次提取,全局复用 IPAdapter 特征向量 人设图只跑一次 embedding 提取,保存
.bin缓存文件,全剧所有镜头直接加载缓存,不用反复编码参考图。 - 角色资产库分类归档 建立目录:
char_cache/男主、女主、配角A、反派,新剧集直接调用缓存,不用重新画人设、重新提取。 - 角色基础特征固定写入提示词模板 五官、发型、服饰固定描述,和 IP 缓存双保险,降低变脸概率,减少返工重跑。
收益:减少 30% 以上因为角色崩坏导致的重渲染时间。
三、渲染调度自动化(单机提效之王,无人值守)
- 任务队列 + 断点续跑 + 失败自动重试 脚本遍历分镜 JSON,渲染成功写入
.ok标记;断电、闪退、OOM 崩溃后再次运行,自动跳过完成镜头,失败镜头自动重试 2~3 次。前面给你的调度脚本就是这套逻辑。 - 模型按需加载、渲染完成自动卸载 不要一次性把 SD、Wan 视频模型、IPAdapter、TTS 全部加载进显存。 ComfyUI 启动参数开启自动卸载:
set COMFYUI_AUTO_UNLOAD=1 set PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
渲染完一个镜头,释放视频模型,下一个镜头需要再加载,8G 显卡不会卡死,同时可以穿插跑图、跑视频任务。 3. 同类型镜头批量打包渲染 同场景、同画风、同角色的镜头连续跑,减少模型反复切换加载的开销。 4. API 后台提交任务,不占用界面 全程调用 ComfyUI API,不用在 GUI 里手动点生成,电脑可以后台跑,不占用操作。
四、显存、模型推理层面提速(硬件上限压榨)
针对 8G 显卡本地部署,这部分是核心:
- 全部使用量化权重 FP8 / Q4_K_M Wan2.2-ReMixV3.0、IPAdapter、LLM、TTS 一律量化,显存占用直接砍半,推理速度提升明显,画质损失可控。
- 关闭无用节点、关闭预览实时刷新 ComfyUI 里关闭实时预览、关闭多余预处理器、关闭日志冗余输出;批量渲染时不开启画面预览。
- 分辨率策略:短镜头小分辨率拼接,而不是单条超长高分辨率视频 576×1024 优先,不要直接 720×1280 跑长片段;短镜头拼接 + FFmpeg 合成,速度更快、不容易 OOM。
- 采样参数标准化,减少试错 固定采样器、步数、CFG,经过验证稳定的参数做成模板,不再反复调参试错。 示例稳定参数:
DPM++ 2M SDE Karras,步数 22~24,CFG 6.5~7.5
- 开启 VAE 分片、CPU offload lowvram 模式,权重自动在显存 / 内存交换,避免频繁崩溃耽误时间。
五、音频、字幕、后期流水线自动化(后期最耗人工)
全部离线脚本化,拒绝 PR 剪映手动一条一条加字幕配音:
- 本地 TTS 批量生成配音,一个脚本跑完所有镜头音频 使用量化 TTS 模型,读取分镜 JSON 台词,批量输出 wav,不依赖在线接口,没有排队限速。
- 自动生成 SRT 字幕文件 脚本根据镜头时间轴自动拼接字幕,不用手动打字幕。
- FFmpeg 一键批量拼接、混流、加字幕、压制成片 一条指令完成:视频拼接 + 音频合并 + 字幕叠加 + 平台编码压制,直接输出红果短剧标准 9:16 H.264 成片。
ffmpeg -y -f concat -safe 0 -i video_list.txt -filter_complex "subtitles=subtitle.srt:force_style='Fontsize=26,PrimaryColour=&HFFFFFF&OutlineColour=&H000000&Outline=2'" -c:v libx264 -preset medium -crf 24 -vf "scale=720:1280,fps=24" -c:a aac -b:a 128k output_ep.mp4
- 预设多种压制模板 短视频平台(红果、番茄短剧)、高清版本分开写好脚本,一键切换。
六、前置质检 + 自动过滤,减少无效渲染(减少返工 = 最大效率)
很多人是渲染完一整集才发现一堆崩坏镜头,白白浪费显卡时间。
- 画面预检测脚本:自动识别模糊、人脸崩坏、畸变 渲染单帧之后自动计算拉普拉斯清晰度,低于阈值直接标记坏镜头,不继续渲染视频。
import cv2 def get_blur_score(img_path): img = cv2.imread(img_path) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) return cv2.Laplacian(gray, cv2.CV_64F).var()
- 提示词预审 本地大模型校验提示词,提前识别冲突描述(比如同时写 “白天黑夜”),提前修正,避免渲染出来画面报废。
- 建立坏镜头黑名单 记录容易翻车的提示词、场景,后续自动规避。
七、额外进阶提效方案(适合想做规模化流水线)
- 工作流模板化,多套工作流一键切换 现代漫剧、古风、玄幻三套独立 ComfyUI json,导入即用,不用每次重新搭节点。
- 资源本地缓存,模型本地化 所有模型下载到本地,不每次从 HuggingFace 在线拉取,避免网络卡顿。
- 多任务优先级调度 先渲染主角关键镜头,再渲染配角空镜;优先渲染高价值镜头。
- 日志系统,记录每段渲染耗时 统计哪一类镜头、哪个模型最慢,针对性优化。
效率提升总结
- 剧本分镜自动化:减少 60% 文案、提示词人工时间
- IP 角色特征缓存:大幅降低角色崩坏返工率
- 队列 + 断点 + 自动重试:解放双手,24 小时无人跑片
- 量化模型 + 合理分辨率策略:8G 显卡稳定输出,减少崩溃等待
- FFmpeg 自动后期:告别剪辑软件手动拼接字幕音频
- 前置自动质检:从源头避免无效算力浪费