ComfyUI 漫剧自动质检流水线|本地 AI 画面审片脚本,批量过滤崩坏镜头,降低返工成本

简介: 这是一套轻量级漫剧质检流水线,仅需8G显存即可运行。集成ComfyUI、YOLO人脸/肢体检测、量化版Qwen-VL语义校验、FFmpeg抽帧及自动分拣脚本,支持批量审片、风险打分、报告生成与镜头智能归类,大幅提升女频/古言漫剧质检效率。(239字)

一、方案说明与硬件适配

这套质检流水线不需要很高显存,8G 显卡可以和视频生成链路分开跑,也可以在渲染间隙调度运行。 核心组件:

  1. ComfyUI + 视觉检测节点(YOLO、FaceAnalysis)
  2. 本地 Qwen-VL 量化版,图文理解,判断画面是否符合漫剧分镜描述
  3. Python 批量检测脚本(读取成片目录,输出检测报告)
  4. FFmpeg 帧抽取工具,截取视频关键帧送入检测模型
  5. 自动分类脚本,把合格镜头、待复核镜头、直接丢弃镜头分到不同文件夹

质检链路逻辑: 批量遍历视频片段 → FFmpeg 抽取关键帧 → 人脸检测 + 肢体关键点检测 → Qwen-VL 语义校验(对比分镜 prompt) → 打分输出 JSON 报告 → 自动移动文件到对应目录,标记风险类型

话不多说,先上资源,边看边做,事半功倍:https://pan.quark.cn/s/6422b249063a

二、依赖安装

pip install opencv-python ultralytics facenet-pytorch torch pillow numpy

三、核心脚本 1:视频抽帧脚本(extract_keyframe.py)

作用:遍历漫剧镜头 mp4,每隔固定帧数抽一张图,送给视觉模型检测,避免逐帧检测速度太慢

import cv2
import os
def extract_frame(video_path, out_dir, interval=12):
    os.makedirs(out_dir, exist_ok=True)
    cap = cv2.VideoCapture(video_path)
    fps = cap.get(cv2.CAP_PROP_FPS)
    frame_count = 0
    save_idx = 0
    while True:
        ret, frame = cap.read()
        if not ret:
            break
        if frame_count % interval == 0:
            save_name = os.path.join(out_dir, f"frame_{save_idx}.jpg")
            cv2.imwrite(save_name, frame)
            save_idx += 1
        frame_count += 1
    cap.release()
    return save_idx
if __name__ == "__main__":
    video_folder = "./shot_video"
    frame_out = "./detect_frames"
    for fname in os.listdir(video_folder):
        if fname.endswith(".mp4"):
            video_p = os.path.join(video_folder, fname)
            frame_sub = os.path.join(frame_out, fname.replace(".mp4",""))
            extract_frame(video_p, frame_sub, interval=12)
    print("全部视频抽帧完成")

四、核心脚本 2:人脸 + 肢体缺陷检测(detect_defect.py)

用 YOLO 做人体、手部检测,搭配 FaceAnalysis 识别是否存在多个人脸、扭曲人脸、缺脸等问题,输出风险分数

import os
import json
from ultralytics import YOLO
from facenet_pytorch import MTCNN
from PIL import Image
model_yolo = YOLO("yolov8n.pt")
mtcnn = MTCNN(keep_all=True)
def check_image(img_path):
    img = Image.open(img_path).convert("RGB")
    # 人脸检测
    faces, probs = mtcnn.detect(img)
    face_num = 0
    if faces is not None:
        face_num = len(faces)
    # 目标检测
    res = model_yolo(img)
    box_info = res[0].boxes
    hand_count = 0
    person_count = 0
    for box in box_info:
        cls = int(box.cls)
        if cls == 0:
            person_count +=1
        if cls == 77:
            hand_count +=1
    risk = 0
    risk_msg = []
    if face_num ==0:
        risk += 30
        risk_msg.append("无对应人脸")
    if face_num >2:
        risk += 35
        risk_msg.append("人脸数量异常,多余人脸")
    if hand_count > 6:
        risk += 25
        risk_msg.append("手部数量异常,多指畸形")
    if person_count ==0:
        risk += 20
        risk_msg.append("画面无人物")
    return {
        "face_count": face_num,
        "person_count": person_count,
        "hand_count": hand_count,
        "risk_score": risk,
        "risk_msg": risk_msg
    }
if __name__ == "__main__":
    frame_root = "./detect_frames"
    report = {}
    for vid_name in os.listdir(frame_root):
        sub_p = os.path.join(frame_root, vid_name)
        if not os.path.isdir(sub_p):
            continue
        max_risk = 0
        msg_list = []
        for f in os.listdir(sub_p):
            if f.endswith(("jpg","png")):
                ret = check_image(os.path.join(sub_p,f))
                if ret["risk_score"]>max_risk:
                    max_risk = ret["risk_score"]
                msg_list.extend(ret["risk_msg"])
        report[vid_name] = {
            "max_risk": max_risk,
            "risk_info": list(set(msg_list))
        }
    with open("check_report.json","w",encoding="utf-8") as f:
        json.dump(report,f,ensure_ascii=False,indent=2)
    print("检测报告 check_report.json 已生成")

五、核心脚本 3:Qwen-VL 语义校验(scene_verify.py)

读取分镜 JSON 里的画面描述,和抽取出来的图片做语义比对,判断画面内容和剧本是否匹配(比如剧本写女主在房间,结果画面跑到户外)

import json
from transformers import AutoModelForVision2Seq, AutoProcessor
from PIL import Image
processor = AutoProcessor.from_pretrained("./qwen-vl-chat")
model = AutoModelForVision2Seq.from_pretrained(
    "./qwen-vl-chat",
    torch_dtype="auto",
    device_map="auto"
)
def verify_scene(img_path, prompt_desc):
    image = Image.open(img_path).convert("RGB")
    msg = [
        {"role":"user", "content": [
            {"type":"image","image":image},
            {"type":"text","text":f"判断这张图是否符合描述:{prompt_desc},只输出【符合】或者【不符合】,简短说明理由"}
        ]}
    ]
    text = processor.apply_chat_template(msg, tokenize=False, add_generation_prompt=True)
    inputs = processor(text=[text], images=[image], return_tensors="pt").to("cuda")
    out = model.generate(**inputs, max_new_tokens=64)
    res_text = processor.decode(out[0], skip_special_tokens=True)
    return res_text
if __name__ == "__main__":
    with open("comfy_storyboard.json","r",encoding="utf-8") as f:
        story_data = json.load(f)
    with open("check_report.json","r",encoding="utf-8") as f:
        base_report = json.load(f)
    final_report = {}
    for shot in story_data["shot_list"]:
        shot_id = shot["shot_id"]
        vid_key = f"shot_{shot_id}.mp4"
        if vid_key not in base_report:
            continue
        first_frame = f"./detect_frames/{vid_key}/frame_0.jpg"
        if os.path.exists(first_frame):
            vl_result = verify_scene(first_frame, shot["action_desc"])
            base_report[vid_key]["scene_check"] = vl_result
        final_report[vid_key] = base_report[vid_key]
    with open("final_audit_report.json","w",encoding="utf-8") as fw:
        json.dump(final_report, fw, ensure_ascii=False, indent=2)
    print("语义校验完成,生成最终审片报告")

六、文件自动分类脚本(auto_sort.py)

根据风险分值自动分拣镜头,不用人工手动筛选

import json
import shutil
import os
def make_dir(path):
    os.makedirs(path, exist_ok=True)
if __name__ == "__main__":
    src_dir = "./shot_video"
    pass_dir = "./video_pass"
    review_dir = "./video_review"
    bad_dir = "./video_bad"
    make_dir(pass_dir)
    make_dir(review_dir)
    make_dir(bad_dir)
    with open("final_audit_report.json","r",encoding="utf-8") as f:
        rep = json.load(f)
    for name, item in rep.items():
        src = os.path.join(src_dir, name)
        if not os.path.exists(src):
            continue
        score = item["max_risk"]
        if score < 10:
            shutil.copy(src, pass_dir)
        elif 10 <= score <30:
            shutil.copy(src, review_dir)
        else:
            shutil.copy(src, bad_dir)
    print("镜头分拣完成!合格/待复核/报废镜头已分类存放")

七、FFmpeg 辅助检测指令

检测视频是否存在黑帧

ffmpeg -i shot_01.mp4 -vf blackdetect=d=0.2:pix_th=0.1 -f null -

检测视频平均亮度,判断是否大面积黑屏发白

ffmpeg -i shot_01.mp4 -vf signalstats -f null -

批量提取音频,检测静音片段(台词丢失)

ffmpeg -i shot_01.mp4 -vn -af silencedetect -f null -

八、ComfyUI 可视化质检节点工作流说明

你可以把这套检测逻辑封装进 ComfyUI:

  1. 视频输出节点 → 抽帧节点
  2. 图片送入 YOLO 缺陷检测 + Qwen-VL 节点
  3. 输出风险标签,在界面上标红提示
  4. 搭配队列暂停逻辑:高风险镜头直接停止流水线,等待人工确认,避免继续渲染一堆废片

参数参考:

  • 风险阈值自定义:0~10 直接放行;10~30 人工复核;≥30 直接丢弃
  • 适合场景:女频对话漫剧、古言漫剧,对人脸一致性要求高的题材
  • 不适合:奇幻怪物、无人物空镜,这类场景需要修改检测规则

九、避坑要点

  1. Qwen-VL 显存占用偏高,8G 显卡建议用 GGUF 量化版,单独跑,不要和视频生成模型同时加载
  2. 抽帧间隔不要太小,间隔太小检测速度极慢;对话镜头 10~15 帧抽一张足够
  3. 检测只是辅助,不能完全替代人工,部分微妙的表情崩坏、画风跳变,模型识别不出来
  4. 可以自己扩充风险标签:画面有水印、文字、画风突变等,在 detect_defect.py 里增加判断逻辑

十、配套资源说明

资源包里包含:完整 ComfyUI 质检工作流 json、全套 py 脚本、yolov8n 权重、检测报告模板、批量执行 bat 脚本,直接导入 ComfyUI,对接你现有的漫剧渲染流水线,实现渲染完自动审片。

相关文章
|
5天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
5444 11
|
5天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
2064 6
|
7天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
7天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
20天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
9707 58
|
3天前
|
传感器 安全 区块链
Windows 电脑运行安卓应用教程:开源工具 ApkStart 双击 APK 即装、独立窗口运行
ApkStart 是一款开源Windows工具,让安卓APP像原生软件一样运行:双击APK即安装、生成真实图标、独立窗口启动、开始菜单可搜索。无需传统模拟器,内置QEMU运行时,支持数据互通、ARM兼容与命令行操作。(239字)
|
15天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
3306 9
|
20天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
6004 69
|
3天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
944 0