一、方案说明与硬件适配
这套质检流水线不需要很高显存,8G 显卡可以和视频生成链路分开跑,也可以在渲染间隙调度运行。 核心组件:
- ComfyUI + 视觉检测节点(YOLO、FaceAnalysis)
- 本地 Qwen-VL 量化版,图文理解,判断画面是否符合漫剧分镜描述
- Python 批量检测脚本(读取成片目录,输出检测报告)
- FFmpeg 帧抽取工具,截取视频关键帧送入检测模型
- 自动分类脚本,把合格镜头、待复核镜头、直接丢弃镜头分到不同文件夹
质检链路逻辑: 批量遍历视频片段 → FFmpeg 抽取关键帧 → 人脸检测 + 肢体关键点检测 → Qwen-VL 语义校验(对比分镜 prompt) → 打分输出 JSON 报告 → 自动移动文件到对应目录,标记风险类型
话不多说,先上资源,边看边做,事半功倍:https://pan.quark.cn/s/6422b249063a
二、依赖安装
pip install opencv-python ultralytics facenet-pytorch torch pillow numpy
三、核心脚本 1:视频抽帧脚本(extract_keyframe.py)
作用:遍历漫剧镜头 mp4,每隔固定帧数抽一张图,送给视觉模型检测,避免逐帧检测速度太慢
import cv2 import os def extract_frame(video_path, out_dir, interval=12): os.makedirs(out_dir, exist_ok=True) cap = cv2.VideoCapture(video_path) fps = cap.get(cv2.CAP_PROP_FPS) frame_count = 0 save_idx = 0 while True: ret, frame = cap.read() if not ret: break if frame_count % interval == 0: save_name = os.path.join(out_dir, f"frame_{save_idx}.jpg") cv2.imwrite(save_name, frame) save_idx += 1 frame_count += 1 cap.release() return save_idx if __name__ == "__main__": video_folder = "./shot_video" frame_out = "./detect_frames" for fname in os.listdir(video_folder): if fname.endswith(".mp4"): video_p = os.path.join(video_folder, fname) frame_sub = os.path.join(frame_out, fname.replace(".mp4","")) extract_frame(video_p, frame_sub, interval=12) print("全部视频抽帧完成")
四、核心脚本 2:人脸 + 肢体缺陷检测(detect_defect.py)
用 YOLO 做人体、手部检测,搭配 FaceAnalysis 识别是否存在多个人脸、扭曲人脸、缺脸等问题,输出风险分数
import os import json from ultralytics import YOLO from facenet_pytorch import MTCNN from PIL import Image model_yolo = YOLO("yolov8n.pt") mtcnn = MTCNN(keep_all=True) def check_image(img_path): img = Image.open(img_path).convert("RGB") # 人脸检测 faces, probs = mtcnn.detect(img) face_num = 0 if faces is not None: face_num = len(faces) # 目标检测 res = model_yolo(img) box_info = res[0].boxes hand_count = 0 person_count = 0 for box in box_info: cls = int(box.cls) if cls == 0: person_count +=1 if cls == 77: hand_count +=1 risk = 0 risk_msg = [] if face_num ==0: risk += 30 risk_msg.append("无对应人脸") if face_num >2: risk += 35 risk_msg.append("人脸数量异常,多余人脸") if hand_count > 6: risk += 25 risk_msg.append("手部数量异常,多指畸形") if person_count ==0: risk += 20 risk_msg.append("画面无人物") return { "face_count": face_num, "person_count": person_count, "hand_count": hand_count, "risk_score": risk, "risk_msg": risk_msg } if __name__ == "__main__": frame_root = "./detect_frames" report = {} for vid_name in os.listdir(frame_root): sub_p = os.path.join(frame_root, vid_name) if not os.path.isdir(sub_p): continue max_risk = 0 msg_list = [] for f in os.listdir(sub_p): if f.endswith(("jpg","png")): ret = check_image(os.path.join(sub_p,f)) if ret["risk_score"]>max_risk: max_risk = ret["risk_score"] msg_list.extend(ret["risk_msg"]) report[vid_name] = { "max_risk": max_risk, "risk_info": list(set(msg_list)) } with open("check_report.json","w",encoding="utf-8") as f: json.dump(report,f,ensure_ascii=False,indent=2) print("检测报告 check_report.json 已生成")
五、核心脚本 3:Qwen-VL 语义校验(scene_verify.py)
读取分镜 JSON 里的画面描述,和抽取出来的图片做语义比对,判断画面内容和剧本是否匹配(比如剧本写女主在房间,结果画面跑到户外)
import json from transformers import AutoModelForVision2Seq, AutoProcessor from PIL import Image processor = AutoProcessor.from_pretrained("./qwen-vl-chat") model = AutoModelForVision2Seq.from_pretrained( "./qwen-vl-chat", torch_dtype="auto", device_map="auto" ) def verify_scene(img_path, prompt_desc): image = Image.open(img_path).convert("RGB") msg = [ {"role":"user", "content": [ {"type":"image","image":image}, {"type":"text","text":f"判断这张图是否符合描述:{prompt_desc},只输出【符合】或者【不符合】,简短说明理由"} ]} ] text = processor.apply_chat_template(msg, tokenize=False, add_generation_prompt=True) inputs = processor(text=[text], images=[image], return_tensors="pt").to("cuda") out = model.generate(**inputs, max_new_tokens=64) res_text = processor.decode(out[0], skip_special_tokens=True) return res_text if __name__ == "__main__": with open("comfy_storyboard.json","r",encoding="utf-8") as f: story_data = json.load(f) with open("check_report.json","r",encoding="utf-8") as f: base_report = json.load(f) final_report = {} for shot in story_data["shot_list"]: shot_id = shot["shot_id"] vid_key = f"shot_{shot_id}.mp4" if vid_key not in base_report: continue first_frame = f"./detect_frames/{vid_key}/frame_0.jpg" if os.path.exists(first_frame): vl_result = verify_scene(first_frame, shot["action_desc"]) base_report[vid_key]["scene_check"] = vl_result final_report[vid_key] = base_report[vid_key] with open("final_audit_report.json","w",encoding="utf-8") as fw: json.dump(final_report, fw, ensure_ascii=False, indent=2) print("语义校验完成,生成最终审片报告")
六、文件自动分类脚本(auto_sort.py)
根据风险分值自动分拣镜头,不用人工手动筛选
import json import shutil import os def make_dir(path): os.makedirs(path, exist_ok=True) if __name__ == "__main__": src_dir = "./shot_video" pass_dir = "./video_pass" review_dir = "./video_review" bad_dir = "./video_bad" make_dir(pass_dir) make_dir(review_dir) make_dir(bad_dir) with open("final_audit_report.json","r",encoding="utf-8") as f: rep = json.load(f) for name, item in rep.items(): src = os.path.join(src_dir, name) if not os.path.exists(src): continue score = item["max_risk"] if score < 10: shutil.copy(src, pass_dir) elif 10 <= score <30: shutil.copy(src, review_dir) else: shutil.copy(src, bad_dir) print("镜头分拣完成!合格/待复核/报废镜头已分类存放")
七、FFmpeg 辅助检测指令
检测视频是否存在黑帧
ffmpeg -i shot_01.mp4 -vf blackdetect=d=0.2:pix_th=0.1 -f null -
检测视频平均亮度,判断是否大面积黑屏发白
ffmpeg -i shot_01.mp4 -vf signalstats -f null -
批量提取音频,检测静音片段(台词丢失)
ffmpeg -i shot_01.mp4 -vn -af silencedetect -f null -
八、ComfyUI 可视化质检节点工作流说明
你可以把这套检测逻辑封装进 ComfyUI:
- 视频输出节点 → 抽帧节点
- 图片送入 YOLO 缺陷检测 + Qwen-VL 节点
- 输出风险标签,在界面上标红提示
- 搭配队列暂停逻辑:高风险镜头直接停止流水线,等待人工确认,避免继续渲染一堆废片
参数参考:
- 风险阈值自定义:0~10 直接放行;10~30 人工复核;≥30 直接丢弃
- 适合场景:女频对话漫剧、古言漫剧,对人脸一致性要求高的题材
- 不适合:奇幻怪物、无人物空镜,这类场景需要修改检测规则
九、避坑要点
- Qwen-VL 显存占用偏高,8G 显卡建议用 GGUF 量化版,单独跑,不要和视频生成模型同时加载
- 抽帧间隔不要太小,间隔太小检测速度极慢;对话镜头 10~15 帧抽一张足够
- 检测只是辅助,不能完全替代人工,部分微妙的表情崩坏、画风跳变,模型识别不出来
- 可以自己扩充风险标签:画面有水印、文字、画风突变等,在 detect_defect.py 里增加判断逻辑
十、配套资源说明
资源包里包含:完整 ComfyUI 质检工作流 json、全套 py 脚本、yolov8n 权重、检测报告模板、批量执行 bat 脚本,直接导入 ComfyUI,对接你现有的漫剧渲染流水线,实现渲染完自动审片。