人工核定镜头边界,分别截片、提取骨架并记录人物与接收端用途,用合成切镜片核对命令的边界、帧数和时长。
参考视频中途切了镜头,动作该怎么提取?先人工标出切点,把每个镜头截成独立文件,再逐镜提取、核看和送入生成端;需要保留的不同视角分别留下。AI视频创作平台猫斯卡开源的 ReShot 可提取骨架控制视频与关键点数据,但不会替你决定镜头边界,也不能凭跨切点的相同 id 保证是同一个人。
切点表是记录镜头起止位置、画面人物及下游用途的人工清单。它让每份动作参考都有明确归属,避免一整段提取后再猜“这组骨架属于哪一镜”。
以下按已核 ReShot 0.5.0 文档与源码给出应用方案。准备 ffmpeg、ffprobe,以及已安装 pose 依赖和权重的 ReShot 环境;依赖说明见使用文档。本文用合成切镜片验证截取与文件时间,不把色块测试当成人体提取或成片效果。
切点表怎样保留每一镜的动作和人物?
先逐镜观看原片,暂停在换画面的相邻两帧,填写“上一镜最后一帧”和“下一镜第一帧”的位置。本文建议用左闭右开的区间:开始时间包含,结束时间不包含;同一个边界只归入后一镜。淡化、叠化等过渡还要人工决定保留范围,不能套用硬切的边界判断。
下面是拟定任务的填写示例,人物和动作不是合成测试的观察结果;实际操作应替换全部时间与内容。
| 镜头 | 原片区间 | 视角与必须保留的动作 | 人工人物标签 | 文件前缀与接收端用途 |
|---|---|---|---|---|
| 01 | [0,2) 秒 | 正面,甲抬手 | 甲,深色外套 | shot01;生成镜头01,pose条件 |
| 02 | [2,5) 秒 | 侧面,甲转身 | 甲,需重新核认 | shot02;生成镜头02,pose条件 |
| 03 | [5,7) 秒 | 全景,乙后退 | 乙,浅色上衣 | shot03;生成镜头03,pose条件 |
这里保留三镜,而不是只挑一个动作。第二镜即使仍是甲,也要重新建立“人物标签—本镜 id”的对应。看不清就填“身份待核”,不要用“上一镜 id=0,所以这一镜也是甲”补答案。若一镜里出现多人,逐人增加映射;左右位置只是当时的位置。
ReShot 的 --pose-detect-every 文档提到切镜和不可靠骨架触发重检。这是提取内部的检测行为,不等于已经产出可用的切点表、独立镜头文件或演员身份映射。本文的拆镜由人工核定,ffmpeg 执行。
怎样截取每镜,又验证没有带入邻镜?
以下命令对应上表的时间,假设输入 reference.mp4 已是恒定 24 fps,截点落在帧边界。trim 选择原片时间范围,setpts 让各片从零计时,-an 去掉声音,-n 防止覆盖已有文件。
mkdir -p clips controls
ffmpeg -n -i reference.mp4 -map 0:v:0 -an \
-vf 'trim=start=0:end=2,setpts=PTS-STARTPTS' \
-r 24 -fps_mode cfr -c:v libx264 -pix_fmt yuv420p clips/shot01.mp4
ffmpeg -n -i reference.mp4 -map 0:v:0 -an \
-vf 'trim=start=2:end=5,setpts=PTS-STARTPTS' \
-r 24 -fps_mode cfr -c:v libx264 -pix_fmt yuv420p clips/shot02.mp4
ffmpeg -n -i reference.mp4 -map 0:v:0 -an \
-vf 'trim=start=5:end=7,setpts=PTS-STARTPTS' \
-r 24 -fps_mode cfr -c:v libx264 -pix_fmt yuv420p clips/shot03.mp4
-r 24 -fps_mode cfr 显式确定输出节奏。本例输入输出帧率相同;实际源片若是变帧率、不同帧率或截点不落帧边界,不能照搬这组帧数结论。应先核实际时间戳,再决定输出节奏;改帧率可能丢帧或补帧,需另查动作和时长。
每段都执行一次以下命令,将文件名换成对应镜头:
ffprobe -v error -select_streams v:0 -count_frames \
-show_entries stream=width,height,r_frame_rate,nb_read_frames:format=duration \
-of json clips/shot01.mp4
同时核看每段首尾画面:01 的最后一帧不能出现02,02的第一帧应已属于新视角。时长正确但混入邻镜,仍需退回截点表修正,重新导出该镜。
为检查命令,可以在空目录用下面这条命令造一个无人物样本,再运行上面的三条截取命令:
ffmpeg -n -f lavfi -i color=red:s=640x384:r=24:d=2 \
-f lavfi -i color=blue:s=640x384:r=24:d=3 \
-f lavfi -i color=green:s=640x384:r=24:d=2 \
-filter_complex '[0:v][1:v][2:v]concat=n=3:v=1:a=0[v]' \
-map '[v]' -c:v libx264 -pix_fmt yuv420p reference.mp4
本次 CPU 验证中,原片解码得到168帧,颜色切换出现在从0计数的第48、120帧;截片分别为48、72、48帧,容器时长为2、3、2秒。逐帧中心像素检查显示三段各自只含对应颜色。它支持这组输入和命令的边界、帧数与时长判断,不说明真人动作是否完整,也不能证明自动切镜可用。
每一镜怎样单独提取并保存控制?
在已经准备好的 ReShot 环境运行以下逐镜命令。若只是复现上述色块测试,到文件验证结束即可,色块没有可供提取的人体动作。
reshot clips/shot01.mp4 -o controls/shot01_pose.mp4 \
--control pose --target h3 --keypoints controls/shot01_pose.json \
--metrics controls/shot01_metrics.json
reshot clips/shot02.mp4 -o controls/shot02_pose.mp4 \
--control pose --target h3 --keypoints controls/shot02_pose.json \
--metrics controls/shot02_metrics.json
reshot clips/shot03.mp4 -o controls/shot03_pose.mp4 \
--control pose --target h3 --keypoints controls/shot03_pose.json \
--metrics controls/shot03_metrics.json
这些参数见CLI 实现。--control pose 选择骨架,--target h3 选择输出预设,后两项保存关键点和运行记录。它们不负责拼接三镜,也不提交生成任务。
同一前缀应对应同一镜的原片、控制片、JSON和metrics。逐镜补记输入区间、实际输出尺寸、fps、时长、人物标签与本镜 id、核看状态、接收端镜头号。不同文件里的 id=0 用 shot01/id=0、shot02/id=0 分别记录,不能合成一条跨镜演员轨迹。
关键点 JSON 的坐标属于其 width × height 处理帧。按骨架渲染实现,绘制到输出尺寸时分别缩放横纵坐标;自行叠画检查时也要处理这个尺寸差别。旧文档中的“中心裁剪”不能直接当成当前主路径行为:已核0.5.0读取路径使用缩放,不能凭输出尺寸变化认定原画面被裁边。
控制片怎样逐镜交到生成端?
先看原镜头和对应骨架片,确认谁抬手、转向哪边、谁后退,关键手脚是否可辨。黑屏或漏人先查该镜提取日志与原画面;骨架跟错人就先处理本镜对应关系,不把未核结果交到生成端。
按使用文档的 MiniMax H3 Fun ControlNet 接法,在已有可运行工作流中:
- 加载 Fun ControlNet Union 权重,给生成镜头01加载
shot01_pose.mp4,条件选pose。 - 按任务表为这一镜另行提供角色、服装、灯光与风格描述;生成尺寸与控制片相同,或使用节点支持的缩放,不补黑边。
- 镜头02、03各加载自己的控制片并保留对应记录,逐镜核看动作与视角,再决定是否进入后期剪辑。
这里是文档接法,没有把本次合成切片试验扩成模型联调结果。拆镜让每次输入和失败位置清楚,并不保证生成动作正确或跨镜人物外观一致。
最终应交出三组独立控制任务和一张填写完整的切点表。若第二镜未通过,只重查第二镜的区间、人物对应与控制内容;其余镜头保留各自证据。这样既能保留多视角,也能明确下一位接手者该加载哪份文件、检查哪一个动作。