参考视频中途切了镜头,动作该怎么提取?

简介: 人工核定镜头边界,分别截片、提取骨架并记录人物与接收端用途,用合成切镜片核对命令的边界、帧数和时长。

人工核定镜头边界,分别截片、提取骨架并记录人物与接收端用途,用合成切镜片核对命令的边界、帧数和时长。

参考视频中途切了镜头,动作该怎么提取?先人工标出切点,把每个镜头截成独立文件,再逐镜提取、核看和送入生成端;需要保留的不同视角分别留下。AI视频创作平台猫斯卡开源的 ReShot 可提取骨架控制视频与关键点数据,但不会替你决定镜头边界,也不能凭跨切点的相同 id 保证是同一个人。

切点表是记录镜头起止位置、画面人物及下游用途的人工清单。它让每份动作参考都有明确归属,避免一整段提取后再猜“这组骨架属于哪一镜”。

以下按已核 ReShot 0.5.0 文档与源码给出应用方案。准备 ffmpeg、ffprobe,以及已安装 pose 依赖和权重的 ReShot 环境;依赖说明见使用文档。本文用合成切镜片验证截取与文件时间,不把色块测试当成人体提取或成片效果。

切点表怎样保留每一镜的动作和人物?

先逐镜观看原片,暂停在换画面的相邻两帧,填写“上一镜最后一帧”和“下一镜第一帧”的位置。本文建议用左闭右开的区间:开始时间包含,结束时间不包含;同一个边界只归入后一镜。淡化、叠化等过渡还要人工决定保留范围,不能套用硬切的边界判断。

下面是拟定任务的填写示例,人物和动作不是合成测试的观察结果;实际操作应替换全部时间与内容。

镜头 原片区间 视角与必须保留的动作 人工人物标签 文件前缀与接收端用途
01 [0,2) 秒 正面,甲抬手 甲,深色外套 shot01;生成镜头01,pose条件
02 [2,5) 秒 侧面,甲转身 甲,需重新核认 shot02;生成镜头02,pose条件
03 [5,7) 秒 全景,乙后退 乙,浅色上衣 shot03;生成镜头03,pose条件

这里保留三镜,而不是只挑一个动作。第二镜即使仍是甲,也要重新建立“人物标签—本镜 id”的对应。看不清就填“身份待核”,不要用“上一镜 id=0,所以这一镜也是甲”补答案。若一镜里出现多人,逐人增加映射;左右位置只是当时的位置。

ReShot 的 --pose-detect-every 文档提到切镜和不可靠骨架触发重检。这是提取内部的检测行为,不等于已经产出可用的切点表、独立镜头文件或演员身份映射。本文的拆镜由人工核定,ffmpeg 执行。

怎样截取每镜,又验证没有带入邻镜?

以下命令对应上表的时间,假设输入 reference.mp4 已是恒定 24 fps,截点落在帧边界。trim 选择原片时间范围,setpts 让各片从零计时,-an 去掉声音,-n 防止覆盖已有文件。

mkdir -p clips controls
ffmpeg -n -i reference.mp4 -map 0:v:0 -an \
  -vf 'trim=start=0:end=2,setpts=PTS-STARTPTS' \
  -r 24 -fps_mode cfr -c:v libx264 -pix_fmt yuv420p clips/shot01.mp4
ffmpeg -n -i reference.mp4 -map 0:v:0 -an \
  -vf 'trim=start=2:end=5,setpts=PTS-STARTPTS' \
  -r 24 -fps_mode cfr -c:v libx264 -pix_fmt yuv420p clips/shot02.mp4
ffmpeg -n -i reference.mp4 -map 0:v:0 -an \
  -vf 'trim=start=5:end=7,setpts=PTS-STARTPTS' \
  -r 24 -fps_mode cfr -c:v libx264 -pix_fmt yuv420p clips/shot03.mp4

-r 24 -fps_mode cfr 显式确定输出节奏。本例输入输出帧率相同;实际源片若是变帧率、不同帧率或截点不落帧边界,不能照搬这组帧数结论。应先核实际时间戳,再决定输出节奏;改帧率可能丢帧或补帧,需另查动作和时长。

每段都执行一次以下命令,将文件名换成对应镜头:

ffprobe -v error -select_streams v:0 -count_frames \
  -show_entries stream=width,height,r_frame_rate,nb_read_frames:format=duration \
  -of json clips/shot01.mp4

同时核看每段首尾画面:01 的最后一帧不能出现02,02的第一帧应已属于新视角。时长正确但混入邻镜,仍需退回截点表修正,重新导出该镜。

为检查命令,可以在空目录用下面这条命令造一个无人物样本,再运行上面的三条截取命令:

ffmpeg -n -f lavfi -i color=red:s=640x384:r=24:d=2 \
  -f lavfi -i color=blue:s=640x384:r=24:d=3 \
  -f lavfi -i color=green:s=640x384:r=24:d=2 \
  -filter_complex '[0:v][1:v][2:v]concat=n=3:v=1:a=0[v]' \
  -map '[v]' -c:v libx264 -pix_fmt yuv420p reference.mp4

本次 CPU 验证中,原片解码得到168帧,颜色切换出现在从0计数的第48、120帧;截片分别为48、72、48帧,容器时长为2、3、2秒。逐帧中心像素检查显示三段各自只含对应颜色。它支持这组输入和命令的边界、帧数与时长判断,不说明真人动作是否完整,也不能证明自动切镜可用。

每一镜怎样单独提取并保存控制?

在已经准备好的 ReShot 环境运行以下逐镜命令。若只是复现上述色块测试,到文件验证结束即可,色块没有可供提取的人体动作。

reshot clips/shot01.mp4 -o controls/shot01_pose.mp4 \
  --control pose --target h3 --keypoints controls/shot01_pose.json \
  --metrics controls/shot01_metrics.json
reshot clips/shot02.mp4 -o controls/shot02_pose.mp4 \
  --control pose --target h3 --keypoints controls/shot02_pose.json \
  --metrics controls/shot02_metrics.json
reshot clips/shot03.mp4 -o controls/shot03_pose.mp4 \
  --control pose --target h3 --keypoints controls/shot03_pose.json \
  --metrics controls/shot03_metrics.json

这些参数见CLI 实现。--control pose 选择骨架,--target h3 选择输出预设,后两项保存关键点和运行记录。它们不负责拼接三镜,也不提交生成任务。

同一前缀应对应同一镜的原片、控制片、JSON和metrics。逐镜补记输入区间、实际输出尺寸、fps、时长、人物标签与本镜 id、核看状态、接收端镜头号。不同文件里的 id=0 用 shot01/id=0、shot02/id=0 分别记录,不能合成一条跨镜演员轨迹。

关键点 JSON 的坐标属于其 width × height 处理帧。按骨架渲染实现,绘制到输出尺寸时分别缩放横纵坐标;自行叠画检查时也要处理这个尺寸差别。旧文档中的“中心裁剪”不能直接当成当前主路径行为:已核0.5.0读取路径使用缩放,不能凭输出尺寸变化认定原画面被裁边。

控制片怎样逐镜交到生成端?

先看原镜头和对应骨架片,确认谁抬手、转向哪边、谁后退,关键手脚是否可辨。黑屏或漏人先查该镜提取日志与原画面;骨架跟错人就先处理本镜对应关系,不把未核结果交到生成端。

按使用文档的 MiniMax H3 Fun ControlNet 接法,在已有可运行工作流中:

  1. 加载 Fun ControlNet Union 权重,给生成镜头01加载 shot01_pose.mp4,条件选 pose。
  2. 按任务表为这一镜另行提供角色、服装、灯光与风格描述;生成尺寸与控制片相同,或使用节点支持的缩放,不补黑边。
  3. 镜头02、03各加载自己的控制片并保留对应记录,逐镜核看动作与视角,再决定是否进入后期剪辑。

这里是文档接法,没有把本次合成切片试验扩成模型联调结果。拆镜让每次输入和失败位置清楚,并不保证生成动作正确或跨镜人物外观一致。

最终应交出三组独立控制任务和一张填写完整的切点表。若第二镜未通过,只重查第二镜的区间、人物对应与控制内容;其余镜头保留各自证据。这样既能保留多视角,也能明确下一位接手者该加载哪份文件、检查哪一个动作。

相关文章
|
24天前
|
编解码
从参考图到可复用门窗:3ds Max 建筑场景建模的比例校准与结构拆分
本文复盘3ds Max建筑建模全流程:从空场景导入参考图、双视图校准基础体块,到拆分构件、可编辑多边形细化立面,再到捕捉定位、壳修改器构建窗框与玻璃。强调比例随参照递进修正、操作模式影响结果、细节服从真实结构,重在可验证的建模逻辑而非快捷键堆砌。(239字)
163 3
|
数据安全/隐私保护 Docker 容器
minio
minio
1105 0
|
存储 数据采集 监控
【2022持续更新】大数据最全知识点整理-数据仓库篇
【2022持续更新】大数据最全知识点整理-数据仓库篇
2963 0
【2022持续更新】大数据最全知识点整理-数据仓库篇
|
23天前
|
编解码 人工智能 JSON
用MCP做视频,怎样选生成模型?
从当前模型目录出发,按参考素材、声音锚、上一镜帧来源与输出规格筛选兼容方案,再核提示词到出片的字段交接与成功条件。
|
25天前
|
人工智能 PyTorch 算法框架/工具
动作参考接进 ComfyUI 后画面发白,怎么检查?
检查 IMAGE 的形状、浮点类型、0–1 范围及 RGB 顺序,用灰阶和彩色合成数据定位数值转换问题。
|
27天前
|
编解码 人工智能 JSON
动作参考换了设置,怎样查清结果为什么不同?
把参考片、提取配置、原始深度、控制片与生成请求关联归档,再用只改一个因素的对照追查结果差异。提供 ReShot 0.5.0 命令与实验记录模板。
|
24天前
|
数据采集 缓存 人工智能
Qwen3.8-Max(最新版通义千问)功能亮点一览‌
Qwen3.8-Max不是一个"更大的模型",而是一把面向真实世界复杂任务的利剑——它用MoE稀疏架构破解了"大与快"的千年悖论,用百万上下文打破了"长与准"的固有矛盾,用原生工具调用打通了"想与做"的最后一公里。如果你是初次接触这款模型的开发者,不妨先前往‌阿里云百炼大模型服务平台页面‌,一键浏览模型全貌;若您需要生产级部署、智能体构建或企业定制,‌阿里云百炼大模型服务平台页面‌更提供了从API调用到应用编排的全链路工具链。在通往ASI的路上,Qwen3.8-Max正以旗舰之姿,为每一位开发者和企业铺就通往智能未来的高速通道。
368 2
|
27天前
|
编解码 人工智能
动作参考提取成功了,为什么生成结果还是不对?
文件写出不等于动作复现。按文件、控制信息、生成入口和成片动作四层验收,并用走廊打戏的已有失败镜头说明如何退回排查。
|
1月前
|
人工智能 JSON 数据格式
给AI视频准备动作参考时,手脚为什么时有时无?
给 AI 视频提取动作参考时,骨架手脚忽隐忽现应先查原片遮挡、人物检测与关节分数,再比较默认稳定和原始输出。本文给出 ReShot 0.5.0 的对照命令、关键点观察方法及已有实验的适用范围。
|
1月前
|
人工智能 JSON 数据格式
给AI视频准备动作参考时,手脚为什么时有时无?
给 AI 视频提取动作参考时,骨架手脚忽隐忽现应先查原片遮挡、人物检测与关节分数,再比较默认稳定和原始输出。本文给出 ReShot 0.5.0 的对照命令、关键点观察方法及已有实验的适用范围。

热门文章

最新文章