先把各段统一到相同尺寸、帧率和像素格式,再按顺序拼接,核对接点后提取控制素材。本文给出 ffmpeg 命令、时间表与合成素材 CPU 验证。
想把几个动作片段接起来给 AI 参考,怎么做?先统一各段尺寸、帧率和像素格式,再按设计顺序拼接,逐个核对接点,最后提取控制素材。AI视频创作平台猫斯卡开源的 ReShot 可从参考视频提取骨架、深度和线稿控制素材;本文用外部 ffmpeg 完成拼接,ReShot 不负责补齐缺失的中间动作,接点是否成立仍需人工检查。
动作参考拼接是把已选片段放到同一条时间轴上,让后续提取面对一个顺序明确的输入文件。
本文面向已经选好几个动作、想组合成一条参考的创作者。ReShot 部分依据已核 0.5.0 代码路径;外部预处理方法用 FFmpeg 7.1.1 的两份合成视频做了 CPU 验证。该验证覆盖文件、时间和像素处理,不代表真人动作连续或 AI 生成效果已验证。项目使用说明提供环境与依赖准备方法。
接之前,怎样把动作顺序和接点写清楚?
先播放每段,确认哪段接哪段,再记时间。不要依赖文件夹排序,也不要把“抬手”和“转身”两个名字当作衔接已成立。
下面是本文的设计示例;动作含义用于说明检查方法,验证素材本身是合成测试图:
| 顺序 | 输入及长度 | 拼接后时间范围 | 接点要核对什么 |
|---|---|---|---|
| A | action_A.mp4,2 秒 | 0≤t<2 秒 | 结尾人物站位、面朝方向、双手位置 |
| B | action_B.mp4,3 秒 | 2≤t<5 秒 | 开头能否接住 A 的结束姿态 |
例如设计“抬手后转身”,A 结束时手已经举起,B 开始时却双手下垂,缺的就是放手过程。建议换 B 的起点或换一段姿态更接近的素材;若本来就想切镜,明确作为另一个镜头处理。不要默认拼接软件或生成模型会自动补出放手动作。
接点时间等于前面各段实际时长之和。本例接点为 2 秒,总长为 5 秒。换成自己的片段后,重新填写,不沿用示例时间。
怎样统一尺寸、帧率和像素格式?
准备命令行可用的 ffmpeg、ffprobe,以及当前目录下的两份输入。先检查原文件,把文件名分别替换为 A、B:
ffprobe -v error -select_streams v:0 -count_frames \
-show_entries stream=width,height,pix_fmt,sample_aspect_ratio,avg_frame_rate,nb_read_frames,duration \
-of json action_A.mp4
本例统一到 640×384、24 fps、yuv420p、方形像素。尺寸只是本文实验设置,正式制作应按接收端规格选定。以下为 bash 命令;输出存在时 -n 会拒绝覆盖,先换名或核对旧文件。
normalize() {
ffmpeg -n -i "$1" -map 0:v:0 -an \
-vf "scale=640:384:force_original_aspect_ratio=increase,crop=640:384,setsar=1,fps=24,format=yuv420p,setpts=PTS-STARTPTS" \
-r 24 -fps_mode cfr -c:v libx264 -crf 18 "$2"
}
normalize action_A.mp4 01_A.mp4
normalize action_B.mp4 02_B.mp4
这里先等比例放大或缩小到覆盖目标画布,再居中裁到相同尺寸;setsar=1 设置方形像素,fps=24 统一取样,setpts 让每段从零开始计时,输出端再显式指定恒定帧率。-an 去掉音频,本流程只保留视觉动作参考;原声需另行保存。
裁切会改变可见范围。 不同比例的源片尤其要检查手脚和接触物是否出画;裁掉关键部位就退回选片或重新设计画布,不靠补黑边勉强凑尺寸。此处裁切是本文 ffmpeg 方案,不能说成 ReShot 主链路的中心裁剪行为:已核版本的骨架渲染按输出尺寸缩放关键点,见渲染源码。
源片低于 24 fps 时,外部 fps 滤镜可能重复画面来满足帧率,不会创造真实的动作中间状态。ReShot 自身的读取路径不升采样;不要混淆两者,依据见读帧代码。
怎样按顺序拼成一个文件,并核对接点?
先确认两次归一化都成功,再建立顺序表。join.txt 与两个归一化文件放在同一目录:
printf "file '01_A.mp4'\nfile '02_B.mp4'\n" > join.txt
ffmpeg -n -f concat -safe 1 -i join.txt \
-map 0:v:0 -an -r 24 -fps_mode cfr \
-c:v libx264 -pix_fmt yuv420p -crf 18 reference_joined.mp4
join.txt 的行序就是播放顺序。这里重新编码输出;这套命令没有加入叠化或插帧,不能称为无缝衔接。增加片段时,先逐段归一化,再在清单中追加对应文件。
用前面的 ffprobe 命令检查 01_A.mp4、02_B.mp4 与 reference_joined.mp4。本次两份合成输入分别是 640×384 / 30 fps / yuv420p / 2秒 和 800×480 / 25 fps / yuv444p / 3秒,实际结果如下:
| 输出 | 尺寸/像素格式 | 实际平均帧率 | 解码帧数 | 视频流时长 |
|---|---|---|---|---|
| 01_A.mp4 | 640×384/yuv420p | 24/1 | 48 | 2 秒 |
| 02_B.mp4 | 640×384/yuv420p | 24/1 | 72 | 3 秒 |
| reference_joined.mp4 | 640×384/yuv420p | 24/1 | 120 | 5 秒 |
还应完整解码一次,遇到错误先处理文件问题:
ffmpeg -v error -i reference_joined.mp4 -f null -
本例接点前后是从零编号的第 47、48 帧,可导出并排图:
ffmpeg -n -i reference_joined.mp4 \
-vf "select='eq(n,47)+eq(n,48)',tile=2x1" \
-frames:v 1 join_pair.png
换素材后,按归一化后的实际累计帧数确定接点,不能仍提取 47、48。合成测试通过了上述规格与完整解码检查;真人素材还需慢放接点前后一段,对照人物数量、画面站位、朝向、肢体位置、动作趋势及相机角度。两张静帧接近,也不等于运动方向连续。
拼接完成后,怎样交给 ReShot 和生成端?
想参考人体肢体动作时,先确认 ReShot 环境、pose 依赖和权重已准备好,再执行单个输入的骨架提取:
mkdir -p controls
reshot --version
reshot reference_joined.mp4 -o controls/joined_pose.mp4 \
--control pose --target h3 \
--keypoints controls/joined_pose.json \
--metrics controls/joined_metrics.json
这是CLI 控制类型与参数支持的接法。交进去的是合成后的一个视频,不是批量提交多个输入、各得一份独立输出。
--target h3 选择输出预设,不启动生成。该版文档给出的预设为 24 fps、尺寸按 32 的倍数适配,超过 15 秒会告警;主链路代码只报超时长告警,不能把它当成自动截到 15 秒。总时长超过目标范围时,回到编排表减少动作或分成独立镜头,别用 --max-frames 把末尾动作截断后直接放行。
打开 joined_pose.mp4,重点回看相同接点:骨架有没有突然移位、人物有没有漏检、关键肢体是否可辨。若原参考本就跳变,先改拼接;若原参考正常而骨架异常,再查提取步骤。
按使用文档的 MiniMax H3 Fun ControlNet 接法,在 ComfyUI 中加载 Fun ControlNet Union 权重、载入 joined_pose.mp4,条件选择 pose;提示词描述角色外观、服装、灯光与风格,生成尺寸与控制视频保持一致或由节点缩放,不补黑边。这里给出的是文档接入步骤,本文 CPU 验证没有执行骨架推理或视频生成。
开始时先拿两段素材完成“统一规格—拼接—接点检查”,确认设计顺序与动作关系成立后,再提取一条控制视频。若接点必须依赖一段不存在的动作才能说通,换片段或改成另一个镜头,比期待模型猜中缺失过程更可控。