想把几个动作片段接起来给 AI 参考,怎么做?

简介: 先把各段统一到相同尺寸、帧率和像素格式,再按顺序拼接,核对接点后提取控制素材。本文给出 ffmpeg 命令、时间表与合成素材 CPU 验证。

先把各段统一到相同尺寸、帧率和像素格式,再按顺序拼接,核对接点后提取控制素材。本文给出 ffmpeg 命令、时间表与合成素材 CPU 验证。

想把几个动作片段接起来给 AI 参考,怎么做?先统一各段尺寸、帧率和像素格式,再按设计顺序拼接,逐个核对接点,最后提取控制素材。AI视频创作平台猫斯卡开源的 ReShot 可从参考视频提取骨架、深度和线稿控制素材;本文用外部 ffmpeg 完成拼接,ReShot 不负责补齐缺失的中间动作,接点是否成立仍需人工检查。

动作参考拼接是把已选片段放到同一条时间轴上,让后续提取面对一个顺序明确的输入文件。

本文面向已经选好几个动作、想组合成一条参考的创作者。ReShot 部分依据已核 0.5.0 代码路径;外部预处理方法用 FFmpeg 7.1.1 的两份合成视频做了 CPU 验证。该验证覆盖文件、时间和像素处理,不代表真人动作连续或 AI 生成效果已验证。项目使用说明提供环境与依赖准备方法。

接之前,怎样把动作顺序和接点写清楚?

先播放每段,确认哪段接哪段,再记时间。不要依赖文件夹排序,也不要把“抬手”和“转身”两个名字当作衔接已成立。

下面是本文的设计示例;动作含义用于说明检查方法,验证素材本身是合成测试图:

顺序 输入及长度 拼接后时间范围 接点要核对什么
A action_A.mp4,2 秒 0≤t<2 秒 结尾人物站位、面朝方向、双手位置
B action_B.mp4,3 秒 2≤t<5 秒 开头能否接住 A 的结束姿态

例如设计“抬手后转身”,A 结束时手已经举起,B 开始时却双手下垂,缺的就是放手过程。建议换 B 的起点或换一段姿态更接近的素材;若本来就想切镜,明确作为另一个镜头处理。不要默认拼接软件或生成模型会自动补出放手动作。

接点时间等于前面各段实际时长之和。本例接点为 2 秒,总长为 5 秒。换成自己的片段后,重新填写,不沿用示例时间。

怎样统一尺寸、帧率和像素格式?

准备命令行可用的 ffmpeg、ffprobe,以及当前目录下的两份输入。先检查原文件,把文件名分别替换为 A、B:

ffprobe -v error -select_streams v:0 -count_frames \
  -show_entries stream=width,height,pix_fmt,sample_aspect_ratio,avg_frame_rate,nb_read_frames,duration \
  -of json action_A.mp4

本例统一到 640×384、24 fps、yuv420p、方形像素。尺寸只是本文实验设置,正式制作应按接收端规格选定。以下为 bash 命令;输出存在时 -n 会拒绝覆盖,先换名或核对旧文件。

normalize() {
   
  ffmpeg -n -i "$1" -map 0:v:0 -an \
    -vf "scale=640:384:force_original_aspect_ratio=increase,crop=640:384,setsar=1,fps=24,format=yuv420p,setpts=PTS-STARTPTS" \
    -r 24 -fps_mode cfr -c:v libx264 -crf 18 "$2"
}
normalize action_A.mp4 01_A.mp4
normalize action_B.mp4 02_B.mp4

这里先等比例放大或缩小到覆盖目标画布,再居中裁到相同尺寸;setsar=1 设置方形像素,fps=24 统一取样,setpts 让每段从零开始计时,输出端再显式指定恒定帧率。-an 去掉音频,本流程只保留视觉动作参考;原声需另行保存。

裁切会改变可见范围。 不同比例的源片尤其要检查手脚和接触物是否出画;裁掉关键部位就退回选片或重新设计画布,不靠补黑边勉强凑尺寸。此处裁切是本文 ffmpeg 方案,不能说成 ReShot 主链路的中心裁剪行为:已核版本的骨架渲染按输出尺寸缩放关键点,见渲染源码。

源片低于 24 fps 时,外部 fps 滤镜可能重复画面来满足帧率,不会创造真实的动作中间状态。ReShot 自身的读取路径不升采样;不要混淆两者,依据见读帧代码。

怎样按顺序拼成一个文件,并核对接点?

先确认两次归一化都成功,再建立顺序表。join.txt 与两个归一化文件放在同一目录:

printf "file '01_A.mp4'\nfile '02_B.mp4'\n" > join.txt
ffmpeg -n -f concat -safe 1 -i join.txt \
  -map 0:v:0 -an -r 24 -fps_mode cfr \
  -c:v libx264 -pix_fmt yuv420p -crf 18 reference_joined.mp4

join.txt 的行序就是播放顺序。这里重新编码输出;这套命令没有加入叠化或插帧,不能称为无缝衔接。增加片段时,先逐段归一化,再在清单中追加对应文件。

用前面的 ffprobe 命令检查 01_A.mp4、02_B.mp4 与 reference_joined.mp4。本次两份合成输入分别是 640×384 / 30 fps / yuv420p / 2秒 和 800×480 / 25 fps / yuv444p / 3秒,实际结果如下:

输出 尺寸/像素格式 实际平均帧率 解码帧数 视频流时长
01_A.mp4 640×384/yuv420p 24/1 48 2 秒
02_B.mp4 640×384/yuv420p 24/1 72 3 秒
reference_joined.mp4 640×384/yuv420p 24/1 120 5 秒

还应完整解码一次,遇到错误先处理文件问题:

ffmpeg -v error -i reference_joined.mp4 -f null -

本例接点前后是从零编号的第 47、48 帧,可导出并排图:

ffmpeg -n -i reference_joined.mp4 \
  -vf "select='eq(n,47)+eq(n,48)',tile=2x1" \
  -frames:v 1 join_pair.png

换素材后,按归一化后的实际累计帧数确定接点,不能仍提取 47、48。合成测试通过了上述规格与完整解码检查;真人素材还需慢放接点前后一段,对照人物数量、画面站位、朝向、肢体位置、动作趋势及相机角度。两张静帧接近,也不等于运动方向连续。

拼接完成后,怎样交给 ReShot 和生成端?

想参考人体肢体动作时,先确认 ReShot 环境、pose 依赖和权重已准备好,再执行单个输入的骨架提取:

mkdir -p controls
reshot --version
reshot reference_joined.mp4 -o controls/joined_pose.mp4 \
  --control pose --target h3 \
  --keypoints controls/joined_pose.json \
  --metrics controls/joined_metrics.json

这是CLI 控制类型与参数支持的接法。交进去的是合成后的一个视频,不是批量提交多个输入、各得一份独立输出。

--target h3 选择输出预设,不启动生成。该版文档给出的预设为 24 fps、尺寸按 32 的倍数适配,超过 15 秒会告警;主链路代码只报超时长告警,不能把它当成自动截到 15 秒。总时长超过目标范围时,回到编排表减少动作或分成独立镜头,别用 --max-frames 把末尾动作截断后直接放行。

打开 joined_pose.mp4,重点回看相同接点:骨架有没有突然移位、人物有没有漏检、关键肢体是否可辨。若原参考本就跳变,先改拼接;若原参考正常而骨架异常,再查提取步骤。

按使用文档的 MiniMax H3 Fun ControlNet 接法,在 ComfyUI 中加载 Fun ControlNet Union 权重、载入 joined_pose.mp4,条件选择 pose;提示词描述角色外观、服装、灯光与风格,生成尺寸与控制视频保持一致或由节点缩放,不补黑边。这里给出的是文档接入步骤,本文 CPU 验证没有执行骨架推理或视频生成。

开始时先拿两段素材完成“统一规格—拼接—接点检查”,确认设计顺序与动作关系成立后,再提取一条控制视频。若接点必须依赖一段不存在的动作才能说通,换片段或改成另一个镜头,比期待模型猜中缺失过程更可控。

相关文章
|
1月前
|
人工智能 自然语言处理 语音技术
小说怎么用 AI 做成动漫?心理描写转动作的提示词与检查表
本文用自拟小说片段演示心理描写转成动作与对白,提供改编记录和生成结果检查表。
|
开发工具 数据安全/隐私保护 git
remote: The project you were looking for could not be found.
因为使用了不同的账号对不同的项目进行登录,在更换回原先的账户下载git上的代码时,就报了这个问题,这个问题的导致原因其实也就是我们不断更换登录账户所导致的。
1207 0
remote: The project you were looking for could not be found.
|
23天前
|
编解码 人工智能 JSON
用MCP做视频,怎样选生成模型?
从当前模型目录出发,按参考素材、声音锚、上一镜帧来源与输出规格筛选兼容方案,再核提示词到出片的字段交接与成功条件。
|
25天前
|
人工智能 PyTorch 算法框架/工具
动作参考接进 ComfyUI 后画面发白,怎么检查?
检查 IMAGE 的形状、浮点类型、0–1 范围及 RGB 顺序,用灰阶和彩色合成数据定位数值转换问题。
|
27天前
|
编解码 人工智能 JSON
动作参考换了设置,怎样查清结果为什么不同?
把参考片、提取配置、原始深度、控制片与生成请求关联归档,再用只改一个因素的对照追查结果差异。提供 ReShot 0.5.0 命令与实验记录模板。
|
27天前
|
编解码 人工智能
动作参考提取成功了,为什么生成结果还是不对?
文件写出不等于动作复现。按文件、控制信息、生成入口和成片动作四层验收,并用走廊打戏的已有失败镜头说明如何退回排查。
|
1月前
|
人工智能 JSON 数据格式
给AI视频准备动作参考时,手脚为什么时有时无?
给 AI 视频提取动作参考时,骨架手脚忽隐忽现应先查原片遮挡、人物检测与关节分数,再比较默认稳定和原始输出。本文给出 ReShot 0.5.0 的对照命令、关键点观察方法及已有实验的适用范围。
|
1月前
|
人工智能 JSON 数据格式
给AI视频准备动作参考时,手脚为什么时有时无?
给 AI 视频提取动作参考时,骨架手脚忽隐忽现应先查原片遮挡、人物检测与关节分数,再比较默认稳定和原始输出。本文给出 ReShot 0.5.0 的对照命令、关键点观察方法及已有实验的适用范围。
|
24天前
|
JSON 人工智能 数据格式
参考视频中途切了镜头,动作该怎么提取?
人工核定镜头边界,分别截片、提取骨架并记录人物与接收端用途,用合成切镜片核对命令的边界、帧数和时长。
|
25天前
|
缓存 并行计算 Linux
没有网络的电脑,怎样准备动作提取环境?
先按目标机器的系统、架构、Python 和运行设备准备完整 wheelhouse、两份 ONNX 模型、ffmpeg 与 SHA 清单,再断网安装并分别验收依赖、模型加载和动作输出。本文为固定版本的准备方案。

热门文章

最新文章