同一段动作想做成写实和动画两种风格,怎么做?

简介: 固定同一份动作控制片,分别准备写实与动画的角色图、场景材质及画风文字,再逐镜检查动作与外观残留。结合已有走廊案例说明接法及深度轮廓影响。

固定同一份动作控制片,分别准备写实与动画的角色图、场景材质及画风文字,再逐镜检查动作与外观残留。结合已有走廊案例说明接法及深度轮廓影响。

同一段动作想做成写实和动画两种风格,怎么做?先固定动作参考和镜头顺序,再分别准备写实、动画的角色图与画风描述。可用 AI 视频创作平台猫斯卡开源的 ReShot 提取深度或骨架控制视频,把动作结构交给生成端参考;画风由图像和文字另行指定,生成后仍要检查动作是否完成、风格是否贯穿全片。

画风迁移是沿用参考动作与镜头组织,同时重新生成角色、材质、色彩和光照的制作方法。ReShot 负责提取控制素材,写实版与动画版都还需要生成模型出片。

为什么换画风前要先拆开动作与外观?

如果目标是“同一段打斗,分别做成真人电影感和动画电影感”,需要保留的是谁靠墙起身、谁从背后抱住主角、镜头何时跟随、最后从哪里离场;需要改变的是皮肤或毛发、服装质感、人物造型、走廊的材质与光照。

ReShot 的深度视频用近白远黑的灰度表达相对远近,保留人物体量、轮廓和场景形状随时间的变化。它没有原片的彩色纹理,但仍有轮廓信息。骨架视频以关节点与连线表达人体动作,默认含手部、不画面部关键点。两者提供的结构不同,不能把“都去掉了颜色”理解成“都完全排除了原片外观的影响”。出处:项目输入输出说明。

采用它的理由,是让两版沿用同一份可播放、可检查的动作材料,而不必分别只靠文字重新描述动作。若要保留走廊、门、人物走近镜头时的体量变化,深度是合适的起点;若画风变化被原人物轮廓牵引,且主要任务是人体肢体动作,可另做骨架条件检查。骨架也有代价:场景深度形状不在其中,大特写时还可能错误估计画外肩髋。线稿会保留脸和衣服的边缘,不宜把它当成彻底去外观的替代品。

两版分别固定什么、改变什么?

建议先填写下表,再写生成要求。表中是依据已有案例整理的准备方法,不是模型保证。

输入项目 两版共同保留 为写实版、动画版分别准备
动作控制片 同一源片、同一截取范围、同一控制类型与文件 开始比较画风时先不换控制片
动作和镜头描述 同一动作职责、先后顺序与机位要求 检查画风词是否夹带了新的动作
角色参考图 如果想比较同一角色,保留其身份与服装设计 分别使用符合目标画风的角色图
场景外观 走廊、控制台、门等空间职责 写实材质或动画材质,分别定义
画风文字 不改变动作要求 分别指定渲染方式、光照、色彩与质感
生成设置 建议记录模型版本、尺寸、时长及可用的 seed 变更的设置单独记下,便于排查

这里的“固定”是制作安排。即使输入相同,也需要检查输出;如果换了角色物种、体型、场景和画风,结果只能说明这套组合能生成,不能把所有差异归因于一个画风词。

已有写实和兔子动画案例能说明什么?

深度五格演示上排是同一段走廊参考片与深度片,下排是铠甲人物、旗袍人物和兔子成片。参考片本身是 AI 生成片,后续版本在 MiniMax H3 的参考视频模式中生成。

同一动作参考生成的三种外观版本

图源:ReShot 仓库。人物与动画兔子共用走廊动作参考;这组案例同时改变了角色外观,不能视为同一角色只改画风的实验。

已有旗袍提示词把目标定义为写实动作奇幻、冷色电影走廊光与青红色调;兔子提示词则指定动画电影风格、风格化动物、柔软毛发、柔和主光与补光。两者都用 <Video 1> 提供动作和运镜。由此能学到的接法是:控制片保留,人物图、目标外观和画风段分别改写。完整出处见案例提示词目录。

这批展示没有匹配 seed 的公平对照,角色与画风也同时变化。它支持这条制作路径,不证明写实与动画动作完全一致,更不证明某个控制类型普遍更好。已有深度与骨架成片对照中,“蹬墙扯管子”一镜没有完整复现;画风改成功也不能替代动作验收。

怎样提取一份让两版共用的控制片?

以下是已核 ReShot 0.5.0 的文档接法。运行环境需要 Python ≥ 3.10、PyTorch ≥ 2.1 和 ffmpeg。先把需要沿用的镜头剪好,保存为 reference.mp4,再在该文件所在目录运行:

pip install "reshot[ffmpeg]"
reshot reference.mp4 -o motion_depth.mp4 --control depth --target h3 --metrics motion_depth.json

motion_depth.mp4 是供两版共用的深度视频;motion_depth.json 记录配置、输出尺寸等信息。首次运行需要获取深度模型权重,也可按使用文档准备本地权重。h3 预设为 24fps、输出尺寸按 32 的倍数居中裁切;它不把黑边补进去,也不替你检查生成端所有输入要求。处理成功后先播放控制片,确认截取范围、门的位置及主要动作仍可辨认。

想检查去掉人物轮廓后的效果,可另输出骨架:

pip install "reshot[pose]"
reshot reference.mp4 -o motion_pose.mp4 --control pose --target h3

此时先核人体动作有没有被正确估计,再决定两版是否都改用它。不要一版深度、一版骨架,却把结果叫作单纯的画风比较。

控制片、角色图和画风文字怎样接进生成?

下面沿用已有 H3 参考视频模式,属于文档与案例接法。先选一份已经检查过的控制片,再完成两套生成输入:

  1. 两版把同一份 motion_depth.mp4 挂为 <Video 1>;各自的角色设定图挂为 <Picture 1>。已有旗袍案例还把同一人物的面部近景挂为 <Picture 2>。
  2. 对照仓库完整案例,在 subject_definitions 中定义角色、对手、动作控制和场景;用文字说明灰色片中发生什么。在 retention_analysis 中要求转移动作、位置、时序与机位,同时不转移灰色深度外观。
  3. 在 detailed_description 中保持动作顺序,分别写目标画风,并把同样的画风落实到场景与逐镜外观描述,避免只有第一句写了“动画”。

下面是依据旗袍与兔子案例整理的画风段示例,不是完整生成提示词,也不是运行结果:

两版共同:<Video 1>是近白远黑的深度动作参考。
描述片中动作及镜头顺序;只转移动作与机位,不转移灰色外观。
角色外观来自各版的<Picture 1>。

写实版目标:写实动作奇幻,冷色电影走廊光,青红色调。
动画版目标:动画电影风格,风格化角色,柔和主光与补光。
逐镜检查:人物、对手、墙面、道具都采用各自版本的外观要求。

用骨架片时,要把素材描述改为“黑底彩色 OpenPose 骨架视频”,并要求不转移火柴人外观。若用 MiniMax H3 Fun ControlNet 的 ComfyUI 工作流,应按文档加载控制视频并选择匹配的 depth/pose 条件,生成尺寸与控制片相同或由节点缩放,不补边;那是另一种输入接法,不能拿 <Video 1> 当作节点连接指令。

动画版仍带原人物轮廓,怎么查?

先辨认问题发生在哪一路,再动输入。建议按以下顺序回看:

成片问题 先查什么 可执行的处理方向
动画人物仍像原参考人物 深度轮廓、角色图、面部近景 检查外观输入;参考已有小控制片案例安排对照
人物动画化,背景仍偏写实 场景和逐镜段是否保留写实材质要求 同步改场景、光照和材质描述
出现灰影或彩色骨架线 控制素材定义与转移要求 明确控制类型及其外观不应转移
动作变了但画风符合 控制片能否读懂该动作、两版动作段是否相同 先修动作条件,再比较画风

本地技术报告记录过一个外观偏移案例:控制片为 448×256、只给一张设定图时,作者观察到开场与结尾脸形被参考轮廓牵引;后来把控制片缩至 320×176,并增加面部近景图,观察到改善。两项输入同时改变,所以不能断言仅缩小控制片就能解决,也不能把这个历史上传尺寸当作当前 CLI 必然输出的尺寸。

这是该 H3 案例的人工观察,不是通用最佳分辨率。--max-res 控制输出长边上限;--quality 控制深度模型的处理分辨率,不能把降低 --quality 当成等价的输出缩小办法。调整前先核生成端规格,并确认小控制片仍保留要沿用的动作。

实际下一步是准备一份控制片和两份外观输入,分别保存完整提示词与生成设置。对两版逐镜记录“动作完成、画风贯穿、原外观残留”三项结果;缺哪个动作、哪一镜回到原外观,就处理那个具体问题,不能只凭整片气氛判断完成。

相关文章
|
11月前
|
机器学习/深度学习 人工智能 搜索推荐
构建AI智能体:七十一、模型评估指南:准确率、精确率、F1分数与ROC/AUC的深度解析
本文系统介绍了机器学习模型评估的核心指标与方法。首先阐述了混淆矩阵的构成(TP/FP/FN/TN),并基于此详细讲解了准确率、精确率、召回率和F1分数的计算原理和适用场景。特别指出准确率在不平衡数据中的局限性,强调精确率(减少误报)和召回率(减少漏报)的权衡关系。然后介绍了ROC曲线和AUC值的解读方法,说明如何通过调整分类阈值来优化模型性能。最后总结了不同业务场景下的指标选择策略:高精度场景侧重精确率,高召回场景关注召回率,平衡场景优选F1分数,不平衡数据则推荐使用AUC评估。
1205 20
|
存储 算法 数据可视化
python老司机必备-内存泄露分析优化
python老司机必备-内存泄露分析优化
2532 0
python老司机必备-内存泄露分析优化
|
机器学习/深度学习 算法 openCL
高效、轻量的深度学习框架MNN
MNN是一个高效、轻量的深度学习框架。
高效、轻量的深度学习框架MNN
|
27天前
|
编解码 人工智能 JSON
动作参考换了设置,怎样查清结果为什么不同?
把参考片、提取配置、原始深度、控制片与生成请求关联归档,再用只改一个因素的对照追查结果差异。提供 ReShot 0.5.0 命令与实验记录模板。
|
27天前
|
编解码 人工智能
动作参考提取成功了,为什么生成结果还是不对?
文件写出不等于动作复现。按文件、控制信息、生成入口和成片动作四层验收,并用走廊打戏的已有失败镜头说明如何退回排查。
|
1月前
|
人工智能 JSON 数据格式
给AI视频准备动作参考时,手脚为什么时有时无?
给 AI 视频提取动作参考时,骨架手脚忽隐忽现应先查原片遮挡、人物检测与关节分数,再比较默认稳定和原始输出。本文给出 ReShot 0.5.0 的对照命令、关键点观察方法及已有实验的适用范围。
|
1月前
|
人工智能 编解码 语音技术
文案变成视频怎么做?先转成镜头表:提示词模板与9项校验清单
本文回答:文案变成视频怎么做——把一段文案转成镜头表的规则(文案句子怎么改成看得见的动作、每镜时长怎么估、旁白和画面怎么分轨),一份可直接复制的「文案 → 镜头表」提示词模板和示例输出,9 项校验清单,镜头表字段怎么落进生成提示词,以及几种做法里镜头表由谁来出。
|
24天前
|
JSON 人工智能 数据格式
参考视频中途切了镜头,动作该怎么提取?
人工核定镜头边界,分别截片、提取骨架并记录人物与接收端用途,用合成切镜片核对命令的边界、帧数和时长。
|
25天前
|
缓存 并行计算 Linux
没有网络的电脑,怎样准备动作提取环境?
先按目标机器的系统、架构、Python 和运行设备准备完整 wheelhouse、两份 ONNX 模型、ffmpeg 与 SHA 清单,再断网安装并分别验收依赖、模型加载和动作输出。本文为固定版本的准备方案。
|
30天前
|
JSON 人工智能 PyTorch
想让自己设计的角色演一段打戏,动作怎么控制?
用参考片准备抓握与反摔的连续动作,提取带手部的骨架控制视频,分别提供角色图与动作参考;结合已有打戏对照说明接入和逐动作回看方法。

热门文章

最新文章