阿里云万相Wan2.1 VACE视频编辑统一模型，支持局部编辑、视频重绘、背景扩展、时长延展、图片参考等多种视频编辑与生成任务，支持文本、图像、视频等多模态条件控制。本文转自阿里云官网关于Wan2.1 VACE模型的多图参考、姿态参考、深度参考能力及工作流创建逻辑，关于万相Wan2.1 VACE模型的详细介绍参考阿里云百炼平台：https://www.aliyun.com/product/bailian 目前可以免费申请千万Tokens。
核心概念
多图参考是指在生成或处理视频时，能够同时参考多张输入图片的内容信息，融合生成在同一条视频里。这种能力在电商、艺术创作等领域有着极高的应用价值。
工作流框架
整个工作流可以大致分为3个区域：中心的基础框架区域、前段的输入区域和末端的视频放大区域。
- 中心区域的Wan2.1 VACE工作流本质是在Wan2.1文生视频工作流的基础上增加了VACE的模型加载和编码器。
- 在前端输入区域，因为是多张图片的参考，所以每一个图像加载都会有对应着的尺寸调整，去除背景等节点。
- 最后将处理好的图片进行联结、编码，并传输进采样器采样、解码，就可以输出成最终的视频啦。
Wan2.1 VACE工作流的基本框架搭建
采样器配置
首先，选择我们的Wan视频采样器（WanVideo Sampler），并调整参数：步数（steps）输入20，cfg值输入6，shift值输入8，采样器（scheduler）选择dpm++。
在阿里云百炼平台API调用Wan模型：https://www.aliyun.com/product/bailian 如下图：
模型加载选择
在model圆点下我们拖拽出Wan视频模型加载器（WanVideo Model Loader），选择Wan2.1_T2V_14b的模型。
随后，我们拖拽出Wan视频Block Swap节点（WanVideo Block Swap），参数保持默认。
在vace_model圆点下拖拽出Wan视频VACE模型选择器（WanVideo VACE Module Select）选择我们的主角Wan2_1_VACE_14b的模型。
文本编码
我们回到Wan视频采样器（WanVideo Sampler），在text_embeds圆点下拖拽出Wan视频文本编码器（WanVideo TextEncode），随后t5圆点下拖拽出Wan视频T5文本编码加载器（WanVideo T5 TextEncoder Loader），选择umt5_xxl_fp8_scaled的模型。
加速与优化节点
在采样器里我们再拖拽出几个加速视频生成及提高画面质量的节点，Wan视频Enhance-A-Video（WanVideo Enhance-A-Video）节点、Wan视频TeaCache（WanVideo TeaCache）节点、Wan视频SLG（WanVideo SLG）节点以及Wan视频Experimental Args（WanVideo Experimental Args）节点。
图像编码与解码
在image_embeds圆点下我们拖拽出Wan视频VACE编码器（WanVideo VACE Encode）节点，在VAE圆点下我们拖拽出Wan视频VAE加载器（WanVideo VAE Loader），选择Wan2_1_VAE_bf16模型。
最后我们在samples圆点下拖拽出Wan视频解码器（WanVideo VACE Decode）节点，将vae圆点进行连接。
输出处理
在Wan视频解码器（WanVideo VACE Decode）节点之后拖拽出视频合并（Video Combine）节点，帧数保持16，输出格式选择video/h264-mp4。
这样，Wan2.1 VACE工作流的基本框架我们就搭建完成了，所有的Wan2.1 VACE工作流都会基于这个框架衍生。
多图参考工作流搭建
多图输入模块构建
接下来，我们来构建一下多图参考的前期输入模块。我们创建一个加载图片（Load Image）节点，在IMAGE圆点下拖拽出调整图片尺寸（Resize Image v2）节点，调整一下参数，宽度（width）我们给480，高度（heidht）保持在720，upscale_method选择lanczos。
随后在这个节点后拖拽出图像背景移除（Image Remove Bg）节点，我们将这三个节点复制一份，主图的rem_mode模式我们选择Inspyrenet。
随后我们加载一个图像联结（Image Concatenate）节点，将两张图联结，方向（direction）保持右侧（right）。
在图像联结节点下的IMAGE圆点我们拖拽出一个Get Image Size&Count节点方便我们统一处理图片尺寸。
我们还可以加载一个图像预览（Preview Image）节点待会看看合并效果。
最后我们将处理后的的图像接入Wan视频VACE编码器（WanVideo VACE Encode）节点下的ref_images圆点作为参考图，将宽（width）及高（height）也连接一下。
在空白区域我们再创建一个图像联结（Image Concatenate）节点，将解码后的图像与前期预处理的图像进行一个联结，传输进我们复制的视频合并（Video Combine）节点，这样我们可以方便的看到预处理与生成画面的整体效果。
这样我们的Wan2.1 VACE多图参考的工作流就搭建完成了。
多图参考工作流测试案例
我们上传两张图片一起来测试一下效果，我希望主图的红发女人能与副图的水下金鱼场景融合，在这里因为副图是作为背景，不需要扣像，所以我们将副图的背景移除节点关闭，将节点重新连接一下，我们将负向提示词模版复制进来，输入一下正向提示词，点击运行。
可以看到人物与背景得到了一个巧妙的融合，光影与场景细节也是非常的还原。
姿态参考与深度参考能力详解
核心原理
那再让我们来看看Wan2.1 VACE的姿态参考与深度参考工作流。
姿态参考和深度参考的原理是通过openpose模型和深度预测算法，提取上传视频的人物骨骼点或画面深度图，并结合提示词语义控制最终输出视频的画面效果。因此，这两个工作流最核心的节点就是OpenPose节点与Depth Anything节点，我们可以一起着手来搭建一下这套工作流。
姿态参考与深度参考工作流搭建
基础框架复用
我们导入一个Wan2.1 VACE的基础框架工作流。
视频输入
双击空白处创建一个加载视频【Load Video（Upload）】节点，我们可以直接拖拽视频上传。随后在IMAGE圆点下拖拽出Image Resize节点，调整宽（width）为480，高（height）为720，interpolation参数选择nearest。
控制节点
接着，我们拖拽出OpenPose Pose节点，这个节点主要帮助我们提取视频中的人物骨骼信息。
同样的，我们还可以拖拽出Depth Anything节点，这个节点可以提取视频的画面深度信息。
通过图像混合（Image Blend）节点我们将两个节点混合一起，这个节点就像一个开关，当我们选择0时，对应选择OpenPose模型，写入1时可以切换Depth模型。
数据传输
随后在图像混合（Image Blend）节点下的IMAGE圆点拖拽出Get Image Size&Count节点，和多图参考工作流一样，我们将图像及尺寸传输进Wan视频VACE编码器（WanVideo VACE Encode）节点。
我们双击空白处，创建加载图像【Load Image（Path）】节点，随后拖拽出调整图像（Resize Image v2）节点与Wan视频VACE编码器（WanVideo VACE Encode）节点的ref_images进行连接，作为视频的参考图。
同时，我们将视频的尺寸与图像尺寸保持一致。
可视化对比
我们再次双击空白处创建图像联结（Image Concatenate）节点，将上传的图像与解码后的视频联结
再创建一个图像联结节点将预处理的控制视频也联结过来
最后与视频合并连接，这样我们可以更直观的看到整个工作流的各个重要环节的输出结果
那么这样我们的整套工作流就搭建完成了。
姿态参考与深度参考测试案例
姿态参考测试
我们上传一张艺术感人物图像，用OpenPose模型来测试一下，这里我希望图像中的人物能参考视频的动作起舞，输入一下提示词点击运行。
我们可以看到人物完美复刻了视频中的动作，效果非常不错，实现了精准响应。
深度参考测试
我们再上传一段场景丰富一点的滑雪视频，以及一张滑沙的图像，我们使用深度控制对视频进行控制，输入提示词，点击运行。
我们可以看到滑沙的动作参考了滑雪者运动感十足，背景的处理也变得更加丰富了。
本节课系统解析了Wan2.1 VACE模型的三大核心能力——多图参考、姿态参考与深度参考，展示了其在视频生成领域对细节还原与动态控制的强大潜力。大家可以移步到阿里云百炼平台测试：https://www.aliyun.com/product/bailian
