在 AI 视频生成的落地实践中，参考图是控制人物一致性、风格还原度的核心输入，但多数从业者的操作停留在 “直接上传原图” 阶段。劣质、不对齐、特征混杂的参考图，不仅无法起到锚定作用，反而会通过 Vera 1.1 的三级图像注入机制放大缺陷，导致五官漂移、风格撕裂、帧间闪烁等问题。
从生产数据来看，经过标准化预处理的参考图，可在不调整核心模型参数的前提下，将人物身份一致性提升 35% 以上，画面崩坏率降低 40%，是投入产出比最高的优化环节。本文结合 Vera 1.1 双流 DiT 架构特性，从对齐标准、增强方法、多图协同、团队落地四个维度，拆解参考图预处理的完整技术体系。
一、底层逻辑：参考图质量如何影响 Vera 1.1 生成效果
Vera 1.1 采用双流 DiT 时空解耦架构，参考图通过三级图像注入机制深度参与生成过程：底层注入控制轮廓结构、中层注入锚定身份特征、高层注入还原纹理细节。参考图的每一处瑕疵，都会对应到不同注入层级，被扩散模型逐级放大。
多数 “生成效果差” 的问题，本质是参考图特征与注入机制不匹配，而非模型能力不足。
| 参考图常见问题 | 影响的注入层级 | 典型生成故障 | 影响程度 |
|---|---|---|---|
| 分辨率低于 512px | 底层 + 中层 | 人物结构模糊、五官特征丢失 | ★★★★★ |
| 人脸角度偏转＞30° | 底层结构对齐 | 五官偏移、脸型畸变、身份漂移 | ★★★★☆ |
| 背景杂乱多干扰物 | 中层特征提取 | 画面混入无关元素、角色穿模 | ★★★☆☆ |
| 光影明暗反差过大 | 高层纹理注入 | 面部阴阳脸、肤色跳变、闪烁加重 | ★★★★☆ |
| 多人物同框无标注 | 全层级 | 身份混杂、特征拼接错乱 | ★★★★★ |
| 风格不统一（写实 + 卡通混合） | 全层级 | 风格撕裂、画面违和、细节崩坏 | ★★★★☆ |
二、基础预处理：空间对齐标准化，解决 “对不齐” 核心问题
参考图与生成目标的空间维度不匹配，是特征注入失效的第一原因。对齐的核心原则是：参考图的主体位置、画幅比例、关键特征分布，需与生成目标尽可能一致，避免模型做额外的特征映射，减少误差。
核心对齐操作清单
- 画幅比例对齐：严格匹配生成目标的宽高比，禁止非等比拉伸变形。例如生成 16:9 的 720P 视频，参考图需裁剪为等比例尺寸，拉伸会直接导致人物结构畸变。
- 主体位置对齐：核心主体（人脸 / 角色）需位于画面中心区域，占比与生成镜头类型匹配，避免边缘截断、主体过小。
- 关键特征完整度校验：发型、配饰、服饰纹样等核心识别特征需完整呈现，无遮挡、无裁切，保证模型可提取完整特征。
不同镜头的参考图对齐标准
| 生成镜头类型 | 参考图推荐分辨率 | 人脸 / 主体占画面比例 | 角度偏转限制 |
|---|---|---|---|
| 面部特写 | 1024×1024 | 60%-70% | ≤15° |
| 半身镜头 | 1280×1280 | 30%-40% | ≤25° |
| 全身镜头 | 1280×720 | 15%-25% | ≤30° |
| 环境人像 | 1920×1080 | 10%-15% | ≤20° |
实操工具：可通过人脸检测对齐脚本实现自动居中裁剪，批量处理时效率提升 80% 以上，避免人工裁剪的误差。
三、进阶预处理：特征增强与降噪提纯，提升注入有效度
对齐解决 “位置匹配” 问题，增强解决 “特征纯度” 问题。针对低清、压缩、光影杂乱的参考图，合理的增强操作可大幅提升特征提取准确率，但过度增强会引入伪影，反而加重崩坏。
四大核心增强维度
- 超分辨率与清晰度增强
针对低清、小尺寸原图，通过超分重建提升分辨率，强化边缘轮廓，对应底层结构注入的对齐精度。
- 推荐参数：2-4 倍放大，锐化强度 0.2-0.4；禁止强度超过 0.6，否则会出现边缘锯齿、伪细节。
- 光影统一处理
修正参考图明暗不均、过曝过暗问题，统一肤色与环境光，对应高层纹理注入的稳定性，可显著降低生成时的面部闪烁。
- 实操标准：统一色温 5500K-6500K，对比度控制在中等区间，去除强侧光、顶光造成的面部硬阴影。
- 背景净化与主体分离
移除参考图中无关背景元素，避免干扰中层身份特征提取，减少无关元素混入生成画面。
- 实操建议：纯色中性灰背景效果最佳；复杂背景建议通过抠图工具分离主体，可降低 30% 以上的背景干扰。
- 风格一致性校准
多张参考图必须统一画风、色调、笔触强度，避免模型提取到冲突的风格特征，造成画面撕裂。
增强操作与生成收益对应表
| 预处理操作 | 针对的参考图问题 | 核心生成收益 | 推荐强度区间 |
|---|---|---|---|
| 超分辨率重建 | 低清、小尺寸原图 | 提升细节还原度，减少结构模糊 | 2-4 倍放大 |
| 人脸精细修复 | 五官模糊、压缩失真 | 提升身份一致性，减少五官漂移 | 中等修复强度 |
| 光影平滑处理 | 明暗反差大、阴阳脸 | 降低帧间闪烁，稳定肤色表现 | 低 - 中等强度 |
| 背景分离净化 | 背景杂乱、干扰物多 | 避免无关元素混入，提升特征纯度 | 完全分离 / 纯色背景 |
四、高阶技巧：多参考图的协同预处理与权重分配
单张参考图覆盖维度有限，多参考图可同时覆盖正脸、侧脸、全身等角度，但预处理不当会造成特征冲突，反而导致角色辨识度下降。
多参考图预处理三步标准流程
- 统一基础属性：所有参考图缩放至相同分辨率与画幅比例，批量调色温、亮度、对比度，保证视觉风格完全一致。
- 特征一致性校验：核心识别特征（发型、服饰、年龄）必须统一，差异项仅保留角度、动作，避免特征矛盾。
- 排序与权重规划：Vera 1.1 对首张参考图的权重最高，需放置最标准的正脸参考图，后续依次为半侧脸、半身、全身参考图。
数量控制：同角色参考图建议 3-5 张，超过 5 张后边际收益快速递减，会导致特征平均化，丢失角色辨识度。
五、团队落地：标准化预处理流程与资产体系建设
个人调优依赖经验，团队生产依赖标准。参考图预处理是 AI 视频生产流水线的第一道工序，标准化后可大幅减少后续排障成本，提升全团队生产效率。
- 建立准入审核标准：明确分辨率、对齐度、清晰度、特征完整度四大准入指标，不符合要求的参考图不进入生成环节，从源头减少无效试错。
- 搭建自动化工具链：集成超分、抠图、人脸对齐、批量调色的自动化处理脚本，单批次可处理上百张参考图，人工干预成本降低 70%。
- 角色资产标准化归档：核心角色的参考图资产包统一预处理后归档，包含标准正脸、侧脸、全身、细节特写四类素材，全团队复用，保证跨项目角色一致性。
职业心得：很多团队总执着于调模型参数、训练专属 LoRA 来提升效果，却忽略了参考图这个最基础的输入环节。实际上，输入端的 1 分优化，能抵得上参数端的 10 分调优。把预处理标准化，不仅能稳定生成效果，更能减少大量重复排障的时间，是工业化生产最划算的投入。
六、效果验证：量化判断预处理是否到位
预处理效果不能只靠主观感受，需通过量化指标验证：
- 结构相似度（SSIM）：预处理后的参考图与标准角色卡结构相似度≥0.85，视为对齐合格
- 人脸特征相似度：同角色不同参考图的人脸特征向量相似度≥0.9，避免特征冲突
- 生成对照测试：固定种子与基础参数，对比预处理前后的生成结果，统计五官偏移、特征丢失的出现率
FAQ 常见问题
Q1：参考图是不是越清晰、分辨率越高越好？
A：不是。超过生成目标分辨率 2 倍以上的参考图，并不会提升细节还原度，反而会增加推理开销，且过高的锐度会导致生成画面出现伪影。一般参考图分辨率略高于生成目标即可，例如生成 720P 视频，参考图 1080P 足矣。
Q2：手绘 / 二次元风格的参考图，预处理有什么特殊注意事项？
A：二次元参考图优先保证线条清晰、色块干净，避免过度锐化导致线条锯齿。不建议真人参考图与二次元参考图混合使用，会造成风格撕裂。如果是线稿参考，建议先完成平涂上色再作为输入，特征提取准确率可提升 40% 以上。
Q3：参考图本身很清晰，但生成的人物还是不像，是什么原因？
A：大概率是空间对齐不匹配。例如参考图是正脸特写，但生成的是侧脸全身镜头，主体占比和角度差异过大，模型无法有效对齐特征。建议根据生成镜头类型，匹配对应角度和景别的参考图，同时检查底层图像注入强度是否设置过低。
Q4：参考图数量越多，生成效果越稳定吗？
A：不是。同角色参考图超过 5 张后，边际收益快速递减，反而会因为不同参考图的细微特征差异，导致模型特征平均化，角色辨识度下降。常规场景 3 张最优（正脸、半侧、全身），复杂场景最多不超过 5 张。
Q5：私有化部署的 Vera 1.1，可以接入自定义预处理流程吗？
A：可以。Vera 1.1 支持在推理链路前接入自定义预处理节点，可将团队的标准化对齐、增强、抠图脚本集成到工作流中，实现上传后自动预处理，无需人工逐张处理，适配规模化生产场景。
