❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

1. 功能：将驱动视频中的头部姿态和面部表情迁移到参考图像中，生成动态视频内容。
2. 技术：采用空间编织注意力机制和模块化设计，优化特征图的注意力操作。
3. 应用：适用于社交媒体内容创作、视频娱乐与游戏、电影制作等多个领域。

正文（附运行示例）

HelloMeme 是什么

HelloMeme 是一个基于最新的 Diffusion 生成技术的框架，专门用于实现面部表情与姿态的迁移。它集成了空间编织注意力（Spatial Knitting Attentions）机制，基于 Stable Diffusion 1.5 模型的理解能力，将头部姿态和面部表情信息融合到去噪网络中，生成自然且物理合理的表情包视频。

HelloMeme 不仅保持了基础模型的泛化能力，还具有扩展到全身或半身构图的潜力。通过模块化设计，HelloMeme 能够高效地处理复杂的表情与姿态迁移任务，生成多样化的内容。

HelloMeme 的主要功能

• 表情与姿态迁移：将驱动视频中的头部姿态和面部表情迁移到参考图像中，生成具有夸张表情和姿态的动态视频内容。
• 保持泛化能力：在执行复杂下游任务时，保持基础模型的泛化能力，生成多样化的内容不局限于特定任务。
• 兼容性与扩展性：与 SD1.5 衍生模型具有良好的兼容性，并有潜力扩展到全身或半身构图的应用。

HelloMeme 的技术原理

• 空间编织注意力（Spatial Knitting Attentions）：优化 2D 特征图的注意力机制，先进行行注意力操作，再进行列注意力操作，保持 2D 特征图的空间结构信息，类似于纺织时经纬线的交织。
• 模块化设计：HelloMeme 由三个主要模块组成：
  • HMReferenceNet：用于从参考图像中提取细节丰富的特征。
  • HMControlNet：负责编码头部姿态和面部表情信息。
  • HMDenoisingNet：接收前两个模块的特征，实现可控的去噪生成。
• 解耦控制信息：将头部姿态和面部表情信息解耦，分别编码，然后用 SKCrossAttention 机制融合，提高信息的表达能力和减少身份信息泄露的风险。
• 视频生成流程：为提高视频帧之间的连续性，采用两阶段生成流程，先粗略生成视频帧，再通过再噪声化和运动模块生成平滑的视频片段。

如何运行 HelloMeme

1. 创建 Conda 环境

conda create -n hellomeme python=3.10.11
conda activate hellomeme

2. 安装 PyTorch 和 FFmpeg

请参考 PyTorch 官方网站 安装最新版本的 PyTorch。此外，代码将调用系统的 ffmpeg 命令进行视频和音频编辑，因此运行环境必须预先安装 ffmpeg。安装指南请参考 FFmpeg 官方网站。

3. 安装依赖

pip install diffusers transformers einops scipy opencv-python tqdm pillow onnxruntime-gpu onnx safetensors accelerate peft imageio imageio[ffmpeg] torchvision

4. 克隆仓库

git clone https://github.com/HelloVision/HelloMeme
cd HelloMeme

5. 运行代码

python inference_image.py # 用于图像生成
python inference_video.py # 用于视频生成

6. 安装 Gradio App

pip install gradio
python app.py

资源

• 项目官网：https://songkey.github.io/hellomeme
• GitHub 仓库：https://github.com/HelloVision/HelloMeme
• arXiv 技术论文：https://arxiv.org/pdf/2410.22901
• 在线体验 Demo：https://www.modelscope.cn/studios/songkey/HelloMeme

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦