❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
- 功能：支持生成包含透明背景的 RGBA 视频，适用于复杂视觉效果创作。
- 技术：基于扩散变换器（DiT）架构，结合 LoRA 微调，实现 RGB 和 alpha 通道的联合生成。
- 应用：广泛应用于娱乐、广告、教育等领域，助力视觉效果和交互式内容创作。
正文（附运行示例）
TransPixar 是什么
TransPixar 是由香港中文大学、Adobe 研究院、香港科技大学和智能摩尔联合开源的先进文本到视频生成技术。它扩展了预训练的 RGB 视频模型，能够生成包含透明度信息的 RGBA 视频。TransPixar 基于扩散变换器（DiT）架构，通过引入 alpha 特定的 token 和基于 LoRA 的微调，实现了 RGB 和 alpha 通道的联合生成，确保了高度一致性。
TransPixar 优化了注意力机制，保留了原始 RGB 模型的优势，即使在有限的训练数据下，也能生成多样化且对齐度高的 RGBA 视频。它支持创建包含烟雾、反射等透明元素的视频，并提供高度逼真的视觉效果。TransPixar 在娱乐、广告和教育等领域的应用前景广阔，为视觉效果（VFX）和交互式内容创作提供了新的可能性。
TransPixar 的主要功能
- RGBA 视频生成：从文本描述生成包含 RGB 颜色通道和 alpha 透明度通道的视频，实现复杂视觉效果的创建。
- 透明效果处理：支持生成具有透明属性的元素，如烟雾、反射等，无缝融入背景场景，适用于视觉效果（VFX）等应用。
- 高质量视频生成：在生成 RGBA 视频的同时，保留原始 RGB 视频生成模型的高质量，确保视频的清晰度和细节表现。
- 多场景适应性：适用于各种场景和对象类型的视频生成，包括人物动作、自然景观、动态效果等，具有良好的泛化能力。
- 文本驱动内容创作：根据输入的文本描述，生成与之匹配的视频内容，实现文本到视频的自动化创作，提高内容生产的效率和创意性。
TransPixar 的技术原理
- 扩散变换器（DiT）架构：基于 DiT 模型，用自注意力机制捕捉视频帧之间的长程依赖关系，实现对视频内容的精细建模和生成。
- alpha 通道生成：在 DiT 模型中引入 alpha 特定的 token，与 RGB token 的联合生成，实现 alpha 通道的生成，支持 RGBA 视频的输出。
- LoRA 微调：基于 LoRA（Low-rank Adaptation）的微调方案，对 alpha token 的投影进行微调，保持 RGB 生成质量的同时，优化 alpha 通道的生成。
- 注意力机制优化：系统分析并优化 RGBA 生成过程中的注意力机制，包括 Text-attend-to-RGB、RGB-attend-to-Text、RGB-attend-to-Alpha 等，基于调整注意力计算，实现 RGB 和 alpha 通道之间的强对齐和高质量生成。
- 数据集扩展与训练策略：在有限的 RGBA 视频数据集上进行训练，基于合理的数据预处理和训练策略，提高模型对多样化场景和对象类型的适应能力，增强生成内容的多样性和一致性。
如何运行 TransPixar
1. 安装环境
首先，创建一个新的 Conda 环境并安装所需的依赖项：
conda create -n TransPixar python=3.10
conda activate TransPixar
pip install -r requirements.txt
2. 启动 Gradio 演示
你可以通过以下命令启动本地的 Gradio 演示：
python app.py
3. 使用命令行生成 RGBA 视频
要生成 RGBA 视频，可以运行以下命令：
python cli.py \
--lora_path /path/to/lora \
--prompt "..." \
资源
- 项目官网：https://wileewang.github.io/TransPixar/
- GitHub 仓库：https://github.com/wileewang/TransPixar
- HuggingFace 在线使用：https://huggingface.co/spaces/wileewang/TransPixar
- arXiv 技术论文：https://arxiv.org/pdf/2501.03006
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
