TransPixar是由Adobe研究院与香港科技大学（HKUST）合作开发的一种人工智能系统，旨在实现文本到视频的生成，并特别关注透明效果的呈现。该系统能够生成包含透明通道（Alpha通道）的RGBA视频，使得诸如烟雾、反射等透明元素能够自然地融入场景中，提升视觉效果的真实感。
在技术实现上，TransPixar采用了扩散变换器（Diffusion Transformer，DiT）架构，并引入了Alpha特定的标记（tokens），通过低秩适应（LoRA）微调方法，实现RGB和Alpha通道的联合生成，确保两者之间的高度一致性。此外，TransPixar优化了注意力机制，保留了原始RGB模型的优势，即使在训练数据有限的情况下，也能实现RGB和Alpha通道的强一致性。
WILEEWANG
这一技术突破对于娱乐、广告和教育等领域具有重要意义。传统的视觉特效制作通常需要艺术家手工创建透明效果，过程繁琐且耗时。TransPixar的出现，有望简化这一流程，使得小型工作室也能以较低成本实现高质量的透明特效制作。此外，该系统在实时应用中也具有潜力，如视频游戏、增强现实（AR）和虚拟现实（VR）等领域，可以即时生成透明效果，提升用户体验。
VENTUREBEAT
值得注意的是，TransPixar在训练过程中仅对Alpha通道进行了微调，保留了原始RGB模型的能力。这种方法不仅减少了对大量RGBA视频数据的依赖，还确保了生成视频的多样性和一致性。研究团队已在GitHub上公开了相关代码，并在Hugging Face平台上提供了演示，方便开发者和研究人员进行实验和应用。
GITHUB
总的来说，TransPixar的推出标志着文本到视频生成技术的又一重要进展，特别是在透明效果的呈现方面。随着这一技术的进一步发展和应用，未来的视觉特效制作将变得更加高效、灵活，为创意产业带来新的可能性。对了你可以在这里在线体验demo: TransPixar
