❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

1. 创新框架：SNOOPI通过PG-SB和NASA技术，提升单步扩散模型的效率和性能。
2. 主要功能：包括提高生成效率、增强稳定性和控制性、支持负面提示引导等。
3. 技术原理：涵盖随机尺度分类器自由引导、负向提示整合、模型输出对齐和特征过滤。

正文

SNOOPI 是什么

SNOOPI是一个创新的文本到图像生成框架，旨在通过增强单步扩散模型的指导，提升模型的性能和控制力。该框架包括两种主要技术：PG-SB（Proper Guidance – SwiftBrush）和NASA（Negative-Away Steer Attention）。PG-SB通过随机尺度的无分类器引导方法，增强训练稳定性；NASA则通过交叉注意力机制整合负面提示，有效抑制生成图像中的不期望元素。

SNOOPI在多个评估指标上显著超越基线模型，尤其在HPSv2得分达到31.08，树立了单步扩散模型的新标杆。

SNOOPI 的主要功能

• 提高生成效率：将多步骤的文本到图像扩散模型简化为单步模型，显著提高生成效率，减少计算资源的需求。
• 增强稳定性和控制性：基于PG-SB和NASA技术，SNOOPI在训练和推理过程中提供更稳定的性能，支持对生成的图像进行更精细的控制。
• 支持负面提示引导：通过NASA技术，SNOOPI实现对负面提示的支持，使在图像生成过程中排除不想要的元素，提升图像生成的实际应用价值。
• 提升图像质量：SNOOPI能生成高质量、高分辨率的图像，其HPSv2得分达到31.08，显示了在图像质量上的优势。
• 跨模型背板兼容性：SNOOPI能在不同的模型背板上有效工作，包括PixArt-α、SDv1.5和SDv2.1等，显示了广泛的适用性。

SNOOPI 的技术原理

• 随机尺度分类器自由引导：PG-SB在训练过程中变化教师模型的指导比例，扩大输出分布，让模型适应不同的扩散模型背板，同时保持竞争力的性能。
• 负向提示整合：NASA基于交叉注意力机制将负面提示融入单步扩散模型中，调整中间特征空间的注意力权重，减少不希望的特征在生成图像中的出现。
• 模型输出对齐：VSD框架用预训练的扩散模型增强基于文本的生成，确保生成的图像与教师模型的概率密度对齐。
• 特征过滤：基于NASA机制，SNOOPI在特征空间中过滤掉不想要的特征，能在生成图像之前排除不需要的元素，减少混合伪影的出现。

资源

• 项目官网：https://snoopi-onestep.github.io/
• GitHub 仓库：https://github.com/VinAIResearch/SNOOPI
• HuggingFace 模型库：https://huggingface.co/papers/2412.02687
• arXiv 技术论文：https://arxiv.org/pdf/2412.02687

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦