❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

技术改进：LongAlign通过段级编码和分解偏好优化，显著提升了长文本对齐精度。
主要功能：支持长文本处理、文本到图像对齐和减少过拟合。
应用场景：广泛应用于艺术创作、游戏开发、电影和娱乐行业、广告和营销、教育和培训等领域。

正文（附运行示例）

LongAlign 是什么

LongAlign是香港大学研究团队推出的文本到图像（T2I）扩散模型的改进方法，旨在提升长文本输入的对齐精度。传统的T2I模型在处理长文本时，由于编码模型的输入长度限制，往往难以实现精确的对齐。LongAlign通过段级编码技术，将长文本分割处理，适应编码模型的输入限制，从而有效解决了这一问题。

此外，LongAlign还引入了分解偏好优化，基于区分偏好模型中的文本相关和无关部分，应用不同权重减少过拟合，增强对齐度。经过20小时微调，LongAlign显著提高Stable Diffusion v1.5模型在长文本对齐任务上的性能，超越PixArt-α和Kandinsky v2.2等先进模型。

LongAlign 的主要功能

• 长文本处理：基于分段级编码方法，处理长文本输入，克服预训练编码模型如CLIP的最大输入长度限制。
• 文本到图像对齐：提高生成图像与输入文本之间的对齐度，确保图像内容与文本描述的准确性。
• 减少过拟合：基于偏好分解和重加权策略，LongAlign减少了微调过程中的过拟合问题，提高了模型的泛化能力。

LongAlign 的技术原理

• 分段级编码：将长文本分割成多个段落（或句子），每个段落独立编码，将编码结果合并。支持模型处理超出最大输入长度限制的文本。
• 偏好分解：分析偏好模型的评分机制，将偏好分数分解为两部分：文本相关部分（衡量文本到图像的对齐）和文本无关部分（评估图像的其他视觉方面，如美学）。
• 重加权策略：为解决过拟合问题，LongAlign提出一种为文本相关和无关部分分配不同权重的策略。策略基于减少文本无关部分的权重，增强模型对文本内容的关注，提高对齐度。

如何运行 LongAlign

准备环境

pip install -r requirements.txt
# 如果遇到LoRA错误，请运行 `pip uninstall peft`

准备数据集和检查点

• 200万长文本与图像数据集（原始图像需单独下载）：https://huggingface.co/datasets/luping-liu/LongAlign
• Stable Diffusion v1.5（将自动下载）：https://huggingface.co/stable-diffusion-v1-5/stable-diffusion-v1-5
• T5-adapter（请下载到./model/LaVi-Bridge）：https://huggingface.co/shihaozhao/LaVi-Bridge/tree/main/t5_unet/adapter
• Denscore（将自动下载）：https://huggingface.co/luping-liu/Denscore
• longSD（请下载到./model/longSD或自行训练）：https://huggingface.co/luping-liu/LongSD

训练原始 Stable Diffusion

# 支持长文本输入
bash run_unet.sh align ct5f
# 请将 {args.output_dir}/s{global_step_}_lora_vis.pt 移动到 {args.output_dir}/lora_vis.pt 等

# 长文本对齐的偏好优化
bash run_unet.sh reward test

训练 LCM 版本的 Stable Diffusion

# 支持LCM采样
bash run_unet.sh lcm ct5f

# 长文本对齐的偏好优化
bash run_unet.sh reward_lcm test

资源

• GitHub 仓库：https://github.com/luping-liu/LongAlign
• arXiv 技术论文：https://arxiv.org/pdf/2410.11817
• Hugging Face 数据集：https://huggingface.co/datasets/luping-liu/LongAlign
• Stable Diffusion v1.5：https://huggingface.co/stable-diffusion-v1-5/stable-diffusion-v1-5
• T5-adapter：https://huggingface.co/shihaozhao/LaVi-Bridge/tree/main/t5_unet/adapter
• Denscore：https://huggingface.co/luping-liu/Denscore
• longSD：https://huggingface.co/luping-liu/LongSD

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦