. Stable Diffusion 的工作流程(底层原理)

简介: 本文介绍了 Stable Diffusion 文生图模型的工作流程,包括输入文本描述、语义编码、图像生成与解码等关键步骤,揭示了 AI 如何将文字转化为图像的技术原理。

先看最左边输入环节(指步骤 1 )。用户得把 “想生成啥画面” 转化成 AI 能懂的文字描述,像图里 “一个沙滩,一艘船靠在沙滩边”,得提炼成sandy beach、ship这类关键词(也就是 prompt 提示词 )。这一步看似简单,实则是 “人类表意→AI 理解” 的关键桥梁 —— 描述越精准、细节越丰富(比如加光影、风格词 ),后续模型越能精准捕捉需求,现在玩文生图厉害的,核心就在 “prompt 怎么写” 上折腾技巧。

接着到Input Encoder 输入编码器(步骤 2 ),核心是Clip Text模块。 Clip 就像个 “语义翻译官”,把刚才的文字描述,转成一组77×768的向量(可以理解成数字密码 )。为啥要这么转?因为 AI 模型本质是处理数字信号的,Clip 得把人类语言的语义,编码成模型能运算的数值形式 —— 它是预训练好的,见过海量图文配对数据,所以提到 “ship”,能精准关联到图像里 “船” 的特征编码,这一步直接打通 “文字需求” 和 “图像生成” 的通道。

然后进入Image Generator 图像生成器,也就是反向扩散的核心(步骤 3 - 4 )。最开始是 “随机图像”(步骤 3 ),其实就是一堆带噪声的无序数据,像电视没信号时的雪花屏。接下来UNet模型登场!从UNet Step 1到Step N,配合Scheduler调度器,干 “去噪(Denoise)” 的活儿 ——Scheduler定去噪节奏(比如每一步去多少噪声、迭代多少次 ),UNet负责 “猜” 噪声背后该有的图像特征:它会参考 Clip 编码的文字向量,逐步把噪声转换成接近文字描述的 “潜在图像”。这过程像 “给 AI 一个模糊谜面(噪声 + 文字密码 ),让它推理出清晰谜底”,而且 UNet 能同时处理不同尺度特征(大轮廓、小细节 ),所以生成的图既有整体构图,又有局部纹理,慢慢把 “沙滩、船” 的细节填进去。

最后到Image Decoder 图像解码器(步骤 5 ),靠VAE Decoder。前面生成的是 “潜在空间(Latent Space)” 的压缩特征(不是直接像素图 ),VAE 就像 “解压工具”,把这些特征还原成512×512的像素图。为啥用潜在空间?因为直接在像素空间处理数据量太大,潜在空间是压缩后的 “精华版”,模型处理又快又准,解码后咱们就能看到完整的沙滩、船画面了。

总结一下,Stable Diffusion 流程是 “文字语义编码→噪声迭代去噪→特征解压成图”,靠Clip理解语义、UNet逆向生成、VAE空间转换,把文字指令变成视觉内容。这一套逻辑不仅实现了技术落地,更让普通人能靠文字 “指挥” AI 创作,不过在风格精准控制、生成效率上还有优化空间,也是咱们做研发 / 应用时能深挖的点~】

相关文章
|
机器学习/深度学习 调度
详解 Diffusion (扩散) 模型
详解 Diffusion (扩散) 模型
2329 0
|
机器学习/深度学习 人工智能 自然语言处理
AI 绘画Stable Diffusion 研究(七) 一文读懂 Stable Diffusion 工作原理(2)
AI 绘画Stable Diffusion 研究(七) 一文读懂 Stable Diffusion 工作原理
1369 0
|
9月前
|
机器学习/深度学习 传感器 存储
概念解析:机器视觉如何赋予机器“三维双眼”——3D重建技术全景指南
本文系统解析机器视觉驱动的3D重建技术,涵盖被动视觉(单目SfM、双目立体、NeRF、3D高斯泼溅)与主动视觉(结构光、ToF)四大范式,详解原理、流程、优劣及典型应用,助力理解从2D图像到真实三维世界的智能跃迁。(239字)
1634 6
|
10月前
|
数据采集 人工智能 自然语言处理
开源大模型微调对比:选对模型,让定制化更高效
本文对比Llama 3、Qwen2.5、Mistral三款开源大模型在中文场景下的微调表现,从算力门槛、数据效率、任务适配性等维度分析,结合实战案例与主观评估,为开发者提供选型建议,助力高效构建定制化AI模型。
|
文字识别 测试技术 开发者
Qwen3-VL新成员 2B、32B来啦!更适合开发者体质
Qwen3-VL家族重磅推出2B与32B双版本,轻量高效与超强推理兼备,一模型通吃多模态与纯文本任务!
8347 12
|
机器学习/深度学习 人工智能 自然语言处理
如何让AI更“聪明”?VLM模型的优化策略与测试方法全解析​
本文系统解析视觉语言模型(VLM)的核心机制、推理优化、评测方法与挑战。涵盖多模态对齐、KV Cache优化、性能测试及主流基准,助你全面掌握VLM技术前沿。建议点赞收藏,深入学习。
3708 8
|
11月前
|
自然语言处理
主流大模型结构
主流大模型架构分为四类:Encoder-Decoder(如T5)、Decoder-Only(如GPT、LLaMA)、Encoder-Only(如BERT)和Prefix-Decoder(如GLM),分别适用于生成、理解或兼顾任务。GPT系列从GPT-1到GPT-4,参数量跃升至约1.7万亿,支持多模态与长上下文;LLaMA系列持续优化开源模型;国产模型如Qwen、ChatGLM、Kimi、DeepSeek在中文场景表现突出,涵盖对话、数学推理等能力。
|
机器学习/深度学习 人工智能 编解码
原来Stable Diffusion是这样工作的
初中生都能听懂的Stable Diffusion的工作原理,看完还不会你来找我
原来Stable Diffusion是这样工作的
|
人工智能 编解码 算法
Stable Diffusion超详细教程!从0-1入门到进阶
本文提供了Stable Diffusion AI绘画工具的超详细入门到进阶教程,包括本地部署、界面基础、模型选择、ControlNet安装与使用,以及如何通过不断学习和调试提升使用效果。
Stable Diffusion超详细教程!从0-1入门到进阶