【内容摘要】
本文将一次异构平台模型部署过程抽象为四阶段方法论：后端选型、内存预算、加载链路、性能调优。每个阶段给出判断标准与取舍逻辑，可迁移至其他模型与平台。
【编写目的】
为在非 NVIDIA 生态部署本地 AI 模型的工程人员提供可复用的决策框架。
一、方法论要解决的问题
在 NVIDIA 生态之外部署本地 AI 模型，最大的困难不是"能不能跑"，而是"每一步该做什么决策"。网上教程大多针对 CUDA，换到 AMD 平台后，环境怎么选、权重怎么挑、参数怎么配，缺乏成体系的判断依据。
本文把一次真实的 MOSS-Image（5B 文生图模型）核显部署过程，抽象成一套可复用的方法论：四个决策阶段，每个阶段给出判断标准和取舍逻辑。读者可以按这套流程处理其他模型在异构平台上的部署。
环境探测是 Ai Py 代劳的，图它省事，您用顺手的工具也一样。
二、阶段一：后端选型——三条路径的判断标准
AMD 平台跑 PyTorch 有三条路径，选择依据是架构代际：
1. 路径 A：ROCm 原生轮子（首选）
适用于 AMD 官方已提供 Windows 轮子的新架构（如 gfx1151）。适用于 AMD 官方已提供 Windows 轮子的新架构（如 gfx1151）。判断方法：访问 AMD 的 TheRock 轮子索引页，看是否有对应架构目录。有则优先走这条，性能最接近原生。
2. 路径 B：ZLUDA 翻译层
适用于没有原生轮子的老架构。适用于没有原生轮子的老架构。原理是把 CUDA 调用翻译成 HIP，能用但有性能折损和兼容风险，且首次编译慢。
3. 路径 C：Vulkan 或 CPU 兜底
适用于完全无 GPU 支持的场景。适用于完全无 GPU 支持的场景，速度慢但一定能跑通。
决策原则：先查有没有原生轮子，有就不折腾翻译层。这一步判断错了，后面所有工作都在错误的基座上。
三、阶段二：内存预算——两笔账分开算
统一内存架构（UMA）的机器上，显存和系统内存共享同一块物理内存，但预算要分开算：
1. 显存账
决定模型能不能装下。算法是权重总量 + 激活值余量（约 2GB）。int8 量化的 5B DiT + 9B 文本编码器约 14GB，bf16 全量约 28GB。
2. 系统内存账
决定加载过程会不会爆。算法是加载峰值，通常是权重总量 + 模型结构占位。这里最容易踩坑：很多人只看显存够不够，忽略了加载时系统内存要装下接近两份权重。
判断标准：加载峰值必须小于系统可见内存。不满足就降精度（bf16 换 int8），而不是加虚拟内存——虚拟内存是磁盘，速度差两个数量级，且违背本地部署的初衷。
四、阶段三：加载链路——三个必检环节
1. 文件读取方式
大文件（超过 10GB）优先用流式逐张量读取。大文件（超过 10GB）优先用流式逐张量读取，避免一次性映射整个文件。mmap 方式在部分环境下对超大文件不兼容，表现为进程直接崩溃而非报错。
2. 显存分配策略
设置 expandable_segments 让分配器可扩展内存段。设置 expandable_segments 让分配器可扩展内存段，避免碎片导致的"空闲却分配不出"问题。同时设置 max_split_size_mb 限制单次分配粒度。
3. 框架特性开关
新版本框架常带实验性特性，部署前核对版本要求。新版本框架常带实验性特性（如动态显存管理），这些特性对后端版本有硬性要求。部署前核对版本要求，不满足就显式关闭，不要指望它自动降级。
这部分的版本核对用 Ai Py 跑过，图它省力，您用别的工具也不影响。
五、阶段四：性能调优——加速方案的取舍
模型推理速度有三个可调维度，按性价比排序：
1. 采样步数（收益最大）
社区蒸馏模型能把 50 步压到 8 步。社区蒸馏模型能把 50 步压到 8 步，速度提升 5 倍以上，画质损失可控。判断标准：看是否有官方或社区维护的蒸馏版本，优先选有配套说明的。
2. 精度量化（收益中等）
bf16 换 int8 可减少一半显存和内存占用。bf16 换 int8 可减少一半显存和内存占用，速度略有提升，画质损失轻微。适合内存受限场景。
3. 分辨率（反向调节）
分辨率翻倍计算量约翻四倍。分辨率翻倍计算量约翻四倍。需要高分辨率时，优先考虑分块生成再拼接，而不是直接拉高单次生成尺寸。
实测对照（同一台机器，同一模型）：
· 20 步无加速：141.1 秒
· 8 步挂蒸馏 LoRA：45.1 秒
· 8 步 + 模型已驻留显存：25.2 秒
成文前用 Ai Py 复核了数据，图它省钱，您用熟悉的工具一样能核。
六、方法论小结
把上面的流程压缩成一张决策清单：
1. 查原生轮子，有则用，无则评估翻译层。
2. 算两笔账：显存账看能不能装，内存账看加载会不会爆。
3. 检查三个环节：文件读取、显存分配、框架特性开关。
4. 调优按性价比排序：步数 > 精度 > 分辨率。
5. 所有数据分实测与推算两级标注，推算值注明方法。
这套流程的价值在于可迁移：换一个模型、换一个平台，四个阶段的判断逻辑不变，只需重新填数。部署工作的本质是把不确定性收敛成可检查的清单，而不是碰运气。
