【内容摘要】
本文以 ROG 幻X 2025（128GB 版）为例，把本地 AI 工作站部署拆成硬件认知、系统安装、内存规划、模型选型、智能体编排五个阶段，每阶段给出交付物、关键操作与验收标准，并附内存预算模板、权限隔离原则与踩坑清单，形成一套可复用的工程方法论。
【编写目的】
为统一内存架构设备上的本地 AI 工作站部署提供分阶段、可验收的流程规范，帮助开发者把资源竞争变成可计算的预算表。
一、方法论总览
在统一内存架构的移动设备上搭建本地 AI 工作站，和传统独显机器是两套思路。本文以 ROG 幻X 2025（128GB 版，AMD 锐龙 AI Max+ 395）为例，把整个部署拆成五个阶段：硬件认知、系统安装、内存规划、模型选型、智能体编排。每个阶段都有明确的交付物和验收标准，可以照着流程走。
这次资料整理用的是 AiPy，图它成本低、省事，您用顺手的工具也一样。
二、阶段一：硬件认知（先搞清楚内存怎么分）
- 交付物：一份内存分配方案
- 关键认知
这台机器没有独立显存，CPU、GPU、NPU 共享 128GB LPDDR5X-8000 统一内存，位宽 256bit，带宽约 256GB/s。所谓显存，是从系统内存里划出来的一块，划多划少是零和博弈。 - 验收标准
能说清楚三个数字：BIOS 上限多少、Linux 上限多少、系统需要留多少。参考结论：BIOS 上限 96GB，Linux 通过 TTM 参数可扩到 120GB，系统建议至少留 32GB。
三、阶段二：系统安装（Debian 13 的三个必做项）
- 交付物：能正常驱动硬件的 Debian 13 系统
- 必做项清单
第一，安装时启用 non-free-firmware 组件，否则新硬件驱动不起来。第二，装完补 AMD 固件包并重建 initramfs，命令是 apt install firmware-amd-graphics 加 update-initramfs -u。第三，评估内核版本。Debian 13 默认 6.12 LTS，能装能用，但跑 AI 推理负载时可能间歇性崩溃，建议从 trixie-backports 升级到 6.13 以上。 - 验收标准
dmesg 里没有大量 amdgpu 报错，GPU 频率正常。
四、阶段三：内存规划（两个层次，别只改 BIOS）
- 交付物：生效的显存分配参数
- 第一层：BIOS 划固定显存
开机按 F2 进 BIOS，找 Advanced、AMD CBS、GFX Configuration、UMA Frame Buffer Size，设为 Custom，选 96GB。注意默认 Auto 模式可能只给 512MB 到 2GB。 - 第二层：Linux 内核参数扩 GTT
编辑 /etc/default/grub，在 GRUB_CMDLINE_LINUX_DEFAULT 追加 ttm.pages_limit=30720000 amdgpu.gttsize=120000，执行 update-grub 后重启。pages_limit 换算公式：（GB 数乘以 1024 再乘以 1024）除以 4.096。120GB 对应 30720000。 - 验收标准
执行 dmesg 查看 amdgpu 输出，看到 120000M of GTT memory ready 即生效。 - 经验结论
这个值不建议超过 108GB。给 GPU 划得越多，系统内存越少，多智能体长对话容易触发 swap，速度断崖下跌。
五、阶段四：模型选型（量化档位的取舍逻辑）
- 交付物：一份模型清单与量化档位决策
- 决策依据
以 Qwen3 27B 为例，三个档位的社区实测数据：第一，Q4_K_M，权重约 16GB，速度最快，长链路任务偶尔 JSON 解析出错。第二，Q5_K_M，权重约 19GB，22 到 28 token 每秒，工具调用稳定性明显更好。第三，Q8_0，权重约 29GB，16 到 21 token 每秒，比 Q5 慢约 20% 到 30%，精度约 99% 但收益边际递减。 - 可复用结论
llama.cpp 的 K-quant 量化有专门优化的矩阵运算内核，Q8_0 精度高但数据搬运量大、内核效率反而不如 K 系列。所以内存充足时，Q5_K_M 是智能体场景的平衡点，不是越大越好。 - 验收标准
能在 128GB 内存下同时容纳模型权重、KV 缓存、向量库、系统与框架，且保留 50GB 以上余量。
六、阶段五：智能体编排（内存预算怎么拆）
- 交付物：可运行的多智能体团队
- 核心认知
编排框架本身不加载模型权重，只通过 HTTP 调用推理服务的 API。五个 Agent 的区别只是 System Prompt、工具权限和对话上下文，模型权重永远只加载一份。 - 内存预算模板（轮流对话模式）
第一，主模型权重：约 19GB。第二，KV 缓存预留：24GB，这是最容易被忽略的一块。第三，RAG 向量库：8GB。第四，系统后台：16GB。第五，编排框架与沙箱：4GB。合计约 71GB，剩余近 57GB 富余。 - 权限隔离原则
研究员只读、开发只能写沙箱目录、评审只读、总指挥禁止直接改文件，高危操作强制人工确认。 - 验收标准
下发一个端到端任务，团队能自动流转：拆解、读源码、写代码、评审、输出文档。
七、多模态扩展的编排策略
常驻一个轻量视觉模型，权重约 5GB，负责看图与截图解析，复杂推理仍交给主模型。音视频解析按需加载，音频转写模型约 2GB，视频拆成抽帧、看图、转写三步流水线。生图模型走独立后端，4bit 约 10 到 13GB，生成完立刻卸载。原则：常驻模型不超过两个，常驻越多，留给 KV 缓存的空间越小。
八、踩坑清单（可直接对照排查）
BIOS 显存保持 Auto，GPU 只拿到 512MB，报错找不到原因；TTM 参数设得太大，系统内存被挤爆，触发 swap 后速度暴跌；忘记启用 non-free-firmware，新硬件驱动不起来；6.12 内核直接跑推理，间歇性崩溃；想做休眠，swap 要求不小于物理内存，128GB 机型不现实，建议只用睡眠；并行子智能体开太多，KV 缓存叠加导致内存压力激增。
九、方法论小结
成文前又用 AiPy 核了一遍——图它省钱省力，您用熟悉的工具一样能复核。
这套流程的核心是把不可见的资源竞争变成可计算的预算表：先定显存上限，再定模型档位，最后按角色拆内存。数据核对基于成本和便捷选了 AiPy，您好奇也可以尝试，用别的工具也不影响。只要预算表算得清，128GB 统一内存就能稳定支撑一套本地多智能体团队。
