最近社区里自部署开源 Agent 框架的教程密度明显上升,一周能刷到十几篇,标题清一色的「半小时搞定」「手把手」。部署成功截图确实好看——终端里跑起来的那一刻,人人都有「我也有了私有 AI」的成就感。
但部署成功和用得下去之间,隔着两本很少被算的账。跟风之前建议先算完再动手。
第一本:算力账。
7B 级模型的部署门槛被教程轻描淡写了。「能跑起来」和「能稳定服务」差着一个数量级的资源:单并发演示只要一张消费级卡,三人以上团队同时用、加上上下文变长后的显存曲线,很快就要面对排队和超时。更现实的是利用率——个人和小团队的调用密度,大部分时间硬件在吃灰,折旧却按天算。教程不会告诉你:那张让你跑起模型的卡,一年折旧下来够买多少次按量付费的推理。
第二本:维护账。
这本账教程里一个字都不会提,却是自部署真正的成本大头:
- 模型版本升级:新版本出来,旧的量化包要不要跟?跟了要回归测试,不跟吃不到修复。
- 依赖安全补丁:一条 CVE 出来,你得自己重打包重部署。
- Prompt 与工具链适配:框架两周一个大版本,你的自定义工具函数跟着改。
把这些工时折成人力成本,再和托管服务的账单放在一起看,数字经常是反直觉的——自部署省下的调用费,不够支付维护它的时间。
那什么时候值得自部署?三条判据,满足任意一条再考虑:一是数据合规硬约束,数据不能出域,没得选;二是运行环境离线,内网/专有云场景;三是调用量大到账单真的痛,规模效应反转了天平。三条都不沾、只是想「省个订阅」的,大概率是在用工时补贴服务器。
冷思考不是否定自部署本身——数据不出域的场景下它是正解。要否定的是「部署成功=万事大吉」的叙事:真实世界里,部署完成那一刻,成本才刚开始。
社区需要的不只是部署教程,还需要下线复盘。等第一波「我把自部署的框架关掉了」的文章出现,这场热潮才算真正沉淀出了经验。