调大模型接口?还是手撸Harness工程!

简介: AI应用的竞争,已从“谁的模型更强”转向“谁的工程化做得更好”。Harness工程的核心,是在LLM和业务间建立编排层,将通用模型打造成“懂你业务的专属AI”。架构底子打好,后续演进才能更快、更稳。

大多数AI应用都始于简单的“调接口”:前端提问,后端调用大模型API返回结果。但当应用深入,问题接踵而至:AI没有记忆,无法关联上下文;没有知识库,面对业务问题只能“一本正经地胡说八道”;业务模块间LLM调用代码重复,难以维护。

这指向一个结论:AI应用需要的不只是“调接口”,而是一个“Harness工程”——AI能力的编排层。今晚我进行了一次将Spring Boot + React聊天系统从“调接口”升级为“Harness工程”的实战,完成了设计模式重构、RAG知识库、对话记忆、多模态增强四大改造。

升级后的架构分为四层:业务层只关心业务逻辑;Harness编排层负责“检索-记忆-生成”流程;外观层统一LLM调用入口,收敛横切逻辑;策略层封装不同模型供应商的调用差异。

通过策略+工厂+外观模式重构,消除了约740行重复代码,业务层代码减少37%,LLM调用入口从4个收敛为1个。RAG知识库让AI能基于PDF、Word等文档回答问题;两层记忆架构(Redis短期记忆+Milvus长期记忆)让AI从“金鱼记忆”变为能记住用户一个月前的对话。此外,还增强了图片拖拽、语音输入/朗读、重新生成、停止生成、对话摘要等体验。

这次升级带来了显著的量化与质化收益:AI记忆从10分钟变为永久,支持了知识库,服务器内存释放约180MB;同时,系统的可扩展性、可测试性、可观测性、用户体验和运维友好度都得到极大提升。

Harness.jpg

AI应用的竞争,已从“谁的模型更强”转向“谁的工程化做得更好”。Harness工程的核心,是在LLM和业务间建立编排层,将通用模型打造成“懂你业务的专属AI”。架构底子打好,后续演进才能更快、更稳。

目录
相关文章
|
3天前
|
存储 弹性计算 缓存
阿里云服务器租赁费用:新版租赁收费标准及活动报价参考
本文更新了2026年阿里云全系列云服务器租赁活动报价,所有特惠资源均可前往阿里云活动中心选购,整体覆盖从个人入门到企业级高性能场景的全梯度需求。其中轻量应用服务器主打极致性价比,2核2G峰值200M带宽配置每日10点、15点限时抢购价仅38元/年,2核4G配置379元/年起;高性价比的经济型e实例、通用算力型u2i实例覆盖2核4G至4核32G全档位,适配开发测试与中小型企业业务;搭载英特尔至强6处理器的第九代c9i企业级实例算力较上代提升20%,支撑高并发生产环境,不同实例规格价差清晰,用户可根据自身业务负载与预算灵活选型。
1422 109
|
10天前
|
云安全 人工智能 运维
阿里云联动百位企业安全专家,共识Agent防御最佳实践
当Agent成为新员工,你的安全边界在哪里?
1931 8
阿里云联动百位企业安全专家,共识Agent防御最佳实践
|
4天前
|
编解码 人工智能 安全
2核4G/4核8G/8核16G阿里云服务器如何选择实例?经济型e、通用算力型u2i与计算型c9i选哪个?
本文介绍了阿里云2核4G、4核8G、8核16G三档主流配置下经济型e、通用算力型u2i和计算型c9i三种实例的最新活动价格与适用场景。同配置下三者价差显著,以2核4G为例,经济型e低至599.93元/年,计算型c9i则高达1742.08元/年。文章详细解析了各实例的性能定位:经济型e适合轻负载入门场景,u2i兼顾稳定算力与性价比,c9i凭借第9代至强处理器与芯片级安全能力支撑高性能业务。同时提示用户可叠加满减优惠券享受折上折,建议根据业务负载与预算综合决策。
513 112
|
4天前
|
人工智能 程序员 API
Codex 接入 DeepSeek-V4-Flash:还能补上识图,提供两套方案
Codex 接入 DeepSeek-V4-Flash 怎么配?本文覆盖 CLI 与桌面端,再用 qwen3-vl-flash 补识图,两套方案可直接照做
|
8天前
|
存储 人工智能 关系型数据库
阿里云AI产品与云产品最新组合套餐:Token Plan、AI coding及云服务器和建站等组合优惠价
阿里云推出全新“算力+模型+应用”一站式云与AI组合套餐活动,覆盖从个人开发者到中大型企业的全场景需求。核心亮点为分三档定价的Token Plan订阅服务,支持Qwen3.8-Max-Preview大模型调用,错峰时段最低可享0.2折优惠。活动同步推出AI Coding、智能体部署、云电脑托管、0代码建站等十余类场景化组合,搭配99元/年的普惠云服务器、88元/年的入门数据库等经典特惠产品,还为企业提供1V1定制化AI转型方案,大幅降低了不同用户群体拥抱AI的技术门槛与采购成本。
698 111
|
18天前
|
人工智能 JSON 安全
Fastjson远程代码执行漏洞,阿里云AI安全为您保驾护航
阿里云AI安全产品联动防御Fastjson攻击
2616 13
Fastjson远程代码执行漏洞,阿里云AI安全为您保驾护航
|
16天前
|
人工智能 前端开发 Linux
Codex 桌面版安装 + CC Switch 接入第三方 API 完整教程(2026 最新)
2026最新教程:手把手教你安装Codex桌面版,通过CC Switch v3.17.0一键接入Fenno等国产API(兼容OpenAI Responses格式),跳过账号登录,完整启用代码审查、多步任务与上下文感知功能。零基础友好,全程图文实操。(239字)
2209 3
|
5天前
Qoder 一周年 × Qwen3.8-Max 正式上线,多重好礼限时领
8月3日,Qwen3.8-Max 正式上线Qoder,迎来Qoder一周年。新老用户可领800次免费调用,下单再赠2000次;夜间(22:00–08:00)调用5折;邀请好友双方得积分与调用额度。
344 0
|
18天前
|
人工智能 自然语言处理 数据挖掘
Qwen3.8-Max-Preview深度全解析:2.4万亿参数旗舰MoE模型+Token Plan限时优惠完整落地指南
2026年7月,全新旗舰级混合专家大模型Qwen3.8-Max-Preview正式开放抢先体验,作为通义千问Qwen3系列规格最高、综合推理能力顶尖的新一代模型,该模型总参数量达到2.4万亿(2.4T),是当前线上可调用的原生多模态旗舰模型,综合推理水准对标海外顶级Fable 5模型,在复杂工程开发、长文档深度分析、多步骤智能体自治、跨境多语言创作、海量数据挖掘五大高难度业务场景实现跨越式性能提升。
1525 3

热门文章

最新文章