调大模型接口?还是手撸Harness工程!

简介: AI应用的竞争,已从“谁的模型更强”转向“谁的工程化做得更好”。Harness工程的核心,是在LLM和业务间建立编排层,将通用模型打造成“懂你业务的专属AI”。架构底子打好,后续演进才能更快、更稳。

大多数AI应用都始于简单的“调接口”:前端提问,后端调用大模型API返回结果。但当应用深入,问题接踵而至:AI没有记忆,无法关联上下文;没有知识库,面对业务问题只能“一本正经地胡说八道”;业务模块间LLM调用代码重复,难以维护。

这指向一个结论:AI应用需要的不只是“调接口”,而是一个“Harness工程”——AI能力的编排层。今晚我进行了一次将Spring Boot + React聊天系统从“调接口”升级为“Harness工程”的实战,完成了设计模式重构、RAG知识库、对话记忆、多模态增强四大改造。

升级后的架构分为四层:业务层只关心业务逻辑;Harness编排层负责“检索-记忆-生成”流程;外观层统一LLM调用入口,收敛横切逻辑;策略层封装不同模型供应商的调用差异。

通过策略+工厂+外观模式重构,消除了约740行重复代码,业务层代码减少37%,LLM调用入口从4个收敛为1个。RAG知识库让AI能基于PDF、Word等文档回答问题;两层记忆架构(Redis短期记忆+Milvus长期记忆)让AI从“金鱼记忆”变为能记住用户一个月前的对话。此外,还增强了图片拖拽、语音输入/朗读、重新生成、停止生成、对话摘要等体验。

这次升级带来了显著的量化与质化收益:AI记忆从10分钟变为永久,支持了知识库,服务器内存释放约180MB;同时,系统的可扩展性、可测试性、可观测性、用户体验和运维友好度都得到极大提升。

Harness.jpg

AI应用的竞争,已从“谁的模型更强”转向“谁的工程化做得更好”。Harness工程的核心,是在LLM和业务间建立编排层,将通用模型打造成“懂你业务的专属AI”。架构底子打好,后续演进才能更快、更稳。

目录
相关文章
|
3月前
|
存储 人工智能 自然语言处理
AI工程 V0.2--从Coding到Delivery的全链路重构及思考
在当前的 AI 浪潮下,我们正处于从单纯的 AI Coding(辅助写代码)向 AI Delivery(全链路交付)转型的关键时期。这不仅仅是工具的升级,更是研发范式、协作模式乃至架构设计的深刻变革。本文基于近期的探索与实践,梳理了我们在 AI 工程化落地过程中的核心思考与技术痛点。
268 0
|
人工智能 JSON 前端开发
有关D2C工具的思考和分享, 提升前端研发效率
有关D2C工具的思考和分享, 提升前端研发效率
1198 1
|
22天前
|
人工智能 程序员 开发工具
AI时代程序员需要关注的点(个人理解)
AI时代,经过我自己原创的项目,十几天的不断产品迭代,是对自己所有经验以及与AI结合,不断发现问题,不断要求AI去改,不断AI改,我不断抽象的过程,以及我不断精进的过程。
56 2
|
30天前
|
设计模式 人工智能 监控
从“复制粘贴”到“设计模式”:​一次AI系统LLM调用层的重构实践
本文分享AI聊天系统LLM调用层重构实践:针对4个模块740行重复代码的“维护炸弹”,引入策略、工厂、外观模式,构建三层抽象架构。业务代码减少267行,新增模型成本降至1个类,统一接入监控,显著提升可维护性与可观测性。(239字)
111 1
|
人工智能 JSON 机器人
让龙虾成为你的“公众号分身” | 阿里云服务器玩Openclaw
本文带你零成本玩转OpenClaw:学生认证白嫖6个月阿里云服务器,手把手配置飞书机器人、接入免费/高性价比AI模型(NVIDIA/通义),并打造微信公众号“全自动分身”——实时抓热榜、AI选题拆解、一键发布草稿,5分钟完成热点→文章全流程!
46932 165
|
3月前
|
存储 分布式计算 Spark
现代艺术--"软件工程"
时隔多年,在无数的夜以继日的实战中,我正式将《软件工程》定义为:《计算机工程与架构技术》,目前更新到V1.4版本。
212 1
|
6月前
|
人工智能 搜索推荐 定位技术
Geo优化新纪元:知识图谱构建与“两大核心+四轮驱动”实践指南
Geo的核心目标,不再是单纯追求关键词排名,而是致力于将内容打造为AI大模型高度信任和优先引用的权威知识源。这其中,知识图谱的构建扮演了至关重要的角色。
495 15
|
8月前
|
算法 数据库
医疗器械唯一标识(UDI)HIBCC编码
医疗器械唯一标识(UDI)是全球通用的器械追溯系统,HIBC是由HIBCC制定的医疗专用条码标准,支持Code 128/39编码,具高可读性、抗污损、带校验位,广泛用于美国FDA合规产品,适用于高值耗材、植入物及医院资产管理,可通过HCreateLabelView工具生成符合规范的HIBCC条码,实现UDI数据自动采集与追溯。
878 2
|
12月前
|
运维 调度 数据安全/隐私保护
ERP系统开发中的技术难点与应对策略分析
开发ERP系统面临架构设计、数据整合、流程建模、性能优化与安全运维等多重挑战。本文详解五大技术难点及应对策略,涵盖微服务与单体架构平衡、数据迁移集成方案、流程引擎设计、高并发处理及权限控制等关键点,并提供实用技术栈建议与渐进式开发路线。
1067 0
|
人工智能 自然语言处理 并行计算
Kokoro-TTS:超轻量级文本转语音模型,支持生成多种语言和多种语音风格
Kokoro-TTS 是一款轻量级文本转语音模型,支持多语言和多语音风格生成,具备实时处理能力和低资源占用,适用于多种应用场景。
2933 5
Kokoro-TTS:超轻量级文本转语音模型,支持生成多种语言和多种语音风格

热门文章

最新文章