AI 提示词模板相关的架构设计

简介: 现在很多企业纷纷研发大语言模型以解决业务问题。提示词在与模型交互中起到关键作用。为优化提示词模板的修改、提高渲染效率及确保安全性,架构设计注重可修改性、安全性、可靠性和性能。设计包括:将提示词存储在OSS以方便修改和版本控制;使用本地缓存提升读取性能;模板引擎增强灵活性;秘钥安全存储在加密系统中;并通过配置中心动态调整。此设计旨在提供高效、安全且可靠的AI交互体验等。

一、前言

去年 GPT-3.5 的问世,让很多国内外企业看到了大模型的强大能力和巨大价值,都在纷纷自研自己的大语言模型或者探索如何将大语言模型应用到解决业务难题、提高工作和生产效率上来。

现在,我们通过自然语言编写提示词就可以和大语言模型进行交互,实现自己想要的功能。提示词对大语言模型的性能和输出质量起着至关重要的作用。
AI提示词模板架构设计.png

在实际的 AI 业务落地过程中,提示词通常需要经历多轮调优,而且在调用大语言模型之前,通常需要动态构造提示词。如何让提示词模板更易于修改,如何让提示词模板渲染的效率更高,如何避免提示词的误修改对线上程序产生负面影响很关键。

二、架构设计考量

基于上述背景,在做架构设计时,我们重点考虑以下几个软件质量属性:
image.png

1 可修改性 。可修改性是指能够快速地以较高的性能价格比对系统进行变更的能力。由于提示词需要多轮调优,上线以后经常需要根据 Bad Case 不断优化提示词,因此需要采用更易于修改的方式。
2 安全性。安全性是指系统向合法用户提供服务的同时能够阻止非授权用户使用的企图或拒绝服务的能力。如果提示词模板需要存储在云端,需要通过鉴权进行访问,那么秘钥的安全存储非常关键。良好的安全性可以避免秘钥泄露,从而对系统安全造成负面影响。
3 可靠性。 可靠性是指系统能够处理错误和异常情况,并继续运行或安全地停机。通过合理的错误处理机制和冗余设计,系统能够避免单点故障导致的整体崩溃。在设计软件架构时,我们还应该考虑可靠性,任何在预发布环境中发现的问题都可以在不影响生产系统的情况下进行修复,从而减少了线上环境出现问题的概率,提高了系统的可靠性。
4 性能。性能是指系统的响应能力,处理任务所需时间或单位时间内的处理量。如果提示词模板存储在远端,提示词模板的读取性能也很重要,高性能达成良好的用户体验的关键因素。

三、架构设计描述

为了满足上述软件质量属性,如性能、可修改性、安全性、可靠性。设计如下图所示的架构:
Xnip2024-06-16_17-00-11.png

将提示词存储在 OSS 文件中,以便更方便地修改提示词,提高系统的可修改性。可以通过 Git 将不同的版本进行保存,方便分析和恢复到特定版本。

Xnip2024-06-16_16-40-49.png

同时存储在 OSS 中时,可以通过不同的文件夹进行环境区分,可以现在 pre 环境编辑和测试好提示词后再覆盖 gray 和 prod 避免因错误的提示词修改对线上环境造成负面影响,以提高系统的可靠性。

Xnip2024-06-16_17-02-33.png

同时,我们一个提示词可能无法适应所有场景,因此我们可以设计提示词模板路由器,根据不同的情况使用不同的提示词模板。

由于读取提示词模板相对频率较高,为了提高读取提示词模板性能,可以使用本地缓存,对提示词模板进行缓存。

同时,使用 Git 提交提示词时或者 使用 OSS Browser 工具直接修改 OSS 文本时,有 Diff 效果,可以很大程度上避免对提示词的误修改。
Xnip2024-06-16_17-01-04.png

同时为了提高提示词模板的灵活性,我们可以采用模板引擎来编写提示词模板,使用时只需要构造好模板所需的数据进行渲染即可。

在调用 OSS 客户端或者大语言模型时,通常需要在请求头或参数中传入秘钥信息进行鉴权,我们可以将秘钥信息存储在机密信息加密系统中,避免将密钥信息存储在代码仓库中造成秘钥泄露。
4.png

可以在配置中心中配置模板本地缓存的时间,配置当前使用的模型列表等,方便动态调整。
调用大语言模型后,我们可以将相关信息起来用户展示和分析。

四、总结

本文讲述在 AI 应用中常见的 AI 提示词相关的架构设计,该架构设计中重点考虑性能、可修改性、安全性和可靠性,希望对大家能够有帮助。

如果大家想系统学习提示词技巧,可以阅读我的相关文章:《一文掌握大模型提示词技巧:从战略到战术》


如果本文对你有帮助,可以点赞、收藏一下。

麻烦帮我在活动页 的“投稿作品”部分帮我点赞投你的宝贵一票:
image.png

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
打赏
0
72
78
39
212
分享
相关文章
AI + 低代码技术揭秘(二):核心架构
VTJ低代码平台架构包含引擎编排层、Provider服务系统、数据模型及代码生成管道,支持设计时与运行时功能。Engine管理设计流程,Provider处理服务加载,Simulator实现组件渲染,数据模型通过事件驱动同步状态。代码生成管道可双向转换Vue组件与DSL,支持多平台适配,如Web、H5和UniApp。系统提供可视化编辑、热重载与AI集成,满足高效开发需求。
43 0
AI 安全架构概述
AI 安全架构涵盖数据采集、模型训练、推理部署等阶段,确保安全性、隐私与合规。其核心组件包括数据层、模型层、推理层、应用层和运维层,针对数据安全威胁(如数据投毒)、模型窃取、对抗攻击及系统漏洞等风险,提出数据加密、对抗训练、联邦学习等防御策略,并强调开发前、开发中和部署后的最佳实践,以降低 AI 解决方案的安全风险。
436 13
AI 产品经理:技术架构图如何打通跨团队沟通壁垒?
本文三桥君深入解析AI产品经理如何绘制技术架构图,打通跨团队沟通壁垒。通过明确产品目标、分层设计与模块交互逻辑,帮助业务与技术团队高效协同,提升项目成功率。
80 7
用户说 | 手把手体验通义灵码 2.0:AI 程序员如何让我从“调参侠”进阶“架构师”?
通义灵码 2.0 是强大的 AI 编程工具,助力开发者从“调参侠”进阶为“架构师”。它支持跨语言开发、智能单元测试生成和图生代码等功能,显著提升开发效率。新增 QwQ 模型具备“代码脑补”能力,可推荐性能优化策略。尽管功能强大,但仍需注意环境隔离与代码审查,避免过度依赖。通义灵码 2.0 不仅是工具,更是开发者的“外接大脑”,帮助应对全栈开发挑战。
113 0
你的AI系统该如何"组队"?多智能体架构选择指南
想知道AI代理如何组队变得更强大?本文深入解析多智能体系统的核心概念、常见架构和通信模式,帮你轻松理解如何构建更复杂、更高效的AI系统。告别单一代理的局限,迎接AI协作的新时代!
80 1
让AI时代的卓越架构触手可及,阿里云技术解决方案开放免费试用
阿里云推出基于场景的解决方案免费试用活动,新老用户均可领取100点试用点,完成部署还可再领最高100点,相当于一年可获得最高200元云资源。覆盖AI、大数据、互联网应用开发等多个领域,支持热门场景如DeepSeek部署、模型微调等,助力企业和开发者快速验证方案并上云。
1251 39
让AI时代的卓越架构触手可及,阿里云技术解决方案开放免费试用
AI助理
登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问

你好,我是AI助理

可以解答问题、推荐解决方案等