AI 提示词模板相关的架构设计

简介: 现在很多企业纷纷研发大语言模型以解决业务问题。提示词在与模型交互中起到关键作用。为优化提示词模板的修改、提高渲染效率及确保安全性,架构设计注重可修改性、安全性、可靠性和性能。设计包括:将提示词存储在OSS以方便修改和版本控制;使用本地缓存提升读取性能;模板引擎增强灵活性;秘钥安全存储在加密系统中;并通过配置中心动态调整。此设计旨在提供高效、安全且可靠的AI交互体验等。

一、前言

去年 GPT-3.5 的问世,让很多国内外企业看到了大模型的强大能力和巨大价值,都在纷纷自研自己的大语言模型或者探索如何将大语言模型应用到解决业务难题、提高工作和生产效率上来。

现在,我们通过自然语言编写提示词就可以和大语言模型进行交互,实现自己想要的功能。提示词对大语言模型的性能和输出质量起着至关重要的作用。
AI提示词模板架构设计.png

在实际的 AI 业务落地过程中,提示词通常需要经历多轮调优,而且在调用大语言模型之前,通常需要动态构造提示词。如何让提示词模板更易于修改,如何让提示词模板渲染的效率更高,如何避免提示词的误修改对线上程序产生负面影响很关键。

二、架构设计考量

基于上述背景,在做架构设计时,我们重点考虑以下几个软件质量属性:
image.png

1 可修改性 。可修改性是指能够快速地以较高的性能价格比对系统进行变更的能力。由于提示词需要多轮调优,上线以后经常需要根据 Bad Case 不断优化提示词,因此需要采用更易于修改的方式。
2 安全性。安全性是指系统向合法用户提供服务的同时能够阻止非授权用户使用的企图或拒绝服务的能力。如果提示词模板需要存储在云端,需要通过鉴权进行访问,那么秘钥的安全存储非常关键。良好的安全性可以避免秘钥泄露,从而对系统安全造成负面影响。
3 可靠性。 可靠性是指系统能够处理错误和异常情况,并继续运行或安全地停机。通过合理的错误处理机制和冗余设计,系统能够避免单点故障导致的整体崩溃。在设计软件架构时,我们还应该考虑可靠性,任何在预发布环境中发现的问题都可以在不影响生产系统的情况下进行修复,从而减少了线上环境出现问题的概率,提高了系统的可靠性。
4 性能。性能是指系统的响应能力,处理任务所需时间或单位时间内的处理量。如果提示词模板存储在远端,提示词模板的读取性能也很重要,高性能达成良好的用户体验的关键因素。

三、架构设计描述

为了满足上述软件质量属性,如性能、可修改性、安全性、可靠性。设计如下图所示的架构:
Xnip2024-06-16_17-00-11.png

将提示词存储在 OSS 文件中,以便更方便地修改提示词,提高系统的可修改性。可以通过 Git 将不同的版本进行保存,方便分析和恢复到特定版本。

Xnip2024-06-16_16-40-49.png

同时存储在 OSS 中时,可以通过不同的文件夹进行环境区分,可以现在 pre 环境编辑和测试好提示词后再覆盖 gray 和 prod 避免因错误的提示词修改对线上环境造成负面影响,以提高系统的可靠性。

Xnip2024-06-16_17-02-33.png

同时,我们一个提示词可能无法适应所有场景,因此我们可以设计提示词模板路由器,根据不同的情况使用不同的提示词模板。

由于读取提示词模板相对频率较高,为了提高读取提示词模板性能,可以使用本地缓存,对提示词模板进行缓存。

同时,使用 Git 提交提示词时或者 使用 OSS Browser 工具直接修改 OSS 文本时,有 Diff 效果,可以很大程度上避免对提示词的误修改。
Xnip2024-06-16_17-01-04.png

同时为了提高提示词模板的灵活性,我们可以采用模板引擎来编写提示词模板,使用时只需要构造好模板所需的数据进行渲染即可。

在调用 OSS 客户端或者大语言模型时,通常需要在请求头或参数中传入秘钥信息进行鉴权,我们可以将秘钥信息存储在机密信息加密系统中,避免将密钥信息存储在代码仓库中造成秘钥泄露。
4.png

可以在配置中心中配置模板本地缓存的时间,配置当前使用的模型列表等,方便动态调整。
调用大语言模型后,我们可以将相关信息起来用户展示和分析。

四、总结

本文讲述在 AI 应用中常见的 AI 提示词相关的架构设计,该架构设计中重点考虑性能、可修改性、安全性和可靠性,希望对大家能够有帮助。

如果大家想系统学习提示词技巧,可以阅读我的相关文章:《一文掌握大模型提示词技巧:从战略到战术》


如果本文对你有帮助,可以点赞、收藏一下。

麻烦帮我在活动页 的“投稿作品”部分帮我点赞投你的宝贵一票:
image.png

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
1月前
|
人工智能 自然语言处理 数据库
AI - RAG架构
AI-RAG架构
64 0
|
1月前
|
人工智能 缓存 并行计算
技术改变AI发展:Ada Lovelace架构解读及RTX 4090性能测试分析(系列三)
简介:随着人工智能(AI)的迅速发展,越来越多的应用需要巨大的GPU计算资源。Ada lovelace(后面简称Ada)是NVIDIA最新的图形处理器架构,随2022年9月20日发布的RTX 4090一起公布。
136089 62
技术改变AI发展:Ada Lovelace架构解读及RTX 4090性能测试分析(系列三)
|
1月前
|
机器学习/深度学习 人工智能 架构师
【架构师】AI时代架构师必备技能
【架构师】AI时代架构师必备技能
|
8天前
|
人工智能 运维 监控
智能化运维:AI在IT基础架构管理中的应用
【6月更文挑战第8天】本文将探讨人工智能(AI)如何革新传统的IT运维领域,实现智能化的故障预测、自动化的修复流程以及高效的资源分配。我们将通过实例分析AI技术如何优化数据中心的能源使用,提升网络性能监控的准确性,并降低系统维护成本。
11 2
|
14天前
|
人工智能 容器 运维
活动回顾丨AI 原生应用架构专场·北京站 PPT 下载
5 月 24 日,飞天技术沙龙首个 AI 原生应用架构专场在北京举办。
|
20天前
|
人工智能 算法 测试技术
探索软件自动化测试的未来:AI驱动的测试策略构建高效可靠的微服务架构:后端开发的新范式
【5月更文挑战第28天】 在软件开发的世界中,测试是确保产品质量的关键步骤。随着技术的进步和项目复杂性的增加,传统的手动测试方法逐渐显得力不从心。本文旨在探讨自动化测试的最新趋势——人工智能(AI)驱动的测试策略。我们将分析AI如何通过智能化的测试用例生成、测试执行优化以及结果分析来提高测试效率和精确性。文章还将讨论实施AI测试策略的挑战与机遇,为软件测试工程师提供未来技术转型的视角。 【5月更文挑战第28天】 在当今软件开发的快速迭代和复杂多变的环境中,传统的单体应用架构已经难以满足业务敏捷性和可扩展性的需求。微服务架构作为一种新的解决方案,以其服务的细粒度、独立部署和弹性伸缩等特性,正逐
|
27天前
|
人工智能
邀您参会丨飞天技术沙龙 AI 原生应用架构专场·北京站
飞天技术沙龙 AI 原生应用架构专场·北京站报名中。
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
清华首款AI光芯片登上Science,全球首创架构迈向AGI
【4月更文挑战第16天】清华大学研究团队开发出大规模光子芯片“太极”,在《科学》杂志发表,该芯片基于创新的光子计算架构,实现百万神经元级别的ONN,能效比高达160 TOPS/W。实验中,太极芯片成功执行1000类别分类任务,提升AI内容生成质量,为AGI发展开辟新路径。然而,光子集成电路的制造成本高、技术成熟度不足及软件支持限制了其广泛应用。
46 5
清华首款AI光芯片登上Science,全球首创架构迈向AGI
|
1月前
|
传感器 机器学习/深度学习 存储
AI - Agent(人工智能代理)架构
AI Agent(人工智能代理)架构
210 0
|
1月前
|
人工智能 缓存 机器人
【2024】英伟达吞噬世界!新架构超级GPU问世,AI算力一步提升30倍
英伟达在加州圣荷西的GTC大会上发布了全新的Blackwell GPU,这款拥有2080亿个晶体管的芯片将AI性能推向新高度,是公司对通用计算时代的超越。Blackwell采用多芯片封装设计,通过两颗GPU集成,解决了内存局部性和缓存问题,提供20 petaflops的FP4算力,是上一代产品的5倍。此外,新平台降低了构建和运行大规模AI模型的成本和能耗,使得大型语言模型推理速度提升30倍。黄仁勋表示,Blackwell标志着AI算力在近八年内增长了一千倍,引领了技术边界拓宽的新趋势。