本文根据阿里云百炼首席架构师高金杨在 AI 智领者峰会的演讲整理
导读：企业级的大模型开发，是一个复杂的过程，阿里云百炼平台以更经济高效的模型推理服务和更智能灵活的模型定制能力，让更多的企业以更低的门槛、更好的效果使用大模型产品赋能业务。
当下，AI 大模型已经成为各行业关注度焦点。而随着 AI 大模型的快速发展，大模型已经从“卷”参数， 走向“卷”应用的阶段，企业越来越关注如何让大模型更好地在业务场景中应用落地。
为了让更多的企业以更低的门槛、更好的效果使用大模型产品赋能业务，阿里云推出了百炼大模型应用开发平台。本文深入剖析了百炼平台的能力，分享如何更好地使用大模型赋能业务。
更经济、高效的模型推理服务
随着 2022 年底 ChatGPT 问世，生成式人工智能 (GenAI)逐渐开始引领产业链进行了一系列的应用创新。在这些应用创新落地到各行各业的过程中，其背后的支撑主要是大语言模型。
从技术上讲，大语言模型提供的是一个自然语言接口，但是在创新应用搭建的过程中，我们需要的不只是一个纯粹的聊天机器人，所以，如何让大模型适配多样化的场景，并有效地构建出各类应用，就成为了当下企业关注的焦点。
基于此，阿里云推出了大模型应用开发平台——阿里云百炼。百炼平台是一个面对企业开发者，深度整合云和 AI 先进能力，提供广泛模型开发工具，以及大量模型生态和模型服务的平台。
从现阶段应用来看，大模型的应用很多时候都不是单纯构建一个应用场景，也不是简单地搭建一个聊天机器人或者推出一款 APP，更多是企业利用大模型对企业内部应用系统进行优化，或者说企业应用“大模型 +”的实践。基于此，百炼提供了更开放的模型定制能力，从而更深度的融合进业务生态或系统。企业可以从业务系统中导入数据到大模型定制开发链路中，然后通过训练，再回到业务系统中赋能。
总的来说，百炼平台既提供对模型的直接调用与推理服务，也提供对各类应用以及模型定制的全套工具。
在百炼平台提供的最基础的模型调用与推理服务中，企业可以通过标准化的 API 在业务系统里调用模型服务。从这个角度出发，阿里云提供的是更深入的模型推理服务。
5 月 21 日，阿里云宣布了通义千问全部 9 款模型的降价。降价是希望通过推理成本大幅降低，能让更多企业以更低的门槛使用大模型产品，这源于阿里云稳定、智能、先进的 AI 基础设施，并通过阿里云人工智能平台 PAI 提供高性价比、超低延时、极致弹性的智算服务。
阿里云不仅很好解决了底层异构 AI 芯片的适配，同时也做了很多动态扩容、缩容的弹性计算的方案，帮助用户在业务波峰波谷中实现更高效的集群资源管理，实现分钟级别的动态扩缩容，达到降本增效的目的。
比如，阿里云进行了很多细节技术上的优化:在算子优化方面，阿里云设计了融合权重量化的算子，与传统 BF16 算子相比，算力提升了两倍左右，缓存带宽提升了四倍左右，实现了更高的吞吐率，以及更低的时延; 此外，阿里云也针对最新的 Attention 技术，实现了高效优化的算子，包括使用 Multi-Head Attention 等不同结构，充分提高算力利用率;在算力低精度量化方 面，阿里云结合权重进行了 4bit 和 8bit 的量化，并针对 KV-Cache 结构进行专业性量化;同时，阿里云结合了 GPTQ 以及 SmoothQuant 等量化微调技术，实现无损精度的模型量化。
面对 AI 应用的爆发，阿里云一直在通过各类技术的快速升级，为企业提供优质且经济的推理服务。
更智能、灵活的模型定制能力
除了最基础的模型调用与推理服务，百炼平台也提供对各类应用以及模型定制的全套工具。
目前很多公司都有非常多与业务相关的 AI 中台，为何还要引入模型定制和应用呢?其实企业对大模型应用的需求非常广泛。比如，企业有最基础的 Prompt 需求，也有基于客户数据所做的检索增强生成(Retrieval Augmented Generation，RAG)，以及用自身数据进行微调的服务。同时，企业希望大模型能深入接入业务系统，在这个过程中，企业可能涉及很多业务系统 API (Application Programming Interface，应用程序编程接口)，企业希望这些都能够很好地接入到大模型中。
针对企业定制模型的需求，目前有两种方案:一是企业把所有的元素都带入到业务系统里完成;另一种是企业将所有元素进行封装，阿里云称之为“智能应用编排”，即 Assistants API。
现在，企业自行搭建业务系统时经常使用 LangChain 等开源框架，在使用大模型应用时，企业需要给每个单元或环节都配置一个大模型。以金融场景为例，金融机构需要给研报、财报、行情分析等场景分别配置一个大模型，业务系统工作时，会涉及到多轮大模型的调用，造成更高的时延。
阿里云则更倾向以 Assistants API 为核心，对工具链封装，实现更智能、更灵活的开发，实现智能编排。
Assistants API 是通义千问基础大模型结合 Prompts 指令与工具能力所形成的强有力的服务单元。它支持 RAG、Memory、NL2SQL(Natural Language To SQL，将用户输入的自然语言转为可执行的 SQL 语句)、OpenSearch(阿里云开放搜索)、代码解释器与客户自定义插件等等各种类型的工具，核心功能是根据系统 Prompt 的指令与工具，实现定制化的大模型应用。
作为构建各类应用的统一底座，Assistants API 具有高效、快速反馈，易于编排几大核心优点。
一方面，它具备强大的能力，可以根据用户的输入、应用的 Prompts 去智能决策是否调用工具，调用哪些工具，按什么顺序调用工具完成一个复杂的任务。
另一方面，它的额外开销(Overhead)是相对很小的，所有决策与执行过程仅需单次大模型调用，使用 Assistants API 与直接使用基础大模型构建应用各方面的成本几乎一致，并不会像 Agent 链路那样引入更多的 token 消耗以及额外的时延。
最后，Assistants API同基础大模型一样，是一个大模型服务单元，以API及SDK(Software Development Kit，软件开发工具包)提供服务，可以被编排成 Multi-Agent 的应用或者带到客户的场景内进行深度开发。
在具体工作流程中，首先，阿里云会为 Assistants API 赋予一个系统设定，告诉应用“我想做什么”;进而，企业可以勾选、注册各类搜索引擎以及 RAG 知识库增强在内的各类插件;最后，Assistants API 可以帮助企业根据系统 Prompt 的指令，以及各类工具的描述，实现定制化大模型的能力，并实现工具的高效地智能编排。
企业为什么需要 Assistants API ?
以客服场景为例，企业客服场景有三个核心需求:客户意图识别、完善的业务知识理解与问答能力，以及与订单或物流等系统的交互与信息理解。
对于企业来讲，企业需要将这些需求从业务系统“带出来”，再通过 API 的形式，融入到业务系统中去。基于此，百炼平台从问答能力、工具链能力，以及开放性等方面，为企业提供了支持，所有的产品以 Assistants API 的形式融入系统。
Assistants API 的能力是基于阿里云底层工具链的能力。
首先是 RAG 服务——5 月 9 日重新发版后，阿里云当前的 RAG 服务可以完全兼容 LlamaIndex 社区的 SDK 开发范式，企业在 LlamaIndex 系统上编排 RAG 的方式，可以完全复制在百炼平台上。此外，针对企业级检索服务，阿里云提供了低时延、高并发的海量检索引擎，企业仅通过 5-10 行代码即可完成一个企业级 RAG 搭建。
其次，Prompting(提示词工程)服务也是 Assistants API 提供的核心能力之一。Prompting 是一个既重要，又容易被忽视的领域，在与大模型交互的过程中，Prompting 需要既懂大模型，又懂企业业务。百炼也提出了 Meta-Prompting 的概念，让提示词工程的门槛尽可能的降低。通过 Meta-Prompting，企业只需要描述需求，由大模型来协助写好提示词。
这方面的能力源自于 Meta-Prompting 能力的升级，实现了样例库的匹配。值得一提的是，阿里云自己的提示词优化，就是通过自身的提示词优化技术做出来的。这套技术就是 MetaICL (Meta-training for In- Context Learning) 技术，它不仅可以给出指令，还会根据指令给出一些文本样例，就好比让大模型进行“举一反三”，从而让大模型更简单有效地进行语境学习。MetaICL 基于阿里云建立的样本库，并实时根据问题、优化指令，进行动态调整，找到最合适的样例，并补充到指令当中，从而实现大模型指令更深度的优化。
另外一个值得关注的领域是上下文管理，这个领域随着使用场景的演进，已经逐步脱离过去单纯的一问一答的形式，走向更长的对话、个人助理场景。
阿里云发现，传统的多轮上下文理解是不够的。基于此，百炼平台也在新的工具包中推出了 Memory 服务。以天气场景为例，通过 Memory 服务，大模型产品可以根据人们不同的行程，查询相应时间段对应行程地区的天气。
总体而言，Memory 可以从用户历史对话过程中，抽取出模型的观察、推理和反思，并进行智能纠错，当用户提出问题的时候，会通过 Memory 服务帮助大模型重新理解用户的问题，将上下文信息补全，从而实现更好的上下文管理。
相较于使用记忆 20 轮或者 50 轮对话所形成的回答，Memory 的成本相对较低，使用的 token 也更少，还可以达到更好的效果。因为 Memory 并不是将所有的上下文全部灌输到大模型中，而是通过智能提取，将相关性最高的部分进行推理后，再放入大模型的应用链路中。
基于上述服务，百炼平台在智能助手的基础上，推出了个人助理的场景，这个场景融汇了上述所有百炼平台工具链产品的概念。比如，当用户需要收发邮件，或者查询 API 时，涉及比较多的插件的调用，如 RAG 检索引擎的调用，同时还支持超长历史对话的智能响应，用户可以跟智能助理进行多轮的对话。
目前，大模型开发市场上，有很多低代码，甚至零代码的开发服务，但企业级的大模型开发，是一个更复杂的过程，无论对于阿里云百炼平台，还是企业内部开发者而言，需要大家共同努力，一起完成。
百炼平台保证了代码态/管控台全一致的体验，从 SDK 角度出发，百炼平台保证了所见即所得:在知识库索引方面，百炼平台产品管控台界面对标 LlamaIndex 硬编排；从 Assistants API 角度出发，百炼平台所有的函数式定义，以及插件调用的体验，完全一致；同时，百炼平台也提供了多语言版本的应用调用，能够高效的集成各种各样客户的系统。
从当下应用来看，大模型的开发还处于需要厂商与企业用户一起思考如何将应用开发好，并深入融入到企业系统中，帮助企业实现“大模型 +”的阶段。
大模型的飞速发展，正在重塑每一个行业，同时也对所有人提出了新的能力要求，阿里云希望能够跟开发者一起，走得更远。
