第一部分介绍百炼产品的背景，以及其产品定位、能力结构。除最核心的产品能力模型推理能力能力外，它提供的更多时大模型应用搭建能力，目前被大家所熟知的是 RAG 的能力，也是应用最多的能力。
第二部分会针对 RAG 介绍其整体的能力优势、建设方向，以及在一个链路上创建一个 RAG的步骤以及可能会遇到的问题。
第三部分介绍目前落地的最佳方案。
01. 阿里云百炼产品定位和能力简介
1.1 产品背景
（1）大模型持续发力，为 AI 新范式创新加速
在过去的一年半中，大模型无疑成为了科技领域的热门话题，国内各大厂商纷纷推出了自己的模型品牌，阿里云的大模型品牌是通义千问。对于熟悉大模型的朋友们来说，通义千问并不陌生，可能也访问过其官网。然而，有人可能会对阿里云百炼感到疑惑，既然已经有了通义千问，为什么还需要阿里云百炼呢？实际上，通义千问是阿里云推出的大模型品牌名称，而大模型需要为企业级用户提供调用接口以及在调用过程中的相关工具。因此，阿里云百炼应运而生。它是一款基于模型，为用户提供模型能力的产品。
百炼的启动时间是 2023 年的 4 - 5月。经过一年的发展，2024 年 5 月迎来了百炼一周年。在这一年里，阿里云不断迭代产品能力，初步构建起了模型生态和应用工具生态，该版本到九月云栖大会展示的版本还会迎来新的变化。
（2）通义大模型官方唯一企业级服务平台，助力企业轻松打造最优落地效果的大模型应用
阿里云官网有灵积的模型服务平台、魔搭社区，还有部分用户在 PAI 平台自行搭建过大模型。阿里云百炼与通义大模型紧密相关，通义大模型向企业级客户和开发者提供推理调用服务，其模型训练和部署均通过阿里云百炼来实现。阿里云基本已实现了所有开源、闭源的通义模型的上架。下图展示了各类服务的应用场景：
在底层，阿里云百炼依靠灵积平台提供基础模型能力，而魔搭社区则聚焦于开源模型和框架，开发者可以在该社区分享和交流开源模型，以更好地将其应用于自身项目。此外，对于那些希望在开发者视角下进行更可控的模型训练和部署的用户，可能会选择使用PAI平台。而对于直接面向企业级或个人开发者，若要调用大模型并使用更灵活的应用搭建工具，阿里云百炼则是理想之选。
1.2 产品能力
下图中左侧是面向大中小企业，所有的生态SV伙伴都可以使用，也有大量的开发者使用。
从递进式的角度来看，其最基本的功能是为用户提供稳定且高性能的模型调用服务。
在阿里云百炼平台上，不仅涵盖了通义家族的模型，还引入了一些国内优质的三方开源模型。用户可以方便地在平台上体验、评测模型效果，并进行调用。这是用户使用百炼的常见路径之一。
除模型调用之外，阿里云百炼一直致力于为开发者提供便捷的大模型应用搭建能力，助力用户将大模型快速融入自身的业务场景和系统中。
为此，阿里云百炼提供了一整套应用搭建工具。在2024 年 9 月，百炼还对这些工具进行进一步的迭代升级。
对于部分资深开发者而言，他们可能拥有一定规模的数据量和算法人力，希望让大模型更好地适配自身行业或专业领域的特定需求，就如同让大模型在本科基础上进行专业领域的SFT深造。在这种情况下，他们可以利用阿里云百炼进行在线训练，从数据上传管理、训练到部署，整个流程均实现了在线化和一站式服务。不过，由于该功能存在一定的条件和门槛，相对而言，前两种使用方式在当前更为普遍。
此外，鉴于阿里云百炼作为大模型平台的定位，拥有自己的模型广场和应用广场，并持续构建应用能力项和工具。百炼期望未来开发者能够与之共同打造应用生态，将自己搭建的应用上架部署到百炼平台，供其他企业级客户和开发者使用。这将是百炼大模型迈向开放和生态建设的重要一步。
1.3 应用成果
在百炼成立一年多的时间里，其客户在多个核心业务场景中实现了落地应用。
（1）问答推理
问答推理是最为常见的应用场景之一，无论是企业内部还是外部，使用了bot的提效方式，广泛采用基于大模型的问答交互方式，如智能助理、个性化陪聊、面向用户端的智能问答以及基于RAG 的知识增强搜索问答等。
（2）内容生成
文本生成是基于大模型的专项，生成类应用也是大模型的重要应用领域，特别是在传媒行业可用于多个领域，可结合多模态用于文生图、文字配图等各种内容的创作；在电商领域，可撰写短视频脚本、营销文案等
（3）代码生成
在代码开发方面，基于大模型推出了零码，此外，不仅能够生成基础代码，还能辅助排查错误和进行测试。
（4）数据分析
在数据分析领域，阿里云百炼的上架析言产品应用，它可以通过文本交互实现数据报表的生成，同时也有咨询公司和互联网分析类企业利用大模型进行表格问答和图表分析。
阿里云百炼的用户已经覆盖了各行各业。在云栖大会上，阿里云将邀请在各个场景成功落地的客户来到百炼云栖展馆，共享使用经验和方法。
1.4 收费逻辑
阿里云百炼的收费模式较为简洁明了。
推理服务是主要的收费项目之一，无论是构建应用后的推理服务，还是直接调用大模型的推理服务，均收取模型推理服务的费用，按照token 进行计费。2024 年 5 月，阿里云对价格进行了大幅调整，区分了输入和输出的定价。
另外两个定价项目分别是训练和部署，这涉及到上述提到的第三种使用路径。相较于推理服务，训练和部署所需的经济资源更多，因此费用也相对较高。在部署方面，百炼提供了预付费和后付费两种模式，用户可以根据自身实际的机器资源需求和成本考量进行选择。
需要重点强调的是推理部分，在 2024 年 8 月，百炼上线了 Batch 调用模式。目前该模式覆盖了三款主流模型，即 Max、Plus 和 Turbo。对于测试稳定后有大量推理需求且无需实时处理（如异步处理）的用户，更适合使用 Batch 调用模式，价格更低。对于常用的流式输出，如智能助理和RAG 搭建场景，常采用基础的实时调用模型推理方式，目前预制的模型商业化多采用该方式。图中提供了主流旗舰四款模型的定价信息。
02. 知识检索 RAG 智能体应用能力和优势
这部分是本次分享的重点，即应用工具的能力项 RAG 。
2.1 知识检索增强 RAG 应用
在大模型领域，我们经常接触 Prompt、RAG、SFT等概念。在实际应用中，RAG 因其在成本控制和效果可控性方面的优势，被广泛提及和应用。下图为详细阐述了阿里云百炼在搭建 RAG 能力时所做的工作，以及如何帮助大家更高效地构建 RAG 应用：
阿里云百炼在构建 RAG 能力时，预先处理了诸多复杂的任务，可以帮助大家省掉很多调研分析的精力和时间，如比对向量化模型，试用更优的Chunck工具等等。用户只需整理自己的数据，分类上传，构建自己的知识库，其余的工作都可以交给平台的工具和大模型完成，进而将应用接入自己的系统或产品（如网页）中。这个过程可能仅需 4 -5 步即可完成。百炼平台会对用户上传的结构化或非结构化数据进行离线解析、切片、向量化存储等操作，并且在这个过程中投入了大量的算法资源，用于排序配置等工作。
在 RAG 生成的应用中，为使得生成的效果更加可控、精准，百炼还嵌入、封装了多个实用的能力项，如快速接入插件工具、长期记忆模块以及基础的Workflow工作流和流程编排等。这些能力项在初始阶段均已预设好，同时，我们也在逐步开放一些可自定义的参数配置，以满足用户的个性化需求。
如在切片方面，百炼将开放自定义Chunck切片功能，用户可以根据自身需求把控数据处理的精准度。在智能搜索方面，百炼也在不断优化，主动进行 Prompt 改写，并对搜索结果进行增强和排序优化。
在整个RAG应用创建过程中，每一个环节都至关重要，数据的清洗程度、解析的精准度、切片后被大模型识别的准确度等都会影响最终的效果。因此，百炼致力于在每个环节提升可干预性和可解释性，努力确保用户能够获得更可控、更精准的结果。9 -10 月 RAG 的迭代版本中，用户可以体验到更多朝着这个方向优化的功能。百炼将复杂的任务处理前置，为用户提供更多简易的自定义配置选项，以提升应用效果。
2.2 创建 RAG 应用的步骤
从数据的角度详细讲解RAG应用的创建过程。
第一步，用户点击创建应用。
在这个过程中，最为关键的是准备好数据。阿里云对数据进行了结构化的分类。最为常见的是非结构化数据，目前百炼平台支持多种格式，如PDF、Word、TXT、Markdown等。结构化数据则通过预先定义好表头的表格进行FAQ上传，近期百炼还新增了增量上传功能，方便用户对数据进行管理。用户在上传数据前，需在本地对数据进行整理和分类，上传后平台会自动进行智能解析。
第二步，完成数据的上传和解析后，用户需要对基础的数据进行打标、分类封装。
因此，要对同一结构或非结构化的数据创建知识库，让这部分知识被系统地进行检索和向量化。在这个过程中，阿里云提供了两种方式。
在配置知识库时，用户可以选择默认推荐的配置，这些配置是由算法团队精心打包完成。用户也可以选择自定义配置，不过目前自定义配置中的Rank和相似度等参数仅开放了部分选项，百炼会根据用户反馈和算法优化情况，逐步扩大可自定义的范围。对于经验不足的用户，建议使用推荐的自定义配置。
在切片方式上，百炼提供了智能切片和自定义切片两种选择。自定义切片允许用户选择标点符号（中文或英文）、长度以及段间重叠量级等参数。目前开放的可选项主要集中在这三个方面，后续百炼会根据用户使用反馈和算法优化需求，进一步拓展自定义范围。
同时，需要注意的是，百炼在 RAG 系统中已经预制了 Embedding 模型向量化功能，用户无需额外寻找相关组件，节省了时间和成本。
创建应用过程中涉及到的工作流和智能体编排，将在后续课程中结合具体实践进行详细讲解。这部分内容与业务场景的结合更为紧密，需要基于特定业务场景进行创建和搭建。
最后，用户需要进行Prompt预制。
用户完成上述过程的配置，跟随指引上传数据，搭建知识库，并需要选择配置模式和切分方式，进行勾选即可。此外，还包括Prompt的优化。由于 Prompt 优化工具是剥离开应用组件的，在优化后可复制粘贴到对话框。百炼的Prompt优化工具现已与应用组件一体化，用户可以直接在应用中设定角色、提出要求，若对初始Prompt效果不确定，还可利用优化工具进行优化后直接粘贴使用。
长期记忆模块于 2024 年 7 月正式开放，该模块基于上下对话信息和用户画像标签，能够实现更精准的回答。目前，百炼开放了个性化画像的抽取和标签功能。关于插件和流程编排，它们主要应用于应用编排过程中，用于调取企业内部信息或在工作流中进行流程创建，在此不做详细展开。
百炼上线了检索配置功能，用户可以通过该功能进行可干预的更精细化的运营管理，例如设置知识管理范围配置、搜索域值等。这一功能的推出，旨在满足企业用户在特定场景下的需求，如为某个部门定制知识问答，避免模型回答超出部门文档范围的问题。
2.3 常见使用问题
在使用基础RAG的过程中，用户通常会关注以下几个关键问题：
关于Prompt、RAG、SFT的使用时机。一般而言，RAG在企业对内和对外的基础文档问答场景中应用广泛，适用于处理大量非结构化数据，通过文档内容解决内部或外部用户问题的场景。
其次，索引中知识命中检索分值与应用检索知识检索分值的区别。简单来说，前者是查询时的相似度得分，用于衡量检索结果与查询的相似程度；后者则是在RAG检索过程中多路召回后的排序分值，用于对召回结果进行排序。
再者，知识切片的标题和段落等因素对召回检索质量存在影响。虽然随着切片算法能力的提升，早期对文档结构的严格要求有所降低，但这些因素仍会对检索质量产生一定作用。
最后，RAG检索增强应用测试时可能出现模型回复不准确的情况。这是一个较为常见的问题，其原因涉及多个方面，如数据源质量、解析效果、配置方式（自定义或智能切片）以及Prompt的合理性等。如果采用自定义配置，用户可以通过自定义的阈值调整切片数量、重叠片段数等参数。此外，由于每个模型对 Prompt的反应不同，也需要优化Prompt，逐步提升模型回复的准确性。
03. 最佳落地案例实践分享
为使大家更好地理解RAG在实际中的应用，这部分分享两个开发者使用RAG落地的案例。
3.1 宠物行业
该用户深度优化 Prompt，致力于打造一个AI 宠物助手，主要应用于宠物店场景。该用户甚至完成了工作流编排，实现了宠物饲养、基础病诊断、预约洗澡等功能。在该过程中，用户填写预约表单后，信息回传至大模型，再由系统记录处理，整个流程都借助了工作流编排实现，实现了与C端用户的交互。
3.2 产业分析类互联网企业
该公司打造了 Copilot 机器人，将多年积累的行业分析报告、诊断报告以及产业园区分析等数据整合。用户通过与机器人交流，可以迅速获取最新的报告分析和结论洞察。此外，大模型还能基于已有内容进行扩充该公司目前正在企业内部试用这款 Copilot 产研机器人，并逐步由内而外进行推广。由于该公司数据的干净度和完整度较高，在搭建过程中结构化处理非常清晰，取得了较好的效果。
