产品概述
阿里云百炼是一个集模型训练、微调、评估等产品工具于一体的大模型服务平台，它不仅支持开源、闭源等多种模型，还预置了丰富的应用插件和便捷的集成方式，帮助用户更快地完成大模型应用的开发和部署。旨在为企业客户和合作伙伴提供高效、便捷的大模型应用构建解决方案。
于近期发布了2.0版本，更是实现了应用、模型双引擎的全新升级，并兼容LlamaIndex等开源框架，进一步提升了平台的开放性和自由度。它的产品功能主要概括为如下三点：
1. 完整的应用创建流程
- 阿里云百炼提供了从创建知识库、上传数据、创建应用到测试效果等完整的应用创建流程。用户可以根据自身需求选择合适的模板或新建应用，并预置prompt、接入插件、流程组件等调试应用。
2. 高效的智能体应用开发
- 平台支持使用开放架构创建智能体应用，并集成了prompt优化工具、流程管理工作流、插件等能力。这些工具可以帮助用户更高效地开发和优化智能体应用。
3. 完整的全链路模型工具
- 阿里云百炼支持全参/高效等多种大模型在线调优方式，并配备了多元化的大模型效果评测工具。用户可以在线进行模型的调优、评测和部署，实现全链路的高效管理。
产品的优势也可以概述为下面三点：
1. 开放高效的应用构建
- 阿里云百炼兼容LlamaIndex等开源框架和Open AI的Assistant API调用，支持用户快速构建智能体应用。用户可以在5-10分钟内完成应用的创建和调试。
- 平台提供了灵活可配置的全套应用开发工具，支持自定义大模型应用流程编排，满足用户多样化的需求。
2. 丰富多元的模型服务
- 阿里云百炼集成了上百款大模型API，包括通义、Llama、ChatGLM等系列模型，以及零一万物、百川智能等国内外主流厂商的大模型。
- 平台支持企业上架通用或行业模型，为开发者提供了多样化的模型选择。
3. 极致性价比的推理成本
- 阿里云百炼通过优化算法和降低计算成本，实现了大模型推理成本的显著降低。例如，主力模型Qwen-Long的API输入价格降至0.0005元/千tokens，降幅达97%。
- 降价后，用户可以用更低的成本获得高性能的大模型服务，加速大模型应用的落地进程。
近期发布的2.0版，它的产品架构是下图这样的，整合了模型服务，并提供了模型开发和应用工具，实现了应用、模型双引擎升级。
基于五级引擎更是为企业和用户提供了一站式大模型服务构建。引擎架构如下图：
在数据安全、隐私保护等方面也采取了多项措施。首先实现了开发和生产数据的隔离，对日志数据进行定期清理和加密归档，并对客户的OSS数据进行加密保存。此外，平台还提供了多种攻击防护手段和数据权限管理工具，确保用户数据的安全性和合规性。安全架构如下图：
开通服务
访问大模型服务平台百炼控制台。首次进入需要同意服务协议，点击同意。如下：
在首页/模型广场/应用广场，均可点击开通模型调用服务。新用户首次访问将有100次提问额度。额度用完后需开通服务后方可继续使用。如下：
点击开通，如下：
使用阿里云百炼大模型服务，需要开通【百炼大模型推理】【百炼大模型部署】【百炼大模型训练】商品，并创建模型调用API-KEY。勾选协议，点击确认开通。如下：
开通服务后将会收到三条开通百炼大模型推理、百炼大模型部署、百炼大模型训练商品成功的短信通知。如下：
至此，我们就完成了阿里云百炼大模型服务产品的开通。
场景体验
快速入门
直接在首页的输入框中输入问题，模型即可返回对应答案内容。比如输入“我国的传统节日有那些，分别都有什么习俗”，如下：
搭建智能问答助手
搭建智能问答助手之前我们需要先配置好知识库，我们在使用检索增强应用时，需要先将知识库搭建完成，才能使应用进行检索。左侧导航栏选择数据管理--点击导入数据，如下：
选择导入方式，目前支持本地上传和OSS上传文件，然后点击确认。如下：
支持 .pdf,.doc,.docx,.txt,.md,.pptx,.ppt 等格式，单文档最大限制100MB或1000页，最多支持上传200个文件。确认上传后，等待文件状态更新为导入成功。如下：
导入这里耗时是根据文档大小以及内容多少而定的，我这里耗时5分钟，是因为我的文档是如下这样的，内容比较丰富。
接着需要建立知识库索引，左侧导航栏点击知识索引，点击创建知识库，如下：
在创建知识库页面上，填入知识库名称、描述，选择数据类型、配置模式选推荐配置，向量存储选择内置。点击下一步，如下：
并将上传的文件导入知识库中，并点击导入完成。如下：
导入完成后，新建的知识库中已存在上传的文档数据。如下：
下面我们就可以创建应用，实现大模型检索我们上传的文档了。点击我的应用--创建应用，如下：
选择模型并进行参数配置，如下：
开启知识检索增强按钮并选择知识库。如下：
点击Prompt优化，确认使用。针对输入的prompt进行专业优化，使模型更容易理解指令。如下：
点击右上角的发布后，就可以在【我的应用】列表中查看了。如下：
回到创建应用的页面，我们体验下效果。比如输入“仓颉造字”，如下：
不得不说，这文档的解析效果也太好了，模型服务的回答即源于文档，又高于文档，不但回答准确且质量很高。
点击应用下方的【管理】按钮，返回我们刚开始创建应用的页面，在这个页面您可以修改应用配置，包括开启/关闭知识检索增强、检索片段数设置、长期记忆开启/关闭、选择插件、高级配置等。页面右侧为应用测试窗，可以进行内容测试。也可在左上角查看应用API和API KEY。这里我们看看有那些管理插件可用，点击选择插件，如下：
从图上可以看到目前官方插件有四个，其中Python代码解释器、计算器是免费的；图片生成和夸克搜索目前限免，需要申请开通。申请也很简单，只需点击申请按钮即可，如下：
申请需要等待审核，完成审核后即可添加使用了。点击应用右上角的【高级配置】按钮，可以对用户输入的违规话术进行干预。如下：
点击创建输入话术规则，这里我新建一个敏感词汇的规则，如下：
点击添加后，在干预话术页面，点击启用。如下：
当然，我们也可以针对输出结果进行话术干预，只需点击创建生成结果规则。如下：
选择应用下方的调用按钮就可以实现对助手的API调用了，按照文档内容进行调试和调用即可。如下：
模型训练
模型调优
模型调优支持多种训练方式，明确训练方向并选择合适的训练数据及参数，训练后的模型效果将更加符合业务需求。
模型训练需要先准备数据，训练所用的数据集，格式一般为Prompt+Completion的文本数据，Prompt+Completion类于FAQ的格式，也就是通常所讲的一问一答的数据内容，可通过excel/json进行编辑和上传。点击左侧导航的模型数据，如下：
点击新增数据集，如下：
这里提供了excel和json的数据模板，可以点击下载。如下：
如果文件导入失败，点击详情可以很直观地发现问题出现在哪里，根据提示修改即可。如下：
导入成功后，点击查看，可以看到数据集内容。如下：
当然准备的数据量不是越多越好，官网针对不同的任务类型提供了参考。如下：
数据准备的最后一步是发布，点击发布即可。如下：
点击【模型调优】模块，选择【训练新模型】按照提示进行创建。如下：
配置过程中遇到的专业名词可点击前往查看概念解释学习。如下：
这里注意勾选上述上传的数据集。如下：
这里为了节约成本，就不开混合训练了。如下：
确认如上配置无误后，点击开始训练即可。如下：
在训练中的模型可以点击查看了解进度，也可以点击终止训练停止。如下：
这里耗时较长，建议耐心等待，等状态显示为训练成功后，既表明完成训练。如下：
实时绘制的Loss曲线可以帮助算法同学更好地观察训练过程，判断训练效果。如下：
模型评测
通过构建好的评测集进行模型评测，系统基于评测集将完成推理预测，完成预测结果标注后可查看评测报告。
模型评测跟调优一样，需要先上传数据。点击左侧导航的模型数据，数据集类型选择评测集。如下：
导入完成后，点击发布。如下：
点击左侧导航栏的模型评测，点击创建评测任务。如下：
选择评测方式，页面上方有不同评测方式介绍，按需选择，建议选择单个评测。如下：
确认无误后，点击开始评测。至于为啥这里没有显示预估的费用，是因为如下原因：
开始训练后，可以看到显示的预估耗时。如下：
评测完成后，可以点击标注，通过打标的方式来检查前后模型的效果。如下：
通过对比评测集参考结果，针对模型结果进行打分或排序从而完成测评，系统将自动统计测评结果。如下：
这里由于是单个评测，所呈现的效果并不是很直观，下面创建一个对比评测任务。如下：
对比评测耗时是单个评测的两倍，所以还是继续耐心等待完成后进行标注，如下：
标注完成，查看统计结果。如下：
体验总结
创建应用
实操困难点
- 数据的质量直接影响问答效果。体验使用了测试数据，但在实际项目操作中，可能会遇到数据格式不一、内容冗余或错误等问题，此时就需要我们投入大量时间和精力进行清洗和整理了。
- 索引构建是技术难点之一，需要深入了解平台提供的索引机制和算法原理，以便根据实际应用场景进行针对性优化。同时，随着数据量的增加，索引的更新和维护也成为一项挑战。
- 问答效果的调优需要丰富的经验和技巧。在实际应用中，可能会遇到查询意图理解不准确、回答内容不相关或回答不完整等问题，需要不断调整查询算法参数和问答模板，以提高问答的准确性和满意度。
产品的使用建议
加强数据预处理功能：建议平台提供更加智能化的数据预处理工具，如自动去重、格式转换、关键词提取等，以减轻用户的数据整理负担。
优化索引构建机制：进一步优化索引构建机制，提高索引的准确性和效率。可以考虑引入更先进的自然语言处理技术和机器学习算法，以更好地理解和处理文本数据。
加强产品支持和社区建设：建立完善的用户支持体系，包括在线帮助文档、视频教程、客服支持等，及时解决用户在使用过程中遇到的问题。同时，建立用户社区，鼓励用户分享经验和技巧，促进产品的持续优化和升级。
综上所述，阿里云百炼平台为企业提供了一个强大而灵活的知识检索应用构建工具。通过清晰的搭建思路和不断的优化改进，用户可以轻松打造出符合自身需求的智能问答助手。
模型训练
数据准备是模型调优和部署的关键步骤。我首先对数据进行了清洗和预处理，包括去除重复项、纠正错误、统一格式等。然后，我根据模型的需求将数据划分为训练集、验证集和测试集。为了提高模型的泛化能力，我还采用了数据增强技术，如随机采样、噪声添加等。
阿里云百炼平台的控制台操作指引非常清晰，易于上手。从模型选型、数据上传、参数配置到模型训练和部署，每一步都有详细的说明和提示。特别是模型调优部分，平台提供了丰富的工具和可视化界面，让我能够直观地观察训练过程和结果，并根据需要进行调整。此外，平台还提供了丰富的文档和教程，帮助我更好地理解和使用产品。
- 模型调优我这里主要使用了通过指数衰减来调整学习率，这样调的好处是可以加快模型的收敛速度。如下：
经过调优和部署后，我的知识大模型在问答效果上有了显著提升。模型能够更准确地理解用户的问题，并给出相关和准确的答案。同时，模型的响应速度也得到了优化，能够在短时间内给出答复。这些改进大大提高了模型的实用性和用户体验。
产品改进和功能增加建议
增加更多行业模板：建议阿里云百炼平台增加更多行业模板和预训练模型，以便用户能够更快地找到适合自己的模型，并减少从头开始的训练时间。
优化模型训练界面：虽然当前界面已经比较友好，但建议进一步优化模型训练界面，使其更加直观和易用。例如，可以增加更多的可视化图表和实时监控数据，帮助用户更好地了解训练过程和结果。
综上，通过体验模型调优、模型评测和模型部署的整个过程，我不仅获得了专属个人的知识大模型，还对产品有了更深入的了解和认识。希望阿里云百炼平台能够继续优化和改进产品功能和服务质量，为用户提供更好的体验和价值。
