场景简介

本次实验任务是在阿里云百炼平台上，通过模型微调训练方式提升大模型问答效果。模型训练是通过Fine-tuning微调训练提高模型效果的功能模块，作为重要的大模型效果优化方式。您可以通过构建符合业务场景任务的训练集，调整参数训练模型，训练模型学习业务数据和业务逻辑，最终提高在业务场景中的模型效果。

目前阿里云百炼提供的大模型训练方式请参考。

背景知识

本场景主要涉及以下云产品和服务：

• 大模型服务平台百炼

  基于通义系列大模型和三方大模型的一站式大模型服务平台，提供生成式大模型的全流程应用工具和企业大模型的全链路训练工具。

您可扫描下方二维码或者钉钉搜索钉钉群号： 77600022533，加入阿里云百炼答疑群。

前提条件

云起实验室将在您的账号下开通本次实操资源，资源按量付费，需要您自行承担本次实操的云资源费用。

进入实操前，请确保阿里云账号满足以下条件：

• 已通过实名认证并且账户余额充足。

• 云资源产生的费用需您自行承担，云起实验室不会向您征收额外费用。

• 所有实验操作将保留至您的账号，请谨慎操作。

• 实操结束后，您可以选择继续付费保留资源，或参考手册自动/手动释放资源。

开通大模型服务平台百炼

本步骤指导您如何开通大模型服务平台百炼，如果您已开通过，请跳过此步骤。

1. 在实验页面，勾选我已阅读并同意《阿里云云起实践平台服务协议》后，单击进入实操。

   

2. 前往阿里云百炼控制台。

3. 在服务协议对话框中，阅读并单击同意。

   说明

   如果您是大模型服务平台百炼的老用户，不会弹出此对话框，请您跳过此步骤。

   

4. 在首页顶部，显示如下图所示的消息，您需要开通百炼的模型服务，以获得免费额度，请单击开通服务。

   说明

   如果未显示该消息，则表示您已经开通，请跳过此步骤。

   

5. 在弹出的对话框中，勾选我已阅读并同意《模型管理服务协议》，单击确认开通。

   

费用说明

在本实验中，使用阿里云百炼的模型训练会产生一定的费用，详情请参见产品计费。

• 模型训练将产生训练费用，训练价格 0.1元/千tokens。

• 计算公式：

  • 计费token数= 训练集token数 * 循环次数。

  • 模型训练开始后，就会产生费用（训练失败除外）。

训练数据准备

模型训练是通过Fine-tuning训练模式提高模型效果的功能模块，作为重要的大模型效果优化方式，用户可以通过构建符合业务场景任务的训练集，调整参数训练模型，训练模型学习业务数据和业务逻辑，最终提高在业务场景中的模型效果

• 训练集：训练所用的数据集，格式一般为Prompt+Completion的文本数据，可通过excel/json进行编辑和上传，最小训练数据条数为20，最大训练数据条数为10000，一条训练数据Prompt+Completion总字符数不高于8000，高于8000的字符数系统将自动截断。通过模型训练可增强模型能力，提升预测效果。

• 评测集：评测所用的数据集，格式一般为Prompt+Completion的文本数据，评测系统将自动基于Prompt数据预测模型结果，可通过参考评测集中的Completion数据对模型预测结果进行标识，判断模型效果，最小评测数据条数为1，最大条数为5000，Prompt总字符数不高于8000，以实际需要为准。通过模型评测评估模型效果，发现模型问题。

• SFT不同训练任务的数据实验参考。

  

1. 单击此链接下载示例文档，并在本地解压，用于测试使用。

2. 前往阿里云百炼控制台。

3. 在左侧导航栏中，选择模型工具 > 模型数据。

   

4. 在模型数据页面，单击新增数据集。

   

5. 在新增数据集页面，自定义数据集名称，数据集类型选择训练集，在数据导入中上传示例文件中的训练集文件，单击确认。

   说明

   支持批量上传，最多同时上传10个训练集，支持拓展名为xls、xlsx、jsonl，单个文件最大20M。

   

6. 在模型数据页面，单击目标数据集右侧操作列下的发布，然后单击确定。

   

7. 在模型数据页面，您可以查看到上传的训练集。该条数据集发布状态更新为已发布后，才可以用于模型调优。如果数据集的状态是发布中状态时，您可单击右上角刷新图标进行刷新。

   

模型训练

模型训练是通过Fine-tuning训练模式提高模型效果的功能模块，作为重要的大模型效果优化方式，用户可以通过构建符合业务场景任务的训练集，调整参数训练模型，训练模型学习业务数据和业务逻辑，最终提高在业务场景中的模型效果。

1. 在左侧导航栏中，选择模型工具 > 模型调优。

   

2. 在模型调优页面，单击训练新模型。

   

3. 在训练新模型页面，选择模型训练方式为SFT微调训练，选择模型选择预制模型 > 通义千问-Turbo，训练方式选择全参训练，选择训练数据选择上传的数据集，选择验证数据选择选择验证集 > 上传的数据集，未提及的参数保持默认即可。

   

   

4. 在训练新模型页面，单击开始训练。

   

12. 在模型调优计费提醒对话框中，单击开始训练。

    重要

    训练费用（预估）=（训练数据tokens+混合训练数据tokens）✖️循环次数✖️训练单价，详情请参见产品计费。

    

13. 在模型调优页面，您可以看到模型正在训练中，请您耐心等待训练完成。您可以在查看预估中查看本次训练的预估费用，可以在操作列下的查看中了解训练进度，也可以终止训练。

    

    返回如下结果，表示新模型已训练成功。

    

评测数据准备

1. 在左侧导航栏中，选择模型工具 > 模型数据。

   

2. 在模型数据页面，单击新增数据集。

   

3. 在新增数据集页面，自定义数据集名称，数据集类型选择评测集，在数据导入中上传示例文件中的评测集文件，单击确认。

   说明

   支持批量上传，最多同时上传10个训练集，支持拓展名为xls、xlsx、jsonl，单个文件最大20M。

   

4. 在模型数据页面，单击目标数据集右侧操作列下的发布，然后单击确定。

   

5. 在模型数据页面，您可以查看到上传的评测集。该条评测集发布状态更新为已发布后，才可以用于模型调优。如果评测集的状态是发布中状态时，您可单击右上角刷新图标进行刷新。

   

模型评测

通过模型评测，来检验训练出来的模型是否能够给出自己所期望的结果。现在您可以开始模型评测了，本实验以单个评测为例。

1. 在左侧导航栏中，选择模型工具 > 模型评测。

   

2. 在模型评测页面，单击创建评测任务。

   

3. 在创建评测任务页面，评测方式选择人工评测，评测类型选择单个评测，选择模型选择预制模型和通义千问-Max（公共资源部署），选择评测数据选择选择上传的评测集，维度模板选择综合评价（内置），单击开始评测。

   

4. 在模型评测页面，您可以看到任务正在执行中，请您耐心等待评测状态变为标注中。

   

5. 在模型评测页面，评测状态变为标注中后，单击标注。

   

6. 在评测页面，您可以自行对数据进行打标。评测中您可以看到评测集结果和模型A的结果对比，若两个答案一致，您可以在综合评价中标记较好，若答案有出入，您按照实际情况进行标记。全部标记完成后返回模型评测页面。

   

7. 完成评测后，您可以单击结果、查看、删除、下载评测结果。

   

   

清理资源

• 在完成实验后，如果无需继续使用资源，请根据以下步骤，先删除相关资源，再结束实操。

  • 删除阿里云百炼应用。

    1. 前往阿里云百炼控制台。

    2. 在左侧导航栏中，选择模型工具 > 模型调优，找到目标模型，单击右侧操作列下的删除。

       

    3. 在左侧导航栏中，选择模型工具 > 模型调优，找到目标评测，选择更多 > 删除。

       

    4. 在左侧导航栏中，选择数据应用 > 模型数据，分别单击评测集和训练集右侧操作列下的删除。

       

  • 删除相关资源后，选择不保留资源，单击结束实操。在结束实操对话框中，单击确定。

    

• 在完成实验后，如果需要继续使用资源，选择付费保留资源，单击结束实操。在结束实操对话框中，单击确定。请随时关注账户扣费情况，避免发生欠费。