教程简述
LLaMA Factory是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过Web UI界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架，GitHub星标超过2万。
本教程将基于Meta AI开源的Llama-3 8B模型，介绍如何使用PAI平台及LLaMA Factory训练框架完成模型的中文化与角色扮演微调和评估。
通过云起实验室一键开启AI体验：https://developer.aliyun.com/adc/scenario/exp/544084672a6942b7ac1809a4df8410f3
本教程使用PAI ×LLaMA Factory 微调 Llama3 模型后，问答机器人模仿诸葛亮的语气对话效果如下：
基于本教程可以体验：
👍新用户可免费领取价值万元的人工智能平台PAI试用资源
👍学会如何快速在阿里云上创建一个交互式训练开发环境
👍学会如何在DSW中基于LLaMA Factory训练框架完成模型的中文化与角色扮演微调和评估
👍学会如何在WebUI中进行知识问答
答疑交流群
如需技术支持，请在钉钉搜索群号「 52485000325」，加入群聊
实验教程
1. 准备环境和资源
1.1. 领取交互式建模PAI-DSW免费试用权益，并准备PAI工作空间
前往活动页面，领取交互式建模PAI-DSW产品免费试用资源包
- 对于交互式建模 PAI-DSW 的新用户，阿里云提供了5000CU*H 的免费试用资源，可以在活动页面中直接领取（试用规则请参照阿里云免费试用：https://free.aliyun.com/）；或可以购买交互式建模 PAI-DSW 资源包参与活动，购买链接：PAI-DSW 100CU*H资源包，价格 59 元起；如不购买资源包，PAI-DSW 会；按量进行计费，计费标准详见阿里云产品定价。
开通机器学习PAI并创建默认工作空间
前往PAI控制台，其中关键参数配置如下：
- 本教程地域选择：华北2（北京）。您也可以根据情况选择华东1（杭州）、华东2（上海）、华南1（深圳）地域。
- 组合开通：本教程无需使用其他产品，去除勾选MaxCompute和DataWorks产品。
- 服务角色授权：单击去授权，完成服务角色授权。
说明：更多详细内容，请参见开通并创建默认工作空间。
1.2. 进入PAI NotebookGallery
登录PAI控制台。
在左侧导航栏中，选择快速开始>NotebookGallery。
在Notebook Gallery页面，单击LLaMA Factory：微调LLaMA3模型实现角色扮演。
在详情页面，您可查看到预置的使用LLaMA Factory微调Llama3模型教程，单击右上角的在DSW中打开。
在请选择对应实例对话框中，单击新建DSW实例。
1.3. 创建PAI-DSW实例
在配置实例页面，自定义输入实例名称，例如DSW_LlamaFactory。
在配置实例页面的资源配额区域，GPU规格分类下的ecs.gn6v-c8g1.2xlarge或ecs.gn7i-c8g1.2xlarge，建议优先选择ecs.gn7i-c8g1.2xlarge。
说明：
- 若您是PAI产品新用户，请再次确认是否已领取免费使用权益。领取方式：前往活动页【链接待更新】，根据页面提示领取免费试用权益。若您未领取免费试用权益，或不符合免费试用条件，或历史已领取且免费试用额度用尽或到期，完成本实验将产生扣费，大约为10-30元/小时。
- 请在实验完成后，参考最后一章节清理及后续，停止/删除实例，以免产生不必要的扣费或资源消耗。
在配置实例页面的选择镜像区域，请确认镜像是否为官方镜像的modelscope:1.14.0-pytorch2.1.2-gpu-py310-cu121-ubuntu22.04。
在配置实例页面，未提及的参数保持默认即可，单击下一步。
在确认订单页面，检查订单的资源配置是否为ecs.gn6v-c8g1.2xlarge或ecs.gn7i-c8g1.2xlarge，选择镜像是否为modelscope:1.14.0-pytorch2.1.2-gpu-py310-cu121-ubuntu22.04，信息确认无误后，单击创建实例。
在交互式建模（DSW）页面，请您耐心等待大约5分钟左右，当状态变为运行中时，表示实例创建成功。
1.4 打开实例并下载框架、数据集
在选择对应实例对话框中，单击DSW实例右侧 
的图标，在DSW实例中选择您刚创建的实例，单击确定。
运行Notebook教程文件
安装LLaMA Factory
在llama_factory.ipynb文件的安装LLaMA Factory区域，根据教程指引，依次运行命令。
说明：单击命令左侧的运行▶按钮表示开始运行任务，当左侧为✅号时表明成功运行结束。
下载数据集
在llama_factory.ipynb文件的下载数据集区域，根据教程指引，依次运行命令。
说明：单击命令左侧的运行▶按钮表示开始运行任务，当左侧为✅号时表明成功运行结束。
2. WebUI界面零代码实现模型微调模型微调
三步骤、零代码、WebUI界面完成模型微调，让开源大语言模型Llama3实现中文能力增强。
2.1. 启动Web UI
单击命令左侧的运行▶按钮表示开始运行任务，当左侧为✅号时表明成功运行结束。
然后单击返回的URL地址，进入Web UI页面。
2.2. 配置参数
进入WebUI后，可以切换到中文（zh）。首先配置模型，本教程选择LLaMA3-8B-Chat模型，微调方法则保持默认值lora，使用LoRA轻量化微调方法能极大程度地节约显存。
数据集使用上述步骤下载的train.json，单击预览数据集。
在弹窗中，您可以预览train.json数据集。
设置学习率为1e-4，梯度累积为2，有利于模型拟合。如果显卡是V100，计算类型保持为fp16；如果使用了A10，可以更改计算类型为bf16。
说明：创建PAI-DSW实例时，如果GPU规格选择ecs.gn6v-c8g1.2xlarge，则显卡是V100；如果GPU规格选择ecs.gn7i-c8g1.2xlarge，则显卡是A10。
单击LoRA参数设置展开参数列表，设置LoRA+学习率比例为16，LoRA+被证明是比LoRA学习效果更好的算法。在LoRA作用模块中填写all，即将LoRA层挂载到模型的所有线性层上，提高拟合效果。
将输出目录修改为train_llama3，训练后的LoRA权重将会保存在此目录中。单击预览命令可展示所有已配置的参数，您如果想通过代码运行微调，可以复制这段命令，在命令行运行。然后单击开始。
启动微调后需要等待一段时间，待模型下载完毕后可在界面观察到训练进度和损失曲线。
模型微调大约需要20分钟，下方显示训练完毕代表微调成功。
3. 模型评估
微调完成后，点击页面顶部的「刷新适配器」，然后点击适配器路径，即可弹出刚刚训练完成的LoRA权重，点击选择下拉列表中的train_llama3选项，在模型启动时即可加载微调结果。
选择「Evaluate&Predict」栏，在数据集下拉列表中选择「eval」（验证集）评估模型。更改输出目录为eval_llama3，模型评估结果将会保存在该目录中。最后点击开始按钮启动模型评估。
模型评估大约需要5分钟左右，评估完成后会在界面上显示验证集的分数。其中ROUGE分数衡量了模型输出答案（predict）和验证集中标准答案（label）的相似度，ROUGE分数越高代表模型学习得更好。
4. 模型对话
选择「Chat」栏，确保适配器路径是train_llama3，点击「加载模型」即可在Web UI中和微调模型进行对话。
在页面底部的对话框输入想要和模型对话的内容，点击「提交」即可发送消息。发送后模型会逐字生成回答，从回答中可以发现模型学习到了数据集中的内容，能够恰当地模仿诸葛亮的语气对话。
点击「卸载模型」，点击“×”号取消适配器路径，再次点击「加载模型」，即可与微调前的原始模型聊天。
重新向模型发送相同的内容，发现原始模型无法模仿诸葛亮的语气生成中文回答。
5. 清理及后续
- 如果无需继续使用DSW实例，您可以按照以下操作步骤停止或删除DSW实例。
- 登录PAI控制台。
- 在页面左上方，选择DSW实例的地域。
- 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击默认工作空间名称，进入对应工作空间内。
- 在工作空间页面的左侧导航栏选择模型开发与训练>交互式建模（DSW），进入交互式建模（DSW）页面。
- 单击目标实例操作列下的停止，成功停止后即停止资源消耗。
- 如果您不再需要DSW实例，单击目标实例操作列下的删除。
- 领取免费资源包后，请在免费额度和有效试用期内使用。如果免费额度用尽或试用期结束后，继续使用计算资源，会产生后付费账单。
请前往节省计划页面，查看抵扣包剩余金额和过期时间。
- 如果需要继续使用DSW实例，请务必至少在试用到期1小时前为您的阿里云账号充值，到期未续费的DSW实例会因欠费而被自动停止。
- 在试用有效期期间，您还可以继续使用DSW实例进行模型训练和推理验证。
6. 总结
本次教程介绍了如何使用PAI和LLaMA Factory框架，基于轻量化LoRA方法微调Llama-3模型，使其能够进行中文问答和角色扮演，同时通过验证集ROUGE分数和人工测试验证了微调的效果。在后续实践中，可以使用实际业务数据集，对模型进行微调，得到能够解决实际业务场景问题的本地领域大模型。
