场景简介

本教程使用PAI和LLaMA Factory框架，基于全参方法微调Qwen2-VL模型，使其能够进行文旅领域知识问答，同时通过人工测试验证了微调的效果。

背景知识

• 人工智能平台 PAI

  人工智能平台PAI（Platform for AI，原机器学习平台PAI）是AI Native的大模型与AIGC工程平台，提供包含数据集管理、算力管理、模型工具链、模型开发、模型训练、模型部署、AI资产管理在内的功能模块，内置100+种大模型最佳实践，为用户提供高性能、高稳定、企业级的大模型工程化能力。

• 交互式建模PAI-DSW

  阿里云人工智能平台PAI提供了面向开发者与企业的深度学习工程平台，其中交互式建模PAI-DSW集成了Jupyter等多种云端开发环境，提供丰富的计算资源与镜像环境，实现开箱即用的高效开发模式。

• LLaMA Factory（LLaMA Factory Github 开源地址）

  LLaMA Factory是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过 Web UI界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架，GitHub星标超过3万。

前提条件

本实验支持领取免费试用资源、使用个人账号资源两种体验方式，请您选择其中一种方式进行体验即可。

• 领取免费试用资源。

  重要

  试用云产品开通在您的个人账号下，并占用您的试用权益。如试用超出有效期，或超出免费试用额度，可能会产生一定费用。

  在右侧的操作区中，单击立即试用，然后跟随指引操作，即可领取免费试用资源。

  说明

  • 领取后3个月内，每月发放250计算时，总计可享750计算时。每月额度用尽后超出按量计费，支持抵扣DSW开发实例的A10/V100/G6 3 种机型：ecs.gn7i-c8g1.2xlarge、ecs.gn6v-c8g1.2xlarge、ecs.g6.xlarge。

  • 可试用人群：认证用户，且为产品新用户。

  • 如果页面没有立即试用按钮，说明您的阿里云账号不满足试用条件，可能由于您已领取过免费试用资源，请前往我的试用确认相关资源的试用状态、试用结束时间、以及是否超出试用额度。

  

• 使用个人账号资源。

  重要

  在不领取免费试用资源的情况下，本实验1个小时预计产生费用10.49元。如果您调整了资源规格、使用时长，或执行了本方案以外的操作，可能导致费用发生变化，请以控制台显示的实际价格和最终账单为准。

  进入实操前，请确保阿里云账号满足以下条件：

  • 已通过实名认证并且账户余额充足。

  • 云资源产生的费用需您自行承担，云起实验室不会向您征收额外费用。

  • 所有实验操作将保留至您的账号，请谨慎操作。

  • 实操结束后，您可以选择继续付费保留资源，或参考手册自动/手动释放资源。

开通机器学习PAI并创建默认工作空间

1. 在实验室页面右侧的操作区中，勾选我已阅读并同意《阿里云云起实践平台服务协议》，单击开始实操。

   

2. 开通人工智能平台PAI。

   1. 前往PAI控制台。

   2. 根据如下参数配置后，单击确认开通并创建默认工作空间。

      说明

      更多详细内容，请参见开通PAI并创建默认工作空间。

      • 地域：华北2（北京）。您也可以根据情况选择华东1（杭州）、华东2（上海）、华南1（深圳）地域。

      • 组合开通：本教程无需使用其他产品，去除勾选MaxCompute和DataWorks产品。

      • 服务角色授权：单击去授权，完成服务角色授权。

        

进入PAI NotebookGallery

1. 登录PAI控制台。

2. 在左侧导航栏中，选择快速开始 > NotebookGallery。

   

3. 在Notebook Gallery页面，单击进入LLaMA Factory多模态微调实践：微调Qwen2-VL构建文旅大模型教程。

   

4. 在详情页面，您可查看到预置的LLaMA Factory多模态微调实践：微调Qwen2-VL构建文旅大模型教程，单击右上角的在DSW中打开。

   

5. 在请选择对应实例对话框中，单击新建符合条件的实例。

   

创建PAI-DSW实例

1. 在新建实例页面，自定义输入实例名称，例如DSW_LlamaFactory。资源规格选择推荐使用GPU 24GB显存的A10（ecs.gn7i-c8g1.2xlarge）或更高配置。

   说明

   支持免费试用的资源ecs.gn7i-c8g1.2xlarge、ecs.gn6v-c8g1.2xlarge、ecs.g6.xlarge。

   

2. 在新建实例页面的选择镜像区域，请确认镜像是否为官方镜像的modelscope:1.14.0-pytorch2.1.2-gpu-py310-cu121-ubuntu22.04，单击确定。

   

3. 请您耐心等待大约3分钟左右，当实例状态变为运行中时，表示实例创建成功，点击打开NoteBook。

   

打开实例并下载框架、数据集

1. 安装LLaMA Factory。

   1. 根据教程指引，依次运行命令。

   2. 单击命令左侧的运行按钮表示开始运行任务，当左侧为图标时表明成功运行结束。

   

2. 下载数据集。

   LLaMA-Factory 项目内置了丰富的数据集，放在了data目录下。您可以跳过本步骤，直接使用内置数据集。您也可以准备自定义数据集，将数据处理为框架特定的格式，放在 data下，并且修改dataset_info.json文件。

   1. 本教程准备了一份多轮对话数据集，运行下述命令下载数据。

   2. 单击命令左侧的运行按钮表示开始运行任务，当左侧为图标时表明成功运行结束。

   

WebUI界面零代码实现模型微调

三步骤、零代码、WebUI界面完成模型微调，搭建文旅知识问答机器人。

1. 启动Web UI。

   1. 单击命令左侧的运行按钮表示开始运行任务，当左侧为图标时表明成功运行结束。

   2. 当左侧为图标时表明运行中，单击返回的URL地址，进入Web UI页面。

      

2. 配置参数。

   1. 进入Web UI后，可以切换语言到中文（zh）。首先配置模型，本教程选择Qwen2VL-2B-Chat模型，微调方法修改为full，针对小模型使用全参微调方法能带来更好的效果。 

      

   2. 数据集使用上述下载的train.json。

      

   3. 可以单击预览数据集查看数据集信息，然后单击关闭返回训练界面。

      

   4. 设置学习率为1e-4，训练轮数为10，更改计算类型为pure_bf16，梯度累积为2，有利于模型拟合。

      

   5. 在其他参数设置区域修改保存间隔为1000，节省硬盘空间。

      

3. 启动微调。

   1. 将输出目录修改为train_qwen2vl，训练后的模型权重将会保存在此目录中。单击预览命令可展示所有已配置的参数，您如果想通过代码运行微调，可以复制这段命令，在命令行运行。

      

   2. 单击开始启动模型微调。 

      

   3. 启动微调后需要等待一段时间，待模型下载完毕后可在界面观察到训练进度和损失曲线。模型微调大约需要 14 分钟，显示“训练完毕”代表微调成功。

      

模型对话

1. 选择Chat栏，将检查点路径改为train_qwen2vl，单击加载模型即可在 Web UI中和微调后的模型进行对话。

   

2. 首先点击下载测试图片1或测试图片2，并上传至对话框的图像区域，接着在系统提示词区域填写你是一个导游，请生动有趣地回答游客提出的问题。在页面底部的对话框输入想要和模型对话的内容，单击提交即可发送消息。

   

3. 发送后模型会逐字生成回答，从回答中可以发现模型学习到了数据集中的内容，能够恰当地模仿导游的语气介绍图中的山西博物院。 

   

4. 单击卸载模型，点击检查点路径输入框取消勾选检查点路径，再次单击加载模型，即可与微调前的原始模型聊天。 

   

5. 重新向模型发送相同的内容，发现原始模型无法准确识别山西博物院。 

   

上传作品

完成上述步骤后，请截图分享您与文旅智能问答机器人的聊天截图至活动页面，将有机会赢取精美礼品！

清理资源

• 在完成实验后，如果无需继续使用资源，建议及时删除不再需要的实例。

  • 删除DSW实例。

    1. 前往人工智能平台PAI。

    2. 在左侧导航栏中，选择目标实例所在的工作空间，单击模型开发与训练 > 交互式建模（DSW）。

       

    3. 在交互式建模（DSW）页面，单击开发机实例 > 目标实例右侧图标下的删除。

       说明

       若您只是暂时停止实例，您实例挂载的免费云盘会帮您保存使用环境，但停机后15天内实例如未再次启动，云盘环境将被释放。

       

       

  • 完成上述步骤后，选择不保留资源，单击结束实操。在结束实操对话框中，单击确定。

    

• 在完成实验后，如果需要继续使用资源，选择付费保留资源，单击结束实操。在结束实操对话框中，单击确定。请随时关注账户扣费情况，避免发生欠费。