一、方案概述
Qwen2-VL具备高级图像和视频理解能力，能够处理不同分辨率和长宽比的图片，实时分析动态视频内容。同时，它还支持多种语言，包括英文、中文以及大多数欧洲语言、日语、韩语、阿拉伯语、越南语等，适用于多模态应用开发。
Qwen2-VL系列模型通过扩展模型大小（如2B、7B、72B参数）和训练数据量，实现了极具竞争力的性能。其中，Qwen2-VL-72B模型在各种多模态基准测试中取得了与领先模型相当的结果。
LLaMA Factory 是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过 Web UI 界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架，GitHub 星标超过3万。
通过使用 PAI+LLaMA Factory 微调 Qwen2-VL 模型，快速搭建文旅领域知识问答机器人！
二、模型部署
1、在Notebook Gallery页面，单击进入“LLaMA Factory多模态微调实践：微调Qwen2-VL构建文旅大模型”教程。
2、在详情页面，您可查看到预置的LLaMA Factory多模态微调实践：微调Qwen2-VL构建文旅大模型教程，单击右上角的在DSW中打开。
3、在请选择对应实例对话框中，单击新建DSW实例。
4、在配置实例页面，自定义输入实例名称，例如DSW_LlamaFactory
5、GPU推荐使用 24GB 显存的 A10（ecs.gn7i-c8g1.2xlarge）或更高配置
在配置实例页面的选择镜像区域，请确认镜像是否为官方镜像的modelscope:1.14.0-pytorch2.1.2-gpu-py310-cu121-ubuntu22.04。
当状态变为运行中时，表示实例创建成功，点击打开NoteBook
6、安装LLaMA Factory
7、下载数据集
LLaMA-Factory 项目内置了丰富的数据集，放在了 data目录下。您可以跳过本步骤，直接使用内置数据集。您也可以准备自定义数据集，将数据处理为框架特定的格式，放在 data 下，并且修改 dataset_info.json 文件。
本教程准备了一份多轮对话数据集，运行下述命令下载数据。
三、模型微调
1、启动 Web UI，然后单击返回的URL地址，进入Web UI页面。
2、进入 WebUI 后，可以切换语言到中文（zh）。首先配置模型，本教程选择 Qwen2VL-2B-Chat 模型，微调方法修改为 full，针对小模型使用全参微调方法能带来更好的效果。
可以点击「预览数据集」。点击关闭返回训练界面。
3、设置学习率为 1e-4，训练轮数为 10，更改计算类型为 pure_bf16，梯度累积为 2，有利于模型拟合。
在其他参数设置区域修改保存间隔为 1000，节省硬盘空间。
4、启动微调
将输出目录修改为 train_qwen2vl，训练后的模型权重将会保存在此目录中。点击「预览命令」可展示所有已配置的参数，您如果想通过代码运行微调，可以复制这段命令，在命令行运行。
点击「开始」启动模型微调。
启动微调后需要等待一段时间，待模型下载完毕后可在界面观察到训练进度和损失曲线。模型微调大约需要 14 分钟，显示“训练完毕”代表微调成功。
四、模型对话
选择「Chat」栏，将检查点路径改为 train_qwen2vl，点击「加载模型」即可在 Web UI 中和微调后的模型进行对话。
上传至对话框的图像区域，接着在系统提示词区域填写“你是一个导游，请生动有趣地回答游客提出的问题”。在页面底部的对话框输入想要和模型对话的内容，点击提交即可发送消息。
发送后模型会逐字生成回答，从回答中可以发现模型学习到了数据集中的内容，能够恰当地模仿导游的语气介绍图中的山西博物院。
五、删除实例
六、总结
使用 PAI 和 LLaMA Factory 框架，基于全参方法微调 Qwen2-VL模型，使其能够进行文旅领域知识问答，同时通过人工测试验证了微调的效果。在企业中可以使用实际业务数据集，对模型进行微调，得到能够解决实际业务场景问题的本地领域多模态大模型。
