modelscope中，llamafactory怎么用呢？

在ModelScope中使用LLaMA Factory进行模型微调和训练，主要分为以下几个步骤：环境准备、安装LLaMA Factory、下载数据集、模型微调以及模型评估与对话。以下是详细的操作流程：

1. 环境准备

在开始使用LLaMA Factory之前，需要完成以下准备工作： - 创建阿里云账号并完成实名认证。 - 创建工作空间，具体操作请参考相关文档。 - 创建DSW实例，推荐配置如下： - 实例规格：建议使用24 GB显存的A10（ecs.gn7i-c8g1.2xlarge）或更高配置。 - 镜像选择：建议使用Python 3.9及以上版本，镜像为modelscope:1.18.0-pytorch2.3.0-gpu-py310-cu121-ubuntu22.04。

2. 安装LLaMA Factory

进入DSW开发环境后，按照以下步骤安装LLaMA Factory： 1. 登录PAI控制台，选择DSW实例所在地域，进入默认工作空间。 2. 在左侧导航栏，选择模型开发与训练 > 交互式建模（DSW），打开DSW实例。 3. 在Launcher页面中，单击Notebook下的Python3。 4. 在Notebook中执行以下命令拉取LLaMA Factory项目：

!git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

1. 安装LLaMA Factory依赖环境：

   !pip uninstall -y vllm
   !pip install llamafactory[metrics]==0.7.1
   

2. 验证安装是否成功：

   !llamafactory-cli version
   

   如果显示版本号（如0.7.1.dev0），则表示安装成功。

3. 下载数据集

LLaMA Factory支持内置数据集和自定义数据集。以下是下载内置数据集的步骤： 1. 进入LLaMA Factory目录：

%cd LLaMA-Factory

1. 下载多轮对话数据集：

   !wget https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/tutorials/llama_factory/data.zip
   !mv data rawdata && unzip data.zip -d data
   

2. 数据集结构说明：
   • 数据集包含训练集和验证集，分别用于模型微调和评估。
   • 数据样例为多轮对话形式，每轮对话由用户指令和模型回答组成。

4. 模型微调

启动Web UI

1. 设置模型来源为ModelScope，并启动Web UI：

   !export USE_MODELSCOPE_HUB=1 && \
   llamafactory-cli webui
   

2. 单击返回的URL地址（如http://0.0.0.0:7860），进入Web UI界面。

配置参数

在Web UI中，关键参数配置如下： | 区域 | 参数 | 建议取值 | 说明 | | - | - | - | - | | ① | 语言 | zh | 设置为中文 | | ② | 模型名称 | LLaMA3-8B-Chat | 使用LlaMA 3 8B模型 | | ③ | 微调方法 | lora | 使用LoRA轻量化微调方法 | | ④ | 数据集 | train | 选择训练集 | | ⑤ | 学习率 | 1e-4 | 有利于模型拟合 | | ⑥ | 计算类型 | bf16 | 根据GPU型号选择计算类型 | | ⑦ | 梯度累计 | 2 | 提高模型拟合效果 | | ⑧ | LoRA+学习率比例 | 16 | 相比LoRA，LoRA+续写效果更好 | | ⑨ | LoRA作用模块 | all | 将LoRA层挂载到所有线性层上 |

启动微调

• 修改输出目录为train_llama3，单击“开始”按钮，启动模型微调。
• 微调过程大约需要20分钟。

5. 模型评估与对话

模型评估

1. 加载微调后的模型：
   • 单击页面顶部的“刷新适配器”，选择train_llama3作为适配器路径。
2. 启动模型评估：
   • 在“Evaluate&Predict”页签中，选择验证集eval，将输出目录修改为eval_llama3，单击“开始”按钮。
   • 评估过程大约需要5分钟。

模型对话

1. 在“Chat”页签中，确保适配器路径为train_llama3，单击“加载模型”。
2. 在Web UI中与微调后的模型进行对话。
3. 对比微调前后效果：
   • 卸载模型，取消适配器路径，重新加载原始模型，与微调前的模型进行对话，观察效果差异。

重要提醒

• 显卡要求：根据模型大小选择合适的GPU配置，例如V100（16GB）或A10（24GB）。
• 网络问题：如果使用HuggingFace模型可能会遇到网络问题，建议设置代理或直接使用ModelScope模型。
• 许可证：使用Llama3大模型前，请阅读Meta官方许可证。

通过以上步骤，您可以在ModelScope中使用LLaMA Factory对LlaMA 3模型进行中文化与角色扮演的微调和评估。