ModelScope中，想使用1_8b_chat实现开放式分类，怎么修改？

在ModelScope中，使用Qwen-1.8B-Chat模型实现开放式分类任务需要对模型的输入和输出进行适当的调整。以下是具体的操作步骤和配置方法：

1. 环境准备

首先，确保您已经完成以下环境部署： - 安装容器环境：通过Docker运行Intel xFasterTransformer容器。

sudo docker pull registry.openanolis.cn/openanolis/xfastertransformer:1.7.3-23
sudo docker run -it --name xFT -h xFT --privileged --shm-size=16g --network host -v /mnt:/mnt -w /mnt/xFasterTransformer registry.openanolis.cn/openanolis/xfastertransformer:1.7.3-23

• 下载并转换模型数据：将HuggingFace格式的模型转换为xFasterTransformer支持的格式。

  python -c 'import xfastertransformer as xft; xft.QwenConvert().convert("/mnt/data/Qwen-1_8B-Chat")'
  

2. 修改模型配置以支持开放式分类

Qwen-1.8B-Chat默认是一个对话模型，但可以通过修改输入提示（Prompt）和后处理逻辑来实现开放式分类任务。

(1) 输入提示设计

为了实现开放式分类，您需要设计一个适合分类任务的Prompt模板。例如：

请根据以下内容判断其类别，并返回最可能的分类结果：
输入内容：{input_text}
分类选项：{category_list}
输出格式：直接返回分类名称。

• {input_text}：用户提供的待分类文本。
• {category_list}：预定义的分类选项列表，或者留空以允许模型自由生成分类标签。

(2) 启动AI对话程序

启动AI对话程序时，指定模型路径和运行参数：

cd /root/xFasterTransformer/examples/pytorch
OMP_NUM_THREADS=$(($(lscpu | grep "^CPU(s):" | awk '{print $NF}') / 2)) numactl -C $(seq -s, 0 2 $(($(lscpu | grep "^CPU(s):" | awk '{print $NF}') - 2))) -m 0 python demo.py -t /mnt/data/Qwen-1_8B-Chat -m /mnt/data/Qwen-1_8B-Chat-xft -d bf16 --chat true

(3) 输入示例

在程序运行后，输入如下内容以测试分类效果：

请根据以下内容判断其类别，并返回最可能的分类结果：
输入内容：这款手机性能强大，适合游戏玩家。
分类选项：科技、娱乐、生活、教育

模型会根据输入内容返回分类结果，例如：

科技

3. 后处理逻辑优化

如果需要更精确的分类结果，可以在模型输出后添加后处理逻辑： - 过滤无效输出：检查模型返回的结果是否符合预定义的分类选项。 - 置信度评估：通过多次采样或引入外部规则评估分类结果的置信度。

4. 注意事项

• 模型能力限制：Qwen-1.8B-Chat虽然是一个强大的语言模型，但其主要设计目标是对话任务。对于复杂的分类任务，建议结合领域知识或使用专门的分类模型。
• Prompt设计关键性：Prompt的设计直接影响分类效果，请根据实际需求不断优化。
• 资源需求：运行Qwen-1.8B-Chat需要较高的计算资源，建议使用至少8 GB内存的实例。

通过以上步骤，您可以成功使用Qwen-1.8B-Chat实现开放式分类任务。如果有进一步的需求或问题，请随时联系！