ModelScope微调的时候有以下日志,要怎么解决?

根据您提供的日志信息，[ERROR:swift] Authentication token does not exist, failed to access model qwen/Qwen1___5-14B-Chat which may not exist or may be private. Please login first.，可以判断问题的核心是认证令牌缺失或未正确配置，导致无法访问指定的模型。以下是解决该问题的详细步骤和分析：

1. 确认模型是否存在或是否为私有模型

• 错误日志中提到模型 qwen/Qwen1___5-14B-Chat 可能不存在或为私有模型。
• 操作步骤：
  1. 登录 ModelScope 平台，检查目标模型 qwen/Qwen1___5-14B-Chat 是否存在。
  2. 如果模型为私有模型，请确保您拥有访问权限。
• 重要提示：如果模型确实不存在或您没有权限访问，请联系模型提供方或管理员获取支持。

2. 检查认证令牌 (Authentication Token) 配置

• 错误日志明确指出 Authentication token does not exist，说明微调任务未正确加载认证令牌。
• 操作步骤：
  1. 确保您已登录 ModelScope 平台并生成了有效的 API Token。
     • 登录 ModelScope 后，进入个人设置页面，找到 API Token 并复制。
  2. 在运行微调任务时，将 API Token 正确配置到环境变量或代码中。
     • Shell 方式：

       export DASHSCOPE_API_KEY=<您的API Token>
       

     • Python 代码方式：

       import os
       os.environ['DASHSCOPE_API_KEY'] = '<您的API Token>'
       

  3. 如果使用 HTTP 请求，请在请求头中添加认证信息：

     curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes' \
     --header 'Authorization: Bearer ${DASHSCOPE_API_KEY}' \
     --header 'Content-Type: application/json'
     

3. 验证认证令牌的有效性

• 如果认证令牌已配置但仍报错，可能是令牌无效或过期。
• 操作步骤：
  1. 检查 API Token 是否正确无误。
  2. 如果怀疑令牌过期，请重新生成新的 API Token 并替换旧的配置。
  3. 使用以下命令测试认证是否成功：

     curl --location 'https://dashscope.aliyuncs.com/api/v1/user/profile' \
     --header 'Authorization: Bearer ${DASHSCOPE_API_KEY}'
     

     • 如果返回用户信息，则认证成功；否则需要重新检查 Token 配置。

4. 检查模型名称和路径是否正确

• 错误日志中提到的模型路径为 qwen/Qwen1___5-14B-Chat，可能存在拼写错误或路径不匹配的问题。
• 操作步骤：
  1. 确认模型路径是否与 ModelScope 平台上的实际路径一致。
  2. 如果路径中包含特殊字符（如下划线 _ 或连字符 -），请确保其格式正确。
  3. 如果路径不正确，请修改为正确的模型路径后重新提交微调任务。

5. 检查微调任务的其他依赖配置

• 微调任务可能依赖其他配置项（如训练数据集、超参数等），如果这些配置不完整也可能导致类似错误。
• 操作步骤：
  1. 确保微调任务的训练数据集已正确上传，并获取对应的 file_id。
  2. 检查微调任务的超参数配置是否完整，例如 batch_size、learning_rate 等。
  3. 示例 Shell 命令：

     dashscope fine_tunes.call -m qwen-turbo -t '<替换为训练数据集的file_id1>' '<替换为训练数据集的file_id2>' \
     --mode sft -b 16 -e 1 -l 1.6e-5 \
     --hyper_parameters split=0.9 warmup_ratio=0.0 eval_steps=1
     

6. 查看微调任务日志以定位问题

• 如果上述步骤均未解决问题，可以通过查看微调任务的日志进一步排查。
• 操作步骤：
  1. 使用以下命令查看微调任务的日志：

     dashscope fine_tunes.stream -j <替换为您的微调任务 id>
     

  2. 或通过 HTTP 请求获取日志：

     curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes/<替换为您的微调任务 id>/logs?offset=0&line=1000' \
     --header 'Authorization: Bearer ${DASHSCOPE_API_KEY}' \
     --header 'Content-Type: application/json'
     

  3. 根据日志中的详细信息定位问题并采取相应措施。

总结

通过以上步骤，您可以逐步排查并解决 [ERROR:swift] Authentication token does not exist 的问题。核心在于确保认证令牌正确配置、模型路径无误以及微调任务依赖完整。如果问题仍未解决，建议联系阿里云技术支持团队获取进一步帮助。