开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

ModelScope执行这个命令lora微调,换成本地的官方数据集会报错,这个问题出在哪里?

ModelScope执行这个命令lora微调,换成本地的官方数据集会报错,设置官方模型的没错,这个问题出在哪里?a036f5afe310f810f3a6aef502164fe4.png
CUDA_VISIBLE_DEVICES=0,1 \
NPROC_PER_NODE=2 \
swift sft \
--model_id_or_path OpenBuddy/openbuddy-mistral-7b-v13.1 \
--dataset blossom-math-zh \ 换成本地官方下载的数据集 --custom_train_dataset_path 就报错
我看有一句这样报错的语句 json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

展开
收起
真的很搞笑 2023-11-15 07:34:59 196 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 ModelScope 上执行 Lora 微调命令时,如果使用本地的官方数据集报错,可能的原因有:

    1. 文件路径问题:确保你在微调命令中指定的数据集路径是正确的。如果你使用的是相对路径,那么要确保它相对于当前工作目录是有效的。

    2. 文件格式错误:检查你的数据集是否符合模型所需的格式。Lora 模型通常需要特定格式的文本文件作为输入,比如 .txt 或者 .jsonl 格式。

    3. 文件编码问题:确认你的数据集文件使用了正确的编码(如 UTF-8)。如果不匹配,可能会导致读取错误。

    4. 数据集大小限制:有些平台或系统可能对单个文件或者数据集的大小有限制。确保你的数据集大小没有超过这些限制。

    5. 内存和资源限制:微调过程可能需要大量的计算资源。确保你的机器有足够的内存和 CPU 资源来处理这个任务。

    6. 代码兼容性问题:如果你使用的脚本或代码不是为当前环境编写的,可能存在兼容性问题。检查你的 Python 版本、依赖库以及其他相关设置是否正确。

    7. 权限问题:确认你有足够的权限访问和操作数据集文件。如果没有,尝试以管理员身份运行微调命令。

    8. 网络问题:虽然你说你使用的是本地数据集,但是某些微调过程可能需要连接到互联网。确保你的网络连接稳定。

    9. 模型版本不匹配:检查你的 Lora 模型版本是否与微调命令以及数据集的要求相匹配。如果不同版本之间存在差异,可能会导致问题。

    2023-11-30 22:59:48
    赞同 展开评论 打赏
  • 这个问题可能是由于在执行命令时,--custom_train_dataset_path参数的值不正确导致的。请确保您提供的本地数据集路径是正确的,并且该路径下包含了所需的训练数据。

    首先,检查您的本地数据集路径是否正确。例如,如果您的数据集位于/home/user/data/blossom-math-zh,则应将--custom_train_dataset_path参数设置为:

    --custom_train_dataset_path /home/user/data/blossom-math-zh
    

    如果路径正确,但仍然出现错误,请尝试使用绝对路径而不是相对路径。例如:

    --custom_train_dataset_path /absolute/path/to/your/local/dataset
    
    2023-11-15 14:55:50
    赞同 展开评论 打赏

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

相关电子书

更多
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载
低代码开发师(初级)实战教程 立即下载