ModelScope中我训练本地的jsonl,训练模型是baichuan2-7b-chat,可以帮忙看看sft.sh脚本怎么改吗?这是我改了的脚本,
这样--custom_train_dataset_path对的,其他参数参考这个example,
https://github.com/modelscope/swift/blob/main/examples/pytorch/llm/scripts/baichuan2_7b_chat/lora_ddp_ds/sft.sh
。~~win环境下的路径您看下是否改成\ 。本地数据集文件上传到notebook,web-ui界面上传notebook中的路径。上传参考:
https://modelscope.cn/docs/%E8%AF%BB%E5%86%99%E6%95%B0%E6%8D%AE%E4%B8%8E%E6%96%87%E4%BB%B6%E4%BC%A0%E8%BE%93
。此回答来自钉群魔搭ModelScope开发者联盟群 ①。
楼主你好,看来你的描述,可以通过以下步骤来修改sft.sh脚本以训练本地jsonl文件,并将其上传到ModelScope:
打开sft.sh脚本,并找到以下行:
python sft.py \
--model_type <model_type> \
--pretrained_model_path <pretrained_model_path> \
--train_file <train_file> \
--output_dir ./output \
--do_train
将<model_type>
替换为baichuan2-7b-chat
,将<pretrained_model_path>
替换为你想要使用的预训练模型路径。
将<train_file>
替换为你本地训练数据集的路径,比如/path/to/your_train_data.jsonl
。
保存并关闭sft.sh脚本。
关于如何将本地数据集文件上传到notebook,你可以按照以下步骤进行操作:
在ModelScope的notebook界面中,点击左侧的文件夹图标,打开文件浏览器。
在文件浏览器中,点击右上角的"上传"按钮。
选择你要上传的本地数据集文件并点击"打开"。
等待文件上传完成,上传完成后,你将在文件浏览器中看到已上传的文件。
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352