"modelscope cache文件下的bin替换,用这个替换可以支单模态和多模态.但如果基于这个替换的模型进行自定义的数据的微调,立马报错,怎么解决?提示:build datset log error:NoneType has no len"" build_dataset error log: object of type 'NoneType' has no len() build_dataset error log: object of type 'NoneType' has no len()"
"复现并跑通了。本地数据集格式: 参考一下图片
加载本地数据集:my_json = '/xxxx/adqid_train.json'train_ds = MsDataset.load('json', data_files=[my_json]).to_hf_dataset()dev_ds一样的操作。cfg_modify_fn中neg_sample您别忘了修改哈。
此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”"
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352