modelscope cache文件下的bin替换，立马报错，怎么解决？
modelscope cache文件下的bin替换，用这个替换可以支单模态和多模态.但如果基于这个替换的模型进行自定义的数据的微调,立马报错，怎么解决？ 提示:build datset log error:NoneType has no len" build_dataset error log: object of type 'NoneType' has no len()
build_dataset error log: object of type 'NoneType' has no len()
其中，cfg_modify_fn中的neg_sample 现为19,应该修改成多少，batch_size应该修改成多少？
展开
收起
1
条回答
写回答
-
"复现并跑通了。本地数据集格式： 参考一下图片
加载本地数据集：my_json = '/xxxx/adqid_train.json'train_ds = MsDataset.load('json', data_files=[my_json]).to_hf_dataset()dev_ds一样的操作。cfg_modify_fn中neg_sample修改为1。batch_size在测试时改为1就可以了
此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”2024-06-28 19:58:48赞同 1 展开评论
相关问答
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
热门讨论
热门文章
展开全部
展开全部
还有其他疑问?
咨询AI助理