modelscope cache文件下的bin替换，立马报错，怎么解决？
modelscope cache文件下的bin替换，用这个替换可以支单模态和多模态.但如果基于这个替换的模型进行自定义的数据的微调,立马报错，怎么解决？ 提示:build datset log error:NoneType has no len" build_dataset error log: object of type 'NoneType' has no len()
build_dataset error log: object of type 'NoneType' has no len()
其中，cfg_modify_fn中的neg_sample 现为19,应该修改成多少，batch_size应该修改成多少？
展开
收起
1
条回答
写回答
写回答
-
"复现并跑通了。本地数据集格式： 参考一下图片
加载本地数据集：my_json = '/xxxx/adqid_train.json'train_ds = MsDataset.load('json', data_files=[my_json]).to_hf_dataset()dev_ds一样的操作。cfg_modify_fn中neg_sample修改为1。batch_size在测试时改为1就可以了
此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”2024-06-28 19:58:48赞同 1 展开评论 打赏
相关问答
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
热门讨论
热门文章
ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
4489
ModelScope中，模型下载默认路径在哪个路径？
9498
modelscope-funasr的FunClip怎么安装的？
1736
小白求助，跟着大模型微调教程做不太明白
656
ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？
3637
ModelScope默认的下载位置是在哪里？
2523
com/action/joingroup?code=v1是什么意思
6960
服务器上onnxruntime-gpu 调用结束，如何释放显存
5148
无法导入 modelscope，已经pip install了
3264
modelscope上跑报错，提示要pip install ttsfrd，搞不定
7520
展开全部
阿里云通义千问向全社会开放！
39099
multi-agent：多角色Agent协同合作，高效完成复杂任务
32888
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
1457
Llama 3开源，魔搭社区手把手带你推理，部署，微调和评估
11166
ModelScope一键部署模型：新手村实操FAQ篇
4852
从RMSE和MSE到更多选择：探索机器学习模型性能指标
3633
自然语言处理Transformer模型最详细讲解（图解版）
6258
【TVM 学习资料】快速入门：编译深度学习模型
238
ChatGPT中文版杀疯了,已登录AI模型市场
13618
大模型时代，还缺一只雨燕 ｜ SWIFT：魔搭社区轻量级微调推理框架
3845
展开全部
