ModelScope如果训练数据较大（上TB级别的），应该怎么加载训练数据集，有示例代码吗？
ModelScope如果训练数据较大（上TB级别的），应该怎么加载训练数据集，有示例代码吗？kwargs = dict( model='damo/nlp_gpt3_text-generation_chinese-large', train_dataset=train_dataset, eval_datase=eval_dataset, max_epochs=max_epochs, work_dir=tmp_dir, cfg_modify_fn=cfg_modify_fn) train_dataset 和 eval_dataset 只能一次加载吗？如果数据集合比较大，内存没那么大
展开
收起
1
条回答
写回答
写回答
-
如果本地磁盘没有足够空间的话，可以在加载数据集的时候使用streaming模式，即 ds = MsDataset.load(..., use_streaming=True) ； 具体是modelscope上的哪个数据集呢？ 如果是这种方式的话，在访问ds对象的时候直接 for item in ds， 然后得到的应该是单条数据内容(for 文本数据集)或者单个文件的本地缓存路径(for 其它类型数据集)；——该回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
2023-02-19 20:03:27赞同 展开评论 打赏
相关问答
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
9556
com/action/joingroup?code=v1是什么意思
7017
我希望通过damo-YOLO训练1500*1500的图片
8605
服务器上onnxruntime-gpu 调用结束，如何释放显存
5172
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
2173
ModelScope中我尝试使用这个模型搭建了一个推理服务，然后报错了怎么办？
3439
modelscope cache 环境变量是啥？
2716
请问modelscope中，有一个依赖，kantts，要怎么安装？
1949
streamlit 生成链接无法访问，gradio只生成内网，无法生成公网
2630
ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？
1781
展开全部
