ModelScope如果训练数据较大（上TB级别的），应该怎么加载训练数据集，有示例代码吗？
ModelScope如果训练数据较大（上TB级别的），应该怎么加载训练数据集，有示例代码吗？kwargs = dict( model='damo/nlp_gpt3_text-generation_chinese-large', train_dataset=train_dataset, eval_datase=eval_dataset, max_epochs=max_epochs, work_dir=tmp_dir, cfg_modify_fn=cfg_modify_fn) train_dataset 和 eval_dataset 只能一次加载吗？如果数据集合比较大，内存没那么大
展开
收起
1
条回答
写回答
写回答
-
如果本地磁盘没有足够空间的话，可以在加载数据集的时候使用streaming模式，即 ds = MsDataset.load(..., use_streaming=True) ； 具体是modelscope上的哪个数据集呢？ 如果是这种方式的话，在访问ds对象的时候直接 for item in ds， 然后得到的应该是单条数据内容(for 文本数据集)或者单个文件的本地缓存路径(for 其它类型数据集)；——该回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
2023-02-19 20:03:27赞同 展开评论 打赏
相关问答
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
7954
com/action/joingroup?code=v1是什么意思
6256
我希望通过damo-YOLO训练1500*1500的图片
8210
如何下载modelscope模型？
1073
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
1641
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
1877
服务器上onnxruntime-gpu 调用结束，如何释放显存
4730
ttsfrd 如何在windows安装
773
ModelScope 使用14B模型推理时报这个错误？
1611
请问modelscope中，有一个依赖，kantts，要怎么安装？
1782
展开全部
YOLOv10实战：SPPF原创自研 | SPPF_attention，重新设计加入注意力机制 | NEU-DET为案列进行展开
368
关于flux.1 loras的8个问题
237
YOLOv10实战：红外小目标实战 | 多头检测器提升小目标检测精度
632
人像抠图
963
图像识别
745
关键点检测从入门到进阶
1141
Stable Diffusion 介绍与入门
1523
ModelScope模型使用与EAS部署调用
191
一种基于YOLOv8改进的高精度红外小目标检测算法 （原创自研）
299
达摩院OpenVI-视频目标跟踪ICASSP 2023 Oral 渐进式上下文Transformer跟踪器 ProContEXT
684
展开全部
