ModelScope问题之训练完直接加载如何解决

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介: ModelScope训练是指在ModelScope平台上对机器学习模型进行训练的活动;本合集将介绍ModelScope训练流程、模型优化技巧和训练过程中的常见问题解决方法。

问题一:ModelScope如果训练数据较大(上TB级别的),应该怎么加载训练数据集,有示例代码吗?


ModelScope如果训练数据较大(上TB级别的),应该怎么加载训练数据集,有示例代码吗?kwargs = dict( model='damo/nlp_gpt3_text-generation_chinese-large', train_dataset=train_dataset, eval_datase=eval_dataset, max_epochs=max_epochs, work_dir=tmp_dir, cfg_modify_fn=cfg_modify_fn) train_dataset 和 eval_dataset 只能一次加载吗?如果数据集合比较大,内存没那么大


参考回答:

如果本地磁盘没有足够空间的话,可以在加载数据集的时候使用streaming模式,即 ds = MsDataset.load(..., use_streaming=True) ; 具体是modelscope上的哪个数据集呢? 如果是这种方式的话,在访问ds对象的时候直接 for item in ds, 然后得到的应该是单条数据内容(for 文本数据集)或者单个文件的本地缓存路径(for 其它类型数据集);


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/485452?spm=a2c6h.14164896.0.0.14c71edfP7EB3l


问题二:在modelscope上用预训练模型做的继续训练,为什么训练的精度会随着epoch的增加而降低?


在modelscope上用预训练模型做的继续训练,为什么训练的精度会随着epoch的增加而降低?



参考回答:

在ModelScope上的预训练模型的精度会随着epoch的增加而降低,因为训练过程中,由于迭代次数的增加,模型可能受到了过度拟合。解决方案是在训练过程中引入一些正则化机制,以防止过度拟合。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/484262?spm=a2c6h.14164896.0.0.14c71edfP7EB3l


问题三:在modelscope的底座模型基础上做一些mlm训练,modelscope有这个mlm的代码吗?


在modelscope的底座模型基础上做一些mlm训练,modelscope有这个mlm的代码吗?


参考回答:

可以参考 https://www.modelscope.cn/models/damo/nlp_structbert_backbone_base_std/summary


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/485412?spm=a2c6h.14164896.0.0.14c71edfP7EB3l


问题四:modelscope vad的训练数据是标注的吗?


modelscope vad的训练数据是标注的吗?效果感觉很好。通过kaldi对齐制作vad训练数据,感觉做不到这么好吧,什么时候可以像asr一样可以微调啊?


参考回答:

开源的模型是线上最优模型,数据、模型与算法方面都做了不少的工作。finetune暂时没有排期,目前在做的是增加8k vad模型,以及流式vad,可以支持关注funasr后续动作:https://github.com/alibaba-damo-academy/FunASR


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/484248?spm=a2c6h.14164896.0.0.14c71edfP7EB3l


问题五:ModelScope这我训练完 看文档都没看明白怎么调用这样直接加载不行么?


ModelScope这我训练完 看文档都没看明白怎么调用

这样直接加载不行么?


参考回答:

里面有个文件夹叫output,那个里面的是推理用的文件,pth文件是用于继续训练的文件,还存储了trainer的随机状态、optimizer state等


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/485396?spm=a2c6h.14164896.0.0.25be1edf0PUp6f


目录
相关文章
|
2月前
|
机器学习/深度学习 存储 JSON
ModelScope问题之加载训到一半保存的checkpoint接着训练如何解决
ModelScope训练是指在ModelScope平台上对机器学习模型进行训练的活动;本合集将介绍ModelScope训练流程、模型优化技巧和训练过程中的常见问题解决方法。
50 0
|
2月前
|
机器学习/深度学习 安全
ModelScope问题之轮数没有训练完推理有影响如何解决
ModelScope训练是指在ModelScope平台上对机器学习模型进行训练的活动;本合集将介绍ModelScope训练流程、模型优化技巧和训练过程中的常见问题解决方法。
26 0
|
2月前
|
数据采集 机器学习/深度学习 算法
ModelScope问题之恢复模型训练如何解决
ModelScope训练是指在ModelScope平台上对机器学习模型进行训练的活动;本合集将介绍ModelScope训练流程、模型优化技巧和训练过程中的常见问题解决方法。
51 0
|
2月前
|
数据采集 并行计算 PyTorch
modelscope问题之训练报错如何解决
ModelScope训练是指在ModelScope平台上对机器学习模型进行训练的活动;本合集将介绍ModelScope训练流程、模型优化技巧和训练过程中的常见问题解决方法。
78 0
|
2月前
|
机器学习/深度学习 存储 并行计算
ModelScope问题之训练报错设置参数如何解决
ModelScope训练是指在ModelScope平台上对机器学习模型进行训练的活动;本合集将介绍ModelScope训练流程、模型优化技巧和训练过程中的常见问题解决方法。
34 0
|
2月前
|
缓存 自然语言处理 监控
ModelScope评估二次训练模型报错如何解决
ModelScope模型报错是指在使用ModelScope平台进行模型训练或部署时遇到的错误和问题;本合集将收集ModelScope模型报错的常见情况和排查方法,帮助用户快速定位问题并采取有效措施。
116 0
|
2月前
|
异构计算 Docker Python
ModelScope问题之加载模型时报错size mismatch如何解决
ModelScope镜像是指用于在ModelScope平台上创建和管理的容器镜像,这些镜像包含用于模型训练和推理的环境和依赖;本合集将说明如何使用ModelScope镜像以及管理镜像的技巧和注意事项。
48 0
|
2月前
|
自然语言处理 搜索推荐 PyTorch
ModelScope问题之NoteBook训练个性化语音合成模型报错如何解决
ModelScope训练是指在ModelScope平台上对机器学习模型进行训练的活动;本合集将介绍ModelScope训练流程、模型优化技巧和训练过程中的常见问题解决方法。
46 0
|
2月前
|
数据采集 机器学习/深度学习 算法
modelscope问题之m-plug微调训练自己的模型如何解决
ModelScope训练是指在ModelScope平台上对机器学习模型进行训练的活动;本合集将介绍ModelScope训练流程、模型优化技巧和训练过程中的常见问题解决方法。
97 0
|
1月前
|
API 语音技术
ModelScope-FunASR**有支持热词又支持时间戳的模型**。
【2月更文挑战第30天】ModelScope-FunASR**有支持热词又支持时间戳的模型**。
25 2