问题一:我用本地ModelScope模型再进行训练的时候报错了。用model_id仓库的模型训练成功的本地?
我用本地ModelScope模型再进行训练的时候报错了。。用model_id仓库的模型训练成功的本地模型再训练 提示num_labels不匹配 是读取本地模型不对吗? 是读取路径 还是读取bin文件。Response details: {'Code': 10010205001, 'Message': '获取模型信息失败,信息:record not found', 'RequestId': 'd50bd4e6-7ca6-4d6f-a169-aa6d1f9d2460', 'Success': False}
参考回答:
您遇到报错的原因应该是第一次训练和第二次训练数据使用的 labels 不完全一致,而第一次训练的 id2label,label2id,labels 在训练结束时保存到 configuration.json 中了。解决方法是删除 output/configuration.json 文件中的 model.id2label,model.label2id,model.num_labels,preprocessor.label2id,dataset.train.labels 等相关字段,或是使用 labels 相同的数据集进行继续训练
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/516765?spm=a2c6h.14164896.0.0.47731edfZgRZLr
问题二:使用commonvoice en训练paraformer的时候有type error,是数据集的问?
使用commonvoice en训练paraformer的时候有type error,是数据集的问题吗?我看是modelscope官方上传的 就是paraformer提供的finetune.py,但是TypeError:ASRTrainer:sequence item1:expected str instance, NoneType found
参考回答:
这个TypeError可能与数据集有关。具体而言,TypeError: ASRTrainer: sequence item 1: expected str instance, NoneType found,这个错误提示表明程序期望一个字符串类型的参数,但实际传入的是NoneType类型,可能是由于数据集中出现了空值导致的。
建议您检查一下训练数据集中是否存在空值或缺失值。如果存在,则需要进行相应的处理,例如剔除这些数据或者填充缺失值。此外,也可以检查一下代码中的数据预处理部分,确保数据被正确地读取和处理。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/522628?spm=a2c6h.14164896.0.0.47731edfZgRZLr
问题三:modelscope的palm模型,对联生成模型训练的src_text通过什么算法确定?
modelscope, 对联生成模型训练的src_text通过什么算法确定? 给的训练集只有若干个对联,这些对联对应的是训练集中的tgt_text, 在pipeline时,用户需要输入词语,才会生成tgt_text, 那src_text是一定要有的吧,通过什么算法确定?官方文档什么都没提,能说明一下吗?
参考回答:
在modelscope中,对联生成模型的训练数据集是由用户提供的。因此,src_text是用户提供的文本,用于训练模型。
在pipeline中,当用户输入词语时,会根据该词语和已有的tgt_text生成新的tgt_text,并将其作为下一个输入。这个过程是通过模型的推理功能实现的。
因此,对于对联生成模型来说,src_text是非常重要的,因为它决定了模型的训练数据集。如果没有足够的src_text,模型将无法进行有效的训练。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/488986?spm=a2c6h.14164896.0.0.47731edfZgRZLr
问题四:ModelScope自己自定义数据集,训练自己的数据集,只需要自己的数据集就行了吗。。。 还是要加?
ModelScope自己自定义数据集,训练自己的数据集,只需要自己的数据集就行了吗。。。 还是要加上shell1数据集? 或者在shell数据集基础上增加自定义数据?
参考回答:
只需要自己的数据集
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/516771?spm=a2c6h.14164896.0.0.49b61edfRQUWMV
问题五:modelscope m-plug可以拿来微调训练自己的模型么?
modelscope m-plug可以拿来微调训练自己的模型么?
参考回答:
目前可以参考github的示例做微调,同时魔搭社区也在积极的接入mplug-owl的微调,很快也可以上线