modelscope问题之m-plug微调训练自己的模型如何解决

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介: ModelScope训练是指在ModelScope平台上对机器学习模型进行训练的活动;本合集将介绍ModelScope训练流程、模型优化技巧和训练过程中的常见问题解决方法。

问题一:我用本地ModelScope模型再进行训练的时候报错了。用model_id仓库的模型训练成功的本地?


我用本地ModelScope模型再进行训练的时候报错了。。用model_id仓库的模型训练成功的本地模型再训练 提示num_labels不匹配 是读取本地模型不对吗? 是读取路径 还是读取bin文件。Response details: {'Code': 10010205001, 'Message': '获取模型信息失败,信息:record not found', 'RequestId': 'd50bd4e6-7ca6-4d6f-a169-aa6d1f9d2460', 'Success': False}


参考回答:

您遇到报错的原因应该是第一次训练和第二次训练数据使用的 labels 不完全一致,而第一次训练的 id2label,label2id,labels 在训练结束时保存到 configuration.json 中了。解决方法是删除 output/configuration.json 文件中的 model.id2label,model.label2id,model.num_labels,preprocessor.label2id,dataset.train.labels 等相关字段,或是使用 labels 相同的数据集进行继续训练


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/516765?spm=a2c6h.14164896.0.0.47731edfZgRZLr


问题二:使用commonvoice en训练paraformer的时候有type error,是数据集的问?


使用commonvoice en训练paraformer的时候有type error,是数据集的问题吗?我看是modelscope官方上传的 就是paraformer提供的finetune.py,但是TypeError:ASRTrainer:sequence item1:expected str instance, NoneType found


参考回答:

这个TypeError可能与数据集有关。具体而言,TypeError: ASRTrainer: sequence item 1: expected str instance, NoneType found,这个错误提示表明程序期望一个字符串类型的参数,但实际传入的是NoneType类型,可能是由于数据集中出现了空值导致的。

建议您检查一下训练数据集中是否存在空值或缺失值。如果存在,则需要进行相应的处理,例如剔除这些数据或者填充缺失值。此外,也可以检查一下代码中的数据预处理部分,确保数据被正确地读取和处理。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/522628?spm=a2c6h.14164896.0.0.47731edfZgRZLr


问题三:modelscope的palm模型,对联生成模型训练的src_text通过什么算法确定?


modelscope, 对联生成模型训练的src_text通过什么算法确定? 给的训练集只有若干个对联,这些对联对应的是训练集中的tgt_text, 在pipeline时,用户需要输入词语,才会生成tgt_text, 那src_text是一定要有的吧,通过什么算法确定?官方文档什么都没提,能说明一下吗?    


参考回答:

在modelscope中,对联生成模型的训练数据集是由用户提供的。因此,src_text是用户提供的文本,用于训练模型。

在pipeline中,当用户输入词语时,会根据该词语和已有的tgt_text生成新的tgt_text,并将其作为下一个输入。这个过程是通过模型的推理功能实现的。

因此,对于对联生成模型来说,src_text是非常重要的,因为它决定了模型的训练数据集。如果没有足够的src_text,模型将无法进行有效的训练。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/488986?spm=a2c6h.14164896.0.0.47731edfZgRZLr


问题四:ModelScope自己自定义数据集,训练自己的数据集,只需要自己的数据集就行了吗。。。 还是要加?


ModelScope自己自定义数据集,训练自己的数据集,只需要自己的数据集就行了吗。。。 还是要加上shell1数据集? 或者在shell数据集基础上增加自定义数据?


参考回答:

只需要自己的数据集


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/516771?spm=a2c6h.14164896.0.0.49b61edfRQUWMV


问题五:modelscope m-plug可以拿来微调训练自己的模型么?


modelscope m-plug可以拿来微调训练自己的模型么?


参考回答:

目前可以参考github的示例做微调,同时魔搭社区也在积极的接入mplug-owl的微调,很快也可以上线

目录
相关文章
|
2月前
|
自然语言处理
在ModelScope中,你可以通过设置模型的参数来控制输出的阈值
在ModelScope中,你可以通过设置模型的参数来控制输出的阈值
16 1
|
2月前
|
API 语音技术
ModelScope-FunASR**有支持热词又支持时间戳的模型**。
【2月更文挑战第30天】ModelScope-FunASR**有支持热词又支持时间戳的模型**。
29 2
|
2月前
|
人工智能 达摩院 自然语言处理
超好用的开源模型平台,ModelScope阿里达摩院
超好用的开源模型平台,ModelScope阿里达摩院
|
23天前
|
机器学习/深度学习 测试技术 TensorFlow
ModelScope模型使用与EAS部署调用
本文以魔搭数据的模型为例,演示在DSW实例中如何快速调用模型,然后通过Python SDK将模型部署到阿里云PAI EAS服务,并演示使用EAS SDK实现对服务的快速调用,重点针对官方关于EAS模型上线后示例代码无法正常调通部分进行了补充。
|
2月前
|
语音技术 开发工具 git
要进行ModelScope-Funasr实时ASR的微调,您可以按照以下步骤操作:
要进行ModelScope-Funasr实时ASR的微调,您可以按照以下步骤操作:
64 5
|
2月前
|
人工智能 API 决策智能
Modelscope结合α-UMi:基于Modelscope的多模型协作Agent
基于单个开源小模型的工具调用Agent,由于模型容量和预训练能力获取的限制,无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
|
3月前
|
文字识别 并行计算 语音技术
ModelScope问题之下载模型文件报错如何解决
ModelScope模型报错是指在使用ModelScope平台进行模型训练或部署时遇到的错误和问题;本合集将收集ModelScope模型报错的常见情况和排查方法,帮助用户快速定位问题并采取有效措施。
233 3
|
3月前
|
数据采集 自然语言处理 搜索推荐
ModelScope问题之模型encoder配置报错如何解决
ModelScope模型报错是指在使用ModelScope平台进行模型训练或部署时遇到的错误和问题;本合集将收集ModelScope模型报错的常见情况和排查方法,帮助用户快速定位问题并采取有效措施。
80 0
|
3月前
|
人工智能 自然语言处理 搜索推荐
魔搭ModelScope社区作为一个AI模型开源平台,提供了丰富的模型资源和便捷的服务
【2月更文挑战第9天】魔搭ModelScope社区作为一个AI模型开源平台,提供了丰富的模型资源和便捷的服务
169 3
|
3月前
|
API
使用ModelScope平台进行模型验证时
【2月更文挑战第9天】使用ModelScope平台进行模型验证时
59 4