modelscope问题之m-plug微调训练自己的模型如何解决

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: ModelScope训练是指在ModelScope平台上对机器学习模型进行训练的活动;本合集将介绍ModelScope训练流程、模型优化技巧和训练过程中的常见问题解决方法。

问题一:我用本地ModelScope模型再进行训练的时候报错了。用model_id仓库的模型训练成功的本地?


我用本地ModelScope模型再进行训练的时候报错了。。用model_id仓库的模型训练成功的本地模型再训练 提示num_labels不匹配 是读取本地模型不对吗? 是读取路径 还是读取bin文件。Response details: {'Code': 10010205001, 'Message': '获取模型信息失败,信息:record not found', 'RequestId': 'd50bd4e6-7ca6-4d6f-a169-aa6d1f9d2460', 'Success': False}


参考回答:

您遇到报错的原因应该是第一次训练和第二次训练数据使用的 labels 不完全一致,而第一次训练的 id2label,label2id,labels 在训练结束时保存到 configuration.json 中了。解决方法是删除 output/configuration.json 文件中的 model.id2label,model.label2id,model.num_labels,preprocessor.label2id,dataset.train.labels 等相关字段,或是使用 labels 相同的数据集进行继续训练


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/516765?spm=a2c6h.14164896.0.0.47731edfZgRZLr


问题二:使用commonvoice en训练paraformer的时候有type error,是数据集的问?


使用commonvoice en训练paraformer的时候有type error,是数据集的问题吗?我看是modelscope官方上传的 就是paraformer提供的finetune.py,但是TypeError:ASRTrainer:sequence item1:expected str instance, NoneType found


参考回答:

这个TypeError可能与数据集有关。具体而言,TypeError: ASRTrainer: sequence item 1: expected str instance, NoneType found,这个错误提示表明程序期望一个字符串类型的参数,但实际传入的是NoneType类型,可能是由于数据集中出现了空值导致的。

建议您检查一下训练数据集中是否存在空值或缺失值。如果存在,则需要进行相应的处理,例如剔除这些数据或者填充缺失值。此外,也可以检查一下代码中的数据预处理部分,确保数据被正确地读取和处理。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/522628?spm=a2c6h.14164896.0.0.47731edfZgRZLr


问题三:modelscope的palm模型,对联生成模型训练的src_text通过什么算法确定?


modelscope, 对联生成模型训练的src_text通过什么算法确定? 给的训练集只有若干个对联,这些对联对应的是训练集中的tgt_text, 在pipeline时,用户需要输入词语,才会生成tgt_text, 那src_text是一定要有的吧,通过什么算法确定?官方文档什么都没提,能说明一下吗?    


参考回答:

在modelscope中,对联生成模型的训练数据集是由用户提供的。因此,src_text是用户提供的文本,用于训练模型。

在pipeline中,当用户输入词语时,会根据该词语和已有的tgt_text生成新的tgt_text,并将其作为下一个输入。这个过程是通过模型的推理功能实现的。

因此,对于对联生成模型来说,src_text是非常重要的,因为它决定了模型的训练数据集。如果没有足够的src_text,模型将无法进行有效的训练。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/488986?spm=a2c6h.14164896.0.0.47731edfZgRZLr


问题四:ModelScope自己自定义数据集,训练自己的数据集,只需要自己的数据集就行了吗。。。 还是要加?


ModelScope自己自定义数据集,训练自己的数据集,只需要自己的数据集就行了吗。。。 还是要加上shell1数据集? 或者在shell数据集基础上增加自定义数据?


参考回答:

只需要自己的数据集


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/516771?spm=a2c6h.14164896.0.0.49b61edfRQUWMV


问题五:modelscope m-plug可以拿来微调训练自己的模型么?


modelscope m-plug可以拿来微调训练自己的模型么?


参考回答:

目前可以参考github的示例做微调,同时魔搭社区也在积极的接入mplug-owl的微调,很快也可以上线

目录
相关文章
|
2月前
|
人工智能 物联网
如何将Together AI上基于Qwen2-7B训练的模型部署到ModelScope平台
如何将Together AI上基于Qwen2-7B训练的模型部署到ModelScope平台
110 10
|
7月前
|
人工智能 开发框架 物联网
赢万元奖金 | 第七届CCF开源创新大赛ModelScope开源模型应用挑战赛开启报名!
第七届CCF开源创新大赛(后简称“大赛”) 由中国计算机学会(CCF)主办,长沙理工大学、CCF开源发展委员会联合承办。
|
9月前
|
人工智能 开发工具 Swift
ModelScope联手OpenDataLab:直接调用7000+开源数据集,赋能AI模型加速研发
魔搭社区和OpenDatalab浦数合作,共同开启一场模型与数据的深度融合,旨在为中国开发者打造更加高效、开放的AI体验。
|
10月前
|
机器学习/深度学习 人工智能 Swift
PAI x ModelScope: 在PAI使用ModelScope模型
在当前的人工智能领域,特别是大语言模型、文生图等领域,基于预训练模型完成机器学习模型的开发部署已成为重要的应用范式,开发者们依赖于这些先进的开源预训练模型,以简化机器学习应用的开发并加速创新。
|
10月前
|
自然语言处理
在ModelScope中,你可以通过设置模型的参数来控制输出的阈值
在ModelScope中,你可以通过设置模型的参数来控制输出的阈值
259 1
|
10月前
|
API 语音技术
ModelScope-FunASR**有支持热词又支持时间戳的模型**。
【2月更文挑战第30天】ModelScope-FunASR**有支持热词又支持时间戳的模型**。
302 2
|
10月前
|
人工智能 API 决策智能
Modelscope结合α-UMi:基于Modelscope的多模型协作Agent
基于单个开源小模型的工具调用Agent,由于模型容量和预训练能力获取的限制,无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
|
10月前
|
文字识别 并行计算 语音技术
ModelScope问题之下载模型文件报错如何解决
ModelScope模型报错是指在使用ModelScope平台进行模型训练或部署时遇到的错误和问题;本合集将收集ModelScope模型报错的常见情况和排查方法,帮助用户快速定位问题并采取有效措施。
1815 3
|
10月前
|
数据采集 自然语言处理 搜索推荐
ModelScope问题之模型encoder配置报错如何解决
ModelScope模型报错是指在使用ModelScope平台进行模型训练或部署时遇到的错误和问题;本合集将收集ModelScope模型报错的常见情况和排查方法,帮助用户快速定位问题并采取有效措施。
437 0

热门文章

最新文章