备案控制台

开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

ModelScope中在lora微调时max length超出原本模型长度比如2048,还可以继续么

ModelScope中在lora微调时max length如果超出原本模型的长度比如2048,还可以继续训练上下文学习吗？另外就是感觉长度如果想提高到8k左右，是不是要用原本预训练长度就比较长的模型呢，而不是常规的2/4k模型？还有就是长度越长显存占用提升的还挺快的，但是听说一些模型是100k的，不知道微调的时候怎么能占用显存随长度增加再慢点呢，希望能接受更长上下文

展开

收起

超爱吃辣 2023-09-27 21:17:57 185 0

1 条回答

写回答

取消提交回答

多麻辣哦

你试试开 gradient checkpointing 会好些100k是attention有特殊优化的，是模型结构的原因一般会有性能损失大多数的模型都是支持8192的，你可以微调的时候把这个max length调大点——此回答整理自钉群：魔搭ModelScope开发者联盟群 ①

2023-09-27 22:56:57

赞同展开评论打赏

相关问答

modelscope-funasr的paraformer-streaming微调代码是咋实现流式？

11

0

0

modelscope-funasr微调时候会出现loss为负的情况，怎么回事？

15

0

0

modelscope-funasr中如果用10小时数据做微调， 2张T4的卡，大概耗时多久？

21

1

0

ModelScope微调之后没有效果是数据集太少了吗？

18

1

0

ModelScope微调成功了，问了问题以后没反应，回答没变化，怎么解决？

8

0

0

请问ModelScope的megatron微调支持使用lora吗？

13

0

0

在不微调ModelScope模型的前提下，有啥优化的方法吗？

15

1

0

使用lora微调qwen-vl模型之后，输出的ModelScope全是乱码，这是什么情况？

41

1

0

用cli命令微调时遇到一个问题，是ModelScope哪里的问题？

19

1

0

在ModelScope模型微调后立马进行模型合并，有这样的功能么？

19

1

0

ModelScope模型即服务

计算机视觉

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

我要提问

热门讨论

热门文章

ModelScope中，模型下载默认路径在哪个路径？

com/action/joingroup?code=v1是什么意思

服务器上onnxruntime-gpu 调用结束，如何释放显存

在ModelScope中，请问模型下载到本地的具体方法？

我希望通过damo-YOLO训练1500*1500的图片

请问在 ModelScope 上的模型断网使用报这个错误啥原因了?

modelscope cache 环境变量是啥？

ModelScope有没有人知道windows安装ttsfrd的方法或者ttsfrd源码？

如何下载modelscope模型？

Modelscope魔塔的创空间的文件怎么下载到本地呀？

展开全部

YOLOv10实战：红外小目标实战 | 多头检测器提升小目标检测精度

YOLOv10实战：SPPF原创自研 | SPPF_attention，重新设计加入注意力机制 | NEU-DET为案列进行展开

关于flux.1 loras的8个问题

一种基于YOLOv8改进的高精度红外小目标检测算法（原创自研）

《YOLOv8原创自研》专栏介绍 & CSDN独家改进创新实战&专栏目录

关键点检测从入门到进阶

modelscope调用的模型如何指定在特定gpu上运行？排除使用CUDA_VISIBLE_DEVICES环境变量

图像分类基础与实战

展开全部

相关课程

更多

个性化语音合成模型微调

247

1

去学习

ModelScope社区Library技术架构介绍

220

1

去学习

相关电子书

更多

视觉AI能力的开放现状及ModelScope实战 立即下载

ModelScope助力语音AI模型创新与应用 立即下载

低代码开发师（初级）实战教程 立即下载