ModelScope中在lora微调时max length超出原本模型长度比如2048,还可以继续么
ModelScope中在lora微调时max length如果超出原本模型的长度比如2048,还可以继续训练上下文学习吗？另外就是感觉长度如果想提高到8k左右，是不是要用原本预训练长度就比较长的模型呢，而不是常规的2/4k模型？还有就是长度越长显存占用提升的还挺快的，但是听说一些模型是100k的，不知道微调的时候怎么能占用显存随长度增加再慢点呢，希望能接受更长上下文
展开
收起
1
条回答
写回答
写回答
-
你试试开 gradient checkpointing 会好些100k是attention有特殊优化的，是模型结构的原因一般会有性能损失大多数的模型都是支持8192的，你可以微调的时候把这个max length调大点——此回答整理自钉群：魔搭ModelScope开发者联盟群 ①
2023-09-27 22:56:57赞同 展开评论 打赏
相关问答
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
10407
com/action/joingroup?code=v1是什么意思
7790
我希望通过damo-YOLO训练1500*1500的图片
9024
服务器上onnxruntime-gpu 调用结束，如何释放显存
5547
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
2490
我想使用 Modelscope 自己下载下来的本地模型，不知道怎么操作？
869
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
2190
请问transformer里的库导入有问题是什么原因呢？目前的版本是4.19.2
1619
modelscope cache 环境变量是啥？
2935
ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？
1961
展开全部
ColorFlow：腾讯和清华大学联合推出的图像序列着色模型，通过参考图像的颜色对黑白漫画进行着色生成彩色漫画
399
HelloMeme：开源的面部表情与姿态迁移框架，将视频中的人物表情迁移到静态图像中生成动态视频
113
EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
268
TRELLIS：微软联合清华和中科大推出的高质量 3D 生成模型，支持局部控制和多种输出格式
58
DisPose：清华北大等多所高校联合推出基于人物图像增强视频生成技术，实现对人物动画的准确控制和一致性
56
InvSR：开源图像超分辨率生成模型，提升分辨率，修复老旧照片为超清图像
53
YOLOv10实战：红外小目标实战 | 多头检测器提升小目标检测精度
1076
LeviTor：蚂蚁集团开源3D目标轨迹控制视频合成技术，能够控制视频中3D物体的运动轨迹
45
CLEAR：新加坡国立大学推出线性注意力机制，使8K图像的生成速度提升6.3倍，显著减少了计算量和时间延迟
45
AniDoc：蚂蚁集团开源 2D 动画上色 AI 模型，基于视频扩散模型自动将草图序列转换成彩色动画，保持动画的连贯性
71
展开全部
