AI 助理
备案控制台登录注册
开发者社区 ModelScope模型即服务 计算机视觉 正文

ModelScope中在lora微调时max length超出原本模型长度比如2048,还可以继续么

ModelScope中在lora微调时max length如果超出原本模型的长度比如2048,还可以继续训练上下文学习吗？另外就是感觉长度如果想提高到8k左右，是不是要用原本预训练长度就比较长的模型呢，而不是常规的2/4k模型？还有就是长度越长显存占用提升的还挺快的，但是听说一些模型是100k的，不知道微调的时候怎么能占用显存随长度增加再慢点呢，希望能接受更长上下文

展开
收起
超爱吃辣 2023-09-27 21:17:57 223 发布于辽宁 分享
分享
 版权
举报
1 条回答
写回答
取消 提交回答
  • 多麻辣哦

    你试试开 gradient checkpointing 会好些100k是attention有特殊优化的，是模型结构的原因一般会有性能损失大多数的模型都是支持8192的，你可以微调的时候把这个max length调大点——此回答整理自钉群：魔搭ModelScope开发者联盟群 ①

    2023-09-27 22:56:57 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
相关问答
modelscope-funasr使用微调后，效果不好，如何提高模型准确率？
116
0
0
modelscope-funasr微调的时候。热词如何添加呢？
146
1
0
ModelScope里我去微调模型，训练完成的模型会出现以下两种问题，怎么解决？
131
0
0
ModelScope我试着用swift 微调后 微调的模型都失去逻辑怎么办？
88
1
0
modelscope-funasr微调时候会出现loss为负的情况，怎么回事？
49
0
0
ModelScope中，florence2模型微调时，数据集格式是不是"query"？
85
1
0
ModelScope微调之后没有效果是数据集太少了吗？
56
1
0
ModelScope中，微调参数里面有可能会导致模型回复中断的参数或者是数据里面没有长文本的数据？
47
1
0
ModelScope中，Qwen2微调的文档有吗？
135
1
0
ModelScope有没有对各种大模型使用各种微调方法所需要显存的统计？
72
1
0
ModelScope模型即服务

计算机视觉

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

我要提问

相关文章

  • 阿里云设计中心携手金鸡电影节青年创作人，用AI技术加速电影工业升级
  • 2024世界工业设计大会：阿里云智能设计部荣获中国设计产业100强三项大奖，并加入中国工业设计协会智能设计专业委员会
  • DeepSeek V3+R1满血微调工具上线！一键启动，硬件要求降10倍
  • 基于 RocketMQ 的云原生 MQTT 消息引擎设计
  • 先知先行——灯塔系列城市沙龙 · 杭州站成功举办！

    • 热门讨论

    热门文章

  • ModelScope中，模型下载默认路径在哪个路径？
  • ModelScope下载速度慢怎么解决？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • com/action/joingroup?code=v1是什么意思
  • ModelScope有没有人知道windows安装ttsfrd的方法或者ttsfrd源码？
  • modelscope cache 环境变量是啥？
  • 我想使用 Modelscope 自己下载下来的本地模型，不知道怎么操作？
  • 如何下载modelscope模型？
  • ModelScope中，本地部署魔搭镜像，怎么下载？有点看不懂
  • 服务器上onnxruntime-gpu 调用结束，如何释放显存
    • 展开全部
  • EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
  • Qwen2.5-VL：阿里通义千问最新开源视觉语言模型，能够理解超过1小时的长视频
  • Step-Video-T2V：碾压Sora？国产开源巨兽Step-Video-T2V杀到：300亿参数一键生成204帧视频
  • UI-TARS：字节跳动开源专注于多平台 GUI 自动化交互的视觉语言模型
  • AnchorCrafter：中科院联合腾讯推出的AI虚拟主播带货视频制作技术
  • VISION XL：支持四倍超分辨率的 AI 视频修复处理工具，提供去除模糊、修复缺失等功能
  • SkyReels-V1：短剧AI革命来了！昆仑开源视频生成AI秒出影视级短剧，比Sora更懂表演！
  • BEN2：一键快速抠图！自动移除图像和视频中的背景，支持在线使用
  • video-analyzer：开源视频分析工具，支持提取视频关键帧、音频转录，自动生成视频详细描述
  • STAR：南京大学联合字节开源视频超分辨率增强生成框架，视频清晰度一键提升，支持从低分辨率视频生成高分辨率视频
    • 展开全部
    还有其他疑问?
    咨询AI助理
    AI助理

    你好，我是AI助理

    可以解答问题、推荐解决方案等