老师,ModelScope脚本里没有这个参数gradient accumulation step这?

老师,ModelScope脚本里没有这个参数gradient accumulation step这个参数配置文件没找到?

展开
收起
真的很搞笑 2023-06-17 17:04:34 218 分享 版权
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    gradient accumulation step是一个训练过程中的技巧,用于在处理大批量训练数据时,将梯度累加多个小批量数据的梯度,并在达到一定数量后进行一次梯度更新。这样可以减小显存的压力,同时也可以使得训练过程更加平滑稳定。
    在ModelScope的脚本中,可能没有直接提供gradient accumulation step参数的配置文件,但是你可以通过调整其他参数,来实现类似的效果。具体来说,你可以将batch size设置为一个较小的值,然后使用多个小批量数据进行训练,每处理一个小批量数据就进行一次梯度更新。这样可以实现类似于gradient accumulation step的效果。

    2023-07-19 16:50:55
    赞同 展开评论
  • https://www.modelscope.cn/docs/Configuration%E8%AF%A6%E8%A7%A3#optimizer 看下cumulative_iters参数,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2023-06-17 20:21:00
    赞同 展开评论

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

还有其他疑问?
咨询AI助理