老师,ModelScope脚本里没有这个参数gradient accumulation step这个参数配置文件没找到?
gradient accumulation step是一个训练过程中的技巧,用于在处理大批量训练数据时,将梯度累加多个小批量数据的梯度,并在达到一定数量后进行一次梯度更新。这样可以减小显存的压力,同时也可以使得训练过程更加平滑稳定。
在ModelScope的脚本中,可能没有直接提供gradient accumulation step参数的配置文件,但是你可以通过调整其他参数,来实现类似的效果。具体来说,你可以将batch size设置为一个较小的值,然后使用多个小批量数据进行训练,每处理一个小批量数据就进行一次梯度更新。这样可以实现类似于gradient accumulation step的效果。
https://www.modelscope.cn/docs/Configuration%E8%AF%A6%E8%A7%A3#optimizer 看下cumulative_iters参数,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352