问题1:老师你好ModelScope测试的话最好是什么配置啊? 我刚测了下,单卡显存占用在 31G 左右,起码需要 V100 了 问题2:跑这种脚本话最低配是怎么样的的呢,或者这个脚本怎么优化一张卡能跑起来
ModelScope测试时需要的配置取决于所使用的模型和数据集的大小、复杂度、精度等因素。一般来说,对于较大的模型和数据集,需要更高的计算和存储资源来支持测试和评估。
对于显存占用较高的模型,比如需要 31G 左右显存的模型,建议使用至少一块NVIDIA V100或类似规格的显卡进行测试。如果只能使用较低规格的显卡,可以考虑调整batch size或其他模型参数,以减小显存占用量。
此外,还需要注意模型和数据集的加载和预处理时间,以及测试和评估结果的准确性和稳定性。可以使用多种指标和评估方法,比如精度、召回率、F1得分等,来评估模型的性能和稳定性。
回答1:从脚本上看是支持多卡数据并行的,这个batchsize太大了。您好,我这里测试 batch_size 设置为 1 时显存占用只需要 5G 左右,您可以通过调小 batch_size 跑起来, 具体是 --per_device_train_batch_size 180 这个参数,我预计减半应该 ok,就是 90,如果不行可以再调小试试 回答2:可以在配置中把gradient accumulation step调大。这样小batch就是慢一些,效果和大batch应该是可比的,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352