开发者社区 > ModelScope模型即服务 > 正文

老师你好ModelScope测试的话最好是什么配置啊?我刚测了下,单卡显存占用在 31G 左右,起码

问题1:老师你好ModelScope测试的话最好是什么配置啊?d20941464e1a69749e5fd15e45444cd8.png a05fb6a677e37f45ace29114d71a4415.png 049f98bfc029430fc5c3534f4d6c2ce0.png 我刚测了下,单卡显存占用在 31G 左右,起码需要 V100 了 问题2:跑这种脚本话最低配是怎么样的的呢,或者这个脚本怎么优化一张卡能跑起来

展开
收起
真的很搞笑 2023-06-17 17:04:36 154 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    ModelScope测试时需要的配置取决于所使用的模型和数据集的大小、复杂度、精度等因素。一般来说,对于较大的模型和数据集,需要更高的计算和存储资源来支持测试和评估。
    对于显存占用较高的模型,比如需要 31G 左右显存的模型,建议使用至少一块NVIDIA V100或类似规格的显卡进行测试。如果只能使用较低规格的显卡,可以考虑调整batch size或其他模型参数,以减小显存占用量。
    此外,还需要注意模型和数据集的加载和预处理时间,以及测试和评估结果的准确性和稳定性。可以使用多种指标和评估方法,比如精度、召回率、F1得分等,来评估模型的性能和稳定性。

    2023-07-19 16:42:11
    赞同 展开评论 打赏
  • 回答1:从脚本上看是支持多卡数据并行的,这个batchsize太大了。您好,我这里测试 batch_size 设置为 1 时显存占用只需要 5G 左右,您可以通过调小 batch_size 跑起来, 具体是 --per_device_train_batch_size 180 这个参数,我预计减半应该 ok,就是 90,如果不行可以再调小试试 回答2:可以在配置中把gradient accumulation step调大。这样小batch就是慢一些,效果和大batch应该是可比的,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2023-06-17 17:26:56
    赞同 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
用AI 高效测试移动应用 立即下载
移动互联网测试到质量的转变 立即下载
给ITer的技术实战进阶课-阿里CIO学院独家教材(四) 立即下载