云上快速入门,热门云上应用快速查找
想问一下ModelScope多卡部署后,使用了多张卡的显存。多个人提问时,是使用多张卡的GPU进行推理吗?还是多个提问都会落到一个卡的GPU处理呢?
设置了--tensor_parallel_size,多张卡处理 ,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
评论
全部评论 (0)
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352
你好,我是AI助理
可以解答问题、推荐解决方案等
评论
全部评论 (0)