问题1:咨询一下,modelscope 如何为不同的pipe设置多卡,目前做法如下,但是不生效,模型加载后都集中在第一张卡
os.environ['CUDA_VISIBLE_DEVICES'] = '1,2'
pipe1 = pipeline(
task='image-to-video',
model='damo/Image-to-Video',
model_revision='v1.1.0',
cache_dir=modelscope_cache_dir,
device='cuda:0'
)
pipe2 = pipeline(
task='video-to-video',
model='damo/Video-to-Video',
model_revision='v1.1.0',
cache_dir=modelscope_cache_dir,
device='cuda:1'
)
问题2:上面选了1,2 ,相当于屏蔽了其他卡吧我理解。但我想问的还是怎么去把卡分开?是这样的,我现在主要的诉求是把 pipeline 分到不同的卡上,如果有相应的文档我自己看一下也行的
回答1: 上面选了1,2卡,下面选了0,1卡?
回答2: 您试一下os.environ['CUDA_VISIBLE_DEVICES'] = '1,2'从0开始,这样'0,1,2,3',此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”