Modelscope模型要在免费平台上跑起来，是不是需要量化版本？

ModelScope是一个模型性能评估平台，它汇集了来自AI社区的最先进的机器学习模型。为了在免费平台上运行起来，的确可以使用量化版本的模型。实际上，ModelScope提供了int8和int4量化版本，这种量化版本的模型推理最低仅需不到2GB显存。如果你的GPU显存有限，还可以尝试以量化方式加载模型。

在环境配置方面，建议使用python 3.8及以上版本，pytorch 1.12及以上版本，并且推荐使用CUDA 11.4及以上（GPU用户需考虑此选项）。如果你打算在ModelScope的Notebook环境下运行模型（例如PAI-DSW），需要注意的是这种环境下显存需求为20G。

自己算一下显存占用这模型至少35G显存而且还是int4极限量化模型的B数越大，越吃显存B数30以上的就别考虑单卡加载了，考虑考虑ddp。 可以参考下，https://modelscope.cn/models/AI-ModelScope/Mixtral-8x7B-v0.1-GPTQ/summary此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”