"请问下, modelscope中量化的模型,大概能降低多少配置要求呢?
目前我试了下,我本地是deepin20.9系统,2核cpu,8g内存,nv730-2g。
部署ollama的qwen2-7b,有点卡一秒输出2-3字符,1.5b就很流畅。
但是魔搭云端好像是8cpu,32g内存,直接部署7b会爆,1.5b很流畅。
然后我的古董笔记本ollama部署0.5b都很卡。"
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352