热门
ModelScope中我现在在通过qwen模型加向量库搭建一个rag应用,应该不涉及微调,使用qwen 7b 模型。 如果本地部署的话,硬件推荐是怎么样的呢?16g显存是否可以呢?
模型卡片代码,显存16338MB。此回答来自钉群魔搭ModelScope开发者联盟群 ①。
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352