ModelScope中,
我想找个能跑在鲲鹏 上的模型,应该选哪个鲲鹏用的是ARM的CPU,我想试试信创环境,ARM CPU加上银河麒麟系统
ModelScope 是一个开源的模型即服务(MaaS)平台,提供了多种预训练模型供用户使用。如果您想在鲲鹏处理器上运行模型,可以选择支持鲲鹏处理器的深度学习框架,例如 MindSpore。
在 ModelScope 中,您可以选择使用 MindSpore 框架提供的预训练模型。这些模型可以在鲲鹏处理器上运行,并且已经针对鲲鹏处理器进行了优化。您可以在 ModelScope 的官方网站上找到更多关于 MindSpore 模型的信息和使用方法。
您试一下,
https://modelscope.cn/models/Xorbits/chatglm3-ggml/summary
或者llama.cpp、chatglm.cpp、qwen.cpp。前面有开发者用过npu加速,和您的情况不太一样。——此回答整理自钉群:魔搭ModelScope开发者联盟群 ①