ModelScope中,https://zhuanlan.zhihu.com/p/658765876
没有写trt-llm,又能跑的么?
模型库中有34b-4bits,您试一下https://modelscope.cn/models/codefuse-ai/CodeFuse-CodeLlama-34B-4bits/summary只有一部分模型用的到,py3.7+torch1.12可以装。——此回答整理自钉群:魔搭ModelScope开发者联盟群 ①