热门
请问modelscope中做量化swift和tensorRT llm有区别吗?
您看下是不是和--quant_device_map有关。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
Swift支持使用AWQ、GPTQ、BnB、HQQ、EETQ等技术对模型进行量化。Swift的量化可以用于推理加速,并且量化后的模型支持QLoRA微调。Swift提供了命令行工具来执行量化操作,例如使用AWQ进行INT4量化,并支持自定义量化数据集。
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352