modelscope中关于用swift对LLM量化时，参数的含义咨询
https://modelscope.cn/docs/LLM%E9%87%8F%E5%8C%96%E6%96%87%E6%A1%A3 链接中对原始模型量化，类似这样的命令：
CUDA_VISIBLE_DEVICES=0 swift export \
--model_type qwen1half-7b-chat --quant_bits 4 \
--dataset alpaca-zh alpaca-en sharegpt-gpt4:default --quant_method awq
想给各专家了解下如下几个问题：
1、命令中的model_type取值都有哪些呢？怎么去确定这个取值
2、如果模型已经下载到本地，是不是有其他参数可以指定(swift 没找到查看相关选项，命令的操作)
3、在该文档中所有操作涉及到的--model_type含义都是一养的吗？比如推理
展开
收起
1
条回答
写回答
写回答
-
北京阿里云ACE会长
详细的信息这里可以看到，源码
https://github.com/modelscope/swift
quant_bits：指定量化的位数，量化可以减少模型的精度，以换取更快的推理速度和更小的模型大小。
dataset：指定用于模型训练或评估的数据集。
2024-07-07 07:59:35赞同 7 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
发送excel文件，在钉钉上打开报错误。OfficeImportErrorDomain错误912
12709
jetbrain IDE 无法正常安装 TONGYI Lingma plugin
2405
idea 安装通义灵码后登录 提示“本地服务启动失败”
2712
大模型的token是怎么计算的？
856
通义灵码登录失败，提示通义灵码域名无法解析
1457
VSCode中无法登录通义灵码
1324
通义灵码idea插件，无法登录问题
729
要使用qwen2.5的api 怎么步骤
221
如何训练属于自己的“通义千问”呢？
6686
idea2023.3版本中插件通义灵码无反应
2785
展开全部
阿里云通义千问向全社会开放！
41957
基于NVIDIA A30 加速卡推理部署通义千问-72B-Chat测试过程
834
maven配置阿里云镜像源
19754
【完全免费】VS Code 最好用的 12 款 AI 代码提示插件！！！
8375
ollama + qwen2.5-coder + VS Code + Continue 实现本地AI 辅助写代码
133
通义语音大模型评测：CosyVoice与SenseVoice
1520
通义千问API：让大模型写代码和跑代码
64581
通义听悟--一个懂你的AI助理
8484
通义千问API：让大模型使用各种工具
73699
通义千问API入门教程
31359
展开全部
