modelscope中关于用swift对LLM量化时，参数的含义咨询
https://modelscope.cn/docs/LLM%E9%87%8F%E5%8C%96%E6%96%87%E6%A1%A3 链接中对原始模型量化，类似这样的命令：
CUDA_VISIBLE_DEVICES=0 swift export \
--model_type qwen1half-7b-chat --quant_bits 4 \
--dataset alpaca-zh alpaca-en sharegpt-gpt4:default --quant_method awq
想给各专家了解下如下几个问题：
1、命令中的model_type取值都有哪些呢？怎么去确定这个取值
2、如果模型已经下载到本地，是不是有其他参数可以指定(swift 没找到查看相关选项，命令的操作)
3、在该文档中所有操作涉及到的--model_type含义都是一养的吗？比如推理
展开
收起
1
条回答
写回答
写回答
-
北京阿里云ACE会长
详细的信息这里可以看到，源码
https://github.com/modelscope/swift
quant_bits：指定量化的位数，量化可以减少模型的精度，以换取更快的推理速度和更小的模型大小。
dataset：指定用于模型训练或评估的数据集。
2024-07-07 07:59:35赞同 展开评论 打赏
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
发送excel文件，在钉钉上打开报错误。OfficeImportErrorDomain错误912
7535
jetbrain IDE 无法正常安装 TONGYI Lingma plugin
269
idea2023.3版本中插件通义灵码无反应
1820
如何训练属于自己的“通义千问”呢？
5407
使用aliyun账号登录后提示 该账号暂无通义灵码使用权限
2364
通义灵码一直在启动中，无法登陆。
1004
请问通义灵码IDEA生成Git Commit Message 如何默认生成中文注释
162
idea 安装通义灵码后登录 提示“本地服务启动失败”
1960
通义千问 RuntimeError: "addmm_impl_cpu_" not implement
2132
关于通义千问Qwen-7B-Chat模型下载问题
1224
展开全部
