在2.2 微调前推理
首先,测试Qwen在未经微调前的自我认知和通用能力。swift支持使用python和CLI的方式对大模型进行微调、推理等。这里介绍使用python的方式进行推理
执行脚本
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0'
from swift.llm import ModelType, InferArguments, infer_main
infer_args = InferArguments(model_type=ModelType.qwen2_7b_instruct, max_model_len=2048)
infer_main(infer_args)
提示qwen2_7b不存在,尝试使用qwen2_5还是报错说找不到,
请问该怎么解决
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352