开发者社区 > ModelScope模型即服务 > 正文

以上modelscope错误怎么处理?

"https://www.modelscope.cn/docs/Qwen1.5%E5%85%A8%E6%B5%81%E7%A8%8B%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5

执行:

Experimental environment: 3090

import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0'

from swift.llm import (
get_model_tokenizer, get_template, inference, ModelType, get_default_template_type,
)
from swift.utils import seed_everything
from swift.tuners import Swift

seed_everything(42)

ckpt_dir = 'v0-20240411-151422/checkpoint-48/'
model_type = ModelType.qwen1half_7b_chat
template_type = get_default_template_type(model_type)

model, tokenizer = get_model_tokenizer(model_type, model_kwargs={'device_map': 'auto'})
model.generation_config.max_new_tokens = 512

model = Swift.from_pretrained(model, ckpt_dir, inference_mode=True)
template = get_template(template_type, tokenizer)

query = '你是qwen吗?'
response, history = inference(model, template, query)
print(f'response: {response}')
print(f'history: {history}')

错误:ValueError: Target modules ['attn.c_attn', 'mlp.w1', 'attn.c_proj', 'mlp.c_proj', 'mlp.w2'] not found in the base model. Please check the target modules and try again.
以上modelscope错误怎么处理?"

展开
收起
Lucidly 2024-04-16 20:49:29 14 0
1 条回答
写回答
取消 提交回答
  • 您看下训练和推理的model_type是否一致。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-04-16 22:10:27
    赞同 7 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载