开发者社区 > ModelScope模型即服务 > 正文

ModelScope 以上是推理代码,执行报错,是啥情况?

from swift.llm import (
get_model_tokenizer, get_template, inference, ModelType, get_default_template_type
)
model_type = ModelType.qwen_1_8b_chat
template_type = get_default_template_type(model_type)
model, tokenizer = get_model_tokenizer(model_type, model_kwargs={'device_map': 'auto'}, model_dir=ckpt_dir)
template = get_template(template_type, tokenizer) ModelScope 以上是推理代码,执行报错,是啥情况?87eb616a4891bba9e19efa30eca80484.png

展开
收起
陈幕白 2024-02-27 16:08:25 34 0
1 条回答
写回答
取消 提交回答
  • 943fab1b11da9310c7ac066d81ed4e0e.png 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-02-27 16:36:13
    赞同 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载
低代码开发师(初级)实战教程 立即下载