开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

请问下ModelScope这个模型输出结果为什么都是换行符呢?

请问下ModelScope这个模型输出结果为什么都是换行符呢?6dfbbccecce4c37e26a8d67db8385fbb.jpg,代码:import torch
from modelscope import AutoModel, AutoTokenizer
model_id = 'ZhipuAI/CodeGeeX2-6B'
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True,revision = 'v1.0.0')
model = AutoModel.from_pretrained(model_id, device_map={'': 'mps:0'}, # auto
torch_dtype=torch.float16, trust_remote_code=True,revision = 'v1.0.0')
model = model.eval()

remember adding a language tag for better performance

prompt = "# language: python\n# write a bubble sort function\n"
inputs = tokenizer.encode(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(inputs, max_length=256)
response = tokenizer.decode(outputs[0])
response

展开
收起
陈幕白 2023-12-13 17:21:34 136 0
1 条回答
写回答
取消 提交回答
  • 代码中您print一下model.device,看看mps是否可用,然后device_map="auto"或"cpu",torch.float16不要了。此回答整理自钉群 “魔搭ModelScope开发者联盟群 ①”

    2023-12-13 17:40:29
    赞同 展开评论 打赏

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

热门讨论

热门文章

相关电子书

更多
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载
低代码开发师(初级)实战教程 立即下载