开发者社区 > ModelScope模型即服务 > 自然语言处理 > 正文

有人试过在魔塔的CPU镜像里面跑ChatGLM-6B-Int4模型吗, 我跑的时候有如图所示报错

Image 1.png

展开
收起
2m3ncdidzw6hi 2023-10-11 18:40:14 153 0
1 条回答
写回答
取消 提交回答
  • 补充下我使用的代码:

    from modelscope.utils.constant import Tasks
    from modelscope.pipelines import pipeline
    pipe = pipeline(task=Tasks.chat, model='/home/model/hub/ZhipuAI/ChatGLM-6B-Int4',devices='cpu')
    inputs = {'text':'你好', 'history': []}
    result = pipe(inputs)
    inputs = {'text':'介绍下清华大学', 'history': result['history']}
    result = pipe(inputs)
    print(result)
    

    使用的modelscope镜像
    Image 2.png

    2023-10-11 18:46:33
    赞同 1 展开评论 打赏

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

相关电子书

更多
RDS SQL Server CPU高使用率性能优化 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载