开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

modelScope在mac上无法部署chatglm3,有没有成功部署的具体步骤?

modelScope在mac上无法部署chatglm3,有没有成功部署的具体步骤?

展开
收起
小小爱吃香菜 2024-01-09 19:57:11 88 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在Mac上部署chatglm3,可以参考以下步骤:

    1. 首先,访问ModelScope首页modelscope.cn并登录你的账号。然后进入"我的Notebook"部分。
    2. 接着,你应选择带有GPU环境的在线开发环境,例如PAI-DSW。
    3. 在新的空白Notebook中,你可以开始编写代码以配置模型的运行环境。
    4. 由于ChatGLM3是智谱AI和清华大学KEG实验室联合发布的新一代对话预训练模型,因此在部署之前确保你已经正确安装了所有必要的依赖项。
    5. 接下来,你需要安装并创建一个新的Anaconda环境,以帮助隔离项目的依赖关系。推荐使用清华大学开源软件镜像站下载的2022年左右的版本,以避免潜在的兼容性问题。
    6. 最后,为了在Mac环境下优化ChatGLM3-6B模型的推理速度,你可以尝试采用ggml/gguf量化的方法。
    2024-01-13 19:33:31
    赞同 展开评论 打赏
  • https://github.com/xorbitsai/inference/tree/main/xinference 试试这个,是我们社区的合作伙伴的开源产品。 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-01-09 23:22:42
    赞同 展开评论 打赏

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

相关电子书

更多
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载
低代码开发师(初级)实战教程 立即下载