开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

在ModelScope中,模型Xinference怎么选择指定的模型?

Xorbits/chatglm3-ggml这个模型Xinference怎么选择指定的模型

展开
收起
崔问问 2023-11-29 15:55:40 580 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 ModelScope 中,您可以使用 Xinference 来运行和评估不同的模型。要选择指定的模型,请按照以下步骤进行操作:

    1. 准备模型:将您要使用的模型准备好,并确保它们与 Xinference 兼容。通常,您需要将模型转换为 ONNX 格式(如果不是 ONNX)以便在 Xinference 中使用。您可以使用 ModelScope 提供的转换工具或其他支持 ONNX 的工具来完成这个步骤。

    2. 配置模型:在 ModelScope 的配置文件中,您可以指定要使用的模型和相关的设置。打开 models.yaml 配置文件,找到您要使用的模型所对应的部分,并确保配置了正确的模型路径、输入和输出信息等。

    3. 运行 Xinference:在终端中执行 xinference 命令来启动 Xinference。默认情况下,ModelScope 会加载 models.yaml 配置文件并根据配置文件中的设置运行模型。

    4. 选择模型:当 Xinference 启动后,您可以通过在命令行提示中选择要运行的模型。根据提示,键入相应的数字或关键字来选择您想要运行的模型。

    5. 运行推理:一旦选择了要运行的模型,Xinference 将开始加载模型并准备进行推理。您可以根据提示输入相应的输入数据,并观察模型的推理结果。

    2023-11-30 15:16:57
    赞同 展开评论 打赏
  • 模型卡片上有示例代码。此回答整理自钉钉群:魔搭ModelScope开发者联盟群 ①

    2023-11-29 22:31:11
    赞同 展开评论 打赏
  • Xorbits/chatglm3-ggml 是一个人工智能语言生成模型,可以从给定语料中学习人类的自然语言特征并生成相应的文本。要指定使用模型,需要按照以下步骤操作:

    1. 下载模型文件:您需要先下载模型文件,并解压。
    2. 加载模型:加载模型文件,指定模型路径以及训练所需的参数。
    3. 使用模型:调用模型函数,实现文本生成的功能。
    2023-11-29 17:03:28
    赞同 展开评论 打赏

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

相关电子书

更多
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载
低代码开发师(初级)实战教程 立即下载