开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

ModelScope我可以用pytorch去加载模型推理吗?

ModelScope中我看模型merge后的模型都是pytorch的结果,我可以用pytorch去加载模型推理吗?

展开
收起
真的很搞笑 2023-11-01 20:39:08 345 0
4 条回答
写回答
取消 提交回答
  • 是的,ModelScope确实可以使用PyTorch加载和推理模型。因为ModelScope底层采用了Hugging Face的Transformers库,而后者支持PyTorch和TensorFlow两种深度学习框架。

    所以,如果您有使用PyTorch的经验,可以在ModelScope中继续使用PyTorch进行模型的加载和推理。但是需要注意的是,在ModelScope中加载模型的方法可能与常规的PyTorch有所不同,因为它涉及到了对模型和tokenizer的整合。

    2023-11-02 22:07:44
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,您可以在本地安装好 PyTorch 的情况下使用 PyTorch 加载和推理模型,而不必关心它们最初是如何合并的。只需要将模型的名字传递给 load 函数即可。
    需要注意的是,某些模型可能需要一些额外的参数或预处理才能正确地工作,所以在加载前需要仔细阅读文档以确保参数和输入格式正确无误。

    2023-11-02 13:35:19
    赞同 展开评论 打赏
  • 是的,您可以使用PyTorch来加载和推理ModelScope中合并后的模型。在ModelScope中,合并后的模型通常以.pth或.pt为文件扩展名保存,这是PyTorch默认的模型文件格式。

    要使用PyTorch加载和推理模型,您需要按照以下步骤进行操作:

    1. 安装PyTorch:首先,确保您已经安装了适当版本的PyTorch。您可以从PyTorch官方网站(https://pytorch.org/)下载并安装最新版本的PyTorch。

    2. 导入必要的库:在Python脚本中,您需要导入PyTorch库和其他必要的库。例如,您可以使用以下代码导入所需的库:

      import torch
      from torchvision import transforms
      
    3. 加载模型:使用torch.load()函数加载合并后的模型文件。例如,如果您的模型文件名为"model.pth",则可以使用以下代码加载模型:

      model = torch.load("model.pth")
      
    4. 预处理输入数据:根据您的任务需求,对输入数据进行必要的预处理。这可能包括图像大小调整、归一化等操作。例如,对于图像分类任务,您可以使用以下代码对图像进行预处理:

      transform = transforms.Compose([
          transforms.Resize((224, 224)),
          transforms.ToTensor(),
          transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
      ])
      
    5. 推理:使用加载的模型对输入数据进行推理。根据您使用的框架和任务类型,推理过程可能会有所不同。例如,对于图像分类任务,您可以使用以下代码进行推理:

      input_data = ... # 输入数据,可以是图像或文本等
      output = model(input_data) # 使用模型进行推理
      
    2023-11-02 09:53:11
    赞同 展开评论 打赏
  • 直接用llm_infer.py就可以了. 后面(今天)会把这个函数放到swift内, 就会比较方便调用,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2023-11-01 22:02:06
    赞同 展开评论 打赏

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

相关电子书

更多
阿里云机器学习平台——PAI 平台 立即下载
机器学习在恶意样本检测方面 的实践之路 立即下载
大规模机器学习在蚂蚁+阿里的应用 立即下载