ModelScope中,创空间现在不能api调用,有什么替代的方法?

ModelScope中,创空间现在不能api调用,有什么替代的方法?

展开
收起
小小爱吃香菜 2024-05-01 13:42:55 130 分享 版权
阿里云 AI 助理回答

在ModelScope中,如果当前创空间无法通过API调用,可以考虑以下替代方法来实现类似功能:

1. 使用自定义模型部署方式

如果创空间的API调用不可用,可以通过自定义模型部署的方式将模型服务化,并通过API接口调用。具体步骤如下: - 选择模型:从ModelScope官网或其他来源获取目标模型的ID、版本号等信息。 - 配置环境变量:根据模型类型(如普通Pipeline模型或大语言对话模型),设置必要的环境变量,例如MODEL_IDTASKREVISION等。 - 普通模型示例: plaintext MODEL_ID: iic/nlp_csanmt_translation_en2zh TASK: translation REVISION: v1.0.1 - 大语言对话模型示例: plaintext MODEL_ID: ZhipuAI/chatglm2-6b TASK: chat REVISION: v1.0.11 - 部署资源选择:根据模型大小选择合适的GPU资源。例如,针对7B模型建议选择GU30系列机型,更大模型可能需要双卡或更高显存的机型。 - 启动服务:完成配置后,单击部署按钮,等待服务状态变为“运行中”。 - 调用服务:通过API接口调用已部署的服务。例如,使用Python代码调用: ```python import requests import json

 service_url = 'YOUR_SERVICE_URL'
 token = 'YOUR_SERVICE_TOKEN'

 resp = requests.post(service_url,
                      headers={"Authorization": token},
                      data=json.dumps({"input": {"text": "Deploying ModelScope models on PAI-EAS is simple and easy to use"}}))

 print(resp.text)  # 输出为模型的输出结果
 ```

2. 通过WebUI调用模型服务

如果API调用受限,可以利用WebUI进行模型服务的调用: - 查看Web应用:在服务部署成功后,进入服务详情页面,单击查看Web应用。 - 测试模型:在WebUI页面左侧的测试内容文本框中输入请求数据,单击执行测试,右侧会显示返回结果。 - 构造请求数据:根据WebUI页面右侧的输入输出Schema,构造符合格式的请求数据,用于后续调用。

3. 创建空间代理服务API

如果需要通过API调用特定的空间服务,可以尝试创建空间代理服务API作为替代方案: - 新建API:在数据资源平台中,进入空间代理服务API-创建页面,填写API基础信息,包括API名称、所属应用、服务类型、服务URL等。 - 配置参数:在参数配置区域,选择适合的服务资源组,并根据需求设置过滤器、流量控制等参数。 - 测试与上线:完成配置后,单击开始测试验证API功能,确认无误后单击保存并上线

4. 使用云原生应用开发平台(CAP)

在云原生应用开发平台中,可以通过创建模型服务来实现对ModelScope模型的调用: - 新建模型服务:登录CAP控制台,选择目标项目,单击新建服务,选择模型服务类型。 - 选择模型来源: - ModelScope:输入模型ID和版本号。 - 对象存储OSS:选择Bucket并填写模型存储路径。 - 自定义模型镜像:选择托管在容器镜像服务ACR中的镜像模型。 - 预览与部署:确认资源配置后,单击确认部署,等待服务部署完成。 - 访问服务:在服务详情页面,单击API地址跳转至API调用示例页面,进行模型试用。

5. 注意事项

  • 资源限制:部分方法可能需要较高的计算资源(如GPU),请根据实际需求选择合适的资源规格。
  • 权限管理:确保已正确配置API Key、Token等认证信息,避免因权限问题导致调用失败。
  • 模型兼容性:确保所选模型支持ModelScope Library作为底层执行框架,否则可能导致部署失败。

通过上述方法,您可以绕过创空间API调用的限制,实现对ModelScope模型的高效调用和服务化部署。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

还有其他疑问?
咨询AI助理