ModelScope这个问题怎么搞？

要解决ModelScope相关的问题，首先需要明确您具体遇到的困难或需求。根据知识库中的参考资料，以下是几种常见场景及其解决方案：

1. 如何调用ModelScope的大语言模型服务？

如果您需要通过API接口调用ModelScope的大语言模型服务，可以按照以下步骤操作：

步骤 1：获取服务访问地址和Token

• 登录阿里云控制台，进入**模型在线服务（EAS）**页面。
• 单击目标服务名称，进入服务详情页面。
• 在基本信息区域，点击查看调用信息，获取服务的访问地址（service_url）和服务Token（token）。

步骤 2：调用模型服务

• 使用Python代码调用模型服务，示例如下：

import requests
import json

service_url = 'YOUR_SERVICE_URL'  # 替换为实际的服务访问地址
token = 'YOUR_SERVICE_TOKEN'      # 替换为实际的服务Token

# 构造请求数据
request = {
    "prompt": "浙江的省会是哪里？",
    "history": []
}

# 发送POST请求
resp = requests.post(service_url, headers={"Authorization": token}, data=json.dumps(request))
result = json.loads(resp.text)

# 输出结果
response = result['response']
print(response)  # 示例输出：浙江的省会是杭州。

• 重要提示：history字段用于保存对话历史，支持多轮对话。如果需要连续对话，可以在每次请求中更新history字段。

2. 如何在ACK中部署ModelScope模型？

如果您希望在容器服务Kubernetes版（ACK）中快速体验ModelScope模型，可以参考以下步骤：

前提条件

• 已创建包含GPU节点的ACK集群Pro版，且集群版本为1.22及以上。
• GPU节点显存需为16GB及以上，并建议使用525版本驱动。
• 已安装最新版Arena客户端。

部署步骤

1. 部署推理服务

   • 执行以下命令，通过Arena部署一个自定义类型的服务：

     arena serve custom \
     -name=modelscope \
     -version=v1 \
     -gpus=1 \
     -replicas=1 \
     -restful-port=8000 \
     -readiness-probe-action="tcpSocket" \
     -readiness-probe-action-option="port: 8000" \
     -readiness-probe-option="initialDelaySeconds: 30" \
     -readiness-probe-option="periodSeconds: 30" \
     -image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
     "MODEL_ID=qwen/Qwen1.5-4B-Chat python3 server.py"
     

   • 注意：确保GPU节点磁盘空间至少预留30GB，以容纳模型文件。

2. 验证推理服务

   • 等待约10分钟后，执行以下命令查看服务状态：

     arena serve get modelscope
     

   • 如果服务已成功部署，可以通过端口转发发送推理请求：

     curl -XPOST http://localhost:8000/generate \
     -H "Content-Type: application/json" \
     -d '{"text_input": "什么是人工智能？", "parameters": {"stream": false, "temperature": 0.9, "seed": 10}}'
     

3. 清理资源（可选）

   • 如果不再需要该服务，可以执行以下命令删除：

     arena serve del modelscope
     

3. ModelScope是否支持G2P模型？

如果您在寻找ModelScope上的文本转拼音（Grapheme-to-Phoneme，G2P）模型，目前平台可能尚未直接提供此类模型。您可以考虑以下替代方案： - 使用Python库pypinyin，它能够方便地将中文文本转换为拼音。 - 或者，尝试在其他模型共享平台（如HuggingFace）上搜索相关模型。

4. 如何基于函数计算快速搭建低成本LLM应用？

如果您希望通过函数计算（Function Compute）快速搭建低成本的大语言模型（LLM）应用，可以参考以下步骤：

创建应用

1. 在函数计算控制台的创建应用页面，设置以下配置项：

   • 角色名：默认使用AliyunFCServerlessDevsRole，必要时前往授权。
   • 模型ID：选择ModelScope上的模型ID（如ZhipuAI/chatglm3-6b）。
   • 模型版本：指定模型版本（如v1.0.2）。
   • 地域：选择部署应用的地域（如华东2（上海））。
   • GPU实例类型：必须指定为fc.gpu.tesla.1。
   • 显存大小：设置为16384MB。
   • 内存大小：设置为32768MB。

2. 部署完成后，为应用开启闲置预留模式：

   • 跳转至函数详情页，选择预留实例，创建策略并启用闲置模式。

使用LLM应用

• 访问应用页面，输入文本信息并提交，即可查看模型的回答结果。

删除资源（可选）

• 如果不再需要该应用，返回函数计算控制台，删除对应资源。

总结

以上内容涵盖了ModelScope模型服务调用、ACK部署、G2P模型支持以及函数计算搭建LLM应用的详细步骤。请根据您的具体需求选择合适的解决方案。如有进一步问题，请提供更多细节以便我们更好地协助您！