请问modelscope制作好的aiagent如何使用？

要使用ModelScope制作好的AI Agent，您需要按照以下步骤操作。这些步骤涵盖了从部署到调用的完整流程，确保您可以顺利运行和测试AI Agent。

1. 部署推理服务

在使用AI Agent之前，首先需要将其部署为推理服务。以下是具体步骤：

1.1 使用Arena部署推理服务

通过arena工具部署一个自定义类型的推理服务。以下命令将部署名为modelscope的服务，并指定模型ID为qwen/Qwen1.5-4B-Chat：

arena serve custom \
  -name=modelscope \
  -version=v1 \
  -gpus=1 \
  -replicas=1 \
  -restful-port=8000 \
  -readiness-probe-action="tcpSocket" \
  -readiness-probe-action-option="port: 8000" \
  -readiness-probe-option="initialDelaySeconds: 30" \
  -readiness-probe-option="periodSeconds: 30" \
  -image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
  "MODEL_ID=qwen/Qwen1.5-4B-Chat python3 server.py"

参数说明： - -name: 指定推理服务名称。 - -version: 指定推理服务版本。 - -gpus: 指定单个推理服务副本需要使用的GPU卡数。 - -replicas: 指定推理服务副本数。 - -restful-port: 指定推理服务对外暴露的端口。 - -image: 指定推理服务的镜像地址。 - MODEL_ID: 指定要加载的模型ID。

重要提示： - 磁盘空间要求：ModelScope模型会下载到容器内，因此GPU节点磁盘空间至少需要预留30 GB。 - 等待时间：模型下载需要一定时间，部署完成后需等待约10分钟才能查看服务状态。

1.2 查看推理服务状态

执行以下命令，检查推理服务的详细信息：

arena serve get modelscope

输出结果中应包含服务地址、端口、GPU资源等信息，表明服务已成功部署并处于健康运行状态。

2. 验证推理服务

在确认服务部署成功后，可以通过发送请求验证其功能。

2.1 建立端口转发

在本地环境与推理服务之间建立端口转发，以便进行测试：

kubectl port-forward svc/modelscope-v1 8000:8000

2.2 发送推理请求

向推理服务发送一条模型推理请求，例如：

curl -XPOST http://localhost:8000/generate \
  -H "Content-Type: application/json" \
  -d '{"text_input": "什么是人工智能？人工智能是", "parameters": {"stream": false, "temperature": 0.9, "seed": 10}}'

预期输出：

{
  "model_name": "/root/.cache/modelscope/hub/qwen/Qwen1___5-4B-Chat",
  "text_output": "什么是人工智能？人工智能是研究如何使计算机和机器模仿人类的智能行为来实现自主思考"
}

3. 调用AI Agent

在完成推理服务的部署和验证后，您可以根据实际需求调用AI Agent的功能。以下是调用方式的说明：

3.1 CLI命令行调用

通过CLI命令行初始化AI Agent并执行测试任务。例如：

aiagent -e ucloud-ai init  # 初始化AI Agent
aiagent -e ucloud-ai -m 0  # 测试人脸比对功能
aiagent -e ucloud-ai -m 1  # 测试人物动漫化功能

关键日志示例： - 人脸比对：

Facebody comparing result:
confidence: 84.6
location at x: 159, y: 76, w: 143, h: 194

• 人物动漫化：

  Generate human anime style result:
  url: http://vibktprfx-prod-prod-aic-gd-cn-shanghai.oss-cn-shanghai.aliyuncs.com/person-image-cartoonizer/4F10FBB8-19DC-476B-A51D-458CD180A24F_07f2_20210331-142711.jpg?Expires=1617202631&OSSAccessKeyId=XXXX&Signature=YCLva1stK27Cn657nMeYhgFt7h4%3D
  

3.2 API接口调用

如果需要通过API接口调用AI Agent，可以参考以下示例：

curl -XPOST http://<service-address>/generate \
  -H "Content-Type: application/json" \
  -d '{"prompt": "福建呢？", "history": [["浙江的省会是哪里？", "杭州"], ["江苏呢？", "南京"]]}'

返回结果示例：

{
  "response": "福州。",
  "history": [["浙江的省会是哪里？", "杭州"], ["江苏呢？", "南京"], ["福建呢？", "福州"]]
}

4. 清理推理服务（可选）

如果不再需要已部署的推理服务，可以通过以下命令删除：

arena serve del modelscope

注意事项

• 依赖配置：确保在package.yaml文件中正确添加了AI Agent组件及其依赖项，例如netmgr和littlefs。
• 云端功能开通：如需使用阿里云相关功能，请先登录阿里云官网开通账号，并配置OSS信息（如OSS_ACCESS_KEY、OSS_ACCESS_SECRET等）。
• 硬件要求：对于大语言模型，建议选择具有足够显存的GPU资源（如GU30系列机型）。

通过以上步骤，您可以成功部署并使用ModelScope制作的AI Agent。