" ModelScope模型疑问上下文这个是什么结构，有文档吗？"

ModelScope模型中的上下文（context）结构主要用于支持连续对话的能力，确保模型在多轮对话中能够理解并记住之前的交互内容。这种机制通过维护一个对话历史记录（history）来实现，从而让模型能够基于先前的问答生成更连贯和准确的回答。

上下文结构解析

根据知识库中的描述，ModelScope模型的上下文结构主要由以下两部分组成：

1. prompt字段：

   • 表示当前用户输入的问题或指令。
   • 示例："浙江的省会是哪里？"

2. history字段：

   • 用于存储对话历史记录，格式为一个二维列表。
   • 每个元素是一个长度为2的列表，表示一轮对话的问答对，例如：["问题", "回答"]。
   • 示例：[["浙江的省会是哪里？", "杭州"], ["江苏呢？", "南京"]]

输入与输出示例

以下是一个完整的输入与输出示例，展示了上下文结构如何工作：

输入：

{
  "prompt": "福建呢？",
  "history": [
    ["浙江的省会是哪里？", "杭州"],
    ["江苏呢？", "南京"]
  ]
}

输出：

{
  "response": "福州",
  "history": [
    ["浙江的省会是哪里？", "杭州"],
    ["江苏呢？", "南京"],
    ["福建呢？", "福州"]
  ]
}

• response字段：表示模型针对当前prompt生成的回答。
• history字段：更新后的对话历史记录，包含当前轮次的问答对，可以直接带入下一轮对话。

功能特点

1. 连续对话支持：

   • 通过维护history字段，模型能够理解上下文关系，从而生成更自然的回答。
   • 用户可以根据需要截取history列表的长度，以限制上下文对话的轮数。

2. 灵活调用方式：

   • 支持通过API接口调用，使用Python代码发送POST请求即可完成对话交互。

   • 示例代码如下：

     import requests
     import json
     
     service_url = 'YOUR_SERVICE_URL'
     token = 'YOUR_SERVICE_TOKEN'
     
     request = {
      "prompt": "福建呢？",
      "history": [
          ["浙江的省会是哪里？", "杭州"],
          ["江苏呢？", "南京"]
      ]
     }
     
     resp = requests.post(service_url, headers={"Authorization": token}, data=json.dumps(request))
     result = json.loads(resp.text)
     print(result['response'])  # 输出：福州
     

文档参考

关于ModelScope模型的上下文结构和调用方式，您可以参考以下文档内容： - 调用服务：详细说明了如何通过API接口调用模型服务，并提供了示例代码。 - 部署与调用：介绍了如何在阿里云EAS上部署ModelScope模型，并通过WebUI或API接口进行调用。

注意事项

• Token与服务地址：在调用API时，需正确配置service_url和token，这些信息可以通过阿里云EAS控制台获取。
• 对话历史管理：如果对话历史过长，可能会影响性能，建议根据实际需求限制history的长度。

通过以上说明，您可以清晰地了解ModelScope模型的上下文结构及其使用方法。如果有进一步的需求或疑问，请随时告知！