ModelScope中，上传的数据集状态是预发布，按照规范文件都存在的，怎么处理？

在ModelScope中，如果上传的数据集状态显示为“预发布”，并且确认按照规范文件已正确上传所有必要的数据文件，您可以按照以下步骤进行处理：

1. 检查预发布状态的含义

• 预发布状态通常表示数据集已经上传成功，但尚未正式发布供模型训练使用。在此状态下，数据集可能仅对特定用户或环境可见。
• 根据知识库中的描述，预发布有两种模式：总量预发布和非总量预发布。您需要确认当前数据集属于哪种模式：
  • 非总量预发布：每个适配机型会分配独立的子预发布任务。
  • 总量预发布：所有机型共享总的预发布设备数。

2. 确认数据集是否符合格式要求

• 确保上传的数据集符合JSON格式，并且字段内容与平台要求一致。例如：
  • content字段应包含文本内容。
  • records字段应包含标注信息（实体名及其偏移量）。
  • 如果涉及关系抽取，还需检查relations字段是否正确标注。
• 示例格式如下：

  {
    "id": "1",
    "content": "阿里巴巴达摩院项目合同发票号：188188，转让金额：1000 元人民币。",
    "records": {
      "发票号码": [{
        "span": "188188",
        "offset": [24, 30]
      }],
      "金额": [{
        "span": "1000 元人民币",
        "offset": [37, 47]
      }]
    }
  }
  

3. 检查数据集上传路径

• 确认数据集已通过正确的入口上传。根据知识库说明，上传路径为：

  数据中心 -> 上传数据集
  

• 如果路径错误，可能导致数据集无法被正确识别或处理。

4. 启用或禁用预发布

• 如果数据集处于预发布状态，但您希望正式发布以供模型训练使用，可以尝试以下操作：
  1. 启用预发布：默认情况下，预发布创建后是启用状态。如果未启用，需手动启用。
  2. 禁用预发布：如果需要重新调整数据集或发布新版本，需先禁用当前预发布状态。
     • 注意：禁用操作只能针对父预发布进行。
  3. 发布正式版本：禁用所有预发布后，可将数据集正式发布。

5. 查看预发布设备查询情况

• 您可以通过以下路径查看预发布设备的查询情况：

  OTA-系统（应用）升级 -> 预发布页面 -> 预发布【操作】栏 -> 查看查询设备
  

• 此页面会分页展示查询到该预发布的设备ID，您可以筛选云设备ID以确认数据集是否已被正确加载。

6. 联系技术支持

• 如果以上步骤均无法解决问题，建议联系ModelScope的技术支持团队，提供以下信息以便快速定位问题：
  • 数据集的唯一标识符（如id字段）。
  • 数据集的上传时间及预发布状态截图。
  • 数据集的JSON文件样本，确保其格式符合平台要求。

重要提醒

• 数据标注数量要求：确保每个实体的有效标注数据不少于500份，否则可能影响模型训练效果。
• 编码格式：上传的文件必须为UTF-8编码，否则可能导致解析失败。

通过上述步骤，您可以有效处理数据集处于预发布状态的问题，并确保数据集能够顺利用于模型训练。