notebook训练

在设置训练集时，如果遇到自制数据集上传失败或无法使用ModelScope托管数据集的问题，可以参考以下步骤和建议进行操作。以下是详细的解决方案：

1. 数据集准备与要求

在上传数据集之前，请确保您的数据集符合平台的要求。根据知识库中的说明，以下是一些关键点：

• 图片数量：建议至少准备15张以上的图片。
• 图片质量：
  • 分辨率适中，画质清晰。
  • 风格统一，避免复杂背景和无关内容（如文字）。
  • 图片尺寸应为64的倍数，推荐范围为512×512至768×768。
• 文件格式：支持的图片格式包括.jpg、.png、.bmp、.jpeg。
• 命名规则：如果需要用于LoRA模型训练，图片文件夹的命名需遵循数字_任意名称的格式，例如100_ACD3DICON。其中，数字表示每张图片的重复训练次数，总训练次数通常需大于1500次。

重要提示：如果您的数据集包含大量图片（如超过2000张），请分包上传，每个压缩包大小不得超过2GB。

2. 数据集上传方式

根据您的描述，上传自制数据集失败可能与文件大小或格式不符合要求有关。以下是两种常见的上传方式及其注意事项：

方式一：本地上传

1. 整理数据集：
   • 将图片存放在一个文件夹中，并确保文件夹命名符合要求（如100_ACD3DICON）。
   • 如果图片数量较多，建议将数据集分包压缩为多个.zip文件，每个文件大小不超过2GB。
2. 上传步骤：
   • 登录PAI ArtLab或其他相关平台。
   • 在数据集页面单击新建数据集，输入数据集名称。
   • 将整理好的.zip文件从本地拖拽上传。
3. 验证上传结果：
   • 上传完成后，进入数据集详情页面，检查图片是否成功导入。
   • 如果上传失败，请检查文件大小、格式及命名是否符合要求。

方式二：使用OSS路径

如果您希望使用托管在ModelScope上的数据集，可以通过OSS路径引用数据集： 1. 配置OSS路径： - 确保您的数据集已上传至阿里云OSS存储。 - 在平台的数据集配置页面，选择OSS文件或目录，并填写数据集所在的OSS路径。 2. 设置train_image_dir： - 如果平台不支持直接设置train_image_dir，您可以通过创建一个数据集对象来间接指定路径。 - 在数据集对象中，明确标注图片所在的子目录路径。

3. 常见问题排查

如果上传仍然失败，可以参考以下常见问题及解决方法：

问题1：上传失败，提示文件过大

• 原因：单个压缩包超过2GB限制。
• 解决方法：将数据集分包压缩，确保每个压缩包大小不超过2GB。

问题2：图片无法识别或导入失败

• 原因：图片格式或命名不符合要求。
• 解决方法：
  • 检查图片格式是否为.jpg、.png、.bmp或.jpeg。
  • 确保图片命名符合平台要求（如数字_任意名称）。

问题3：无法设置train_image_dir

• 原因：平台可能未提供直接设置路径的功能。
• 解决方法：
  • 使用数据集对象间接指定路径。
  • 在数据集对象中，明确标注图片所在的子目录路径。

4. 数据集管理与版本控制

为了便于后续使用和优化，建议对数据集进行版本管理： 1. 新增版本： - 在数据集页面，单击新增版本。 - 选择是否继承上一版本的数据。 2. 删除版本： - 删除不需要的版本以释放存储空间。 - 注意：删除后版本不可恢复，请谨慎操作。

5. 其他建议

• 数据增强：如果数据集规模较小，可以使用平台提供的数据增强功能扩充数据量。
• 数据清洗：在上传前，建议对数据集进行清洗，去除低质量或重复的图片。
• 联系技术支持：如果问题仍未解决，建议联系阿里云技术支持团队，获取进一步帮助。

通过以上步骤，您可以有效解决自制数据集上传失败或无法设置train_image_dir的问题。希望这些信息能帮助您顺利完成训练集的设置！您可以复制页面截图提供更多信息，我可以进一步帮您分析问题原因。