新用户送的免费实例，关闭了文件就全没了，ModelScope该如何保存？

在使用阿里云新用户免费实例时，如果关闭实例后文件丢失，这通常是因为容器环境中的数据存储是非持久化的。为了解决这一问题并确保ModelScope模型及相关文件能够长期保存，您可以采取以下措施：

1. 使用NAS（网络附加存储）实现数据持久化

• 原因：容器环境是临时的，一旦实例被销毁或重启，所有存储在容器内部的数据都会丢失。
• 解决方案：
  1. 配置NAS存储，将模型文件和相关数据存储到NAS中。
  2. 在实例运行时，将NAS挂载到您的容器环境中，确保数据可以持久保存。
  3. 即使实例重启或销毁，NAS中的数据仍然存在，新的实例启动后可以重新挂载NAS继续使用。

重要提示：NAS存储需要手动配置，并且只有挂载到ECS或SAE实例后才能访问，请参考相关文档完成设置。

2. 使用OSS（对象存储服务）保存模型文件

• 适用场景：如果您需要保存模型文件、配置文件或其他静态资源，OSS是一个高效的选择，尤其适合读多写少的场景。
• 操作步骤：
  1. 登录阿里云OSS控制台，创建一个Bucket用于存储模型文件。
  2. 将ModelScope下载的模型文件上传至OSS Bucket中。
  3. 在程序运行时，通过OSS SDK或API从Bucket中读取模型文件。
• 优势：
  • OSS支持高并发访问，适合分布式场景。
  • 提供可视化管理工具，便于文件管理和维护。

3. 修改ModelScope默认下载路径

• 原因：ModelScope默认将模型下载到用户的缓存目录（如Linux系统中的~/.cache/modelscope），但该路径位于容器内部，重启后会丢失。

• 解决方案：

  1. 修改ModelScope的下载路径，将其指向持久化存储（如NAS或OSS挂载路径）。

  2. 在代码中通过snapshot_download函数指定自定义路径，例如：

     from modelscope.hub.snapshot_download import snapshot_download
     
     # 指定持久化存储路径
     custom_path = "/mnt/nas/modelscope"
     model_dir = snapshot_download('AI-ModelScope/stable-diffusion-v1-5', cache_dir=custom_path)
     print(f"模型已下载到: {model_dir}")
     

  3. 确保/mnt/nas/是您挂载的NAS路径或其他持久化存储位置。

4. 定期备份重要数据

• 建议操作：
  1. 定期将模型文件和相关数据备份到OSS或其他远程存储中。
  2. 使用自动化脚本或定时任务（如Cron Job）完成备份操作。
• 注意事项：
  • 备份频率应根据数据更新频率调整。
  • 确保备份文件的完整性和可用性。

5. 利用PAI平台进行模型管理

• 如果您使用的是阿里云人工智能平台PAI，可以通过PAI-DSW（交互式建模）服务来管理模型开发和存储。
• 操作步骤：
  1. 在PAI-DSW中创建Notebook实例，并将模型文件存储到持久化存储路径。
  2. 利用PAI提供的底层Sudo权限，灵活配置存储路径和环境。
  3. PAI-DSW支持多种计算实例（如A10/V100/G6），可根据需求选择合适的资源配置。

总结与重要提醒

• 加粗提醒：请务必避免将重要数据存储在容器内部的临时路径中，否则重启或销毁实例后数据将不可恢复。
• 推荐优先使用NAS或OSS作为持久化存储方案，确保数据安全性和可用性。
• 如果您对配置NAS或OSS不熟悉，可以参考阿里云官方文档获取详细指导。

通过以上方法，您可以有效解决ModelScope模型文件在实例关闭后丢失的问题，并确保数据的长期保存和高效管理。