【DSW Gallery】DSW如何挂载数据盘

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,100CU*H 3个月
简介: DSW采用计算和存储分离的架构,DSW本身提供算力资源和非持久的本地存储,用户可以将NAS盘、CPFS盘或者OSS Bucket挂载到DSW的指定路径下,从而获得更高的安全性和更高的数据存储容量,并且可以在多个实例间方便的共享数据。

直接使用

请打开DSW如何挂载数据盘,并点击右上角 “ 在DSW中打开” 。

image.png


DSW如何挂载数据盘

简介

数据与代码的安全是计算平台的重要特性,DSW采用计算和存储分离的架构,提供了适合开发者的数据存储方式。 DSW本身提供算力资源和非持久的本地存储,您可以将您的NAS盘、CPFS盘或者OSS Bucket挂载到DSW的指定路径下,从而获得更高的安全性和更高的数据存储容量,并且可以在多个实例间方便的共享数据。 这也是我们强烈建议的数据使用方式:你需要持久的数据,放置在您的NAS盘、OSS Bucket或者CFPS中,通过挂载的形式使用。

本文描述如何管理DSW的数据盘,包括以下几点:

  1. 挂载NAS盘
  2. 挂载OSS盘
  3. 挂载CPFS盘
  4. 通过页面上传下载文件到DSW实例

前提条件

  1. 已有或者创建一个DSW实例
  2. 挂载NAS盘,需要已有或者新建一个阿里云平台上的NAS盘
  3. 挂载OSS盘,需要已有或者新建一个阿里云平台上的OSS Bucket
  4. 挂载CPFS盘,需要已有或者新建一个阿里云平台上的CPFS盘

挂载NAS盘

阿里云提供NAS存储服务,DSW可以将NAS盘通过数据集的方式挂载到用户的工作空间和指定目录

1. 创建NAS数据集

DSW只能挂载数据集,因此您需要先创建基于NAS的数据集,再进行挂载

1.1 进入在指定工作空间下进入数据集界面

31-1.jpg

1.2 选定nas盘,创建数据集

31-2.jpg

界面说明

  • 从阿里云存储:数据集阿里云的NAS服务关联
  • 数据集名称:您的数据集名称
  • 选择NAS文件系统:选择一个您账号下的NAS盘
  • NAS路径:将您NAS盘的某个路径下的文件夹进行挂载,比如根路径"/"
  • 默认挂载路径: NAS挂载到某个机器上的这个路径下

1.3 点击提交创建数据集

31-3.jpg

2. 创建DSW实例,并指定挂载数据集

2.1 在数据集创建完毕后,就可以在DSW的创建参数中指定挂载数据集

31-4.jpg

2.2 信息确认页,确认数据集并创建实例

31-5.jpg

2.3 等待带有数据集的实例创建成功

31-6.jpg

3. 验证挂载成功

31-7.jpg

输入命令查看NAS挂载 "mount | grep nas"

31-8.jpg

数据集对应的NAS盘被挂载到/mnt/data, /mnt/workspace, /home/admin/workspace 其中/mnt/data是您指定的挂载路径, 后两个路径因为是第一个NAS数据集被挂载到DSW的默认工作目录. 其他的数据集不会被挂载到工作目录 挂载了数据集后,计算资源和存储资源分离,您实例的重启和异常退出,都不会丢失数据和代码,只要您的NAS盘和服务正常运行。

挂载OSS Bucket

DSW只能挂载数据集,和NAS挂载类似,需要先创建OSS类型数据集 因为OSS对fuse接口的支持不如NAS完善,所以DSW限制第一个挂载数据集的类型必须是NAS数据集,为用户的工作空间服务, OSS只能挂载第二数据集,并且不建议在OSS挂载的目录下有频繁的写操作

1. 创建OSS数据集

1.1 选择存储类型为OSS,并选择属性为文件夹,DSW只能挂载目录不能挂载文件

31-9.jpg

1.2 成功创建OSS的数据集

31-10.jpg

2. 创建DSW实例,并挂载OSS数据集

31-11.jpg

2.1 购买页确认OSS数据集挂载

3-12.jpg

2.2 创建实例成功

3-13.jpg

3. 验证挂载成功

3.1 点击打开按钮,进入实例的命令行界面

3-14.jpg

3.2 输入命令查看OSS挂载 "mount | grep oss"

3-15.jpg

挂载CPFS1.0

挂载使用之前,需要在NAS管理控制台确认CPFS1.0文件系统是否存在(CPFS文件系统版本号为1.0)。

注意:CFPS1.0是将要下线的产品,目前只在DSW/DLC后付费集群cn-beijing、cn-hangzhou两个地域支持,推荐使用CPFS2.0。

1. 创建CPFS1.0数据集

选择存储类型为NAS,并选择属性为文件夹,NAS路径填写为CPFS子目录(/表示挂载整个CPFS文件系统),CPFS1.0文件系统ID格式为: cpfs-<8位字符>

3-16.jpg

2. 创建DSW实例使用CPFS数据集

3-17.jpg

创建DSW实例时选择上面创建好的CPFS1.0数据集。并且填写CPFS1.0所在的专有网络、交换机、安全组信息,打通DSW实例到CPFS1.0所在的VPC的网络访问。

3. 验证挂载成功

点击打开按钮,进入实例的命令行界面,输入命令查看CPFS挂载 "mount | grep mnt"

3-18.jpg

挂载CPFS2.0

文件存储CPFS(Cloud Paralleled File System)是阿里云推出的全托管、可扩展并行文件系统,满足高性能计算场景的需求。 PAI平台目前在专有资源组中支持用户使用CPFS2.0

1. 创建协议服务

需要在NAS管理控制台上为CPFS2.0文件系统创建协议服务并导出数据目录(CPFS文件系统容量需大于等10800GiB,且版本号大于等2.3.0),详细说明请参考管理协议服务

假设您已经创建好一个容量大于等于10800GiB的CPFS文件系统,配置NFS协议服务的简略步骤如下:

  • 通过NAS管理控制台的文件系统列表,点击对应文件系统ID,进入文件系统基本信息

3-19.png

  • 在基本信息页面确认版本号大于等于2.3.0,最大容量大于等于10800GiB

3-20.png

  • 在文件系统的左侧导航栏,选择协议服务,单击创建协议服务,按以下说明配置必要参数,单击确定(如果无特殊需求,以下配置项保持缺省值即可)

3-21.png

配置项

说明

协议类型

NFS V3

交换机

选择与文件系统相同VPC网络下创建的交换机

协议导出

指定 CPFS 文件系统中通过协议服务导出的目录(或者Fileset)

导出VPC网络

选择需要访问CPFS的VPC

导出交换机

选择需要访问CPFS的vSwitch,协议集群通过该vSwitch将协议服务导出到指定的VPC

  • 创建协议服务需要5-10分钟。创建成功后,在刚创建的协议服务的右侧操作列,单击导出目录。可以在新弹出的窗口看到创建好的导出目录。

3-22.png

2. 专有资源组中挂载CPFS

假设您已经创建专有资源组,在专有资源组中使用CPFS步骤如下:

2.1.打通到"导出VPC网络"的网络访问。

进入"机器学习PAI->资源管理->资源仪表",启用"专有网络VPC直连",在此相应填入上面CPFS控制台中的"导出VPC网络"、"导出交换机"、"安全组"信息,在资源组上面配置之后,所有提交到这个资源组中的任务或者DSW实例都自动打通了此VPC以直接访问CPFS导出协议。

3-23.jpg

2.2. 创建CPFS2.0数据集

选择存储类型为NAS,属性为文件夹,以及协议服务的ID,CPFS2.0文件系统ID格式为: cpfs-<16位字符>

3-24.jpg

2.3. 创建DSW实例使用CPFS数据集

创建DSW实例时选择上面创建好的CPFS2.0数据集,提交DLC任务时可以用类似的方法选择CPFS2.0数据集进行挂载。

3-25.jpg

2.4. 验证挂载成功

点击打开按钮,进入实例的命令行界面,输入命令查看CPFS挂载 "mount | grep cpfs"

3-26.jpg

通过页面上传下载文件

  1. 上传数据 DSW页面提供上传功能,供上传代码等小数据量使用

3-27.jpg

  1. 下载数据 DSW页面提供下载功能,供下载代码等小数据量使用

3-28.jpg

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
存储 机器学习/深度学习 人工智能
【DSW Gallery】DSW基础使用介绍
PAI-DSW是一款云端机器学习开发IDE,为您提供交互式编程环境,适用于不同水平的开发者。本文为您介绍PAI-DSW的功能特点以及界面的基础使用。
【DSW Gallery】DSW基础使用介绍
|
8天前
|
开发者 Python
阿里云PAI DSW快速部署服务
在使用阿里云DSW实例进行开发的时候,可能需要快速部署服务测试应用效果。DSW实例目前已经支持通过自定义服务访问配置功能,对外提供服务访问能力,您在应用开发过程中无需分享整个DSW实例,即可将服务分享给协作开发者进行测试和验证。
52 23
关于DSW中不显示ipynb文件
在创建时看不到notebook的解决方法
|
机器学习/深度学习 人工智能 算法
【DSW Gallery】PAI-DSW快速入门
PAI-DSW是一款为AI开发者量身定制的云端机器学习交互式开发IDE,随时随地开启Notebook快速读取数据、开发算法、训练及部署模型。本文介绍如何快速上手PAI-DSW。
【DSW Gallery】PAI-DSW快速入门
|
文件存储 数据库 存储
大语言模型转存至NAS并挂载到PAI-DSW构建企业专属知识库
介绍如何将模型库的大语言模型转载到文件存储NAS,并挂载到PAI-DSW,利用Langchain构建可更换大语言模型的企业专属知识库。
|
存储 机器学习/深度学习 人工智能
【DSW Gallery】如何在DLC训练任务中挂载OSS
阿里云对象存储OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云存储服务。本文将介绍如何使用在DLC训练任务中挂载OSS,使用读写本地文件的方式来访问OSS中的数据。
【DSW Gallery】如何在DLC训练任务中挂载OSS
|
弹性计算 物联网 文件存储
如何将个人NAS里的Stable Diffusion模型库挂载到PAI-EAS
本文讲述如何将自己文件存储NAS里的Stable Diffusion文件挂载到PAI-EAS,实现模型的加载和推理训练
934 0
|
分布式计算 监控 PyTorch
【DSW Gallery】如何在DLC上提交ElasticBatch任务
ElasticBatch是一种分布式离线弹性批量推理作业类型, 本文将介绍ElasticBatch SDK接口以及如何在DLC上提交ElasticBatch任务。
【DSW Gallery】如何在DLC上提交ElasticBatch任务
|
机器学习/深度学习 人工智能 Kubernetes
【DSW Gallery】介绍如何使用命令行工具提交DLC任务
本文介绍如何使用DLC命令行工具提交任务到指定的工作空间内. 同时,会介绍如何提交预付费和后付费的DLC训练任务
【DSW Gallery】介绍如何使用命令行工具提交DLC任务
|
机器学习/深度学习 IDE Cloud Native
【DSW Gallery】如何在DSW/DLC中使用企业版镜像服务ACR
PAI-DSW是一款云端机器学习开发IDE,为您提供交互式编程环境。用户可以使用官方镜像或者自定义镜像,创建DSW实例;进入DSW实例后,用户有root权限可以任意自定义环境(安装更新系统软件,Python包等),然后保存环境到ACR中,然后用于PAI-DLC进行分布式训练。本文将介绍如何在DSW/DLC中使用阿里云提供的容器镜像服务ACR。
【DSW Gallery】如何在DSW/DLC中使用企业版镜像服务ACR