直接使用
请打开DSW如何挂载数据盘,并点击右上角 “ 在DSW中打开” 。
DSW如何挂载数据盘
简介
数据与代码的安全是计算平台的重要特性,DSW采用计算和存储分离的架构,提供了适合开发者的数据存储方式。 DSW本身提供算力资源和非持久的本地存储,您可以将您的NAS盘、CPFS盘或者OSS Bucket挂载到DSW的指定路径下,从而获得更高的安全性和更高的数据存储容量,并且可以在多个实例间方便的共享数据。 这也是我们强烈建议的数据使用方式:你需要持久的数据,放置在您的NAS盘、OSS Bucket或者CFPS中,通过挂载的形式使用。
本文描述如何管理DSW的数据盘,包括以下几点:
- 挂载NAS盘
- 挂载OSS盘
- 挂载CPFS盘
- 通过页面上传下载文件到DSW实例
前提条件
- 已有或者创建一个DSW实例
- 挂载NAS盘,需要已有或者新建一个阿里云平台上的NAS盘
- 挂载OSS盘,需要已有或者新建一个阿里云平台上的OSS Bucket
- 挂载CPFS盘,需要已有或者新建一个阿里云平台上的CPFS盘
挂载NAS盘
阿里云提供NAS存储服务,DSW可以将NAS盘通过数据集的方式挂载到用户的工作空间和指定目录
1. 创建NAS数据集
DSW只能挂载数据集,因此您需要先创建基于NAS的数据集,再进行挂载
1.1 进入在指定工作空间下进入数据集界面
1.2 选定nas盘,创建数据集
界面说明
- 从阿里云存储:数据集阿里云的NAS服务关联
- 数据集名称:您的数据集名称
- 选择NAS文件系统:选择一个您账号下的NAS盘
- NAS路径:将您NAS盘的某个路径下的文件夹进行挂载,比如根路径"/"
- 默认挂载路径: NAS挂载到某个机器上的这个路径下
1.3 点击提交创建数据集
2. 创建DSW实例,并指定挂载数据集
2.1 在数据集创建完毕后,就可以在DSW的创建参数中指定挂载数据集
2.2 信息确认页,确认数据集并创建实例
2.3 等待带有数据集的实例创建成功
3. 验证挂载成功
输入命令查看NAS挂载 "mount | grep nas"
数据集对应的NAS盘被挂载到/mnt/data, /mnt/workspace, /home/admin/workspace 其中/mnt/data是您指定的挂载路径, 后两个路径因为是第一个NAS数据集被挂载到DSW的默认工作目录. 其他的数据集不会被挂载到工作目录 挂载了数据集后,计算资源和存储资源分离,您实例的重启和异常退出,都不会丢失数据和代码,只要您的NAS盘和服务正常运行。
挂载OSS Bucket
DSW只能挂载数据集,和NAS挂载类似,需要先创建OSS类型数据集 因为OSS对fuse接口的支持不如NAS完善,所以DSW限制第一个挂载数据集的类型必须是NAS数据集,为用户的工作空间服务, OSS只能挂载第二数据集,并且不建议在OSS挂载的目录下有频繁的写操作
1. 创建OSS数据集
1.1 选择存储类型为OSS,并选择属性为文件夹,DSW只能挂载目录不能挂载文件
1.2 成功创建OSS的数据集
2. 创建DSW实例,并挂载OSS数据集
2.1 购买页确认OSS数据集挂载
2.2 创建实例成功
3. 验证挂载成功
3.1 点击打开按钮,进入实例的命令行界面
3.2 输入命令查看OSS挂载 "mount | grep oss"
挂载CPFS1.0
挂载使用之前,需要在NAS管理控制台确认CPFS1.0文件系统是否存在(CPFS文件系统版本号为1.0)。
注意:CFPS1.0是将要下线的产品,目前只在DSW/DLC后付费集群cn-beijing、cn-hangzhou两个地域支持,推荐使用CPFS2.0。
1. 创建CPFS1.0数据集
选择存储类型为NAS,并选择属性为文件夹,NAS路径填写为CPFS子目录(/表示挂载整个CPFS文件系统),CPFS1.0文件系统ID格式为: cpfs-<8位字符>
2. 创建DSW实例使用CPFS数据集
创建DSW实例时选择上面创建好的CPFS1.0数据集。并且填写CPFS1.0所在的专有网络、交换机、安全组信息,打通DSW实例到CPFS1.0所在的VPC的网络访问。
3. 验证挂载成功
点击打开按钮,进入实例的命令行界面,输入命令查看CPFS挂载 "mount | grep mnt"
挂载CPFS2.0
文件存储CPFS(Cloud Paralleled File System)是阿里云推出的全托管、可扩展并行文件系统,满足高性能计算场景的需求。 PAI平台目前在专有资源组中支持用户使用CPFS2.0。
1. 创建协议服务
需要在NAS管理控制台上为CPFS2.0文件系统创建协议服务并导出数据目录(CPFS文件系统容量需大于等10800GiB,且版本号大于等2.3.0),详细说明请参考管理协议服务。
假设您已经创建好一个容量大于等于10800GiB的CPFS文件系统,配置NFS协议服务的简略步骤如下:
- 通过NAS管理控制台的文件系统列表,点击对应文件系统ID,进入文件系统基本信息
- 在基本信息页面确认版本号大于等于2.3.0,最大容量大于等于10800GiB
- 在文件系统的左侧导航栏,选择协议服务,单击创建协议服务,按以下说明配置必要参数,单击确定(如果无特殊需求,以下配置项保持缺省值即可)
配置项 |
说明 |
协议类型 |
NFS V3 |
交换机 |
选择与文件系统相同VPC网络下创建的交换机 |
协议导出 |
指定 CPFS 文件系统中通过协议服务导出的目录(或者Fileset) |
导出VPC网络 |
选择需要访问CPFS的VPC |
导出交换机 |
选择需要访问CPFS的vSwitch,协议集群通过该vSwitch将协议服务导出到指定的VPC |
- 创建协议服务需要5-10分钟。创建成功后,在刚创建的协议服务的右侧操作列,单击导出目录。可以在新弹出的窗口看到创建好的导出目录。
2. 专有资源组中挂载CPFS
假设您已经创建专有资源组,在专有资源组中使用CPFS步骤如下:
2.1.打通到"导出VPC网络"的网络访问。
进入"机器学习PAI->资源管理->资源仪表",启用"专有网络VPC直连",在此相应填入上面CPFS控制台中的"导出VPC网络"、"导出交换机"、"安全组"信息,在资源组上面配置之后,所有提交到这个资源组中的任务或者DSW实例都自动打通了此VPC以直接访问CPFS导出协议。
2.2. 创建CPFS2.0数据集
选择存储类型为NAS,属性为文件夹,以及协议服务的ID,CPFS2.0文件系统ID格式为: cpfs-<16位字符>
2.3. 创建DSW实例使用CPFS数据集
创建DSW实例时选择上面创建好的CPFS2.0数据集,提交DLC任务时可以用类似的方法选择CPFS2.0数据集进行挂载。
2.4. 验证挂载成功
点击打开按钮,进入实例的命令行界面,输入命令查看CPFS挂载 "mount | grep cpfs"
通过页面上传下载文件
- 上传数据 DSW页面提供上传功能,供上传代码等小数据量使用
- 下载数据 DSW页面提供下载功能,供下载代码等小数据量使用