【DSW Gallery】如何在DLC训练任务中挂载OSS

2023-03-23 492

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

模型训练 PAI-DLC，5000CU*H 3个月

模型在线服务 PAI-EAS，A10/V100等 500元 1个月

交互式建模 PAI-DSW，每月250计算时 3个月

简介： 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务。本文将介绍如何使用在DLC训练任务中挂载OSS，使用读写本地文件的方式来访问OSS中的数据。

直接使用

请打开如何在DLC训练任务中挂载OSS，并点击右上角 “ 在DSW中打开” 。

概览

PAI-DLC（Deep Learning Containers）是基于阿里巴巴容器服务ACK（Alibaba Cloud Container Service for Kubernetes）的深度学习训练平台，为您提供灵活、稳定、易用和极致性能的深度学习训练环境。 DLC支持挂载NAS、OSS到容器中，方便在训练中直接读写。

本文将介绍如何在DLC训练任务中挂载OSS数据集。

前提条件

开通PAI-DLC，并完成授权。
开通OSS。
创建AI工作空间。

在PAI控制台 -->> 资源管理 -->> 全部云产品依赖页面，可以查看开通状态。

步骤一：创建OSS数据集

选择并进入一个工作空间，选择数据集：

点击创建数据集

点击 AI资源管理 -- 数据集；
点击创建数据集；
创建方式选择 “从阿里云存储”；
指定数据集的名称：之后在DLC、DSW中引用时会显示数据集的名字
选择OSS存储
属性选择：文件夹
选择需要挂载的OSS Bucket与文件路径

查看数据集详情

查看数据集ID：使用DLC命令行工具或者 SDK提供训练任务时，需要使用数据集ID来此数据集
Uri：格式是 oss://[OSS-Bucket].[OSS-Endpoint]/[OSS-Path]
Mount Path: 是DLC节点中挂载的本地路径

步骤二：创建DLC训练任务

在训练任务中引用刚刚创建的数据集，然后在节点中可以通过读写MountPath指定的路径来访问OSS。

高级配置

当前DLC底层使用JindoFuse来挂载的OSS。JindoFuse的挂载OSS时，有很多参数可以调整，默认的参数配置并不适合所有的场景。DLC的默认配置，有如下限制：

为了快速读取OSS文件，挂载OSS时会有元数据（目录与文件列表）的Cache；

如果分布式任务中有多个节点需要创建同一个目录并检查目录是否存在的行为，因为元数据的Cache会导致，每个节点都会创建目录，但只有一个节点创建成功，其它节点会报错。

默认使用OSS的 MultiPart API来创建文件，所以在写文件的过程中，在OSS上看不到这个对象；当所有写操作完成时，才能在OSS页面上查看。
不支持文件的边写边读的操作。
不支持文件的随机写操作。

当前PAI的控制台页面，不支持配置JindoFuse底层的参数，需要使用SDK来修改，下面提供一些修改示例，以供参考。

环境准备：安装工作空间的SDK

!pip install alibabacloud-aiworkspace20210204

主要的应用场景：

分布式作业中多个节点需要向同一目录写文件，如果有Cache，会导致有些节点找不以这个目录

需要修改fuse的命令行参数，增加： -oattr_timeout=0-oentry_timeout=0-onegative_timeout=0

import json
from alibabacloud_tea_openapi.models import Config
from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
def turnOffMetaCache():
    region_id = 'cn-hangzhou'
    access_key_id = '** 你的 AccessKeyId **'
    access_key_secret = '** 你的 AccessKeySecret **'
    dataset_id = '** 数据集的 ID **'
    workspace_client = AIWorkspaceClient(
        Config(access_key_id=access_key_id,
               access_key_secret=access_key_secret,
               region_id=region_id,
               endpoint='aiworkspace.{}.aliyuncs.com'.format(region_id)))
    # 1. get the content of dataset
    get_dataset_resp = workspace_client.get_dataset(dataset_id)
    options = json.loads(get_dataset_resp.body.options)
    options['fs.jindo.args'] = '-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0'
    update_request = UpdateDatasetRequest(
        options=json.dumps(options)
    )
    # 2. update options
    workspace_client.update_dataset(dataset_id, update_request)
    print('new options is: {}'.format(update_request.options))
turnOffMetaCache()

调整上传(下载)数据的线程数目

fs.oss.upload.thread.concurrency:32
fs.oss.download.thread.concurrency:32
fs.oss.read.readahead.buffer.count:64
fs.oss.read.readahead.buffer.size:4194304 具体可以参考文档：JindoSDK 高级参数配置

import json
from alibabacloud_tea_openapi.models import Config
from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
def adjustThreadNum():
    region_id = 'cn-hangzhou'
    access_key_id = '** 你的 AccessKeyId **'
    access_key_secret = '** 你的 AccessKeySecret **'
    dataset_id = '** 数据集的 ID **'
    workspace_client = AIWorkspaceClient(
        Config(access_key_id=access_key_id,
               access_key_secret=access_key_secret,
               region_id=region_id,
               endpoint='aiworkspace.{}.aliyuncs.com'.format(region_id)))
    # 1. get the content of dataset
    get_dataset_resp = workspace_client.get_dataset(dataset_id)
    options = json.loads(get_dataset_resp.body.options)
    options['fs.oss.upload.thread.concurrency'] = 32
    options['fs.oss.download.thread.concurrency'] = 32
    options['fs.oss.read.readahead.buffer.count'] = 32
    update_request = UpdateDatasetRequest(
        options=json.dumps(options)
    )
    # 2. update options
    workspace_client.update_dataset(dataset_id, update_request)
    print('new options is: {}'.format(update_request.options))
adjustThreadNum()

如何使用AppendObject方式挂载OSS文件

所有在本地创建的文件，都会使用OSS的AppendObject接口来创建Object。AppendObject本身有一些限制可以参考文档。最重要是限制是：通过AppendObject方式最后生成的Object大小不得超过5 GB。

import json
from alibabacloud_tea_openapi.models import Config
from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
def useAppendObject():
    region_id = 'cn-hangzhou'
    access_key_id = '** 你的 AccessKeyId **'
    access_key_secret = '** 你的 AccessKeySecret **'
    dataset_id = '** 数据集的 ID **'
    workspace_client = AIWorkspaceClient(
        Config(access_key_id=access_key_id,
               access_key_secret=access_key_secret,
               region_id=region_id,
               endpoint='aiworkspace.{}.aliyuncs.com'.format(region_id)))
    # 1. get the content of dataset
    get_dataset_resp = workspace_client.get_dataset(dataset_id)
    options = json.loads(get_dataset_resp.body.options)
    options['fs.jindo.args'] = '-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0'
    options['fs.oss.append.enable'] = "true"
    options['fs.oss.flush.interval.millisecond'] = "1000"
    options['fs.oss.read.buffer.size'] = "262144"
    options['fs.oss.write.buffer.size'] = "262144"
    update_request = UpdateDatasetRequest(
        options=json.dumps(options)
    )
    # 2. update options
    workspace_client.update_dataset(dataset_id, update_request)
    print('new options is: {}'.format(update_request.options))
useAppendObject()

如何挂载OSS-HDFS

如何开通OSS-HDFS，可以参考文档。需要使用OSS-HDFS的Endpoint来创建数据集，具体示例代码如下：

import json
from alibabacloud_tea_openapi.models import Config
from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
from alibabacloud_aiworkspace20210204.models import CreateDatasetRequest
def createOssHdfsDataset():
    region_id = 'cn-hangzhou'
    access_key_id = '** 你的 AccessKeyId **'
    access_key_secret = '** 你的 AccessKeySecret **'
    workspace_id = '** 工作空间ID **'
    oss_bucket = '** OSS-Bucket **'
    # 使用 OSS-HDFS 的 Endpoint
    oss_endpoint = f'{region_id}.oss-dls.aliyuncs.com'
    # 需要挂载的 OSS-HDFS 路径
    oss_path = '/'
    # 本地挂载路径
    mount_path = '/mnt/data/' 
    workspace_client = AIWorkspaceClient(
        Config(access_key_id=access_key_id,
               access_key_secret=access_key_secret,
               region_id=region_id,
               endpoint='aiworkspace.{}.aliyuncs.com'.format(region_id)))
    response = workspace_client.create_dataset(CreateDatasetRequest(
        workspace_id=workspace_id,
        name="** 数据集的名字 **",
        data_type='COMMON',
        data_source_type='OSS',
        property='DIRECTORY',
        uri=f'oss://{oss_bucket}.{oss_endpoint}{oss_path}',
        accessibility='PRIVATE',
        source_type='USER',
        options=json.dumps({
            'mountPath': mount_path,
            # 分布式训练的场景下建议增加以下参数：
            'fs.jindo.args': '-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0 -ono_symlink -ono_xattr -ono_flock -odirect_io',
            'fs.oss.flush.interval.millisecond': "10000",
            'fs.oss.randomwrite.sync.interval.millisecond': "10000",
        })
    ))
    print(f'datasetId: {response.body.dataset_id}')
createOssHdfsDataset()

【DSW Gallery】如何在DLC训练任务中挂载OSS

直接使用

概览

前提条件

步骤一：创建OSS数据集

选择并进入一个工作空间，选择数据集：

点击创建数据集

查看数据集详情

步骤二：创建DLC训练任务

高级配置

环境准备：安装工作空间的SDK

调整上传(下载)数据的线程数目

如何使用AppendObject方式挂载OSS文件

如何挂载OSS-HDFS

人工智能平台PAI

热门文章

最新文章

相关课程

相关电子书

相关实验场景