《阿里云产品四月刊》—CPFS 智算版数据流动(2)

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代

本文来源于阿里云社区电子书《阿里云产品四月刊》


《阿里云产品四月刊》—CPFS 智算版数据流动(1)https://developer.aliyun.com/article/1554197


创建数据流动

 

 

  • 在左侧导航栏,选择文件系统>文件系统列表。

 

  • 在顶部菜单栏,选择地域。

 

  • 在文件系统列表页面,单击目标文件系统名称。

 

  • 在文件系统详情页面,单击数据流动。

 

  • 在数据流动页签,单击创建数据流动。

 

在创建数据流动对话框中,配置如下参数。

 

 

 

参数

 

说明

 

 

指定与 OSS 进行数据流动的路径。限制:

文件系统路

 

长度为 1~1023 个英文字符。

必须以正斜线(/)开头和结尾。

必须是 CPFS 智算版文件系统内的目录。

OSS Bucket 名称

 

选择源端 OSS Bucket,与 CPFS 智算版文件系统路径进行关联。

 

 

源端 OSS Bucket 的路径。限制:

OSS Object Prefix

 

长度为 1~1023 个英文字符。

必须以正斜线(/)开头和结尾。

必须是 OSS Bucket 中已存在的 prefix。

OSS Bucket SSL

 

选择是否启用传输加密(Https)。

 

 

 

SLR 授权

首次创建数据流动时,必须同意授权 CPFS 访问对象存储 OSS 服务资源的权限关联角色。更多信息,请参见服务关联角色

 

  • 单击确定。

 

 

相关操作

 

您可以通过控制台查看已创建的数据流动、修改数据流动配置、删除数据流动或停止数  据流动。

 

 

操作

 

说明

 

步骤

查 看 数据流动

您可以查看已创建的数据流动,并在指定数据流动上创建数据流动任务。

在数据流动页签,可以查询指定数据流动的配置信息。

 

 

修 改 数据流动

 

 

仅支持修改数据流动的描述。

 

在数据流动页签,找到目标数据流动。

单击修改,修改指定数据流动配置信息。

单击确定。

 

 

 

 

 

在数据流动页签,找到目标数

删 除 数

删除数据流动后会清除指定数据流动的

据流动。

据流动

所有任务,且无法同步数据。

单击删除,确认目标数据流动。

 

 

单击确定。

 

 

后续操作

 

创建数据流动成功后,您还需要根据需求创建导出或导入任务,实现 CFPFS 智算版文件系统与 OSS Bucket 之间的数据流动。具体操作,请参见创建数据流动任务

 

  1. 管理数据流动任务

重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必  仔细阅读。

 

本文介绍如何在文件存储控制台创建、管理 CPFS 智算版文件系统的数据流动任务及查看任务报告。

 

前提条件

 

已创建数据流动。具体操作,请参见创建数据流动任务说明

数据流动任务可分为导入(Import)和导出(Export)两种类型。

 

 

 

类型

 

说明

 

将源端存储的数据导入 CPFS 智算版文件系统。

导 入

导入类型:支持导入文件的数据(MetaAndData)。

(Import)

导入路径:是文件 OSS Bucket 中的路径。数据流动任务按文件在

 

OSS Bucket 中的路径导入到 CPFS 智算版文件系统中。

 

将位于数据流动 CPFS 智算版文件系统内指定的目录或文件导出到

 

OSS Bucket 中。

 

导出路径:文件或目录在 CPFS 智算版文件系统中的路径。数据流动

导 出

(Export)

任务按文件在文件系统中的路径导出到 Bucket 中。警告

CPFS 智算版会将 File Modification timestamps 属性导出到 OSS

 

Bucket 的 自 定 义 元 数 据 中 , 其 命 名 为

 

x-oss-meta-hbr-buckup-mtime,不能删除或修改,否则文件系统

 

中的 File Modification timestamps 属性会错误。

 

 

《阿里云产品四月刊》—CPFS 智算版数据流动(3)https://developer.aliyun.com/article/1554195

相关实践学习
对象存储OSS快速上手——如何使用ossbrowser
本实验是对象存储OSS入门级实验。通过本实验,用户可学会如何用对象OSS的插件,进行简单的数据存、查、删等操作。
相关文章
|
存储 人工智能 弹性计算
|
存储 NoSQL 文件存储
云计算问题之阿里云文件存储CPFS如何满足大模型智算场景的存储需求
云计算问题之阿里云文件存储CPFS如何满足大模型智算场景的存储需求
317 2
|
Cloud Native 文件存储 数据库
《阿里云产品四月刊》—CPFS 智算版数据流动(1)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
303 1
|
Cloud Native 文件存储 对象存储
《阿里云产品四月刊》—CPFS 智算版数据流动(3)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
238 0
《阿里云产品四月刊》—CPFS 智算版数据流动(3)
|
JavaScript 前端开发 Dubbo
注册中心设计 Ap 与 CP 区别|学习笔记
快速学习注册中心设计 Ap 与 CP 区别
1343 0
注册中心设计 Ap 与 CP 区别|学习笔记
|
存储 人工智能 自动驾驶
高性能存储CPFS在AIGC场景的具体应用
高性能存储CPFS在AIGC场景的具体应用
|
存储 资源调度 分布式计算
LC3|视角 开源大数据生态下的高性能分布式文件系统
## 背景介绍 盘古是阿里云自主研发的高可靠、高可用、高性能分布式文件系统,距今已经有将近10年的历史。盘古1.0作为阿里云的统一存储核心,稳定高效的支撑着阿里云ECS、NAS、OSS、OTS、ODPS、ADS等多条业务线的迅猛发展。但最近几年,基于如下两方面的原因,盘古还是重新设计实现了第二代存储引擎盘古2.0,其不只为阿里云,也为集团、蚂蚁金服的多种业务提供了更佳优异的存储服务 #
3665 0
|
存储 网络协议 容灾
降低存储网络55% 延迟!阿里云存储论文入选计算机顶会
凭借在规模化部署和应用模型上的创新,阿里云存储团队发表的技术论文《Deploying User-space TCP at Cloud Scale with LUNA》被 USENIX ATC'23 收录。
1924 4
降低存储网络55% 延迟!阿里云存储论文入选计算机顶会
|
存储 文件存储 对象存储
AI 场景下,函数计算 GPU 实例模型存储最佳实践
AI 场景下,函数计算 GPU 实例模型存储最佳实践
346 0
|
存储 缓存 人工智能
深度解析CPFS 在 LLM 场景下的高性能存储技术
本文深入探讨了CPFS在大语言模型(LLM)训练中的端到端性能优化策略,涵盖计算端缓存加速、智能网卡加速、数据并行访问及数据流优化等方面。重点分析了大模型对存储系统的挑战,包括计算规模扩大、算力多样性及数据集增长带来的压力。通过分布式P2P读缓存、IO加速、高性能存算通路技术以及智能数据管理等手段,显著提升了存储系统的吞吐量和响应速度,有效提高了GPU利用率,降低了延迟,从而加速了大模型的训练进程。总结了CPFS在AI训练场景中的创新与优化实践,为未来大模型发展提供了有力支持。