《阿里云产品四月刊》—CPFS 智算版数据流动(2)

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代

本文来源于阿里云社区电子书《阿里云产品四月刊》


《阿里云产品四月刊》—CPFS 智算版数据流动(1)https://developer.aliyun.com/article/1554197


创建数据流动

 

 

  • 在左侧导航栏,选择文件系统>文件系统列表。

 

  • 在顶部菜单栏,选择地域。

 

  • 在文件系统列表页面,单击目标文件系统名称。

 

  • 在文件系统详情页面,单击数据流动。

 

  • 在数据流动页签,单击创建数据流动。

 

在创建数据流动对话框中,配置如下参数。

 

 

 

参数

 

说明

 

 

指定与 OSS 进行数据流动的路径。限制:

文件系统路

 

长度为 1~1023 个英文字符。

必须以正斜线(/)开头和结尾。

必须是 CPFS 智算版文件系统内的目录。

OSS Bucket 名称

 

选择源端 OSS Bucket,与 CPFS 智算版文件系统路径进行关联。

 

 

源端 OSS Bucket 的路径。限制:

OSS Object Prefix

 

长度为 1~1023 个英文字符。

必须以正斜线(/)开头和结尾。

必须是 OSS Bucket 中已存在的 prefix。

OSS Bucket SSL

 

选择是否启用传输加密(Https)。

 

 

 

SLR 授权

首次创建数据流动时,必须同意授权 CPFS 访问对象存储 OSS 服务资源的权限关联角色。更多信息,请参见服务关联角色

 

  • 单击确定。

 

 

相关操作

 

您可以通过控制台查看已创建的数据流动、修改数据流动配置、删除数据流动或停止数  据流动。

 

 

操作

 

说明

 

步骤

查 看 数据流动

您可以查看已创建的数据流动,并在指定数据流动上创建数据流动任务。

在数据流动页签,可以查询指定数据流动的配置信息。

 

 

修 改 数据流动

 

 

仅支持修改数据流动的描述。

 

在数据流动页签,找到目标数据流动。

单击修改,修改指定数据流动配置信息。

单击确定。

 

 

 

 

 

在数据流动页签,找到目标数

删 除 数

删除数据流动后会清除指定数据流动的

据流动。

据流动

所有任务,且无法同步数据。

单击删除,确认目标数据流动。

 

 

单击确定。

 

 

后续操作

 

创建数据流动成功后,您还需要根据需求创建导出或导入任务,实现 CFPFS 智算版文件系统与 OSS Bucket 之间的数据流动。具体操作,请参见创建数据流动任务

 

  1. 管理数据流动任务

重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必  仔细阅读。

 

本文介绍如何在文件存储控制台创建、管理 CPFS 智算版文件系统的数据流动任务及查看任务报告。

 

前提条件

 

已创建数据流动。具体操作,请参见创建数据流动任务说明

数据流动任务可分为导入(Import)和导出(Export)两种类型。

 

 

 

类型

 

说明

 

将源端存储的数据导入 CPFS 智算版文件系统。

导 入

导入类型:支持导入文件的数据(MetaAndData)。

(Import)

导入路径:是文件 OSS Bucket 中的路径。数据流动任务按文件在

 

OSS Bucket 中的路径导入到 CPFS 智算版文件系统中。

 

将位于数据流动 CPFS 智算版文件系统内指定的目录或文件导出到

 

OSS Bucket 中。

 

导出路径:文件或目录在 CPFS 智算版文件系统中的路径。数据流动

导 出

(Export)

任务按文件在文件系统中的路径导出到 Bucket 中。警告

CPFS 智算版会将 File Modification timestamps 属性导出到 OSS

 

Bucket 的 自 定 义 元 数 据 中 , 其 命 名 为

 

x-oss-meta-hbr-buckup-mtime,不能删除或修改,否则文件系统

 

中的 File Modification timestamps 属性会错误。

 

 

《阿里云产品四月刊》—CPFS 智算版数据流动(3)https://developer.aliyun.com/article/1554195

相关实践学习
对象存储OSS快速上手——如何使用ossbrowser
本实验是对象存储OSS入门级实验。通过本实验,用户可学会如何用对象OSS的插件,进行简单的数据存、查、删等操作。
相关文章
|
存储 人工智能 弹性计算
|
存储 NoSQL 文件存储
云计算问题之阿里云文件存储CPFS如何满足大模型智算场景的存储需求
云计算问题之阿里云文件存储CPFS如何满足大模型智算场景的存储需求
309 2
|
Cloud Native 文件存储 数据库
《阿里云产品四月刊》—CPFS 智算版数据流动(1)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
287 1
|
Cloud Native 文件存储 对象存储
《阿里云产品四月刊》—CPFS 智算版数据流动(3)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
220 0
《阿里云产品四月刊》—CPFS 智算版数据流动(3)
|
JavaScript 前端开发 Dubbo
注册中心设计 Ap 与 CP 区别|学习笔记
快速学习注册中心设计 Ap 与 CP 区别
1325 0
注册中心设计 Ap 与 CP 区别|学习笔记
|
存储 人工智能 自动驾驶
高性能存储CPFS在AIGC场景的具体应用
高性能存储CPFS在AIGC场景的具体应用
|
存储 资源调度 分布式计算
LC3|视角 开源大数据生态下的高性能分布式文件系统
## 背景介绍 盘古是阿里云自主研发的高可靠、高可用、高性能分布式文件系统,距今已经有将近10年的历史。盘古1.0作为阿里云的统一存储核心,稳定高效的支撑着阿里云ECS、NAS、OSS、OTS、ODPS、ADS等多条业务线的迅猛发展。但最近几年,基于如下两方面的原因,盘古还是重新设计实现了第二代存储引擎盘古2.0,其不只为阿里云,也为集团、蚂蚁金服的多种业务提供了更佳优异的存储服务 #
3606 0
|
存储 文件存储 对象存储
AI 场景下,函数计算 GPU 实例模型存储最佳实践
AI 场景下,函数计算 GPU 实例模型存储最佳实践
315 0
|
存储 网络协议 容灾
降低存储网络55% 延迟!阿里云存储论文入选计算机顶会
凭借在规模化部署和应用模型上的创新,阿里云存储团队发表的技术论文《Deploying User-space TCP at Cloud Scale with LUNA》被 USENIX ATC'23 收录。
1908 4
降低存储网络55% 延迟!阿里云存储论文入选计算机顶会
|
Java
.如何根据 CPU 核心数设计线程池线程数量
IO 密集型:核心数*2 计算密集型: 核心数+1 为什么加 1?即使当计算密集型的线程偶尔由于缺失故障或者其他原因而暂停时,这个额外的线程也能确保 CPU 的时钟周期不会被浪费。
442 4