《阿里云产品四月刊》—CPFS 智算版数据流动(2)

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储OSS,敏感数据保护2.0 200GB 1年
对象存储 OSS,内容安全 1000 次 1年
简介: 阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代

本文来源于阿里云社区电子书《阿里云产品四月刊》


《阿里云产品四月刊》—CPFS 智算版数据流动(1)https://developer.aliyun.com/article/1554197


创建数据流动

 

 

  • 在左侧导航栏,选择文件系统>文件系统列表。

 

  • 在顶部菜单栏,选择地域。

 

  • 在文件系统列表页面,单击目标文件系统名称。

 

  • 在文件系统详情页面,单击数据流动。

 

  • 在数据流动页签,单击创建数据流动。

 

在创建数据流动对话框中,配置如下参数。

 

 

 

参数

 

说明

 

 

指定与 OSS 进行数据流动的路径。限制:

文件系统路

 

长度为 1~1023 个英文字符。

必须以正斜线(/)开头和结尾。

必须是 CPFS 智算版文件系统内的目录。

OSS Bucket 名称

 

选择源端 OSS Bucket,与 CPFS 智算版文件系统路径进行关联。

 

 

源端 OSS Bucket 的路径。限制:

OSS Object Prefix

 

长度为 1~1023 个英文字符。

必须以正斜线(/)开头和结尾。

必须是 OSS Bucket 中已存在的 prefix。

OSS Bucket SSL

 

选择是否启用传输加密(Https)。

 

 

 

SLR 授权

首次创建数据流动时,必须同意授权 CPFS 访问对象存储 OSS 服务资源的权限关联角色。更多信息,请参见服务关联角色

 

  • 单击确定。

 

 

相关操作

 

您可以通过控制台查看已创建的数据流动、修改数据流动配置、删除数据流动或停止数  据流动。

 

 

操作

 

说明

 

步骤

查 看 数据流动

您可以查看已创建的数据流动,并在指定数据流动上创建数据流动任务。

在数据流动页签,可以查询指定数据流动的配置信息。

 

 

修 改 数据流动

 

 

仅支持修改数据流动的描述。

 

在数据流动页签,找到目标数据流动。

单击修改,修改指定数据流动配置信息。

单击确定。

 

 

 

 

 

在数据流动页签,找到目标数

删 除 数

删除数据流动后会清除指定数据流动的

据流动。

据流动

所有任务,且无法同步数据。

单击删除,确认目标数据流动。

 

 

单击确定。

 

 

后续操作

 

创建数据流动成功后,您还需要根据需求创建导出或导入任务,实现 CFPFS 智算版文件系统与 OSS Bucket 之间的数据流动。具体操作,请参见创建数据流动任务

 

  1. 管理数据流动任务

重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必  仔细阅读。

 

本文介绍如何在文件存储控制台创建、管理 CPFS 智算版文件系统的数据流动任务及查看任务报告。

 

前提条件

 

已创建数据流动。具体操作,请参见创建数据流动任务说明

数据流动任务可分为导入(Import)和导出(Export)两种类型。

 

 

 

类型

 

说明

 

将源端存储的数据导入 CPFS 智算版文件系统。

导 入

导入类型:支持导入文件的数据(MetaAndData)。

(Import)

导入路径:是文件 OSS Bucket 中的路径。数据流动任务按文件在

 

OSS Bucket 中的路径导入到 CPFS 智算版文件系统中。

 

将位于数据流动 CPFS 智算版文件系统内指定的目录或文件导出到

 

OSS Bucket 中。

 

导出路径:文件或目录在 CPFS 智算版文件系统中的路径。数据流动

导 出

(Export)

任务按文件在文件系统中的路径导出到 Bucket 中。警告

CPFS 智算版会将 File Modification timestamps 属性导出到 OSS

 

Bucket 的 自 定 义 元 数 据 中 , 其 命 名 为

 

x-oss-meta-hbr-buckup-mtime,不能删除或修改,否则文件系统

 

中的 File Modification timestamps 属性会错误。

 

 

《阿里云产品四月刊》—CPFS 智算版数据流动(3)https://developer.aliyun.com/article/1554195

相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
相关文章
|
存储 NoSQL 文件存储
云计算问题之阿里云文件存储CPFS如何满足大模型智算场景的存储需求
云计算问题之阿里云文件存储CPFS如何满足大模型智算场景的存储需求
205 2
|
存储 人工智能 弹性计算
|
Cloud Native 文件存储 数据库
《阿里云产品四月刊》—CPFS 智算版数据流动(1)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
200 1
|
存储 弹性计算 人工智能
阿里云文件存储NAS通用型、极速型和文件存储CPFS有什么区别?
阿里云文件存储NAS极速型NAS低时延,适合企业级时延敏感型核心业务;文件存储CPFS拥有高吞吐和高IOPS,适合高性能计算业务;通用型NAS大容量、高性价比、弹性扩展,支持低频介质,适合通用类文件共享业务。
2293 0
阿里云文件存储NAS通用型、极速型和文件存储CPFS有什么区别?
|
Cloud Native 文件存储 对象存储
《阿里云产品四月刊》—CPFS 智算版数据流动(3)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
172 0
《阿里云产品四月刊》—CPFS 智算版数据流动(3)
|
存储 人工智能 缓存
《阿里云存储手册》——文件存储CPFS
《阿里云存储手册》——文件存储CPFS
722 0
|
存储 机器学习/深度学习 编解码
阿里云文件存储CPFS实现与OSS之间数据双向便捷流动
阿里云文件存储CPFS现已支持“数据流动”特性。该功能适用于2021年9月29日以后建立的CPFS文件系统。当文件系统启用该特性后,“数据流动”功能可以实现将对象存储OSS的bucket中的数据合并入CPFS进行统一命名空间的元数据管理。用户可以手动或者通过自动Lazy-load能力,将OSS中的数据复制到CPFS中,实现通过POSIX文件接口高速访问OSS中的数据,在保持数据在OSS中低成本存储的同时,获得高性能文件访问能力,满足云上自动驾驶、机器学习、HPC等大数据计算场景的需求。
2876 0
|
存储 Kubernetes 应用服务中间件
阿里云Kubernetes CSI实践—CPFS存储卷使用
1. 前言 CPFS(Cloud Paralleled File System)是一种并行文件系统。CPFS 的数据存储在集群中的多个数据节点,并可由多个客户端同时访问,从而能够为大型高性能计算机集群提供高 IOPS、高吞吐、低时延的数据存储服务。
4842 0
阿里云Kubernetes CSI实践—CPFS存储卷使用
|
存储 人工智能 弹性计算
阿里云产品家族再添新丁:视觉AI、CPFS一体机助力企业全面上云
近日举行的2019阿里云广东峰会上,阿里云宣布推出面向混合云场景的CPFS一体机和视觉AI一体机,两款新品具备超高性能、开箱即用等特性,极大降低企业上云的周期和门槛。
604 0
阿里云产品家族再添新丁:视觉AI、CPFS一体机助力企业全面上云
|
存储 人工智能 弹性计算
云栖现场|阿里云推出混合云CPFS一体机和视觉AI一体机
12月3日消息:在今天举行的2019阿里云广东峰会上,阿里云宣布推出面向混合云场景的CPFS一体机和视觉AI一体机,两款新品具备超高性能、开箱即用等特性,极大降低企业上云的周期和门槛。
1494 0
云栖现场|阿里云推出混合云CPFS一体机和视觉AI一体机