《阿里云产品四月刊》—CPFS 智算版数据流动(3)

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代

本文来源于阿里云社区电子书《阿里云产品四月刊》


《阿里云产品四月刊》—CPFS 智算版数据流动(2)https://developer.aliyun.com/article/1554196


创建数据流动任务

 

 

  • 在左侧导航栏,选择文件系统>文件系统列表。

 

  • 在顶部菜单栏,选择地域。

 

  • 在文件系统列表页面,单击目标 CPFS 智算版文件系统名称。

 

  • 在文件系统详情页面,单击数据流动。

 

  • 在数据流动页面,找到目标数据流动,单击任务管理。

 

  • 在任务管理面板,单击创建任务。

 

  • 在创建任务面板,您可以创建不同类型的任务并配置任务详情。

 

 

导入数据

 

  • Symlink 类型的文件导入到 CPFS 后, 会转变为包含数据的普通文件, 并丢失Symlink 信息。

 

  • 如果 OSS Bucket 存在多个版本,则只复制最新的版本。

 

  • 不支持长度大于 255 字节的文件名或子目录名。

 

  • 当文件名和文件子目录发生冲突时,在 CPFS 文件系统中会出现对象冲突的情况, 只能确保其中一个操作成功,而另一个则会失败。

 

 

 

配置项

 

说明

导入数据类型

 

支持数据+元数据类型。表示同时导入文件的数据块及元数据。

 

导入文件

选择数据流动任务执行的目录或文件列表。

导入 OSS 此目录下所有文件:指定 OSS 目录必须以正斜线(/)头和结尾。

 

 

 

 

 

冲突策略

 

当 CPFS 智算版文件系统与 OSS Bucket 存在同名文件时的处理策略。

保持最新:同名文件比较更新时间,保持更新的版本。OSS 采用修改时间,CPFS 采用修改时间。

跳过同名文件:忽略同名文件不进行同步。

覆盖同名文件:将同名文件覆盖为 CPFS 端版本。

 

 

导出数据

 

  • Symlink 类型的文件在同步到 OSS 后,不会同步 Symlink 所指向的文件,而是会变成一个普通的无数据空白对象。

 

  • Hardlink 类型的文件仅作为普通文件同步到 OSS

 

  • 不支持 SocketDevicePipe 类型的文件导出到 OSS Bucket

 

  • 不支持长度大于 1023 字符的目录路径。

 

 

 

配 置项

 

说明

 

导 出文件

选择数据流动任务执行的目录或者文件列表。

导出 CPFS 此目录下所有文件:目录必须以正斜线(/)开头和结尾,且是该目录在 CPFS 智算版文件系统中的路径。

 

 

 

 

冲 突策略

 

当 CPFS 智算版文件系统与 OSS Bucket 存在同名文件时的处理策略。保持最新:同名文件比较更新时间(即 mtime),保持更新的版本。跳过同名文件:忽略同名文件不进行同步。

覆盖同名文件:将同名文件覆盖为 CPFS 端版本。

 

  • 单击确定。

 

 

查看任务报告

 

  • 当数据流动任务运行失败后,系统将生成一份失败任务报告,您可以在控制台上下  载该报告并排查失败原因。

 

 

  • 在左侧导航栏,选择文件系统>文件系统列表。

 

  • 在顶部菜单栏,选择地域。

 

  • 在文件系统列表页面,单击目标文件系统名称。

 

  • 在文件系统详情页面,单击数据流动。

 

  • 在数据流动页签,找到目标数据流动,单击任务管理。

 

  • image.png 在任务管理面板在需要查看任务报告的操作列 > 报告

 

  • 获取目标任务报告的详细路径并下载。

 

  • 说明

 

  • 若未显示报告或无法根据报告排查失败原因,请联系 CPFS 技术支持进行咨询。点击加入技术支持群建议使用 Chrome 打开或搜索公开群组并加入,钉钉群号:26570026011

 

  • 打开下载的文件,并在表格的 reason 列查看失败原因。

 

相关操作

 

 

 

操作

 

说明

 

步骤

 

 

 

 

您可以通过控制台查看数据流动任务的配置及运行状态。

 

在数据流动页签,单击创建数据流动。

在任务管理面板,查看目标任务详情。

 

 

 

 

您可以在控制台取消运行中的数据流动任务。

 

在数据流动页签,单击创建数据流动。

在任务管理面板,找到目标任务,单击取消。

确认待取消的任务,单击确定。

 

 

 

 

 

 

您可以通过复制任务重复执行之前已经执行过的任务。

 

在数据流动页签,单击创建数据流动。

在任务管理面板,找到目标任务,选择。

确认待复制的任务,单击确定。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
打赏
0
0
0
0
68
分享
相关文章
云计算问题之阿里云文件存储CPFS如何满足大模型智算场景的存储需求
云计算问题之阿里云文件存储CPFS如何满足大模型智算场景的存储需求
134 2
《阿里云产品四月刊》—CPFS 智算版数据流动(1)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
113 1
《阿里云产品四月刊》—CPFS 智算版数据流动(2)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
130 0
阿里云文件存储NAS通用型、极速型和文件存储CPFS有什么区别?
阿里云文件存储NAS极速型NAS低时延,适合企业级时延敏感型核心业务;文件存储CPFS拥有高吞吐和高IOPS,适合高性能计算业务;通用型NAS大容量、高性价比、弹性扩展,支持低频介质,适合通用类文件共享业务。
1906 0
阿里云文件存储NAS通用型、极速型和文件存储CPFS有什么区别?
阿里云文件存储CPFS实现与OSS之间数据双向便捷流动
阿里云文件存储CPFS现已支持“数据流动”特性。该功能适用于2021年9月29日以后建立的CPFS文件系统。当文件系统启用该特性后,“数据流动”功能可以实现将对象存储OSS的bucket中的数据合并入CPFS进行统一命名空间的元数据管理。用户可以手动或者通过自动Lazy-load能力,将OSS中的数据复制到CPFS中,实现通过POSIX文件接口高速访问OSS中的数据,在保持数据在OSS中低成本存储的同时,获得高性能文件访问能力,满足云上自动驾驶、机器学习、HPC等大数据计算场景的需求。
2545 0
阿里云Kubernetes CSI实践—CPFS存储卷使用
1. 前言 CPFS(Cloud Paralleled File System)是一种并行文件系统。CPFS 的数据存储在集群中的多个数据节点,并可由多个客户端同时访问,从而能够为大型高性能计算机集群提供高 IOPS、高吞吐、低时延的数据存储服务。
4704 0
阿里云Kubernetes CSI实践—CPFS存储卷使用
阿里云产品家族再添新丁:视觉AI、CPFS一体机助力企业全面上云
近日举行的2019阿里云广东峰会上,阿里云宣布推出面向混合云场景的CPFS一体机和视觉AI一体机,两款新品具备超高性能、开箱即用等特性,极大降低企业上云的周期和门槛。
561 0
阿里云产品家族再添新丁:视觉AI、CPFS一体机助力企业全面上云
云栖现场|阿里云推出混合云CPFS一体机和视觉AI一体机
12月3日消息:在今天举行的2019阿里云广东峰会上,阿里云宣布推出面向混合云场景的CPFS一体机和视觉AI一体机,两款新品具备超高性能、开箱即用等特性,极大降低企业上云的周期和门槛。
1376 0
云栖现场|阿里云推出混合云CPFS一体机和视觉AI一体机
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等