《阿里云产品四月刊》—CPFS 智算版数据流动(3)

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代

本文来源于阿里云社区电子书《阿里云产品四月刊》


《阿里云产品四月刊》—CPFS 智算版数据流动(2)https://developer.aliyun.com/article/1554196


创建数据流动任务

 

 

  • 在左侧导航栏,选择文件系统>文件系统列表。

 

  • 在顶部菜单栏,选择地域。

 

  • 在文件系统列表页面,单击目标 CPFS 智算版文件系统名称。

 

  • 在文件系统详情页面,单击数据流动。

 

  • 在数据流动页面,找到目标数据流动,单击任务管理。

 

  • 在任务管理面板,单击创建任务。

 

  • 在创建任务面板,您可以创建不同类型的任务并配置任务详情。

 

 

导入数据

 

  • Symlink 类型的文件导入到 CPFS 后, 会转变为包含数据的普通文件, 并丢失Symlink 信息。

 

  • 如果 OSS Bucket 存在多个版本,则只复制最新的版本。

 

  • 不支持长度大于 255 字节的文件名或子目录名。

 

  • 当文件名和文件子目录发生冲突时,在 CPFS 文件系统中会出现对象冲突的情况, 只能确保其中一个操作成功,而另一个则会失败。

 

 

 

配置项

 

说明

导入数据类型

 

支持数据+元数据类型。表示同时导入文件的数据块及元数据。

 

导入文件

选择数据流动任务执行的目录或文件列表。

导入 OSS 此目录下所有文件:指定 OSS 目录必须以正斜线(/)头和结尾。

 

 

 

 

 

冲突策略

 

当 CPFS 智算版文件系统与 OSS Bucket 存在同名文件时的处理策略。

保持最新:同名文件比较更新时间,保持更新的版本。OSS 采用修改时间,CPFS 采用修改时间。

跳过同名文件:忽略同名文件不进行同步。

覆盖同名文件:将同名文件覆盖为 CPFS 端版本。

 

 

导出数据

 

  • Symlink 类型的文件在同步到 OSS 后,不会同步 Symlink 所指向的文件,而是会变成一个普通的无数据空白对象。

 

  • Hardlink 类型的文件仅作为普通文件同步到 OSS

 

  • 不支持 SocketDevicePipe 类型的文件导出到 OSS Bucket

 

  • 不支持长度大于 1023 字符的目录路径。

 

 

 

配 置项

 

说明

 

导 出文件

选择数据流动任务执行的目录或者文件列表。

导出 CPFS 此目录下所有文件:目录必须以正斜线(/)开头和结尾,且是该目录在 CPFS 智算版文件系统中的路径。

 

 

 

 

冲 突策略

 

当 CPFS 智算版文件系统与 OSS Bucket 存在同名文件时的处理策略。保持最新:同名文件比较更新时间(即 mtime),保持更新的版本。跳过同名文件:忽略同名文件不进行同步。

覆盖同名文件:将同名文件覆盖为 CPFS 端版本。

 

  • 单击确定。

 

 

查看任务报告

 

  • 当数据流动任务运行失败后,系统将生成一份失败任务报告,您可以在控制台上下  载该报告并排查失败原因。

 

 

  • 在左侧导航栏,选择文件系统>文件系统列表。

 

  • 在顶部菜单栏,选择地域。

 

  • 在文件系统列表页面,单击目标文件系统名称。

 

  • 在文件系统详情页面,单击数据流动。

 

  • 在数据流动页签,找到目标数据流动,单击任务管理。

 

  • image.png 在任务管理面板在需要查看任务报告的操作列 > 报告

 

  • 获取目标任务报告的详细路径并下载。

 

  • 说明

 

  • 若未显示报告或无法根据报告排查失败原因,请联系 CPFS 技术支持进行咨询。点击加入技术支持群建议使用 Chrome 打开或搜索公开群组并加入,钉钉群号:26570026011

 

  • 打开下载的文件,并在表格的 reason 列查看失败原因。

 

相关操作

 

 

 

操作

 

说明

 

步骤

 

 

 

 

您可以通过控制台查看数据流动任务的配置及运行状态。

 

在数据流动页签,单击创建数据流动。

在任务管理面板,查看目标任务详情。

 

 

 

 

您可以在控制台取消运行中的数据流动任务。

 

在数据流动页签,单击创建数据流动。

在任务管理面板,找到目标任务,单击取消。

确认待取消的任务,单击确定。

 

 

 

 

 

 

您可以通过复制任务重复执行之前已经执行过的任务。

 

在数据流动页签,单击创建数据流动。

在任务管理面板,找到目标任务,选择。

确认待复制的任务,单击确定。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
4月前
|
存储 NoSQL 文件存储
云计算问题之阿里云文件存储CPFS如何满足大模型智算场景的存储需求
云计算问题之阿里云文件存储CPFS如何满足大模型智算场景的存储需求
|
4月前
|
存储 人工智能 弹性计算
|
5月前
|
Cloud Native 文件存储 数据库
《阿里云产品四月刊》—CPFS 智算版数据流动(1)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
|
5月前
|
Cloud Native 对象存储 文件存储
《阿里云产品四月刊》—CPFS 智算版数据流动(2)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
|
6月前
|
存储 人工智能 自动驾驶
文件存储CPFS摘获至顶网《2022 年度云存储产品》奖
IT基础设施在与新技术进行融合,实现产品创新,为企业构建数字基础设施提供有力支撑。阿里云文件存储CPFS,摘获了至顶网《2022 年度云存储产品》奖。
248 7
|
存储 运维 安全
【阿里云新品发布会】第32期:上云后,数据还安全吗? 基于OSS的云上统一数据保护2.0方案发布会
新产品、新版本、新技术、新功能、价格调整,评论在下方,下期更新,关注更多内容!
890 0
【阿里云新品发布会】第32期:上云后,数据还安全吗? 基于OSS的云上统一数据保护2.0方案发布会
|
安全 关系型数据库 MySQL
【阿里云新品发布·周刊】第32期:上云后,数据还安全吗? 基于OSS的云上统一数据保护2.0方案发布会
点击订阅新品发布会! 新产品、新版本、新技术、新功能、价格调整,评论在下方,下期更新!关注更多内容,了解更多 云上存储数据保护2.0发布会 “上云后,数据还安全吗”成为越来越多企业关注的问题。云上数据存储到底安全在哪里,面对不同的数据威胁如何应对,针对不同的数据保护需求又如何满足。
1752 0
【阿里云新品发布·周刊】第32期:上云后,数据还安全吗? 基于OSS的云上统一数据保护2.0方案发布会
|
存储 监控 分布式数据库
【产品动态】云存储2月月刊
云存储服务产品1月份产品更新及发布
2164 0
|
存储 关系型数据库 对象存储
【阿里云新品发布·周刊】第22期:云存储网关商业化发布,基于OSS的企业存储服务
点击订阅新品发布会! 新产品、新版本、新技术、新功能、价格调整,评论在下方,下期更新!关注更多内容,了解更多 最新发布 云存储网关商业化 2019年8月21日15时,云存储网关商业化发布。云存储网关实现了云端对象存储协议OSS与文件存储协议以及块存储协议的转换,客户无需改变应用程序的接口,就可以直接使用高可靠和海量扩展的对象存储OSS。
4226 0
|
存储 弹性计算 大数据
阿里云文件存储(NAS)助力业务系统承载双十一尖峰流量
2018天猫双11,阿里云文件存储支撑了关键业务的消息系统存储,在应对几十倍于平时的大流量时,系统表现稳定,帮助业务系统完美度过尖峰流量的考验。本文将介绍阿里云文件存储的背景,以及文件存储是如何来保障业务系统应对高压力的。
2804 0