本文来源于阿里云社区电子书《阿里云产品四月刊》
《阿里云产品四月刊》—CPFS 智算版数据流动(2)https://developer.aliyun.com/article/1554196
创建数据流动任务
- 登录文件存储控制台。
- 在左侧导航栏,选择文件系统>文件系统列表。
- 在顶部菜单栏,选择地域。
- 在文件系统列表页面,单击目标 CPFS 智算版文件系统名称。
- 在文件系统详情页面,单击数据流动。
- 在数据流动页面,找到目标数据流动,单击任务管理。
- 在任务管理面板,单击创建任务。
- 在创建任务面板,您可以创建不同类型的任务并配置任务详情。
- Symlink 类型的文件导入到 CPFS 后, 会转变为包含数据的普通文件, 并丢失Symlink 信息。
- 如果 OSS Bucket 存在多个版本,则只复制最新的版本。
- 不支持长度大于 255 字节的文件名或子目录名。
- 当文件名和文件子目录发生冲突时,在 CPFS 文件系统中会出现对象冲突的情况, 只能确保其中一个操作成功,而另一个则会失败。
配置项 |
说明 |
导入数据类型 |
支持数据+元数据类型。表示同时导入文件的数据块及元数据。 |
导入文件 |
选择数据流动任务执行的目录或文件列表。 导入 OSS 此目录下所有文件:指定 OSS 目录必须以正斜线(/)开头和结尾。 |
冲突策略 |
当 CPFS 智算版文件系统与 OSS Bucket 存在同名文件时的处理策略。 保持最新:同名文件比较更新时间,保持更新的版本。OSS 采用修改时间,CPFS 采用修改时间。 跳过同名文件:忽略同名文件不进行同步。 覆盖同名文件:将同名文件覆盖为 CPFS 端版本。 |
- Symlink 类型的文件在同步到 OSS 后,不会同步 Symlink 所指向的文件,而是会变成一个普通的无数据空白对象。
- Hardlink 类型的文件仅作为普通文件同步到 OSS。
- 不支持 Socket、Device、Pipe 类型的文件导出到 OSS Bucket。
- 不支持长度大于 1023 字符的目录路径。
配 置项 |
说明 |
导 出文件 |
选择数据流动任务执行的目录或者文件列表。 导出 CPFS 此目录下所有文件:目录必须以正斜线(/)开头和结尾,且是该目录在 CPFS 智算版文件系统中的路径。 |
冲 突策略 |
当 CPFS 智算版文件系统与 OSS Bucket 存在同名文件时的处理策略。保持最新:同名文件比较更新时间(即 mtime),保持更新的版本。跳过同名文件:忽略同名文件不进行同步。 覆盖同名文件:将同名文件覆盖为 CPFS 端版本。 |
- 单击确定。
查看任务报告
- 当数据流动任务运行失败后,系统将生成一份失败任务报告,您可以在控制台上下 载该报告并排查失败原因。
- 登录 NAS 控制台。
- 在左侧导航栏,选择文件系统>文件系统列表。
- 在顶部菜单栏,选择地域。
- 在文件系统列表页面,单击目标文件系统名称。
- 在文件系统详情页面,单击数据流动。
- 在数据流动页签,找到目标数据流动,单击任务管理。
- 在任务管理面板,在需要查看任务报告的操作列,选择 图标 > 报告。
- 获取目标任务报告的详细路径并下载。
- 说明
- 若未显示报告或无法根据报告排查失败原因,请联系 CPFS 技术支持进行咨询。点击加入技术支持群(建议使用 Chrome 打开)或搜索公开群组并加入,钉钉群号:26570026011。
- 打开下载的文件,并在表格的 reason 列查看失败原因。
操作 |
说明 |
步骤 |
查 看任务 |
您可以通过控制台查看数据流动任务的配置及运行状态。 |
在数据流动页签,单击创建数据流动。 在任务管理面板,查看目标任务详情。 |
取 消任务 |
您可以在控制台取消运行中的数据流动任务。 |
在数据流动页签,单击创建数据流动。 在任务管理面板,找到目标任务,单击取消。 确认待取消的任务,单击确定。 |
复 制任务 |
您可以通过复制任务重复执行之前已经执行过的任务。 |
在数据流动页签,单击创建数据流动。 在任务管理面板,找到目标任务,选择。 确认待复制的任务,单击确定。 |