《阿里云产品四月刊》—CPFS 智算版数据流动(1)

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代

 

  • CPFS 智算版多租支持与 OSS 数据流动,支持手动导入和导出

 

  • 支持 CPFS 智算版文件系统与 OSS 之间的数据导入和导出,单文件导入吞吐最大60MB/s,多文件导入吞吐最大为 5GB/s,单文件导出吞吐最大为 300MB/s,多文件导出吞吐最大为 3GB/s

 

数据流动概述

CPFS 智算版文件系统与对象存储 OSS 之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。

 

背景信息

 

当 CPFS 智算版文件系统中的目录与 OSS Bucket 创建数据流动后,通过创建数据流动任务,可以完成数据的高速传输。传输完成后,您能通过高性能且 POSIX 兼容的文件接口快速地处理 OSS 中的数据。同时,CPFS 智算版支持通过文件存储控制台或 OpenAPI 将数据导出至 OSS Bucket。

 

  • 目录级别的数据流动

 

您可以通过创建数据流动,建立从 CPFS 智算版文件系统任意子目录到 OSS Bucket 下任意 prefix 的映射,实现更细粒度的权限控制与更灵活的数据传输。

 

  • 数据的导入与导出

 

您可以创建数据流动任务实现 CPFS 智算版文件系统与 OSS 之间的数据导入和导出,以便在计算任务开始前将数据同步至高性能的 CPFS 智算版文件系统上。如果任务执行失败,您可以通过任务报告检查失败原因。

 

重要

CPFS 智算版会将 File Modification timestamps 属性导出到 OSS Bucket 的自定义元数据中,其命名为 x-oss-meta-hbr-buckup-mtime,不能删除或修改,否则文件系统中的 File Modification timestamps 属性会错误。

 

使用限制

 

  • 数据流动

 

  • CPFS 智算版 2.4.0 及以上版本支持数据流动。
  • 单个 CPFS 智算版文件系统最多支持创建 10 个数据流动。
  • 单个 CPFS 智算版文件系统的文件路径只能与一个 OSS Bucket 链接。
  • CPFS 智算版文件系统不支持与其他区域的 OSS Bucket 创建数据流动。

 

  • 数据流动对文件系统的限制

 

  • 在数据流动关联的文件系统路径中,不可对非空目录执行重命名操作,否则报 Permission Denied 或者目录非空。
  • 目录、文件名中的特殊字符需要谨慎使用,支持大小写字母、数字、感叹号!)短划线(-)、下划线(_)、半角句号(.)、星号(*)和半角圆括号(())
  • 不支持超长路径,数据流动支持的路径最大长度是 1023 字符。

《阿里云产品四月刊》—CPFS 智算版数据流动(2)https://developer.aliyun.com/article/1554196

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
2天前
|
消息中间件 存储 安全
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(10)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(10)
|
2天前
|
消息中间件 存储 Cloud Native
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(11)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(11)
|
2天前
|
消息中间件 Cloud Native Apache
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(13)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(13)
|
2天前
|
消息中间件 Cloud Native Apache
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(15)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(15)
|
2天前
|
消息中间件 安全 Cloud Native
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(9)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
|
1天前
|
自然语言处理
电子好书发您分享《阿里云产品2024年五月刊》
```markdown 《阿里云产品2024年五月刊》电子书分享:探索阿里云最新动态。[查看](https://developer.aliyun.com/ebook/8349/read?spm=a2c6h.26392459.ebook-detail.5.32203988v4X3Om) ``` 纯文本摘要: 《阿里云产品2024年五月刊》现已发布,详询阿里云最新产品和服务,请访问:https://developer.aliyun.com/ebook/8349/read?spm=a2c6h.26392459.ebook-detail.5.32203988v4X3Om
|
2天前
|
消息中间件 Cloud Native Apache
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(12)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
|
2天前
|
Cloud Native 关系型数据库 分布式数据库
《阿里云产品四月刊》—瑶池数据库云原生化和一体化产品能力升级
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
|
2天前
|
消息中间件 安全 API
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(1)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
|
2天前
|
消息中间件 安全 Apache
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(4)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代

热门文章

最新文章