开发者社区 > 云存储 > 对象存储OSS > 正文

oss sync文件怎么取消100w限制

问题描述

...目前oss通过sync同步文件,超过100w的会报错,没办法大规模同步数据

期望结果

...不限制文件数量同步文件

已尝试的方法

...无

展开
收起
游客fabumax3kclpm 2022-09-07 13:36:13 136 0
2 条回答
写回答
取消 提交回答
  • 以下为同步的注意事项及限制,暂不支持修改。

    注意事项

    • Binary名称

    本文各命令行示例均基于Linux 64位系统,其他系统请将命令开头的./ossutil64替换成对应的Binary名称。详情请参见命令行工具ossutil快速入门

    • 文件数量

    通过sync命令执行同步任务时,如果没有携带--delete选项,则单次同步任务同步的文件个数无限制。如果携带了--delete选项,则单次同步任务最多可同步100万个文件。当同步的文件个数超出100万时,将报错over max sync numbers 1000000.。

    • sync命令与cp命令的区别
      • sync命令强制以递归的方式遍历指定文件夹内所有文件或子文件夹。cp命令需增加-r选项才会进行递归操作。
      • 通过sync命令将数据同步到OSS时,ossutil支持通过--delete选项将目的端存在而源端不存在的文件都删除,仅保留本次同步的文件。cp命令不支持--delete选项。
      • sync不支持--version-id选项,无法在已开启版本控制的Bucket内同步历史版本文件。cp命令支持--version-id选项。

    除以上区别外,sync命令与cp命令用法类似。有关cp命令的用法及示例,请参见cp(上传文件)

    2022-10-14 22:57:33
    赞同 展开评论 打赏
  • 这个限制暂时无法取消,建议您多次同步。

    2022-09-07 15:17:38
    赞同 展开评论 打赏
问答分类:
问答标签:
相关产品:

对象存储 OSS 是一款安全、稳定、高性价比、高性能的云存储服务,可以帮助各行业的客户在互联网应用、大数据分析、机器学习、数据归档等各种使用场景存储任意数量的数据,以及进行任意位置的访问,同时通过丰富的数据处理能力更便捷地使用数据。

相关产品

  • 对象存储
  • 热门讨论

    热门文章

    相关电子书

    更多
    OSS运维进阶实战手册 立即下载
    《OSS运维基础实战手册》 立即下载
    OSS运维基础实战手册 立即下载