开发者社区> 问答> 正文

windowsoss上传下载迁移工具


      在使用oss中,有几个功能通过常规的操作方法无法实现:1,想知道bucket目录下object的文件总数和大小;2,想批量修改已经上传到bucket中object的主机头信息;3,迁移同节点的bucket,;4,批量上传;5,批量下载  .... so,在使用中,写了一个工具来实现上述功能,现在分享给大家,[attachment=osskit.zip]附上下载地址http://xuyuantest.oss-cn-hangzhou.aliyuncs.com/osskit.zip
      具体使用的方法,在前面也有分享一个工具( http://bbs.aliyun.com/read/153943.html?spm=5176.7189909.0.0.luZomX),初始设置和那个链接中操作步骤一样,小小的设置之后才可以进行复制粘贴,同样也不能将该工具放置在包含中文字符的路径下(还没找到最优的解决方案 :(   )

1,统计bucket下的object数量和该bucket的大小见截图,bucket 目录下文件越多,统计的时间可能会长一些,请耐心等待即可!
[attachment=53342]



2,关于批量上传,可以将一个目录下的所有文件全部上传(请使用英文路径名)
[attachment=51562]
ps 批量上传中显示的百分比是每个文件分段上传的进度,不都是显示100%,但只要显示upload OK提示即表示上传成功

3,迁移bucket ,可以将同一节点(杭州或者青岛)不同bucket下的文件进行复制迁移,最好小于1000个文件,否则会失败,大于1000以上建议选择重新上传!
[attachment=51571]


4,批量修改一个bucket下所有object的header (也可以修改bucket下特定的某个目录中的所有object)
[attachment=52935]

[attachment=52934]


[attachment=53398]



关于批量修改bucket下object的主机头的说明
      HTTP header主机头主要选项有  ['Content-Type','Cache-Control','Content-Disposition','Content-Encoding','Content-Language','Expires']
      分析一下几个主要header参数的作用
     Content-Type   即是定义文件的MIME类型,常见文件的类型请看链接中的说明,http://tool.oschina.net/commons
     Cache-Control   [font='black Verdana', Arial, Helvetica, sans-serif]网页的缓存是由HTTP消息头中的“Cache-control”来控制的,常见的取值有private、no-cache、max-age、must-revalidate等,默认为private.各个值的说明,可以看文档 www.cnblogs.com/cuixiping/archive/2008/05/04/1181056.html  。
    Expire表示存在时间,允许客户端在这个时间之前不去检查(发请求),等同max-age的,当如果同时存在,则被Cache-Control的max-age覆盖

5,操作不同节点下的bucket 不用退出,使用更换节点选项即可!




linux下 oss上传文件工具分享   http://bbs.aliyun.com/read/156422.html?spm=5176.7189909.0.0.bPUGEe



2014/5/6  增加北京节点
2014/5/15 优化批量修改header显示
2014/5/23  1,增加香港节点选项; 2,可对bucket特定"目录"中的object批量修改header头信息


2014/9/1 新增深圳节点选项   ;优化显示报错内容,使之更具体



















展开
收起
xuyuan.xy 2014-04-11 00:43:11 27609 0
19 条回答
写回答
取消 提交回答
  • Rewindowsoss上传下载迁移工具
    不管怎样 楼主威武
    2014-12-05 12:01:50
    赞同 展开评论 打赏
  • Rewindowsoss上传下载迁移工具
    请问 能说下修改http头的具体实现吗? 修改的过程中会产生流量计费吗?
    2014-12-01 16:03:34
    赞同 展开评论 打赏
  • Rewindowsoss上传下载迁移工具
    请问是否可以迁移两个不同账号之间,但同在北京节点下的OSS文件夹?

    -------------------------

    Rewindowsoss上传下载迁移工具
    下载BUCKET中的文件,有8万多个文件夹,下载到一半时程序崩溃闪退了,请问如何续传?感谢
    2014-11-30 15:56:21
    赞同 展开评论 打赏
  • Rewindowsoss上传下载迁移工具
    这个工具可以mark一下。对了,想问一下,修改header有什么用处呢?
    2014-11-13 14:05:58
    赞同 展开评论 打赏
  • Rewindowsoss上传下载迁移工具
    为什么读不到我的bucket呢?提示说我的bucket有0个object?而且是不是失败就自动退出了呢?
    2014-11-12 20:56:52
    赞同 展开评论 打赏
  • Rewindowsoss上传下载迁移工具
    进去以后就会自动退出是什么情况?
    2014-11-09 19:26:01
    赞同 展开评论 打赏
  • 搞过开发,玩过小机、AIX,目前在阿里云从事云产品技术支持,专注于云计算相关的系统运维。奉行“上天给了人两只手,两只眼,而只有一张嘴。就是要让我们多动手,多观察,少耍嘴皮。”
    Rewindowsoss上传下载迁移工具
    貌似不能跨区域迁移吧? 报错:The bucket you are attempting to access must be addressed using the specified endpoint. Please send all future requests to this endpoint.
    2014-11-01 16:01:13
    赞同 展开评论 打赏
  • Rewindowsoss上传下载迁移工具
    很好用,但是文件有点多,批量下载看到有些文件的失败的情况,不知道会不会有日志文件生成,如果没有日志文件生成的话会很麻烦,无法判断有哪些文件生成失败了!
    2014-11-01 14:16:59
    赞同 展开评论 打赏
  • 亲,so sorry
    之前的压缩包文件上传错了,重新测试是可行的
    2014-09-10 19:51:48
    赞同 展开评论 打赏
  • 回3楼小猪猪的帖子
    和亲一样的结果。。。。。

    -------------------------

    回15楼xuyuan.xy的帖子
    上传的图片Content-Type类型不对
    2014-08-23 22:52:01
    赞同 展开评论 打赏
  • Rewindowsoss上传下载迁移工具
    正在使用批量下载功能,感谢分享!
    2014-07-30 12:29:27
    赞同 展开评论 打赏
  • Rewindowsoss上传下载迁移工具
    好东西 兰州辛苦!

    可不可有选择的修改Header 比如只修改某种文件类型
    2014-07-26 09:08:34
    赞同 展开评论 打赏
  • 您的无私奉献精神值得我们学习!向您致敬!
    2014-07-09 19:47:51
    赞同 展开评论 打赏
  • 不太好用哦,真的有点麻烦。
    2014-06-12 21:02:34
    赞同 展开评论 打赏
  • Rewindowsoss上传下载迁移工具
    怎么不能下载了?有新的下载地址没?
    2014-06-08 14:18:35
    赞同 展开评论 打赏
  • 回楼主xuyuan.xy的帖子
    批量修改header头的功能 非常有用  谢谢

    -------------------------

    Rewindowsoss上传下载迁移工具
    提一个意见,批量修改header,现在修改当前bucket很不妥,希望修改某个目录下。比如作为网站的静态文件,有的目录是js,有的是jpg图片,有的是png图片,用的规则都不一样,至少mime头就很伤脑筋

    -------------------------

    Re回7楼hava的帖子
    引用第8楼xuyuan.xy于2014-05-23 23:55发表的 回7楼hava的帖子 :
    感谢亲的建议,
    修改了源码,已增加bucket下特定目录的批量修改功能。


    你确定测试过了?我测试了特定目录,无论是正反斜杠还是别的,测试了好几种路径写法,输入save、y,就把功能目录列了出来

    -------------------------

    Rewindowsoss上传下载迁移工具
    感谢,亲。这回正常了
    2014-05-22 17:36:10
    赞同 展开评论 打赏
  • 麻烦问一下作者
    文件数量多了   在修改文件头的时候
    自动关闭了。。晕死
    重新打开 设置的话 要重头开始
    十几万的文件   能不能成功的记录下来修改好的
    下次设置的时候 直接跳过去
    或者帮忙看看是不是文件过多导致软件自动关闭?

    -------------------------

    回 4楼(xuyuan.xy) 的帖子
    好的 我上次测试的是修改 十五万 我再试试
    2014-05-13 13:30:02
    赞同 展开评论 打赏
  • Rewindowsoss上传迁移工具
    增加oss批量下载功能,可以对bucket或者其下的某个目录自动批量下载

    -------------------------

    回3楼小猪猪的帖子
    感谢亲反馈,
    重新修改优化了批量修改header的显示效果,请亲再测试一下
    批量修改了20508个object是正常的  但是耗时接近半个小时

    对于超十万级别的数据木有测过,如果有需要,可以私信我,咱们一起探讨一下

    -------------------------

    回7楼hava的帖子
    感谢亲的建议,
    修改了源码,已增加bucket下特定目录的批量修改功能。

    -------------------------

    回9楼hava的帖子
    亲,so sorry
    之前的压缩包文件上传错了,重新测试是可行的

    -------------------------

    回12楼daydayup的帖子
    亲,直接点解osskit.zip的那个压缩图标就可以下载了

    -------------------------

    回14楼useit知识库的帖子
    感谢反馈
    您说的不太好用是指哪方面的呢?
    我看哪里可以优化一下,谢谢!

    -------------------------

    回20楼root的帖子
    亲,能详说下具体遇到的问题么?

    -------------------------

    回25楼帝师易的帖子
    亲,请确保下载保存osskit.exe的路径不要包含中文字符
    否则点击运行后就会退出

    -------------------------

    回24楼knitysteross的帖子
    恩呢
    是的,不支持跨区域迁移的
    2014-05-05 21:32:12
    赞同 展开评论 打赏
  • 谢谢楼主的分享
    2014-04-12 23:51:26
    赞同 展开评论 打赏
滑动查看更多
问答地址:
问答排行榜
最热
最新

相关电子书

更多
私有云迁移问题解决方法 立即下载
阿里云数据库案例集下载 立即下载
Redis架构与介质选择指引 立即下载