使用 官方的 python API 做了一个上传本地日志到 OSS 上的工具,使用的是 oss_api.py 中的 put_object_from_file 函数,日志文件较多大概每天20万个文件,每个文件平均 70KB ,但是工具运行一段时间后发现,此函数用时越来越长
开始 0.01秒就可上传完成一个文件,随着调用此函数次数增加用时逐渐增长,达到 1点几秒才能上传完成,而且程序占用内存在不断增长。
程序片断:
time_begin = time.time()
res =tmp_oss.
put_object_from_file(item[1], item[2], item[3],'application/x-gzip')
time_end = time.time()
if res.status == 200 :
if item[0] == self.__get_file_size_from_oss(tmp_oss,item[1],item[2]):
print 'upload file SUCESS [thread:%d] [time:%f] [%s] [%s]' % (n,
time_end-time_begin,item[2],item[3])
os.remove(item[3])
-------------------------
-------------------------
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。