ruby sdk支持流式上传吗
详细解答可以参考官方帮助文档上传文件(Object)OSS Ruby SDK提供了丰富的文件上传接口,用户可以通过以下方式向OSS中上传文件:
上传本地文件到OSS流式上传断点续传上传追加上传上传回调
上传本地文件通过Bucket#put_object接口,并指定:file参数来上传一个本地文件到OSS:
require 'aliyun/oss'client = Aliyun::OSS::Client.new( endpoint: 'endpoint', access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')bucket = client.get_bucket('my-bucket')bucket.put_object('my-object', :file => 'local-file')
流式上传在进行大文件上传时,往往不希望一次性处理全部的内容然后上传,而是希望流式地处理,一次上传一部分内容。甚至如果要上传的内容本身就来自网络,不能一次获取,那只能流式地上传。通过Bucket#put_object接口,并指定block参数来将流式生成的内容上传到OSS:
require 'aliyun/oss'client = Aliyun::OSS::Client.new( endpoint: 'endpoint', access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')bucket = client.get_bucket('my-bucket')bucket.put_object('my-object') do |stream| 100.times { |i| stream i.to_s }end
断点续传上传当上传大文件时,如果网络不稳定或者程序崩溃了,则整个上传就失败了。用户不得不重头再来,这样做不仅浪费资源,在网络不稳定的情况下,往往重试多次还是无法完成上传。通过Bucket#resumable_upload接口来实现断点续传上传。它有以下参数:
key 上传到OSS的Object名字file 待上传的本地文件路径opts 可选项,主要包括:
:cpt_file 指定checkpoint文件的路径,如果不指定则默认为与本地文件同目录下的file.cpt,其中file是本地文件的名字:disable_cpt 如果指定为true,则上传过程中不会记录上传进度,失败后也无法进行续传:part_size 指定每个分片的大小,默认为4MB&block 如果调用时候传递了block,则上传进度会交由block处理
详细的参数请参考API文档。
其实现的原理是将要上传的文件分成若干个分片分别上传,最后所有分片都上传成功后,完成整个文件的上传。在上传的过程中会记录当前上传的进度信息(记录在checkpoint文件中),如果上传过程中某一分片上传失败,再次上传时会从checkpoint文件中记录的点继续上传。这要求再次调用时要指定与上次相同的checkpoint文件。上传完成后,checkpoint文件会被删除。
require 'aliyun/oss'client = Aliyun::OSS::Client.new( endpoint: 'endpoint', access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')bucket = client.get_bucket('my-bucket')bucket.resumable_upload('my-object', 'local-file') do |p| puts 'Progress: #{p}'endbucket.resumable_upload( 'my-object', 'local-file', :part_size => 100 * 1024, :cpt_file => '/tmp/x.cpt') { |p| puts 'Progress: #{p}'}
注意:
SDK会将上传的中间状态信息记录在cpt文件中,所以要确保用户对cpt文件有写权限。cpt文件记录了上传的中间状态信息并自带了校验,用户不能去编辑它,如果cpt文件损坏则上传无法继续。整个上传完成后cpt文件会被删除。如果上传过程中本地文件发生了改变,则上传会失败。
追加上传OSS支持可追加的文件类型,通过Bucket#append_object来上传可追加的文件,调用时需要指定文件追加的位置,对于新创建文件,这个位置是0;对于已经存在的文件,这个位置必须是追加前文件的长度。
文件不存在时,调用append_object会创建一个可追加的文件文件存在时,调用append_object会向文件末尾追加内容
require 'aliyun/oss'client = Aliyun::OSS::Client.new( endpoint: 'endpoint', access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')bucket = client.get_bucket('my-bucket')# 创建可追加的文件bucket.append_object('my-object', 0) {}# 向文件末尾追加内容next_pos = bucket.append_object('my-object', 0) do |stream| 100.times { |i| stream i.to_s }endnext_pos = bucket.append_object('my-object', next_pos, :file => 'local-file-1')next_pos = bucket.append_object('my-object', next_pos, :file => 'local-file-2')
注意:
只能向可追加的文件(即通过 append_object 创建的文件)追加内容。可追加的文件不能被拷贝。
上传回调用户在上传文件时可以指定“上传回调”,这样在文件上传成功后OSS会向用户提供的服务器地址发起一个HTTP POST请求,相当于一个通知机制。用户可以在收到回调的时候做相应的动作。更多有关上传回调的内容请参考OSS 上传回调。
目前OSS支持上传回调的接口只有put_object和resumable_upload。
require 'aliyun/oss'client = Aliyun::OSS::Client.new( endpoint: 'endpoint', access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')bucket = client.get_bucket('my-bucket')callback = Aliyun::OSS::Callback.new( url: 'http://10.101.168.94:1234/callback', query: {user: 'put_object'}, body: 'bucket=${bucket}&object=${object}')begin bucket.put_object('files/hello', file: '/tmp/x', callback: callback)rescue Aliyun::OSS::CallbackError => e puts 'Callback failed: #{e.message}'end
上面的例子使用put_object上传了一个文件,并指定了上传回调并将此次上传的bucket和object信息添加在body中,应用服务器收到这个回调后,就知道这个文件已经成功上传到OSS了。
resumable_upload的使用方法类似:
require 'aliyun/oss'client = Aliyun::OSS::Client.new( endpoint: 'endpoint', access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')bucket = client.get_bucket('my-bucket')callback = Aliyun::OSS::Callback.new( url: 'http://10.101.168.94:1234/callback', query: {user: 'put_object'}, body: 'bucket=${bucket}&object=${object}')begin bucket.resumable_upload('files/hello', '/tmp/x', callback: callback)rescue Aliyun::OSS::CallbackError => e puts 'Callback failed: #{e.message}'end
注意:
callback的URL不能包含query string,而应该在:query参数中指定。可能出现文件上传成功,但是执行回调失败的情况,此时client会抛出 CallbackError,用户如果要忽略此错误,需要显式接住这个异常。详细的例子请参考callback.rb。接受回调的server请参考callback_server.rb。
赞0
踩1