开发者社区> 问答> 正文

Ruby-SDK之如何实现上传文件?


上传文件(Object)


OSS Ruby SDK提供了丰富的文件上传接口,用户可以通过以下方式向OSS中上传文件:

  • 上传本地文件到OSS
  • 流式上传
  • 断点续传上传
  • 追加上传
  • 上传回调


上传本地文件


通过Bucket#put_object接口,并指定:file参数来上传一个本地文件到OSS: require 'aliyun/oss'
client = Aliyun::OSS::Client.new(
  endpoint: 'endpoint',
  access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')
bucket = client.get_bucket('my-bucket')
bucket.put_object('my-object', :file => 'local-file')



流式上传


在进行大文件上传时,往往不希望一次性处理全部的内容然后上传,而是希望流式地处理,一次上传一部分内容。甚至如果要上传的内容本身就来自网络,不能一次获取,那只能流式地上传。通过Bucket#put_object接口,并指定block参数来将流式生成的内容上传到OSS: require 'aliyun/oss'
client = Aliyun::OSS::Client.new(
  endpoint: 'endpoint',
  access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')
bucket = client.get_bucket('my-bucket')
bucket.put_object('my-object') do |stream|
  100.times { |i| stream << i.to_s }
end



断点续传上传


当上传大文件时,如果网络不稳定或者程序崩溃了,则整个上传就失败了。用户不得不重头再来,这样做不仅浪费资源,在网络不稳定的情况下,往往重试多次还是无法完成上传。通过Bucket#resumable_upload接口来实现断点续传上传。它有以下参数:
  • key 上传到OSS的Object名字
  • file 待上传的本地文件路径
  • opts 可选项,主要包括::cpt_file 指定checkpoint文件的路径,如果不指定则默认为与本地文件同目录下的file.cpt,其中file是本地文件的名字
  • :disable_cpt 如果指定为true,则上传过程中不会记录上传进度,失败后也无法进行续传
  • :part_size 指定每个分片的大小,默认为4MB
  • &block 如果调用时候传递了block,则上传进度会交由block处理

详细的参数请参考 API文档
其实现的原理是将要上传的文件分成若干个分片分别上传,最后所有分片都上传成功后,完成整个文件的上传。在上传的过程中会记录当前上传的进度信息(记录在checkpoint文件中),如果上传过程中某一分片上传失败,再次上传时会从checkpoint文件中记录的点继续上传。这要求再次调用时要指定与上次相同的checkpoint文件。上传完成后,checkpoint文件会被删除。 require 'aliyun/oss'
client = Aliyun::OSS::Client.new(
  endpoint: 'endpoint',
  access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')
bucket = client.get_bucket('my-bucket')
bucket.resumable_upload('my-object', 'local-file') do |p|
  puts "Progress: #{p}"
end
bucket.resumable_upload(
  'my-object', 'local-file',
  :part_size => 100 * 1024, :cpt_file => '/tmp/x.cpt') { |p|
  puts "Progress: #{p}"
}


[backcolor=transparent]注意:
  • SDK会将上传的中间状态信息记录在cpt文件中,所以要确保用户对cpt文件有写权限。
  • cpt文件记录了上传的中间状态信息并自带了校验,用户不能去编辑它,如果cpt文件损坏则上传无法继续。整个上传完成后cpt文件会被删除。
  • 如果上传过程中本地文件发生了改变,则上传会失败。


追加上传


OSS支持可追加的文件类型,通过Bucket#append_object来上传可追加的文件,调用时需要指定文件追加的位置,对于新创建文件,这个位置是0;对于已经存在的文件,这个位置必须是追加前文件的长度。
  • 文件不存在时,调用append_object会创建一个可追加的文件
  • 文件存在时,调用append_object会向文件末尾追加内容require 'aliyun/oss'
  • client = Aliyun::OSS::Client.new(
  •   endpoint: 'endpoint',
  •   access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')
  • bucket = client.get_bucket('my-bucket')
  • # 创建可追加的文件
  • bucket.append_object('my-object', 0) {}
  • # 向文件末尾追加内容
  • next_pos = bucket.append_object('my-object', 0) do |stream|
  •   100.times { |i| stream << i.to_s }
  • end
  • next_pos = bucket.append_object('my-object', next_pos, :file => 'local-file-1')
  • next_pos = bucket.append_object('my-object', next_pos, :file => 'local-file-2')


[backcolor=transparent]注意:
  • 只能向可追加的文件(即通过 append_object 创建的文件)追加内容。
  • 可追加的文件不能被拷贝。


上传回调


用户在上传文件时可以指定“上传回调”,这样在文件上传成功后OSS会向用户提供的服务器地址发起一个HTTP POST请求,相当于一个通知机制。用户可以在收到回调的时候做相应的动作。更多有关上传回调的内容请参考 OSS 上传回调
目前OSS支持上传回调的接口只有put_object和resumable_upload。 require 'aliyun/oss'
client = Aliyun::OSS::Client.new(
  endpoint: 'endpoint',
  access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')
bucket = client.get_bucket('my-bucket')
callback = Aliyun::OSS::Callback.new(
  url: 'http://10.101.168.94:1234/callback',
  query: {user: 'put_object'},
  body: 'bucket=${bucket}&object=${object}'
)
begin
  bucket.put_object('files/hello', file: '/tmp/x', callback: callback)
rescue Aliyun::OSS::CallbackError => e
  puts "Callback failed: #{e.message}"
end


上面的例子使用put_object上传了一个文件,并指定了上传回调并将此次上传的bucket和object信息添加在body中,应用服务器收到这个回调后,就知道这个文件已经成功上传到OSS了。
resumable_upload的使用方法类似: require 'aliyun/oss'
client = Aliyun::OSS::Client.new(
  endpoint: 'endpoint',
  access_key_id: 'AccessKeyId', access_key_secret: 'AccessKeySecret')
bucket = client.get_bucket('my-bucket')
callback = Aliyun::OSS::Callback.new(
  url: 'http://10.101.168.94:1234/callback',
  query: {user: 'put_object'},
  body: 'bucket=${bucket}&object=${object}'
)
begin
  bucket.resumable_upload('files/hello', '/tmp/x', callback: callback)
rescue Aliyun::OSS::CallbackError => e
  puts "Callback failed: #{e.message}"
end


[backcolor=transparent]注意:
  • callback的URL[backcolor=transparent]不能包含query string,而应该在:query参数中指定。
  • 可能出现文件上传成功,但是执行回调失败的情况,此时client会抛出 CallbackError,用户如果要忽略此错误,需要显式接住这个异常。
  • 详细的例子请参考callback.rb
  • 接受回调的server请参考callback_server.rb

展开
收起
青衫无名 2017-10-19 11:58:25 3090 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
从 SDK 到编解码:视频直播架构解析 立即下载
跨平台的云服务SDK需要什么 立即下载
一个跨平台的云服务SDK需要什么 立即下载