需求
打包下载OSS上存储的多个文件,例如将OSS上的一个目录打包下载。这样可以节省网络传输的数据,达到减少费用和下载时间的效果。
方案
使用函数计算先把多个文件压缩成一个zip,存储到OSS上面,返回zip文件的地址,客户端下载此文件。一般的客户端都支持跟随HTTP 302跳转地址,所以在完成压缩后,返回一个302的地址,客户端再跟随这个地址下载压缩后的文件包。
实现细节
- 函数运行环境的磁盘空间是有限的,采用流式下载和上传的方式,只在内存中缓存少量的数据。
- 为了加快速度,一边生成zip文件时一边上传到OSS
- 上传zip文件到OSS时,利用OSS分片上传的特性,多线程并发上传
实验
实验数据
# | 文件数 | 压缩前总大小 | 压缩后总大小 | 执行时间 |
---|---|---|---|---|
1 | 7 | 1.2MB | 1.16MB | 0.4s |
2 | 57 | 1.06GB | 1.06GB | 63s |
实验步骤
- 在OSS上准备要打包的文件
- 把文件放在OSS上面一个目录下面
- 部署函数
- 使用
fun deploy
部署函数
- 使用
- 触发函数(通过HTTP trigger地址)
- 使用curl命令直接调用函数
cat <<EOF > event.json
{
"region": "cn-shanghai",
"bucket": "fc-test-tianlong-wu",
"source-dir": "files/"
}
EOF
curl -v -L -o /tmp/my.zip -d @./event.json https://123456789.cn-beijing.fc.aliyuncs.com/2016-08-15/proxy/zip-service/zip-oss/
打开/tmp/my.zip
,就是files/
目录下所有文件的压缩包。
函数计算是一个按量付费的计算服务,每月都有大量的免费额度可以使用,欢迎免费试用。