亚马逊云COS组件使用实践总结

简介: 亚马逊云COS组件使用实践总结

【1】创建目录对象

创建文件–带有文件目录 如 test1/test3/hello.txt。如果目标对象已经存在,则会进行覆盖。

AmazonS3 singleAmazonS3 = this.getSingleAmazonS3();
// 创建文件--带有文件目录  如 test1/test3/hello.txt
Bucket bucket = cosFileSystem.getBucket(singleAmazonS3);
singleAmazonS3.putObject(bucket.getName(),"test1/test3/hello.txt",new File("./hello.txt"));

通过控制台登录查看,会看到如下结构:



注意,这里目标对象的key建议不要以/开头,否则bucket内会有一个目录/,这个不符合COS的规范。比如/test1/test3/hello.txt,其最终效果不是我们想象的test1 -- test3 目录下有个hello.txt,而是/ -- test1---test3 下有个hello.txt。


对象名称如果带有目录,那么应该是a/b/hello.txt格式,a\b\hello.txt格式是错误的,不支持的。

【2】获取文件对象

① 通过key直接获取文件对象本身


假设文件对象名称为test1/test4/hello.txt,那么如下所示可以拿到文件对象然后包装为流。之后就是最基本的IO操作了,可以实现文件下载。

S3Object amazonS3Object = singleAmazonS3.getObject(bucket.getName(), "test1/test4/hello.txt");
S3ObjectInputStream objectInputStream = amazonS3Object.getObjectContent();
BufferedInputStream bufferedInputStream = new BufferedInputStream(objectInputStream);


② 获取文件下载链接

如下所示根据桶名称和文件对象名称获取文件下载链接,然后通过HttpURLConnection 获取流。

Bucket bucket = getBucket(singleAmazonS3);
GeneratePresignedUrlRequest request = new GeneratePresignedUrlRequest(bucket.getName(), "test1/test4/hello.txt");
URL url = singleAmazonS3.generatePresignedUrl(request);
logger.debug("{}生成的文件下载链接为:{}",saveName,url);
HttpURLConnection connection = (HttpURLConnection)url.openConnection();
connection.setConnectTimeout(15000);
connection.connect();
InputStream urlInputStream = connection.getInputStream();


③ 判断文件对象是否存

doesObjectExist可以用来判断文件对象是否存在。

AmazonS3 singleAmazonS3 = this.getSingleAmazonS3();
Bucket bucket = singleAmazonS3.listBuckets().get(0);
// true  or  false
boolean exist = singleAmazonS3.doesObjectExist(bucket.getName(), "111.txt");


④ public权限文件下载

如果文件是public,则直接使用如下方式获取URL即可。

// 针对 public 权限即可使用这种方式下载
URL url = singleAmazonS3.getUrl(bucketName, key);

【3】获取对象

① listObjects(bucketName);



azon SDK提供的S3读取接口listObjects(bucketName)是分页读取,默认每次返回1000个对象。

ObjectListing objectListing = singleAmazonS3.listObjects(bucketName);



2808b6896b06449d8c836c4aeae0072a.png

那么objectSummaries 又是什么呢?这里存储了我们文件具体对象。

//存储所有对象
List<S3ObjectSummary> objectSummaries =Collections.emptyList();
//获取到客户端
AmazonS3 singleAmazonS3 = getSingleAmazonS3();
private void getAllS3ObjectSummary(AmazonS3 singleAmazonS3 ,String bucketName) {
  //获取第一批
  ObjectListing current= singleAmazonS3.listObjects(bucketName);
    this.objectSummaries.addAll(current.getObjectSummaries());//第一页
    while (current.isTruncated()) {
      //翻页
         current = singleAmazonS3.listNextBatchOfObjects(current);
         //直到最后一页
         this.objectSummaries.addAll(current.getObjectSummaries());
     }
}


S3ObjectSummary如下所示,包含了桶名称,文件在桶内存储的key(其实就是文件的全路径),eTag(MD5加密的一个签名),size(大小),lastModified(最后修改时间),storageClass(Amazon S3用来存储该对象的类)以及owner(对象所属者)。

② listNextBatchOfObjects(ObjectListing previousObjectListing)

其实就是基于上一页进行翻页,在①中我们也进行了说明。marker表示到哪个对象为止,是个闭区间。比如下图中的marker对应的对象是上一页中的,nextMarker对应的对象是本页中的。


1e71faddf1bf44e89085eee7063a6273.png

需要说明的是当你像使用这个方法进行分页的话,建议使用isTruncated()先判断一下是否有下一页。如果该方法返回true,则再建翻页。示例如下:

ObjectListing listObjects = singleAmazonS3.listObjects(bucketName);
// 如果没有下一页,那么listObjects.isTruncated() 将会返回false
while (listObjects.isTruncated()){
   ObjectListing objectListing = singleAmazonS3.listNextBatchOfObjects(listObjects);
}

③ listObjects(String bucketName, String prefix)


与①中listObjects(String bucketName)不同的是这里多了prefix,也就是说这里以某个前缀目录为基准进行读取。默认①中prefix是"",也就是根目录。


如下所示,我们获取0033d435/下的对象。


 ObjectListing listObjects = singleAmazonS3.listObjects(bucketName, "0033d435/");


0f1086cddd2045e9b30625a1e1778121.png



【4】异常解决

(1) No content length specified for stream data. Stream contents will be buffered in memory and could

// 原始上传
singleAmazonS3.putObject(bucket.getName(), saveName,inputStream , new ObjectMetadata());
//修改为如下 -也就是说给objectMetadata设置长度
ObjectMetadata objectMetadata = new ObjectMetadata();
objectMetadata.setContentLength(inputStream.available());
singleAmazonS3.putObject(bucket.getName(), saveName,inputStream , objectMetadata);


目录
相关文章
|
8月前
|
JSON 运维 监控
云计算与公司监控电脑软件的弹性扩展策略(AWS Lambda)
在当前信息时代,公司监控电脑软件对于确保网络和电脑设备的正常运行至关重要。云计算技术的崛起为监控系统提供了更灵活和弹性的扩展策略,而AWS Lambda作为一种无服务器计算服务,则为实现弹性监控提供了理想的解决方案。
276 1
|
存储 运维 监控
支付宝小程序云亮相!向小程序生态开放全面云服务
支付宝小程序云亮相!向小程序生态开放全面云服务
374 0
支付宝小程序云亮相!向小程序生态开放全面云服务
|
存储 运维 NoSQL
阿里云计算巢加速器:让优秀的软件生于云、长于云—入选企业深度访谈—NebulaGraph:打造灵活弹性的云原生图数据库,与阿里云计算巢共同拥抱开放生态
阿里云计算巢加速器:让优秀的软件生于云、长于云—入选企业深度访谈—NebulaGraph:打造灵活弹性的云原生图数据库,与阿里云计算巢共同拥抱开放生态
869 1
|
弹性计算 Cloud Native 算法
《2023云原生实战案例集》——04 互联网——分众传媒 基于函数计算FC自研图片识别处理系统
《2023云原生实战案例集》——04 互联网——分众传媒 基于函数计算FC自研图片识别处理系统
|
弹性计算 云计算
阿里云计算巢加速器:让优秀的软件生于云、长于云——卷首语
阿里云计算巢加速器:让优秀的软件生于云、长于云——卷首语
274 0
|
缓存 运维 监控
《2023云原生实战案例集》——04 互联网——网易云音乐 基于函数计算FC创建音视频算法处理平台
《2023云原生实战案例集》——04 互联网——网易云音乐 基于函数计算FC创建音视频算法处理平台
|
存储 监控 JavaScript
5.1 软件服务 亚马逊 AWS Lambda|学习笔记
快速学习5.1 软件服务 亚马逊 AWS Lambda
5.1 软件服务 亚马逊 AWS Lambda|学习笔记
|
存储 弹性计算 缓存
3.1.1计算服务亚马逊 AWS|学习笔记(一)
快速学习3.1.1计算服务亚马逊 AWS
3.1.1计算服务亚马逊 AWS|学习笔记(一)
|
存储 网络协议 安全
3.1.1计算服务亚马逊 AWS|学习笔记(二)
快速学习3.1.1计算服务亚马逊 AWS
3.1.1计算服务亚马逊 AWS|学习笔记(二)
|
存储 弹性计算 供应链
AWS亚马逊云内部大揭秘,全套PPT收藏!
在上周举办的2016 AWS re:invent上,AWS副总裁兼杰出工程师James Hamilton首次对外界大量披露了AWS亚马逊云的基础设施建设及工程化细节,其中有大量数据也是首次对外发布。小编特别听译了James的这部分演讲,同时把他的全套PPT拍下来,供粉丝们收藏!
922 0
AWS亚马逊云内部大揭秘,全套PPT收藏!

热门文章

最新文章

下一篇
开通oss服务