阿里云对象存储服务OSS前后联调

本文涉及的产品
对象存储 OSS,20GB 3个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
云备份 Cloud Backup,100GB 3个月
简介: 阿里云对象存储服务OSS前后联调

申明: 未经许可,禁止以任何形式转载,若要引用,请标注链接地址

全文共计11577字,阅读大概需要3分钟

1、为什么要引入阿里云对象存储服务(OSS)?有什么好处?

在分布式集群系统中,前端通过浏览器上传图片给服务器存储时存在分库分表的情况,这就涉及到文件存储的情况,在高并发的情况下,考虑到服务器的性能和利用率,都会采用负载均衡来缓解服务器的压力。比如同时有3个商品服务来响应用户的请求,为了减少查询的耗时,采用统一的文件存储来进行读写,可以选择自己搭建文件存储服务器,比如:Fast DFS 、 vsftpd,但是搭建一个专门的服务器的技术和费用成本很高,后期还需要有专人来维护,不是很方便。

目前火热的阿里云对象存储OSS(Object Storage Service)是一个不错的选择。


1.1、什么是对象存储OSS

阿里云对象存储OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云存储服务。多种存储类型供选择,全面优化存储成本。


OSS具有与平台无关的RESTful API接口,可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。


可以使用阿里云提供的API、SDK接口或者OSS迁移工具轻松地将海量数据移入或移出阿里云OSS。

数据存储到阿里云OSS以后,可以选择标准存储(Standard)作为移动应用、大型网站、图片分享或热点音视频的主要存储方式,也可以选择成本更低、存储期限更长的低频访问存储(Infrequent Access)、归档存储(Archive)、冷归档存储(Cold Archive)作为不经常访问数据的存储方式。


3aefa6969ed845c19a460c3694313849.png


1.2、OSS工作原理

可以将数据以对象(Object)的形式存储在存储空间(Bucket )中,Object指的是一个文件和描述该文件的任何元数据,Bucket是保存Object的容器。


要将Object存储在OSS中,需要先创建Bucket,然后指定Bucket名称以及所在地域(Region)。每个Object都需要定义ObjectName(也称为ObjectKey或者Key),作为Bucket中数据的唯一标识符。Object操作在OSS上具有原子性以及强一致性。


OSS以HTTP RESTful API的形式对外提供服务,访问不同地域需要不同的访问域名(Endpoint)。当请求访问OSS时,OSS通过使用访问密钥(AccessKey Id和AccessKey Secret)对称加密的方法来验证某个请求的发送者身份。


存储空间

存储空间是用户用于存储对象(Object)的容器,所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性,包括地域、访问权限、存储类型等。用户可以根据实际需求,创建不同类型的存储空间来存储不同的数据。


对象

对象是OSS存储数据的基本单元,也被称为OSS的文件。和传统的文件系统不同,对象没有文件目录层级结构的关系。对象由元信息(Object Meta),用户数据(Data)和文件名(Key)组成,并且由存储空间内部唯一的Key来标识。对象元信息是一组键值对,表示了对象的一些属性,比如最后修改时间、大小等信息,同时用户也可以在元信息中存储一些自定义的信息。


对象名称

在各语言SDK中,ObjectKey、Key以及ObjectName是同一概念,均表示对Object执行相关操作时需要填写的Object名称。例如向某一存储空间上传Object时,ObjectKey表示上传的Object所在存储空间的完整名称,即包含文件后缀在内的完整路径,如填写为abc/efg/123.jpg。


地域

Region表示OSS的数据中心所在物理位置。用户可以根据费用、请求来源等选择合适的地域创建Bucket。一般来说,距离用户更近的Region访问速度更快。详情请参见OSS已经开通的Region。


访问域名

Endpoint表示OSS对外服务的访问域名。OSS以HTTP RESTful API的形式对外提供服务,当访问不同的Region的时候,需要不同的域名。通过内网和外网访问同一个Region所需要的Endpoint也是不同的。例如杭州Region的外网Endpoint是oss-cn-hangzhou.aliyuncs.com,内网Endpoint是oss-cn-hangzhou-internal.aliyuncs.com。具体的内容请参见各个Region对应的Endpoint。


访问密钥

AccessKey简称AK,指的是访问身份验证中用到的AccessKeyId和AccessKeySecret。OSS通过使用AccessKeyId和AccessKeySecret对称加密的方法来验证某个请求的发送者身份。AccessKeyId用于标识用户;AccessKeySecret是用户用于加密签名字符串和OSS用来验证签名字符串的密钥,必须保密。


2、阿里云对象存储-普通上传方式

用户通过自己的简单后台应用服务器将数据以对象的形式存储在OSS上

8248710f058245f6907bab2d5df581e7.png


2.1、时序图

f19485c537c44cb692d7e4908e1f8b37.png


2.2、登录并注册对象存储OSS

官网地址:https://www.aliyun.com/product/oss?spm=5176.19720258.J_3207526240.33.e93976f4FQUO0P

f77e99d73a614e8590dfa17d3f73b1a8.png


创建bucket


https://oss.console.aliyun.com/overview

ec9ff2b4c43c4b83b314da457fbb3e20.png


填写Bucket的名称,地域,存储类型的基本信息


518ec6f88c57487aa72693a170fbf4d9.png


点进实例后,会看到


2bd83ac0007948138b027053ae7dc8e6.png


先简单测试一下本地上传



4ea310a46985481a91844e6b814a76a8.png

可以看到上传成功了

f5c12c88aaa84d429f0d7372a9035339.png


通过URL地址可以直接访问的到:https://gulimall-jerry-jy.oss-cn-hangzhou.aliyuncs.com/5b5e74d0978360a1.jpg


3、 通过API接口上传数据对象

3.1、引入依赖

        <dependency>
            <groupId>com.aliyun.oss</groupId>
            <artifactId>aliyun-sdk-oss</artifactId>
            <version>3.5.0</version>
        </dependency>

7962aef4fb0d4459be2bdff254bd7de3.png


3.2、开通远程RAM访问权限

RAM(Resource Acess Management)资源访问控制:RAM 用户是一个身份实体,它通常代表您的组织中需要访问云资源的人员或应用程序。

https://ram.console.aliyun.com/users/new

若开通 Open API 调用访问,请及时保存 AccessKey 信息,页面关闭后将无法再次获取信息。

f1dcc74089104916ad089d336d58e35d.png


3.3、编写测试类

 @Test
    public void testUpload() {
        // Endpoint以华东1(杭州)为例,其它Region请按实际情况填写。
        String endpoint = "https://oss-cn-hangzhou.aliyuncs.com";
        // 阿里云账号AccessKey拥有所有API的访问权限,风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运维,请登录RAM控制台创建RAM用户。
        String accessKeyId = "LTAI5tQRCX6FBx77qqhepLo9";
        String accessKeySecret = "UGvWNebBJusYPTIv9kRfBsEckthRqF";
        // 填写Bucket名称,例如examplebucket。
        String bucketName = "gulimall-jerry-jy";
        // 填写Object完整路径,完整路径中不能包含Bucket名称,例如exampledir/exampleobject.txt。
        String objectName = "9.png";
        // 填写本地文件的完整路径,例如D:\\localpath\\examplefile.txt。
        // 如果未指定本地路径,则默认从示例程序所属项目对应本地路径中上传文件流。
        String filePath = "C:\\Users\\15718\\Desktop\\png\\9.png";
        // 创建OSSClient实例。
        OSS ossClient = new OSSClientBuilder().build(endpoint, accessKeyId, accessKeySecret);
        try {
            InputStream inputStream = new FileInputStream(filePath);
            // 创建PutObject请求。
            ossClient.putObject(bucketName, objectName, inputStream);
        } catch (OSSException oe) {
            System.out.println("Caught an OSSException, which means your request made it to OSS, "
                    + "but was rejected with an error response for some reason.");
            System.out.println("Error Message:" + oe.getErrorMessage());
            System.out.println("Error Code:" + oe.getErrorCode());
            System.out.println("Request ID:" + oe.getRequestId());
            System.out.println("Host ID:" + oe.getHostId());
        } catch (ClientException ce) {
            System.out.println("Caught an ClientException, which means the client encountered "
                    + "a serious internal problem while trying to communicate with OSS, "
                    + "such as not being able to access the network.");
            System.out.println("Error Message:" + ce.getMessage());
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } finally {
            if (ossClient != null) {
                System.out.println("上传完成!");
                ossClient.shutdown();
            }
        }
    }

41db3f96ba174f5dad7b3f0e19883d68.png


3.4、可以看到文件也上传成功

5164c711f8764f3ea6fb1efe8e55bce2.png


可以通过URL访问图片:https://gulimall-jerry-jy.oss-cn-hangzhou.aliyuncs.com/9.png


4、 使用阿里云封装的Ali-Cloud OSS SDK进行上传

4.1、引入依赖

        <dependency>
            <groupId>com.alibaba.cloud</groupId>
            <artifactId>spring-cloud-starter-alicloud-oss</artifactId>
        </dependency>

4

5c8547da9cb54281bc815f086bd7609b.png


4.2、编写application.yml配置文件

spring:
  cloud: 
      alicloud:
        access-key: LTAI5tQRCX6FBx77qqhepLo9
        secret-key: UGvWNebBJusYPTIv9kRfBsEckthRqF
        oss:
          endpoint: oss-cn-hangzhou.aliyuncs.com

b047354a3b034588899caec804189742.png


4.3、启动类上调用OSSClient方法

可以看到控制台打印了【上传成功】

5a1a9c4334324a858471ec3eb8fa99c6.png


去阿里云控制台检查下是否成功

150808d5646641029313968e4cf34c15.png



通过【URL】https://gulimall-jerry-jy.oss-cn-hangzhou.aliyuncs.com/8.png

也能正常访问,证明上传成功


4.3、不足

通过我们自己的应用服务器上传数据到OSS,如果前端访问的数据量过大,过造成应用服务器的性能瓶颈,最好的办法是采用服务端签名后直传


5、阿里云对象存储-服务端签名后直传

5.1、原理图


47b2eee2e1e64d598695f3e93844fcfa.png

5.2、controller

package com.jerry.gulimall.thirdparty.controller;
import com.aliyun.oss.OSS;
import com.aliyun.oss.common.utils.BinaryUtil;
import com.aliyun.oss.model.MatchMode;
import com.aliyun.oss.model.PolicyConditions;
import com.jerry.common.utils.R;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.beans.factory.annotation.Value;
import java.util.Date;
import java.util.Map;
import java.text.SimpleDateFormat;
import java.util.LinkedHashMap;
/**
 * @author 金阳
 * @description
 * @create 2022-07-22 1:24
 */
@RestController
public class OssController {
    @Autowired
    OSS ossClient;
    @Value("${spring.cloud.alicloud.oss.endpoint}")
    private String endpoint;
    @Value("${spring.cloud.alicloud.oss.bucket}")
    private String bucket;
    @Value("${spring.cloud.alicloud.access-key}")
    private String accessId;
    @RequestMapping("/oss/policy")
    public R policy() {
        //https://gulimall-hello.oss-cn-beijing.aliyuncs.com/hahaha.jpg
        String host = "https://" + bucket + "." + endpoint; // host的格式为 bucketname.endpoint
        // callbackUrl为 上传回调服务器的URL,请将下面的IP和Port配置为您自己的真实信息。
//        String callbackUrl = "http://88.88.88.88:8888";
        String format = new SimpleDateFormat("yyyy-MM-dd").format(new Date());
        String dir = format + "/"; // 用户上传文件时指定的前缀。
        Map<String, String> respMap = null;
        try {
            long expireTime = 30;
            long expireEndTime = System.currentTimeMillis() + expireTime * 1000;
            Date expiration = new Date(expireEndTime);
            PolicyConditions policyConds = new PolicyConditions();
            policyConds.addConditionItem(PolicyConditions.COND_CONTENT_LENGTH_RANGE, 0, 1048576000);
            policyConds.addConditionItem(MatchMode.StartWith, PolicyConditions.COND_KEY, dir);
            String postPolicy = ossClient.generatePostPolicy(expiration, policyConds);
            byte[] binaryData = postPolicy.getBytes("utf-8");
            String encodedPolicy = BinaryUtil.toBase64String(binaryData);
            String postSignature = ossClient.calculatePostSignature(postPolicy);
            respMap = new LinkedHashMap<String, String>();
            respMap.put("accessid", accessId);
            respMap.put("policy", encodedPolicy);
            respMap.put("signature", postSignature);
            respMap.put("dir", dir);
            respMap.put("host", host);
            respMap.put("expire", String.valueOf(expireEndTime / 1000));
            // respMap.put("expire", formatISO8601Date(expiration));
        } catch (Exception e) {
            // Assert.fail(e.getMessage());
            System.out.println(e.getMessage());
        }
        return R.ok().put("data",respMap);
    }
}

5.3、开启Nacos注册和配置中心

编写application.yml

spring:
  cloud:
    nacos:
      discovery:
        server-addr: 127.0.0.1:8848
    alicloud:
      access-key: LTAI5tQRCX6FBx77qqhepLo9
      secret-key: UGvWNebBJusYPTIv9kRfBsEckthRqF
      oss:
        endpoint: oss-cn-hangzhou.aliyuncs.com
        bucket: gulimall-jerry-jy
  application:
    name: gulimall-third-party
server:
  port: 30000

配置bootstrap.properties

spring.application.name=gulimall-third-party
spring.cloud.nacos.config.server-addr=127.0.0.1:8848
spring.cloud.nacos.config.namespace=0b0b4ca3-539e-44ed-ab10-1f9ac6af6458
spring.cloud.nacos.config.ext-config[0].data-id=oss.yml
spring.cloud.nacos.config.ext-config[0].group=DEFAULT_GROUP
spring.cloud.nacos.config.ext-config[0].refresh=true

完成Nacos Server配置


2387e35348fe42e2b6c8bd0133d9dd38.png


配置详情

262fcfd3df584c07913b816e35bac18b.png



5.3、开启服务的注册与发现@EnableDiscoveryClient

d51899bc2e0e43adad5dbe168eeb1978.png


5.4、配置网关路由协议

        - id: third_party_route
          uri: lb://gulimall-third-party
          predicates:
            - Path=/api/thirdparty/**
          filters:
            - RewritePath=/api/thirdparty/(?<segment>.*),/$\{segment}

588c90187c0d43d19652881b5f9ba422.png


访问http://localhost:88/api/thirdparty/oss/policy可以看到能响应json数据,说明服务的注册与发现功能正常


d398f58c4a9f4773ac80d11faa1a7c08.png


6、前后联调

6.1、开启允许跨域访问

f51fdfcd9517442d9cbac7fd14df88ff.png


要允许浏览器提交的所有的请求和允许所有的请求头访问OSS

c578908daa784c47b7283dfc840f1122.png



先启动后端项目,再启动前端项目,上传我们的本地图片,可以看到是,图片回显是成功的

26ef082934fc42218c3641caac01501f.png



去阿里云控制台检查,可以看到能正常接受用户上传的图片


e3d498265c7343c2a22fa58265201434.png


【注意】

图片预览没用回显,发现是

请求网址: https://gulimall-jerry-jy.https//oss-cn-hangzhou.aliyuncs.com/2022-07-22/41168c92-c4b5-4be0-8f5d-8bcade308477_1.png

这里多了一个https

be9959304ee24c2184c0a415f387bb96.png



经检查:原因是在application.yml中的endpoint配置多了一个https://应该去掉


2f313071366646e5b33c6765393fa28e.png


Nacos Server中的oss.yml记得也要修改

a12088a2bc3644328c523d60ea6af7af.png



再次上传图片,发送请求,能正常回显了,响应头也是正常

b17c4a89e8ff48f7bc2fcb147ae0a35e.png

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
4月前
|
机器学习/深度学习 人工智能 专有云
人工智能平台PAI使用问题之怎么将DLC的数据写入到另一个阿里云主账号的OSS中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
17天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
1月前
|
存储 Java 开发工具
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
阿里云OSS(Object Storage Service)是一种安全、可靠且成本低廉的云存储服务,支持海量数据存储。用户可通过网络轻松存储和访问各类文件,如文本、图片、音频和视频等。使用OSS后,项目中的文件上传业务无需在服务器本地磁盘存储文件,而是直接上传至OSS,由其管理和保障数据安全。此外,介绍了OSS服务的开通流程、Bucket创建、AccessKey配置及环境变量设置,并提供了Java SDK示例代码,帮助用户快速上手。最后,展示了如何通过自定义starter简化工具类集成,实现便捷的文件上传功能。
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
|
2月前
|
Java API 对象存储
微服务魔法启动!Spring Cloud与Netflix OSS联手,零基础也能创造服务奇迹!
这段内容介绍了如何使用Spring Cloud和Netflix OSS构建微服务架构。首先,基于Spring Boot创建项目并添加Spring Cloud依赖项。接着配置Eureka服务器实现服务发现,然后创建REST控制器作为API入口。为提高服务稳定性,利用Hystrix实现断路器模式。最后,在启动类中启用Eureka客户端功能。此外,还可集成其他Netflix OSS组件以增强系统功能。通过这些步骤,开发者可以更高效地构建稳定且可扩展的微服务系统。
56 1
|
3月前
|
存储 机器学习/深度学习 弹性计算
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
|
4月前
|
存储 运维 安全
阿里云OSS的优势
【7月更文挑战第19天】阿里云OSS的优势
192 2
|
4月前
|
运维 Serverless 数据处理
函数计算产品使用问题之在对象存储服务(OSS)上创建ZIP包解压触发器后,触发器未按预期执行,一般是什么导致的
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
4月前
|
关系型数据库 分布式数据库 数据库
PolarDB产品使用问题之如何将冷存到OSS(Object Storage Service)的数据恢复
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
4月前
|
消息中间件 分布式计算 DataWorks
DataWorks产品使用合集之如何使用Python和阿里云SDK读取OSS中的文件
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
存储 API 开发工具
阿里云OSS
【7月更文挑战第19天】阿里云OSS
188 1

相关产品

  • 对象存储