阿里云——云存储:对象存储管理与安全

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 阿里云——云存储:对象存储管理与安全



学习目标:

1.了解传统存储的基础知识和常见技术

2.熟悉云存储的应用场景以及云存储的基本功能概述

3.如何使用云存储进行数据的上传下载及相关管理功能

4.了解云存储的安全权限管控及数据安全


一.传统存储介绍:

1.存储的发展历史

2.硬盘发展历史与趋势

3.SDD硬盘介绍

SDD硬盘

泛指由控制单元和固态存储单元(DRAM或Flash芯片)组成的存储设备,目前支持SATA、FC、SAS接口。

相比机械硬盘,SSD优点如下:

>数据存取速度快:在密集的I0读写和低延迟方面与传统硬盘对比性能优异;

>故障率低:内部不存在任何机械部件,内部全部采用闪存芯片

>绿色环保:工作时静音,发热量小,散热快

>重量更轻:有利于移动设备的携带。


4.RAID技术产生的背景

5.RAID介绍

RAID(Redundant Array of Independent Disks)即独立磁盘冗余阵列,从根本上说就是通过多块硬盘,以某种方式形成一定的数据冗余,这样当一块或多块硬盘损坏时,数据还能够依靠这样的冗余保存下来,不至于丢失。

二.主机访问存储模式

目前的网络存储技术有:

  1. 直连式存储(DAS:Direct Attached Storage)
  2. 网络存储设备(NAS:NetworkAttached Storage)
  3. 存储网络(SAN:Storage Area Network)


1.存储备份介绍

  1. 全备份
  2. 增量备份
  3. 全量备份

全备份:

是对数据的完全备份。

增量备份:

是对上次全备份或者增量备份后被修改了的文件做备份

优点是备份数据量小,需要的时间短;

缺点是恢复的时候需要多份备份数据,出问题的风险较大

全量备份:

是每次备份时都会所有文件进行备份;

优点是恢复速度相对较快,因为只需要最后一次全量备份;

缺点是每次备份需要的时间较长。


2. 存储灾备介绍

同城灾备中心:

生产中心和灾难备份中心距离比较近,比较容易的实现数据的同步镜像,可以保证数据完整性和数据零丢失。

可以防范火灾、建筑物破坏等可能遗遇的风险隐患,但对于战争、地震、水灾等隐患力不从心。

异地备份中心:

生产中心和备份中心跨城域,距离比较远。

通过异步镜像/复制备份数据无法保证数据零丢失。

如果远距离同步镜像,则交易效率太低、通信成本很高。

两地三中心:

结合“同城+异地”的优点。

在异地备份中心具有完整的灾难接管能力的情况下,建立同城备份站点,可使同城灾备中心具有应用接管能力。

也可以让同城灾备中心只是一个同步数据镜像站点。


三.云存储OSS的介绍和使用场景

1.全球数据存储量的趋势

地球上至今总共的数据量:

在2006年,个人用户才刚刚迈进Tb时代,全球一共新产生了约180EB的数据;

在2011年,这个数字达到了1.8ZB;

而有市场研究机构预测:

到2020年,整个世界的数据总量将会增长44倍,达到35.2ZB (1ZB=10(ZTB)

2.云存储分类

3.阿里云对象存储服务oss

对象存储服务(Object Storage Service,简称OSS)是一种面向互联网的分布式存储服务,

具有海量,安全,高性能,高可靠性,低成本的特点。

OSS非常适合用来存储大量不同大小,格式的非结构化数据,比如视频,图像,日志,文本文件等,单个数据的大小从1字节到48.8T,可以存储的文件个数无限,从而给互联网应用提供海量的存储能力。

 

4.OSS在阿里云平台体系架构中的位置

OSS是阿里云重要的组成部分,基于飞天核心平台构建,是阿里云向外提供的标准云计算存储服务

5.OSS与自建服务器存储对比

6.云存储OSS应用场景-网站/应用动静分离

开发者可以直接使用OSS,利用BGP带宽,实现超低延时的数据直接下载,也可以配合阿里云CDN加速服务为图片,音视频,移动应用更新分发,提供最佳体验等场景。

7.云存储OSS应用场景-海量文件存储

适用于图片,音视频,日志等海量文件的存储,支持各种终端设备,Web网站程序和移动应用直接向OSS写入或读取数据,支持流式写入和文件写入两种方式。

8.云存储OSS应用场景-云端数据处理

上传文件到OSS后,您可以配合媒体转码服务(MTS),图片处理服务(IMG),批量计算服务,离线数据处理服务(ODPS)充分挖掘您数据的价值,引领从IT到DT的变革。

9.云存储OSS应用场景-数据下载加速

既可以使用OSS,利用BGP带宽,实现超低延时的数据直接下载,也配合,也配合阿里云CDN加速服务,为图您的图片,音视频,移动应用更新分发,提供最佳体验等场景。


四.云存储OSS基本概述

  1. OSS基本概念

(1)Object

  1. 用户的每个文件都是一个Object
  2. 文件大小限制
  3. Put Object方式最大不能眼过5G8,使用multijpart上传
  4. 方式Object大小不船超过48.8T8
  5. Object国含key.datafDmeta data

(2)Bucket

  1. 每个Object必须都包 ducket中
  2. Bucket名在整个OSS中具有全局唯一性,且不能修改
  3. 同一同里云账号在同一地域内创建的存储空间总数不能超过100个Bucket
  4. 每个Bucket中存故的Object的数量没有限制,存张空间的容量不限制
  5. 一个应用可以对应一个或多个Bucket

(3)Service

提供给用户的虚拟存储空间,用户可以在这个存储空间中拥有一个或者多个Bucket

(4)Access ID & Access Key(API密钥)

·用户标识用户,为访问OSS做签名价证

4.OSS数据组织结构

5.页面控制台

6.云存储OSS的管理方式


五.云存储OSS数据的上传下载

1.oss进行上传下载


2.通过阿里云控制台上传文件

1.进入OSS管理控制台界面。

2.单击您要向其中上传文件的存储空间名称,打开该存储空间管理页面。

3.单击文件名,进入该存储空间内所有文件管理页面

4.单击上传文件,打开文件选择对话框。

5.选择要上传的文件,然后单击打开,文件上传成功,点击刷新按钮查看已上传的文件

1.进入OSS管理控制台界面。

2.单击目标文件所在的Bucket列表,打开文件管理页面。

3.单击文件名,打开文件管理页面。

4.单击目标文件对应的详情获取地址链接,会弹出对话框提供访问该文件的URL地址。


3.通过API上传下载文件

上传文件

用户使用OSS API中的Put Object方法上传单个Object

下载文件

下载已经上传的文件(Object),Object下载是使用HTTP的GET请求来完成的,Get Object

用于获取某个Object,此操作要求用户对该Object有读权限。

通过SDk上传下载文件


六.图片处理与静态网站托管

1.云存储OSS图片处理

 

2.静态网站托管

1.用户可以通过OSS控制台-“Bucket列表”-“选择指定Bucket”-“基础设置”-“静态页面”将自己的bucket配置成静态网站托管模式

2.访问城名为:http://<自定义城名>/,如:http://cloudstorage.aliyunihao.net/

3.托管的静态网站支持如下功能:


a)默认首页

(Index Document Support)

a)默认404页

(Error Document Support


七.云存储OSS安全

1.数据安全和可靠性


2.跨区域复制

  1. 面向企业的云存储灾备解决方案
  2. 跨区域数据复制
  3. 数据更新实时发起同步
  4. 实现数据的异地容灾
  5. 保障业务在极端环境下连续性
  6. 支持双向同步,区域多活
  7. 数据就近上传


3.跨区域复制步骤

第一步:云存储OSS控制台-》Bucket列表-》选择对应Bucket-》概览-》跨区复制

第二步:设置同步目标的地域,Bucket,数据同步对象等属性

4.安全控制:Bucket权限控制

OSS提供Bucket级别的权限访问控制

> Public-read-write

任何人都可以对该Bucket中的Object进行PUT,Get和Delete操作

> Public-read

Bucket的创建者可以对该Bucket内的Object进行写操作(包括PUT和Delete Object)

任何人(包括图名访问)可以对该Bucket中的Object进行读操作(Get Object)

>Private

只有该Bucket的创建者可以对该Bucket内的Object进行读写操作(包括PUT和Get Object)

其他人无法访问该Bucket内的Object

创建Bucket时默认为private权限。可以通过OSS的Put Bucket ACL接口修改该Bucket的权限


5.云存储OSS防盗链

OSS是按使用收费的服务,为了防止用户在OSS上的数据被其他人盗链,OSS支持基于HTTPheader中表头字段referer的防盗链方法。

目前,只有通过OSS的控制台可以对一个bucket设置 referer.字段的白名单和是否允许referer字段为空的请求访问。

对于一个名为oss-example的bucket,设置,其referer白名单为http://www.aliyun.com则所有referer为http://www.aliyun.com的请求才能访问oss-example这个bucket中的Object


6.服务器端加密存储

1.OSS支持在服务器端对用户上传的数据进行加密编码

2.文件上传时指定x-oss-server-side-encryption=AES2563.

3.对加密编码的文件,访问方式与非加密文件一样


-文件上传时,OSS对用户数据进行加密编码,并保存

-文件下戴时,OSS自动对文件进行解密,并在返回的HTTP request中声明

此文件使用了服务器端加密      


7.服务器端加密支持的操作

Content-Length : ContentLength

- Put Object

- Copy Object

- Initiate Multipart Upload


8.支持的加密算法

AES256


9.安装控制

 


创作不易,求关注,点赞,收藏,谢谢~

相关实践学习
对象存储OSS快速上手——如何使用ossbrowser
本实验是对象存储OSS入门级实验。通过本实验,用户可学会如何用对象OSS的插件,进行简单的数据存、查、删等操作。
目录
相关文章
|
5月前
|
存储 人工智能 Cloud Native
阿里云渠道商:OSS与传统存储系统的差异在哪里?
本文对比传统存储与云原生对象存储OSS的架构差异,涵盖性能、成本、扩展性等方面。OSS凭借高持久性、弹性扩容及与云服务深度集成,成为大数据与AI时代的优选方案。
|
7月前
|
存储 运维 安全
阿里云国际站OSS与自建存储的区别
阿里云国际站对象存储OSS提供海量、安全、低成本的云存储解决方案。相比自建存储,OSS具备易用性强、稳定性高、安全性好、成本更低等优势,支持无限扩展、自动冗余、多层防护及丰富增值服务,助力企业高效管理数据。
|
7月前
|
存储 域名解析 前端开发
震惊!不买服务器,还可以用阿里云国际站 OSS 轻松搭建静态网站
在数字化时代,利用阿里云国际站OSS可低成本搭建静态网站。本文详解OSS优势及步骤:创建Bucket、上传文件、配置首页与404页面、绑定域名等,助你快速上线个人或小型业务网站,操作简单,成本低廉,适合初学者与中小企业。
|
9月前
|
Web App开发 监控 安全
OSS客户端签名直传实践:Web端安全上传TB级文件方案(含STS临时授权)
本文深入解析了客户端直传技术,涵盖架构设计、安全机制、性能优化等方面。通过STS临时凭证与分片上传实现高效安全的文件传输,显著降低服务端负载与上传耗时,提升系统稳定性与用户体验。
860 2
|
7月前
|
存储 安全 数据管理
服务器违规资源被删,数据定时备份OSS 云存储才是 “救命稻草”
在数字化时代,数据已成为企业与个人的核心资产。然而,服务器违规、硬件故障等问题频发,导致数据丢失、业务中断,甚至造成不可挽回的损失。为保障数据安全与业务连续性,定时备份至关重要。阿里云国际站OSS提供高效、可靠的云存储解决方案,支持自动定时备份,帮助用户轻松应对数据风险。本文详解OSS备份操作步骤与注意事项,助你为数据穿上“防护甲”,实现安全无忧存储。
|
机器学习/深度学习 人工智能 专有云
人工智能平台PAI使用问题之怎么将DLC的数据写入到另一个阿里云主账号的OSS中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
328 0
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
安全 Java 对象存储
安全性考量:Spring Security与Netflix OSS在微服务安全中的作用
安全性考量:Spring Security与Netflix OSS在微服务安全中的作用
255 1