从又拍云看云存储服务的可用性

简介: “云”这个概念在今年非常的火热,2年前国内的云存储服务还只有又拍云存储一家,如今国内已不下十家,面对如此多的云服务商,选择云服务的标准成了大家比较关注的问题。又拍云在其维基上交流了一些心得:

“云”这个概念在今年非常的火热,2年前国内的云存储服务还只有又拍云存储一家,如今国内已不下十家,面对如此多的云服务商,选择云服务的标准成了大家比较关注的问题又拍云在其维基上交流了一些心得:

我们在六年的云服务经验基础上沉淀了三个词:安全稳定、快速、易用。


一、安全稳定

image.png

云服务的安全隐患大致会出现在两个方面:第一是服务的持续可用;第二是数据的丢失和泄漏。

今年很多云服务平台屡屡爆出服务宕机或丢失数据的问题,这让大家对国内云服务更加的不放心,

其实云计算并不应该存在这类严重问题,云计算的主要使命之一恰恰是解决稳定和安全隐患问题。如SAE类PaaS云计算平台是保障我们网站应用的正常服务,高度容错且可扩展,而又拍云存储则属IaaS类云计算平台,存储数据的稳定和安全保障是云存储最主要的工作。

先说持续可用性的保证问题。无单点是一个云服务的基础,而目前很多云服务是单点的,所以致使故障频发。一个真正的云计算平台至少应该保证有两个互相热备的数据中心,三分以上分布不同机柜和机房的数据,在机房引入的线路上也应该保证至少电信、联通有两根以上的线路。只有这样才能保证不论是机房断电、硬盘故障、还是断线,都能保持持续的访问。另外就是对于服务器集群的部署上要实现负载的均衡,可采用服务器HA互备,lvs进行4层负载,7层nginx进行一致性hash及冷热文件调度,一旦有服务器出现硬件故障,前端调度会自动识别并剥离出集群,确保不影响用户每一次的实际访问。


为充分发挥Nginx的7层代理的优势,我们在此基础上加入了较多的业务模块,如:一致性HASH模块,根据业务需求通过请求信息进行计算,把请求统一分发到后端缓存服务器,避免使用普通负载均衡方式而导致缓存命中率降低,可大大提高缓存集群的业务处理能力;缓存调度模块,基于LRU和MRU算法对全局的所有访问URL进行热度分类,从客户端发起的请求到达Nginx就能快速确定该请求是否属于热门缓存,而直接到SSD磁盘获取资源;统计模块,在Nginx内部对所有访问URL进行统计并汇总,定期向后端业务系统发送统计报告,使得我们可以对客户提供实时的流量统计查询服务,这也是服务计费的标准;


再说数据的安全和泄漏问题。安全性的解决主要是通过多样的备份机制,像云存储主要依托在不同服务器上实现动态的实时三备份,也就是说会自动搜寻用户的数据是否存在3份,如没有自动选取服务器生成,这种机制可以完全的保证数据的安全。数据泄漏是使用第三方云计算的最大忧虑,因为云计算的API开放性,决定了云计算服务在安全性上的隐患更加大。目前通用的解决办法是采用128位AES加密码保护,以及权限控制,但是其实目前还没有绝对的办法可以杜绝数据部署在云上的泄漏问题。云存储目前主要是托管用户的公开数据,及网站上本身提供给用户访问的数据。


二、快速

image.png

快速是互联网平台发展的基石,优秀的速度才能创造有利于增长的用户体验。但是传统的IDC部署方式下,受限于硬件规模和存储架构的影响,通常速度很难发挥。这时候云存储就能发挥作用了,其集群服务器部署的方式,能最大的发挥数据运算的效率。开发者在评估云存储服务的速度时,应该看看他们有没有全国分布的CDN加速网络,如果没有通常速度都无法保证,严格来说,云服务是需要具备CDN节点的。


再就是看这个云服务的CDN部署架构是否优良,这个对速度的影响非常大。云存储CDN架构采用各地方缓存节点、核心缓存层、中心数据机房,3层结构部署,前端智能DNS调度用户到该用户访问最快的节点,地方缓存节点会保持连接2个核心缓存机房做负载均衡及相互备用,避免单路网络问题。核心缓存机房通过多条线路互备到数据机房读取文件。


三、易用

云服务因为其弹性扩容的特点,大幅度降低了互联网平台的运维规划压力。但同时他也有可能需要做一些额外的对接开发,因此易用就非常重要。好的云服务会开放高度可用的API,让用户系统极容易与云平台对接。如果云平台的API不够优秀,会让开发者的对接成本以及后续维护成本都非常的高。最好的云服务,应该有一些基于云的处理功能,去帮助用户节省一些工作时间和成本。比如又拍云存储,我们做了10种缩略图自定义、文件防盗链、以及与各种第三方平台系统的对接插件,以使得用户易用性更高。


最后给大家一个建议,如何去选择云服务。我们知道亚马逊的云服务划分为EC2和S3两块,EC2专用于网站的计算,而S3专用于静态文件的存储。在国内目前还没有公司具备亚马逊这样的云服务能力,因此建议大家可以考虑把网站托管到云主机,而静态文件托管到云存储。而对于数据库这类有高要求的数据应用,还是建议大家使用托管的物理服务器,毕竟目前云主机的性能和稳定性方面仍有待观察。

相关实践学习
Serverless极速搭建Hexo博客
本场景介绍如何使用阿里云函数计算服务命令行工具快速搭建一个Hexo博客。
相关文章
|
存储 运维 数据挖掘
技术干货:腾讯云为什么选择磁带库?
随着全球冷数据的持续爆炸,以及磁带介质数据密度提升的巨大潜力,磁带库的前景充满想象力。这篇文章讲述了磁带库在腾讯大规模落地的技术故事。
1173 0
|
存储 运维 监控
阿里云对象存储 OSS 发布全球第一可用性 SLA 背后的技术体系
2020年6月,阿里云对象存储 OSS 通过十年积累的技术红利,将可用性 SLA(Service Level Agreement) 提升 10 倍,做到了全球第一的核心竞争力,是其他的云厂家的 10~20 倍,如下图所示。
1578 0
阿里云对象存储 OSS 发布全球第一可用性 SLA 背后的技术体系
|
5月前
|
存储 安全 数据管理
如何选择适合您业务的云存储提供商
【5月更文挑战第31天】在数字化商业环境中,选择合适的云存储提供商至关重要。考虑因素包括:提供商的可靠性与稳定性、数据安全性、性能、成本、扩展性及功能服务。例如,使用Python的boto3库与AWS交互,进行文件上传下载。此外,关注技术支持、合规性以及是否符合业务需求。全面评估后,明智决策能为企业的数据管理和业务发展提供有力保障。在决定前,建议进行充分调研、比较和试用。
67 0
|
存储 NoSQL 物联网
阿里云云存储
阿里云云存储自制脑图, 介绍了阿里云云存储(OSS\TableStore\NAS )、CDN 产品。 阿里云云存储(OSS\TableStore\NAS )包括对象存储(简称 OSS)适合互联网的海量数据,表格存储( Table Store),金融、社交、物联网等行业,有海量化结构化数据,请交给表格存储( Table Store)、文件存 储(NAS ),拥有海量的文件,交给文件存 储(NAS )即可。
181 0
阿里云云存储
|
存储 缓存 前端开发
又拍云存储自建CDN技术探秘
又拍云存储是一个提供文件快速存储及通过CDN系统快速分发至全国各地访问的综合型服务商,目前主要提供图片和音频文件为主的静态小文件服务。海量小文件存储一直是业界难题,而我们数据中心的存储系统就是一个大型分布式Key/Value数据库,可很好解决小文件的存储问题(业界也有不少开源的分布式存储系统可使用,本文不再详述)。但对于小文件访问依然无法取得很好的性能,尤其是面对海量访问的情况,访问压力呈几何级数增大,对此我们有必要在此基础上加入CDN服务,以降低海量访问对数据中心造成的压力(以我们监控数据分析得到的结果:使用CDN服务可降低98%的压力)。
241 0
|
存储 弹性计算 算法
利用大容量网盘onedrive配合公有云做你的nas及做站
本文关键字:onedrive打造你的网站图床大文件外链床,sync as network,网盘附件床,onemanager http解发
2332 0
利用大容量网盘onedrive配合公有云做你的nas及做站
|
对象存储
十年沉淀,阿里云发布全球领先的对象存储OSS可用性SLA
阿里云发布全球领先的对象存储OSS可用性SLA
1132 0
十年沉淀,阿里云发布全球领先的对象存储OSS可用性SLA
|
存储 运维 安全
【阿里云新品发布会】第32期:上云后,数据还安全吗? 基于OSS的云上统一数据保护2.0方案发布会
新产品、新版本、新技术、新功能、价格调整,评论在下方,下期更新,关注更多内容!
886 0
【阿里云新品发布会】第32期:上云后,数据还安全吗? 基于OSS的云上统一数据保护2.0方案发布会
|
存储 对象存储 数据安全/隐私保护
如何通过云存储打造一个省钱、稳定的图片站
相信很多做图片站和下载站的站长都有这样的感受:随着网站越做越大,这些图片和附件该如何放置,存在哪里好呢?阿里云对象存储OSS——你正确的选择!OSS + CDN+ URL签名防盗的完美组合,打造一个既省钱又安全又稳定的图片站!
5428 0
阿里云OSS同城冗余存储正式商业化,提供云上同城容灾能力
近日,阿里云正式发布OSS同城冗余存储产品。这是国内目前提供同城多AZ冗余部署能力覆盖最广的云上对象存储产品,可以实现云存储的同城双活,满足企业级客户对于“发生机房级灾难事件时数据不丢失,业务不中断”的需求。
2354 0