使用阿里云解决云上数据保存的挑战

本文涉及的产品
应用实时监控服务-可观测链路OpenTelemetry版,每月50GB免费额度
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
简介: 在数字化时代,数据成为企业重要资产,但快速增长的数据管理变得复杂。为此,作者选择了阿里云作为云上数据存储解决方案。阿里云凭借其高性能、高可靠和高安全的云存储服务,如对象存储OSS、文件存储NAS等,解决了数据保存问题。此外,阿里云的多副本和多机房策略确保了数据的可靠性和安全性,同时,丰富的存储产品线满足了不同场景的需求,帮助企业降低存储成本并提高数据访问效率。通过实施数据迁移、访问和备份恢复,作者成功优化了数据管理并期待未来与阿里云的更多合作。

在数字化时代的浪潮中,数据已成为企业最宝贵的资产之一。然而,随着业务的快速发展,数据的保存和管理变得日益复杂。面对这一挑战,我选择了阿里云作为我的云上数据存储解决方案。 124773.png

一、引言

随着信息技术的飞速发展,企业数据量呈现爆炸式增长。传统的数据存储方式已无法满足当前的需求,云存储技术的出现为企业提供了全新的解决方案。阿里云作为国内领先的云计算服务提供商,凭借其高性能、高可靠、高安全的云存储服务,成为了我解决云上数据保存问题的首选。

common_195_banner.png

二、选择阿里云的原因

  1. 高性能:阿里云提供的云存储服务具有极高的读写性能和访问速度,能够满足我对数据处理的实时性要求。
  2. 高可靠性:阿里云采用多副本、多机房等策略,确保数据的可靠性和可用性。即使在极端情况下,也能保证数据的完整性和安全性。
  3. 高安全性:阿里云提供了多种安全机制,如数据加密、访问控制等,确保我的数据在云端得到充分的保护。
  4. 丰富的产品线:阿里云提供了包括对象存储OSS、文件存储NAS、块存储EBS等在内的多种云存储产品,满足了我不同场景下的数据存储需求。

p63535.png

v2-4fd0e483685ff82324a748a674aca99a_r.png

上图左边是我们OSS系统模块的划分图,从上到下大致可以分为四层。

用户请求进来之后,首先会到达我们的负载均衡,也就是AliLB,AliLB是阿里自研的高性能的负载均衡产品,它是基于LVS原理的。

往下请求会来到业务层,在这一层主要是做协议的解析、各种各样的业务功能的实现。这两层我们都是一个无状态的设计。在这种无状态的服务里面如何做高可用的呢?我们会把它的部署按机架来打散并保证两个机架故障情况下,它的服务能力还是足够的。

再往下,请求就会来到索引层,索引层我们叫做KV,是一个Master Server结构。每个Server又根据字典序划分为多个分区,它的Master跟每个分区的Server都是采用Raft协议实现的一致性组。

底下就是存储服务盘古,它跟KV类似,也是一个Master Server的结构。区别是它的Server没有采用一致性组的架构,主要是性能考虑。另外在高可靠上是通过副本或者EC机制来做的。

在LRS产品里,阿里云整体的容灾设计目标是希望做到两个机架故障不影响服务的可用性和可靠性。

v2-e4b2cda6d18f01abd2a2567541ad4527_r.png

刚才已经提到了无状态服务,对有状态服务的话,他们的一致性组,我们都是采用五节点部署的。这五个节点会打散部署在至少五个机架上。这样显而易见:如果说故障两个机架,还是有多数节点存活,还可以提供服务。

数据方面,我们有两种数据的存放形式,有三副本,也有EC。三副本的话,只要做了机架打散,显然是可以实现两机架的容灾的。对于EC,我们也会保证它的校验块的数量大于等于二。同样也是做机架打散,能实现两个机架故障不影响可用性可靠性。

除了这些数据的分散方式,我们还做了非常多的其他的设计来保障高可用。比如数据分片是做全机群打散的,这样做有什么好处呢?如果一台服务器发生故障,如果做全打散的话,是可以利用这个集群里剩余的所有机器来并行的做数据修复,这样缩短了数据的重建时间,相应的也就提高了可靠性。

v2-cb2eae7c344d80f6c0fd5ba7bcf8aa68_r.png

另外,我们也会刚性的保留足够的复制带宽。所有的这些,包括集群水位,副本的配置,包括打散方式,还有复制带宽,我们都会用一个模型来去计算并且测试验证它的可靠性,保障设计达到12个9的可靠性。

三、实施过程

1.需求分析

在开始实施之前,我首先对自身的数据存储需求进行了深入的分析。包括数据的类型、规模、访问频率、安全要求等方面。通过需求分析,我明确了需要选择哪些阿里云云存储产品来满足我的需求。

2.产品选型

根据需求分析的结果,我选择了阿里云的对象存储OSS作为主要的云存储产品。OSS支持海量数据存储,具有高性能、高可靠、高安全等特点,非常适合我的数据存储需求。同时,我还选择了文件存储NAS作为辅助存储产品,用于存储一些需要频繁访问的文件。

3.数据迁移

在选择好云存储产品后,我开始进行数据的迁移工作。首先,我根据阿里云提供的迁移指南,准备了相关的工具和环境。然后,我将原有的数据按照一定的规则进行组织和打包,并通过网络传输到阿里云的对象存储OSS中。在迁移过程中,我使用了阿里云提供的加速传输工具,大大提高了数据迁移的效率和速度。

p486238.jpg

4.数据访问

在数据迁移完成后,我开始进行数据的访问和使用。阿里云的对象存储OSS提供了丰富的API和SDK,支持多种编程语言和开发框架。我根据自己的需求,选择了合适的API和SDK,编写了相应的代码来实现对数据的访问和操作。同时,我还利用阿里云的文件存储NAS来存储一些需要频繁访问的文件,并通过挂载到本地服务器的方式实现快速访问。

p486253.jpg

5.数据备份与恢复

为了保障数据的安全性和完整性,我还进行了数据备份和恢复的工作。阿里云的对象存储OSS提供了多版本控制和生命周期管理等功能,可以自动保存数据的历史版本和过期数据的删除。我根据自己的需求,配置了相应的生命周期规则,确保数据的备份和恢复得到充分的保障。

v2-585b08c0a2986905ea471ed2223bbcd3_r.png

四、效果与收益

通过使用阿里云的云存储服务,我成功解决了云上数据保存的问题,并获得了以下收益:

20200611124502306.png

  1. 提高数据安全性:阿里云提供了多种安全机制,确保我的数据在云端得到充分的保护。即使在极端情况下,也能保证数据的完整性和安全性。
  2. 提高数据访问效率:阿里云的对象存储OSS具有极高的读写性能和访问速度,能够满足我对数据处理的实时性要求。同时,文件存储NAS的挂载方式也实现了对文件的快速访问。
  3. 降低存储成本:通过使用阿里云的云存储服务,我避免了购买和维护昂贵的硬件设备,降低了存储成本。同时,阿里云还提供了按量计费的灵活方式,让我能够根据实际使用情况来调整存储资源的投入。
  4. 便于数据管理和扩展:阿里云的云存储服务提供了丰富的管理和扩展功能,如多版本控制、生命周期管理、跨区域复制等。这些功能让我能够更加方便地管理和扩展我的存储资源,满足不断变化的业务需求。

五、总结与展望

通过使用阿里云的云存储服务,我成功解决了云上数据保存的问题,并取得了显著的收益。在未来的发展中,我将继续深入探索阿里云的云存储技术和服务,不断优化我的数据存储方案,为企业的发展提供更加坚实的技术支撑。

CN1199475A_96197586.png

同时,我也相信阿里云将不断推出更加先进和完善的云存储产品和服务,为更多的企业带来更大的价值。




相关实践学习
基于ECS和NAS搭建个人网盘
本场景主要介绍如何基于ECS和NAS快速搭建个人网盘。
阿里云文件存储 NAS 使用教程
阿里云文件存储(Network Attached Storage,简称NAS)是面向阿里云ECS实例、HPC和Docker的文件存储服务,提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。 产品详情:https://www.aliyun.com/product/nas
相关文章
|
2月前
|
存储 数据采集 弹性计算
Codota的存储架构通过多种方式保障数据安全
Codota的存储架构通过多种方式保障数据安全
33 4
|
6月前
|
存储 安全 文件存储
云上文件存储:重塑数据存储与管理的新纪元
绿色节能:随着全球对环境保护和可持续发展的重视,未来的云上文件存储将更加注重绿色节能。云服务商将采用更加高效的硬件设备和节能技术降低能耗;同时还将通过优化存储资源的利用率和减少数据传输量等方式进一步降低能耗和碳排放。 强化安全性:面对日益严峻的网络安全威胁和数据保护需求,未来的云上文件存储将进一步加强安全性保障。云服务商将采用更加先进的加密技术和安全防护措施确保数据的安全性和隐私性;同时还将建立完善的安全管理体系和应急响应机制以应对各种安全事件和突发事件。 结语 云上文件存储作为数据存储与管理的新趋势,正以其独特的优势和应用价值引领着数据存储行业的变革。随着技术的不断进步和应用场景
152 0
|
6月前
|
存储 安全 容灾
云存储:重塑数据存储与访问的未来图景
加强数据加密:采用先进的加密算法对敏感数据进行加密处理,确保数据在传输和存储过程中的安全性。 实施访问控制:建立完善的访问控制机制,对用户身份进行验证和授权,防止未经授权的访问和数据泄露。 定期备份与恢复:定期对数据进行备份和恢复测试,确保在发生意外情况时
|
存储 运维 监控
带你读《云存储应用白皮书》之30:3. 在线教育数据存储解决方案
带你读《云存储应用白皮书》之30:3. 在线教育数据存储解决方案
289 0
|
存储 人工智能 达摩院
带你读《云存储应用白皮书》之40:2. 视频监控混合云存储解决方案
带你读《云存储应用白皮书》之40:2. 视频监控混合云存储解决方案
371 0
|
存储 人工智能 缓存
带你读《云存储应用白皮书》之33:6. 高性能计算存储在渲染行业的应用
带你读《云存储应用白皮书》之33:6. 高性能计算存储在渲染行业的应用
184 0
|
存储 数据采集 人工智能
带你读《云存储应用白皮书》之9:3. 智能与存储的交相辉映
带你读《云存储应用白皮书》之9:3. 智能与存储的交相辉映
208 0
|
存储 大数据 Serverless
带你读《云存储应用白皮书》之28:1. 影视数据存储与传输加速方案
带你读《云存储应用白皮书》之28:1. 影视数据存储与传输加速方案
256 0
|
存储 容灾 安全
【ESSD技术解读-总篇】 云上企业级存储——打开存储新维度,促进用户核心业务创新
将企业级存储和云的特点进行完美的融合是云上企业级存储的目标,它打开存储更多新的维度,在保障用户业务永续的同时,帮助用户更好的进行业务创新。本文属ESSD技术解读的总篇,总体介绍ESSD 云盘创新融合了云和企业级存储的特性,以服务为中心,为用户提供了更便捷、更智能的存储服务体验。
2530 0
|
存储 机器学习/深度学习 运维
数据湖,已成为海量数据存储与分析的重要承载方式(附白皮书下载)
在云计算和大数据时代,基于数据开展生产、运营、决策成为常态,根据Gartner报道,2019年数据基建方面的采购费用飙升到660亿美元,占据基础架构类软件费用的24%。数据的存储及应用体系是企业生态运转的中枢神经,数据湖已经成为海量数据存储与分析的重要承载方式。
3959 0
数据湖,已成为海量数据存储与分析的重要承载方式(附白皮书下载)