使用阿里云解决云上数据保存的挑战

本文涉及的产品
Serverless 应用引擎 SAE,800核*时 1600GiB*时
可观测链路 OpenTelemetry 版,每月50GB免费额度
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 在数字化时代,数据成为企业重要资产,但快速增长的数据管理变得复杂。为此,作者选择了阿里云作为云上数据存储解决方案。阿里云凭借其高性能、高可靠和高安全的云存储服务,如对象存储OSS、文件存储NAS等,解决了数据保存问题。此外,阿里云的多副本和多机房策略确保了数据的可靠性和安全性,同时,丰富的存储产品线满足了不同场景的需求,帮助企业降低存储成本并提高数据访问效率。通过实施数据迁移、访问和备份恢复,作者成功优化了数据管理并期待未来与阿里云的更多合作。

在数字化时代的浪潮中,数据已成为企业最宝贵的资产之一。然而,随着业务的快速发展,数据的保存和管理变得日益复杂。面对这一挑战,我选择了阿里云作为我的云上数据存储解决方案。 124773.png

一、引言

随着信息技术的飞速发展,企业数据量呈现爆炸式增长。传统的数据存储方式已无法满足当前的需求,云存储技术的出现为企业提供了全新的解决方案。阿里云作为国内领先的云计算服务提供商,凭借其高性能、高可靠、高安全的云存储服务,成为了我解决云上数据保存问题的首选。

common_195_banner.png

二、选择阿里云的原因

  1. 高性能:阿里云提供的云存储服务具有极高的读写性能和访问速度,能够满足我对数据处理的实时性要求。
  2. 高可靠性:阿里云采用多副本、多机房等策略,确保数据的可靠性和可用性。即使在极端情况下,也能保证数据的完整性和安全性。
  3. 高安全性:阿里云提供了多种安全机制,如数据加密、访问控制等,确保我的数据在云端得到充分的保护。
  4. 丰富的产品线:阿里云提供了包括对象存储OSS、文件存储NAS、块存储EBS等在内的多种云存储产品,满足了我不同场景下的数据存储需求。

p63535.png

v2-4fd0e483685ff82324a748a674aca99a_r.png

上图左边是我们OSS系统模块的划分图,从上到下大致可以分为四层。

用户请求进来之后,首先会到达我们的负载均衡,也就是AliLB,AliLB是阿里自研的高性能的负载均衡产品,它是基于LVS原理的。

往下请求会来到业务层,在这一层主要是做协议的解析、各种各样的业务功能的实现。这两层我们都是一个无状态的设计。在这种无状态的服务里面如何做高可用的呢?我们会把它的部署按机架来打散并保证两个机架故障情况下,它的服务能力还是足够的。

再往下,请求就会来到索引层,索引层我们叫做KV,是一个Master Server结构。每个Server又根据字典序划分为多个分区,它的Master跟每个分区的Server都是采用Raft协议实现的一致性组。

底下就是存储服务盘古,它跟KV类似,也是一个Master Server的结构。区别是它的Server没有采用一致性组的架构,主要是性能考虑。另外在高可靠上是通过副本或者EC机制来做的。

在LRS产品里,阿里云整体的容灾设计目标是希望做到两个机架故障不影响服务的可用性和可靠性。

v2-e4b2cda6d18f01abd2a2567541ad4527_r.png

刚才已经提到了无状态服务,对有状态服务的话,他们的一致性组,我们都是采用五节点部署的。这五个节点会打散部署在至少五个机架上。这样显而易见:如果说故障两个机架,还是有多数节点存活,还可以提供服务。

数据方面,我们有两种数据的存放形式,有三副本,也有EC。三副本的话,只要做了机架打散,显然是可以实现两机架的容灾的。对于EC,我们也会保证它的校验块的数量大于等于二。同样也是做机架打散,能实现两个机架故障不影响可用性可靠性。

除了这些数据的分散方式,我们还做了非常多的其他的设计来保障高可用。比如数据分片是做全机群打散的,这样做有什么好处呢?如果一台服务器发生故障,如果做全打散的话,是可以利用这个集群里剩余的所有机器来并行的做数据修复,这样缩短了数据的重建时间,相应的也就提高了可靠性。

v2-cb2eae7c344d80f6c0fd5ba7bcf8aa68_r.png

另外,我们也会刚性的保留足够的复制带宽。所有的这些,包括集群水位,副本的配置,包括打散方式,还有复制带宽,我们都会用一个模型来去计算并且测试验证它的可靠性,保障设计达到12个9的可靠性。

三、实施过程

1.需求分析

在开始实施之前,我首先对自身的数据存储需求进行了深入的分析。包括数据的类型、规模、访问频率、安全要求等方面。通过需求分析,我明确了需要选择哪些阿里云云存储产品来满足我的需求。

2.产品选型

根据需求分析的结果,我选择了阿里云的对象存储OSS作为主要的云存储产品。OSS支持海量数据存储,具有高性能、高可靠、高安全等特点,非常适合我的数据存储需求。同时,我还选择了文件存储NAS作为辅助存储产品,用于存储一些需要频繁访问的文件。

3.数据迁移

在选择好云存储产品后,我开始进行数据的迁移工作。首先,我根据阿里云提供的迁移指南,准备了相关的工具和环境。然后,我将原有的数据按照一定的规则进行组织和打包,并通过网络传输到阿里云的对象存储OSS中。在迁移过程中,我使用了阿里云提供的加速传输工具,大大提高了数据迁移的效率和速度。

p486238.jpg

4.数据访问

在数据迁移完成后,我开始进行数据的访问和使用。阿里云的对象存储OSS提供了丰富的API和SDK,支持多种编程语言和开发框架。我根据自己的需求,选择了合适的API和SDK,编写了相应的代码来实现对数据的访问和操作。同时,我还利用阿里云的文件存储NAS来存储一些需要频繁访问的文件,并通过挂载到本地服务器的方式实现快速访问。

p486253.jpg

5.数据备份与恢复

为了保障数据的安全性和完整性,我还进行了数据备份和恢复的工作。阿里云的对象存储OSS提供了多版本控制和生命周期管理等功能,可以自动保存数据的历史版本和过期数据的删除。我根据自己的需求,配置了相应的生命周期规则,确保数据的备份和恢复得到充分的保障。

v2-585b08c0a2986905ea471ed2223bbcd3_r.png

四、效果与收益

通过使用阿里云的云存储服务,我成功解决了云上数据保存的问题,并获得了以下收益:

20200611124502306.png

  1. 提高数据安全性:阿里云提供了多种安全机制,确保我的数据在云端得到充分的保护。即使在极端情况下,也能保证数据的完整性和安全性。
  2. 提高数据访问效率:阿里云的对象存储OSS具有极高的读写性能和访问速度,能够满足我对数据处理的实时性要求。同时,文件存储NAS的挂载方式也实现了对文件的快速访问。
  3. 降低存储成本:通过使用阿里云的云存储服务,我避免了购买和维护昂贵的硬件设备,降低了存储成本。同时,阿里云还提供了按量计费的灵活方式,让我能够根据实际使用情况来调整存储资源的投入。
  4. 便于数据管理和扩展:阿里云的云存储服务提供了丰富的管理和扩展功能,如多版本控制、生命周期管理、跨区域复制等。这些功能让我能够更加方便地管理和扩展我的存储资源,满足不断变化的业务需求。

五、总结与展望

通过使用阿里云的云存储服务,我成功解决了云上数据保存的问题,并取得了显著的收益。在未来的发展中,我将继续深入探索阿里云的云存储技术和服务,不断优化我的数据存储方案,为企业的发展提供更加坚实的技术支撑。

CN1199475A_96197586.png

同时,我也相信阿里云将不断推出更加先进和完善的云存储产品和服务,为更多的企业带来更大的价值。




相关实践学习
基于ECS和NAS搭建个人网盘
本场景主要介绍如何基于ECS和NAS快速搭建个人网盘。
阿里云文件存储 NAS 使用教程
阿里云文件存储(Network Attached Storage,简称NAS)是面向阿里云ECS实例、HPC和Docker的文件存储服务,提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。 产品详情:https://www.aliyun.com/product/nas
相关文章
|
2月前
|
存储 人工智能 数据管理
【云故事探索】基于阿里云助力地理产业2.0落地,实现遥感数据智能化管理
中国某遥感数据服务中心借助阿里云ECS、GPU和OSS服务,成功实现了地理信息产业升级。此前,中心面临数据管理混乱、服务响应慢等问题。通过阿里云的解决方案,构建了全生命周期管理的遥感数据平台,强化了自动化、智能化的数据生产能力,提升了数据服务的准确性和及时性。此外,平台还增强了数据共享,扩大了应用范围。未来,中心计划结合AI技术,探索地理信息3.0时代,利用阿里云的人工智能平台进一步提升数据管理和应用能力。
107 1
|
2月前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
23天前
|
人工智能 分布式计算 DataWorks
首批!阿里云 MaxCompute 完成中国信通院数据智能平台专项测试
2024年5月31日,在中国信通院组织的首批数据智能平台专项测试中,阿里云数据智能平台解决方案(MaxCompute、DataWorks、PAI)顺利完成测试。
100 5
首批!阿里云 MaxCompute 完成中国信通院数据智能平台专项测试
|
4天前
|
存储 数据挖掘 OLAP
阿里云 EMR Serverless StarRocks OLAP 数据分析场景解析
阿里云 E-MapReduce Serverless StarRocks 版是阿里云提供的 Serverless StarRocks 全托管服务,提供高性能、全场景、极速统一的数据分析体验,具备开箱即用、弹性扩展、监控管理、慢 SQL 诊断分析等全生命周期能力。内核 100% 兼容 StarRocks,性能比传统 OLAP 引擎提升 3-5 倍,助力企业高效构建大数据应用。本篇文章对阿里云EMR Serverless StarRocks OLAP 数据分析场景进行解析、存算分离架构升级以及 Trino 兼容,无缝替换介绍。
33 1
|
16天前
|
存储 监控 数据可视化
基于阿里云 OpenAPI 插件,让 Grafana 轻松实现云上数据可视化
本文旨在提供一个指导性的框架,帮助用户了解插件的安装、配置以及探索如何通过 Grafana 内的阿里云 OpenAPI 插件来对云上数据进行可视化和快速验证开发原型,加强数据可视化和云监控能力,助力开发速度。
|
14天前
|
Cloud Native 文件存储 数据库
《阿里云产品四月刊》—CPFS 智算版数据流动(1)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
|
2月前
|
存储 安全 数据挖掘
性能30%↑|阿里云AnalyticDB*AMD EPYC,数据分析步入Next Level
第4代 AMD EPYC加持,云原生数仓AnalyticDB分析轻松提速。
性能30%↑|阿里云AnalyticDB*AMD EPYC,数据分析步入Next Level
|
14天前
|
Cloud Native 文件存储 对象存储
《阿里云产品四月刊》—CPFS 智算版数据流动(3)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
《阿里云产品四月刊》—CPFS 智算版数据流动(3)
|
2月前
|
弹性计算 人工智能 安全
蚂蚁数科MAPPIC密态计算云平台入驻阿里云计算巢,打造云上密态计算服务
阿里云计算巢新添成员——蚂蚁数科的MAPPIC密态计算云平台,旨在为企业提供安全的大数据和模型密态计算服务,促进数据资产和模型资产的挖掘。MAPPIC是融合AI和BI的隐私保护平台,支持N+接入方式和弹性计算。通过阿里云计算巢,企业能快速创建密态计算集群,降低使用门槛,同时提升业务可靠性和审计追溯能力。双方合作将加速密态计算在云上的应用,应对数据隐私和安全挑战。
蚂蚁数科MAPPIC密态计算云平台入驻阿里云计算巢,打造云上密态计算服务
|
14天前
|
Cloud Native 对象存储 文件存储
《阿里云产品四月刊》—CPFS 智算版数据流动(2)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代