使用阿里云解决云上数据保存的挑战

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 在数字化时代,数据成为企业重要资产,但快速增长的数据管理变得复杂。为此,作者选择了阿里云作为云上数据存储解决方案。阿里云凭借其高性能、高可靠和高安全的云存储服务,如对象存储OSS、文件存储NAS等,解决了数据保存问题。此外,阿里云的多副本和多机房策略确保了数据的可靠性和安全性,同时,丰富的存储产品线满足了不同场景的需求,帮助企业降低存储成本并提高数据访问效率。通过实施数据迁移、访问和备份恢复,作者成功优化了数据管理并期待未来与阿里云的更多合作。

在数字化时代的浪潮中,数据已成为企业最宝贵的资产之一。然而,随着业务的快速发展,数据的保存和管理变得日益复杂。面对这一挑战,我选择了阿里云作为我的云上数据存储解决方案。 124773.png

一、引言

随着信息技术的飞速发展,企业数据量呈现爆炸式增长。传统的数据存储方式已无法满足当前的需求,云存储技术的出现为企业提供了全新的解决方案。阿里云作为国内领先的云计算服务提供商,凭借其高性能、高可靠、高安全的云存储服务,成为了我解决云上数据保存问题的首选。

common_195_banner.png

二、选择阿里云的原因

  1. 高性能:阿里云提供的云存储服务具有极高的读写性能和访问速度,能够满足我对数据处理的实时性要求。
  2. 高可靠性:阿里云采用多副本、多机房等策略,确保数据的可靠性和可用性。即使在极端情况下,也能保证数据的完整性和安全性。
  3. 高安全性:阿里云提供了多种安全机制,如数据加密、访问控制等,确保我的数据在云端得到充分的保护。
  4. 丰富的产品线:阿里云提供了包括对象存储OSS、文件存储NAS、块存储EBS等在内的多种云存储产品,满足了我不同场景下的数据存储需求。

p63535.png

v2-4fd0e483685ff82324a748a674aca99a_r.png

上图左边是我们OSS系统模块的划分图,从上到下大致可以分为四层。

用户请求进来之后,首先会到达我们的负载均衡,也就是AliLB,AliLB是阿里自研的高性能的负载均衡产品,它是基于LVS原理的。

往下请求会来到业务层,在这一层主要是做协议的解析、各种各样的业务功能的实现。这两层我们都是一个无状态的设计。在这种无状态的服务里面如何做高可用的呢?我们会把它的部署按机架来打散并保证两个机架故障情况下,它的服务能力还是足够的。

再往下,请求就会来到索引层,索引层我们叫做KV,是一个Master Server结构。每个Server又根据字典序划分为多个分区,它的Master跟每个分区的Server都是采用Raft协议实现的一致性组。

底下就是存储服务盘古,它跟KV类似,也是一个Master Server的结构。区别是它的Server没有采用一致性组的架构,主要是性能考虑。另外在高可靠上是通过副本或者EC机制来做的。

在LRS产品里,阿里云整体的容灾设计目标是希望做到两个机架故障不影响服务的可用性和可靠性。

v2-e4b2cda6d18f01abd2a2567541ad4527_r.png

刚才已经提到了无状态服务,对有状态服务的话,他们的一致性组,我们都是采用五节点部署的。这五个节点会打散部署在至少五个机架上。这样显而易见:如果说故障两个机架,还是有多数节点存活,还可以提供服务。

数据方面,我们有两种数据的存放形式,有三副本,也有EC。三副本的话,只要做了机架打散,显然是可以实现两机架的容灾的。对于EC,我们也会保证它的校验块的数量大于等于二。同样也是做机架打散,能实现两个机架故障不影响可用性可靠性。

除了这些数据的分散方式,我们还做了非常多的其他的设计来保障高可用。比如数据分片是做全机群打散的,这样做有什么好处呢?如果一台服务器发生故障,如果做全打散的话,是可以利用这个集群里剩余的所有机器来并行的做数据修复,这样缩短了数据的重建时间,相应的也就提高了可靠性。

v2-cb2eae7c344d80f6c0fd5ba7bcf8aa68_r.png

另外,我们也会刚性的保留足够的复制带宽。所有的这些,包括集群水位,副本的配置,包括打散方式,还有复制带宽,我们都会用一个模型来去计算并且测试验证它的可靠性,保障设计达到12个9的可靠性。

三、实施过程

1.需求分析

在开始实施之前,我首先对自身的数据存储需求进行了深入的分析。包括数据的类型、规模、访问频率、安全要求等方面。通过需求分析,我明确了需要选择哪些阿里云云存储产品来满足我的需求。

2.产品选型

根据需求分析的结果,我选择了阿里云的对象存储OSS作为主要的云存储产品。OSS支持海量数据存储,具有高性能、高可靠、高安全等特点,非常适合我的数据存储需求。同时,我还选择了文件存储NAS作为辅助存储产品,用于存储一些需要频繁访问的文件。

3.数据迁移

在选择好云存储产品后,我开始进行数据的迁移工作。首先,我根据阿里云提供的迁移指南,准备了相关的工具和环境。然后,我将原有的数据按照一定的规则进行组织和打包,并通过网络传输到阿里云的对象存储OSS中。在迁移过程中,我使用了阿里云提供的加速传输工具,大大提高了数据迁移的效率和速度。

p486238.jpg

4.数据访问

在数据迁移完成后,我开始进行数据的访问和使用。阿里云的对象存储OSS提供了丰富的API和SDK,支持多种编程语言和开发框架。我根据自己的需求,选择了合适的API和SDK,编写了相应的代码来实现对数据的访问和操作。同时,我还利用阿里云的文件存储NAS来存储一些需要频繁访问的文件,并通过挂载到本地服务器的方式实现快速访问。

p486253.jpg

5.数据备份与恢复

为了保障数据的安全性和完整性,我还进行了数据备份和恢复的工作。阿里云的对象存储OSS提供了多版本控制和生命周期管理等功能,可以自动保存数据的历史版本和过期数据的删除。我根据自己的需求,配置了相应的生命周期规则,确保数据的备份和恢复得到充分的保障。

v2-585b08c0a2986905ea471ed2223bbcd3_r.png

四、效果与收益

通过使用阿里云的云存储服务,我成功解决了云上数据保存的问题,并获得了以下收益:

20200611124502306.png

  1. 提高数据安全性:阿里云提供了多种安全机制,确保我的数据在云端得到充分的保护。即使在极端情况下,也能保证数据的完整性和安全性。
  2. 提高数据访问效率:阿里云的对象存储OSS具有极高的读写性能和访问速度,能够满足我对数据处理的实时性要求。同时,文件存储NAS的挂载方式也实现了对文件的快速访问。
  3. 降低存储成本:通过使用阿里云的云存储服务,我避免了购买和维护昂贵的硬件设备,降低了存储成本。同时,阿里云还提供了按量计费的灵活方式,让我能够根据实际使用情况来调整存储资源的投入。
  4. 便于数据管理和扩展:阿里云的云存储服务提供了丰富的管理和扩展功能,如多版本控制、生命周期管理、跨区域复制等。这些功能让我能够更加方便地管理和扩展我的存储资源,满足不断变化的业务需求。

五、总结与展望

通过使用阿里云的云存储服务,我成功解决了云上数据保存的问题,并取得了显著的收益。在未来的发展中,我将继续深入探索阿里云的云存储技术和服务,不断优化我的数据存储方案,为企业的发展提供更加坚实的技术支撑。

CN1199475A_96197586.png

同时,我也相信阿里云将不断推出更加先进和完善的云存储产品和服务,为更多的企业带来更大的价值。




相关实践学习
基于ECS和NAS搭建个人网盘
本场景主要介绍如何基于ECS和NAS快速搭建个人网盘。
阿里云文件存储 NAS 使用教程
阿里云文件存储(Network Attached Storage,简称NAS)是面向阿里云ECS实例、HPC和Docker的文件存储服务,提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。 产品详情:https://www.aliyun.com/product/nas
相关文章
|
1月前
|
SQL 人工智能 数据挖掘
阿里云DMS,身边的智能化数据分析助手
生成式AI颠覆了人机交互的传统范式,赋予每个人利用AI进行低门槛数据分析的能力。Data Fabric与生成式AI的强强联合,不仅能够实现敏捷数据交付,还有效降低了数据分析门槛,让人人都能数据分析成为可能!阿里云DMS作为阿里云统一的用数平台,在2021年初就开始探索使用Data Fabric理念构建逻辑数仓来加速企业数据价值的交付,2023年推出基于大模型构建的Data Copilot,降低用数门槛,近期我们将Notebook(分析窗口)、逻辑数仓(Data Fabric)、Data Copilot(生成式AI)进行有机组合,端到端的解决用数难题,给用户带来全新的分析体验。
110508 119
阿里云DMS,身边的智能化数据分析助手
|
1月前
|
关系型数据库 MySQL 数据挖掘
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
DTS 作为阿里云核心的数据交互引擎,以其高效的实时数据流处理能力和广泛的数据源兼容性,为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。阿里云数据库 SelectDB 通过与 DTS 联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务,一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库,迁移或同步至阿里云数据库 SelectDB 的实例中,帮助企业在短时间内完成数据迁移或同步,并即时获得深度洞察。
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
|
1月前
|
Apache 流计算 OceanBase
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
本文介绍了如何将数据从 OceanBase 迁移到阿里云数据库 SelectDB 内核版 Apache Doris。提供 3 种数据同步方法 1. 使用 DataX,下载 DataX 并编写配置文件,通过 OceanBaseReader 和 DorisWriter 进行数据迁移。 2. 利用 Apache Doris 的 Catalog功 能,将 OceanBase 表映射到 Doris 并插入数据。 3. 通过Flink CDC,设置 OceanBase 环境,配置 Flink 连接器,实现实时数据同步。
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
|
1月前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
828 2
|
1月前
|
存储 人工智能 数据管理
【云故事探索】基于阿里云助力地理产业2.0落地,实现遥感数据智能化管理
中国某遥感数据服务中心借助阿里云ECS、GPU和OSS服务,成功实现了地理信息产业升级。此前,中心面临数据管理混乱、服务响应慢等问题。通过阿里云的解决方案,构建了全生命周期管理的遥感数据平台,强化了自动化、智能化的数据生产能力,提升了数据服务的准确性和及时性。此外,平台还增强了数据共享,扩大了应用范围。未来,中心计划结合AI技术,探索地理信息3.0时代,利用阿里云的人工智能平台进一步提升数据管理和应用能力。
96 1
|
1月前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
1月前
|
机器学习/深度学习 存储 分布式计算
机器学习PAI常见问题之DLC的数据写入到另外一个阿里云主账号的OSS中如何解决
PAI(平台为智能,Platform for Artificial Intelligence)是阿里云提供的一个全面的人工智能开发平台,旨在为开发者提供机器学习、深度学习等人工智能技术的模型训练、优化和部署服务。以下是PAI平台使用中的一些常见问题及其答案汇总,帮助用户解决在使用过程中遇到的问题。
|
4天前
|
人工智能 分布式计算 DataWorks
首批!阿里云完成中国信通院数据智能平台专项测试
2024年5月31日,在中国信通院组织的首批数据智能平台专项测试中,阿里云数据智能平台解决方案(MaxCompute、DataWorks、PAI)顺利完成测试。
52 5
首批!阿里云完成中国信通院数据智能平台专项测试
|
27天前
|
存储 安全 数据挖掘
性能30%↑|阿里云AnalyticDB*AMD EPYC,数据分析步入Next Level
第4代 AMD EPYC加持,云原生数仓AnalyticDB分析轻松提速。
性能30%↑|阿里云AnalyticDB*AMD EPYC,数据分析步入Next Level
|
7天前
|
SQL 弹性计算 API
云服务器 ECS产品使用问题之如何通过API调用阿里云服务器上SQL Server数据库中的数据
云服务器ECS(Elastic Compute Service)是各大云服务商阿里云提供的一种基础云计算服务,它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。