【盘点篇】从安全、稳定、高可用、高性能、智能等维度看阿里云存储 2018

本文涉及的产品
对象存储 OSS,20GB 3个月
文件存储 NAS,50GB 3个月
云备份 Cloud Backup,100GB 3个月
简介: 2008年,为了探索阿里巴巴集团大规模存储解决之道,阿里云存储自研飞天大规模的分布式存储引擎(盘古 1.0 ),从写下第一行代码开始,阿里云存储的进化之路正式开启。

2008年,为了探索阿里巴巴集团大规模存储解决之道,阿里云存储自研飞天大规模的分布式存储引擎(盘古 1.0 ),从写下第一行代码开始,阿里云存储的进化之路正式开启。

作为阿里云飞天系统里极其重要的一环,阿里云存储的使命不仅解决了双 11、双 12、蚂蚁金服等集团大规模业务对存储系统的超高要求和挑战,还通过 IDC 到云上的整体存储解决方案,打破了数据存储和流通的边界,满足不同企业的多样化需求,为企业数字化转型提供数据核心价值。

2018年,经过十年的技术发展和进化,飞天分布式存储引擎正式升级为盘古 2.0 , 具有软硬加速、极致性能、智能运维、海量规模、坚若磐石、广谱适应等六大特点,为阿里巴巴集团、阿里云智能业务的稳定运行提供强大的技术能力支撑。基于盘古 2.0 ,阿里云提供块存储、文件存储、对象存储、表格存储、HDFS 存储等存储基础服务、备份、容灾、日志服务、智能存储、在线/离线迁移、数据湖管理等存储数据服务和数据密集型行业解决方案。

可以说,阿里云存储已从技术、产品、服务等方面完成了全面进化。本文盘点了过去一年来,阿里云存储的关键性产品技术成果。

安全篇

阿里云始终将数据安全以及用户隐私作为第一原则。为此,阿里云围绕如何防范“数据不丢失”、“业务不中断”、“数据不外漏”“数据不丢失”等方面,不断夯实自身安全能力。

2018年6月,阿里云正式对外发布国内第一家云原生混合云备份服务和混合云容灾服务,提供云上备份与云容灾的保护能力,客户可实现灾备方案的分钟级部署,有效保护数据并实现业务的连续性。

HDR For Big Data 是国内首个支持混合云架构下 Hadoop 集群双活容灾方案,它可以部署于不同数据中心的Hadoop集群之间实现双向复制,解决了传统基于快照+distcp 复制技术环境下恢复点目标( Recovery Point Object ,简称 RPO )长达数小时甚至数天级别的难题,实现秒级 RPO 能力。

11953ccb77f3dc58cee1421ce6c062c6c9ca08f3

阿里云对象存储 OSS 的 WORM 特性,允许用户以“不可篡改、不可删除”的方式进行云上数据合规存储,OSS的数据加密功能涵盖线下本地加密 SDK、云上KMS 加密并支持用户以 YBOK 密钥进行加密,大大提升数据安全与合规能力。

NFS 传输加密是文件存储 NAS 新推出的基于 NFS 4.0 的传输加密功能,用户可以通过 NAS 提供的工具透明地使用 NFS 传输加密功能,充分保证用户数据在传输中的安全性。

稳定性篇

2018 年,盘古 2.0 作为阿里云智能、蚂蚁金服存储引擎,圆满通过双 11 和双 12 大促的考验,总数据量达到数百 PB ,稳定性经受住了严苛的考验。并支持了 ESSD 云盘的公测及并行文件存储 CPFS 在国家天文台 FAST 项目的输出。

过去一年,盘古团队与阿里云各技术、业务线团队一起攻克多项技术难题,让诸多新技术规模化落地同时,存储的整体稳定性得以持续提高。 SPDK QoS 技术的应用,实现数据通路 IO服务质量控制,帮助 ESSD 云盘有效控制 IO 长尾。

通过软硬一体设计,端到端的解决了 RDMA 网络协议上的弱点。同时建立了 RDMA 网络故障报警机制,有效提高 RDMA 网络全链路问题诊断响应速度,让阿里云存储成为业内屈指可数的大规模应用 RDMA 技术的存储厂商。

新一代数据动态迁移算法的研究成功,将数据迁移速度提升 3 倍,大幅缩短硬件故障对数据稳定性的影响时间。 AI 智能运维、故障预测的全面应用使得阿里云存储服务在规模不断增长的情况下,稳定性进一步提高。

高可用篇

阿里云国内首家发布同城 3AZ 部署能力的云上对象存储产品,可满足企业级客户对于”发生机房级灾难事件时数据不丢失,业务不中断“的需求。相比于建设线下同城容灾机房,OSS “同城区域冗余”存储提供 99.95% 的可用性SLA指标、12个9 数据可靠性和一键部署云上同城容灾服务能力。结合此前OSS发布了“跨区域复制”能力,可实现机房、同城、跨地域三级完整的容灾服务能力。

ae5404757e6f4ffe0840ddfb52e7938e592fd6e0

阿里云将块存储在公共云上多年积累的技术沉淀在 Apsara Block Storage 上,专为企业级客户量身打造。2018 年 6月,阿里云 Apsara Block Storage 产品正式发布,兼容多种类型的计算平台,构建高可用的大规模分布式块存储服务平台,可帮助客户轻松应对云时代下海量存储资源的敏捷存取需求。

高性能篇

2018 年6月,阿里云在推出了全新一代的超大规模、超高性能分布式块存储产品“ ESSD 云盘”,将单块云盘性能提升到 100 万 IOPS ,百微秒级别延迟的全新高度,并通过了应用规模超过数十个 PB ,史上最大的高并发 IO 挑战的 2018 双 11。

_

新一代分布式存储引擎盘古2.0在过去一年中攻克多项技术难题,让诸多新技术在多个业务场景上得到了大规模验证。如 RDMA 技术,相比 TCP 延迟降低几百us,完成了业界最大规模 RDMA 集群的稳定运行;如 SPDK 技术,削薄了存储软件栈,大幅提升了性能,帮助业务及时享受到新的软硬件相结合的技术红利;Run-to-completion 线程模型、全栈用户态 IO、无锁无线程切换等新架构使得软件栈 Latency 降低到了us级。

对象存储 OSS 提供的 Serverless 图片处理,首次大规模应用到双 11 的天猫宝贝主图处理场景。OSS 基于阿里云弹性计算提供的 FPGA 云服务,采用 HLS (high-level synthesis,高层次综合)技术自研了 Resize 和 WebP 编码模块,部署了业界最大规模 HLS 异构加速集群,使图片处理单机吞吐提升了 6 倍,时延下降10%-20%,做到了和软件无差异的压缩效率,优化了用户体验。

智能篇

基于盘古 2.0 提供的智能日志服务,针对 Ops(DevOps、SecOps、NetOps)常见问题提供智能分析、机器学习等算法帮助洞察问题,提升了开发与管理的效率。

阿里云智能存储以文档管理、图片管理和视频管理型发布等功能为云上文档、图片等数据提供一站式处理、分析、检索等管控,对不同的业务场景封装整合完整的处理能力,让数据快速流转,高效支持应用,为企业办公、在线内容管理平台、在线教育、手机相册等多种类型企业客户提供文档处理服务。

在数据智能化处理方面,对象存储 OSS 支持用户使用 SQL 查询文件的内容,使得数据提取更简单、更快速。并在多个计算场景不断优化,与多个开源社区和计算产品深度结合,采用计算存储分离设计,构建企业级存储的数据湖生态圈。

表格存储 TableStore 着力打造多元化的索引功能,SearchIndex 提供多维度条件组合检索能力,支持时序数据、元数据、轨迹数据等丰富应用场景下的数据管理; GlobalIndex 为用户提供数据的多维度组合、重排序等功能。借助多元索引能力,用户可快速查询、分析数据,提升数据的使用价值。

目录
相关文章
|
13天前
|
传感器 数据采集 监控
基于阿里云MQTT服务,设计一个STM32的智能光伏控制系统
这篇文章详细介绍了利用STM32F103C8T6单片机实现光伏发电系统的关键技术。全文分为四章:第一章阐述了光伏发电的背景、意义及应用场景,强调其在绿色能源领域的重要性。第二章介绍了如何通过STM32F103C8T6及光敏电阻和伺服电机实现光线追踪系统,详细描述了硬件选择、连接及使用HAL库编写的单片机程序。第三章讲解了最大功率点追踪(MPPT)的原理,并展示了如何利用STM32F103C8T6和相关传感器、DC-DC转换器实现MPPT功能。第四章描述了如何通过STM32F103C8T6与SIM7600CE 4G模块连接到阿里云MQTT服务,实现设备状态数据的远程传输和控制。本文提供了全面的硬
17494 2
|
14天前
|
人工智能 分布式计算 DataWorks
首批!阿里云 MaxCompute 完成中国信通院数据智能平台专项测试
2024年5月31日,在中国信通院组织的首批数据智能平台专项测试中,阿里云数据智能平台解决方案(MaxCompute、DataWorks、PAI)顺利完成测试。
85 5
首批!阿里云 MaxCompute 完成中国信通院数据智能平台专项测试
|
1天前
|
存储 关系型数据库 分布式数据库
PolarDB,阿里云的云原生分布式数据库,以其存储计算分离架构为核心,解决传统数据库的扩展性问题
【7月更文挑战第3天】PolarDB,阿里云的云原生分布式数据库,以其存储计算分离架构为核心,解决传统数据库的扩展性问题。此架构让存储层专注数据可靠性,计算层专注处理SQL,提升性能并降低运维复杂度。通过RDMA加速通信,多副本确保高可用性。资源可独立扩展,便于成本控制。动态添加计算节点以应对流量高峰,展示了其灵活性。PolarDB的开源促进了数据库技术的持续创新和发展。
12 2
|
1天前
|
存储 弹性计算 大数据
阿里云ECS在大数据处理中展现高效存储与计算实力,提供多样化实例规格适应不同需求
【7月更文挑战第3天】阿里云ECS在大数据处理中展现高效存储与计算实力,提供多样化实例规格适应不同需求,如大数据型实例配备高吞吐硬盘。与OSS集成实现大规模存储,通过Auto Scaling动态调整资源,确保任务高效运行。案例显示,使用ECS能提升处理速度、降低成本,为企业数据驱动创新提供有力支持。
15 1
|
3天前
|
弹性计算 运维 自然语言处理
阿里云操作系统智能助手OS Copilot评测
阿里云OS Copilot是专为Linux打造的智能助手,利用自然语言处理技术助力开发与运维。在线体验显示,它在系统监控与故障排除中表现出色,新手友好,提高工作效率。其自然语言问答功能尤受青睐,虽有潜力扩展至更多操作系统和功能,如与阿里云其他服务集成,将增强整体解决方案的智能化。作为运维工具,它已获得高评价并值得推荐。
|
10天前
|
弹性计算 人工智能 运维
体验评测报告:阿里云OS Copilot——智能运维的革新之旅
体验评测报告:阿里云OS Copilot——智能运维的革新之旅
263 3
|
20天前
|
自然语言处理 Serverless 测试技术
《AIGC+软件开发新范式》--08.通义灵码牵手阿里云函数计算 FC ,打造智能编码新体验
在AI 热度持续上升的当下,阿里云推出AI智能编码助手—通义灵码。通义灵码是一款基于阿里云通义代码大模型打造的智能编码助手,基于海量优秀开源代数据集和编程教科书训练,为开发者带来高效、流畅的编码体验。
|
1天前
|
存储 弹性计算 大数据
阿里云ECS以其强大的弹性计算与存储能力,为大数据处理提供了灵活、高效、成本优化的解决方案
阿里云ECS在大数据处理中发挥关键作用,提供多样化实例规格适应不同需求,如大数据型实例适合离线计算。ECS与OSS集成实现大规模存储,通过Auto Scaling动态调整资源,确保高效运算。案例显示,使用ECS处理TB级数据,速度提升3倍,成本降低40%,展现其在弹性、效率和成本优化方面的优势。结合阿里云生态系统,ECS助力企业数据驱动创新。
11 0
|
6天前
|
敏捷开发 测试技术 持续交付
阿里云云效产品使用问题之如何在组织层面按月、人员的维度(不按项目)统计工时
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
8天前
|
人工智能 安全 Go
使用阿里云服务网格 ASM LLMProxy 插件保障大模型用户数据安全
本文介绍如何使用ASM LLMProxy动态为LLM请求添加API_KEY、使用模式匹配以及私有大模型判别请求敏感信息并根据判别结果拒绝请求等功能,帮助用户提升LLM场景下的安全水位。