【盘点篇】从安全、稳定、高可用、高性能、智能等维度看阿里云存储 2018

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 2008年,为了探索阿里巴巴集团大规模存储解决之道,阿里云存储自研飞天大规模的分布式存储引擎(盘古 1.0 ),从写下第一行代码开始,阿里云存储的进化之路正式开启。

2008年,为了探索阿里巴巴集团大规模存储解决之道,阿里云存储自研飞天大规模的分布式存储引擎(盘古 1.0 ),从写下第一行代码开始,阿里云存储的进化之路正式开启。

作为阿里云飞天系统里极其重要的一环,阿里云存储的使命不仅解决了双 11、双 12、蚂蚁金服等集团大规模业务对存储系统的超高要求和挑战,还通过 IDC 到云上的整体存储解决方案,打破了数据存储和流通的边界,满足不同企业的多样化需求,为企业数字化转型提供数据核心价值。

2018年,经过十年的技术发展和进化,飞天分布式存储引擎正式升级为盘古 2.0 , 具有软硬加速、极致性能、智能运维、海量规模、坚若磐石、广谱适应等六大特点,为阿里巴巴集团、阿里云智能业务的稳定运行提供强大的技术能力支撑。基于盘古 2.0 ,阿里云提供块存储、文件存储、对象存储、表格存储、HDFS 存储等存储基础服务、备份、容灾、日志服务、智能存储、在线/离线迁移、数据湖管理等存储数据服务和数据密集型行业解决方案。

可以说,阿里云存储已从技术、产品、服务等方面完成了全面进化。本文盘点了过去一年来,阿里云存储的关键性产品技术成果。

安全篇

阿里云始终将数据安全以及用户隐私作为第一原则。为此,阿里云围绕如何防范“数据不丢失”、“业务不中断”、“数据不外漏”“数据不丢失”等方面,不断夯实自身安全能力。

2018年6月,阿里云正式对外发布国内第一家云原生混合云备份服务和混合云容灾服务,提供云上备份与云容灾的保护能力,客户可实现灾备方案的分钟级部署,有效保护数据并实现业务的连续性。

HDR For Big Data 是国内首个支持混合云架构下 Hadoop 集群双活容灾方案,它可以部署于不同数据中心的Hadoop集群之间实现双向复制,解决了传统基于快照+distcp 复制技术环境下恢复点目标( Recovery Point Object ,简称 RPO )长达数小时甚至数天级别的难题,实现秒级 RPO 能力。

11953ccb77f3dc58cee1421ce6c062c6c9ca08f3

阿里云对象存储 OSS 的 WORM 特性,允许用户以“不可篡改、不可删除”的方式进行云上数据合规存储,OSS的数据加密功能涵盖线下本地加密 SDK、云上KMS 加密并支持用户以 YBOK 密钥进行加密,大大提升数据安全与合规能力。

NFS 传输加密是文件存储 NAS 新推出的基于 NFS 4.0 的传输加密功能,用户可以通过 NAS 提供的工具透明地使用 NFS 传输加密功能,充分保证用户数据在传输中的安全性。

稳定性篇

2018 年,盘古 2.0 作为阿里云智能、蚂蚁金服存储引擎,圆满通过双 11 和双 12 大促的考验,总数据量达到数百 PB ,稳定性经受住了严苛的考验。并支持了 ESSD 云盘的公测及并行文件存储 CPFS 在国家天文台 FAST 项目的输出。

过去一年,盘古团队与阿里云各技术、业务线团队一起攻克多项技术难题,让诸多新技术规模化落地同时,存储的整体稳定性得以持续提高。 SPDK QoS 技术的应用,实现数据通路 IO服务质量控制,帮助 ESSD 云盘有效控制 IO 长尾。

通过软硬一体设计,端到端的解决了 RDMA 网络协议上的弱点。同时建立了 RDMA 网络故障报警机制,有效提高 RDMA 网络全链路问题诊断响应速度,让阿里云存储成为业内屈指可数的大规模应用 RDMA 技术的存储厂商。

新一代数据动态迁移算法的研究成功,将数据迁移速度提升 3 倍,大幅缩短硬件故障对数据稳定性的影响时间。 AI 智能运维、故障预测的全面应用使得阿里云存储服务在规模不断增长的情况下,稳定性进一步提高。

高可用篇

阿里云国内首家发布同城 3AZ 部署能力的云上对象存储产品,可满足企业级客户对于”发生机房级灾难事件时数据不丢失,业务不中断“的需求。相比于建设线下同城容灾机房,OSS “同城区域冗余”存储提供 99.95% 的可用性SLA指标、12个9 数据可靠性和一键部署云上同城容灾服务能力。结合此前OSS发布了“跨区域复制”能力,可实现机房、同城、跨地域三级完整的容灾服务能力。

ae5404757e6f4ffe0840ddfb52e7938e592fd6e0

阿里云将块存储在公共云上多年积累的技术沉淀在 Apsara Block Storage 上,专为企业级客户量身打造。2018 年 6月,阿里云 Apsara Block Storage 产品正式发布,兼容多种类型的计算平台,构建高可用的大规模分布式块存储服务平台,可帮助客户轻松应对云时代下海量存储资源的敏捷存取需求。

高性能篇

2018 年6月,阿里云在推出了全新一代的超大规模、超高性能分布式块存储产品“ ESSD 云盘”,将单块云盘性能提升到 100 万 IOPS ,百微秒级别延迟的全新高度,并通过了应用规模超过数十个 PB ,史上最大的高并发 IO 挑战的 2018 双 11。

_

新一代分布式存储引擎盘古2.0在过去一年中攻克多项技术难题,让诸多新技术在多个业务场景上得到了大规模验证。如 RDMA 技术,相比 TCP 延迟降低几百us,完成了业界最大规模 RDMA 集群的稳定运行;如 SPDK 技术,削薄了存储软件栈,大幅提升了性能,帮助业务及时享受到新的软硬件相结合的技术红利;Run-to-completion 线程模型、全栈用户态 IO、无锁无线程切换等新架构使得软件栈 Latency 降低到了us级。

对象存储 OSS 提供的 Serverless 图片处理,首次大规模应用到双 11 的天猫宝贝主图处理场景。OSS 基于阿里云弹性计算提供的 FPGA 云服务,采用 HLS (high-level synthesis,高层次综合)技术自研了 Resize 和 WebP 编码模块,部署了业界最大规模 HLS 异构加速集群,使图片处理单机吞吐提升了 6 倍,时延下降10%-20%,做到了和软件无差异的压缩效率,优化了用户体验。

智能篇

基于盘古 2.0 提供的智能日志服务,针对 Ops(DevOps、SecOps、NetOps)常见问题提供智能分析、机器学习等算法帮助洞察问题,提升了开发与管理的效率。

阿里云智能存储以文档管理、图片管理和视频管理型发布等功能为云上文档、图片等数据提供一站式处理、分析、检索等管控,对不同的业务场景封装整合完整的处理能力,让数据快速流转,高效支持应用,为企业办公、在线内容管理平台、在线教育、手机相册等多种类型企业客户提供文档处理服务。

在数据智能化处理方面,对象存储 OSS 支持用户使用 SQL 查询文件的内容,使得数据提取更简单、更快速。并在多个计算场景不断优化,与多个开源社区和计算产品深度结合,采用计算存储分离设计,构建企业级存储的数据湖生态圈。

表格存储 TableStore 着力打造多元化的索引功能,SearchIndex 提供多维度条件组合检索能力,支持时序数据、元数据、轨迹数据等丰富应用场景下的数据管理; GlobalIndex 为用户提供数据的多维度组合、重排序等功能。借助多元索引能力,用户可快速查询、分析数据,提升数据的使用价值。

相关实践学习
基于EBS部署高性能的MySQL服务
如果您通常是通过ECS实例部署MySQL来使用数据库服务,您可以参考本实验操作来搭建高性能的MySQL服务。本实验为您演示如何通过EBS ESSD云盘部署一个高性能的MySQL服务。
目录
相关文章
|
1月前
|
SQL 弹性计算 安全
购买阿里云活动内云服务器之后设置密码、安全组、增加带宽、挂载云盘教程
当我们通过阿里云的活动购买完云服务器之后,并不是立马就能使用了,还需要我们设置云服务器密码,配置安全组等基本操作之后才能使用,有的用户还需要购买并挂载数据盘到云服务器上,很多新手用户由于是初次使用阿里云服务器,因此并不知道这些设置的操作流程,下面给大家介绍下这些设置的具体操作流程。
购买阿里云活动内云服务器之后设置密码、安全组、增加带宽、挂载云盘教程
|
1月前
|
SQL 人工智能 数据挖掘
阿里云DMS,身边的智能化数据分析助手
生成式AI颠覆了人机交互的传统范式,赋予每个人利用AI进行低门槛数据分析的能力。Data Fabric与生成式AI的强强联合,不仅能够实现敏捷数据交付,还有效降低了数据分析门槛,让人人都能数据分析成为可能!阿里云DMS作为阿里云统一的用数平台,在2021年初就开始探索使用Data Fabric理念构建逻辑数仓来加速企业数据价值的交付,2023年推出基于大模型构建的Data Copilot,降低用数门槛,近期我们将Notebook(分析窗口)、逻辑数仓(Data Fabric)、Data Copilot(生成式AI)进行有机组合,端到端的解决用数难题,给用户带来全新的分析体验。
110126 118
阿里云DMS,身边的智能化数据分析助手
|
8天前
|
自然语言处理 Cloud Native Serverless
通义灵码牵手阿里云函数计算 FC ,打造智能编码新体验
近日,通义灵码正式进驻函数计算 FC WebIDE,让使用函数计算产品的开发者在其熟悉的云端集成开发环境中,无需再次登录即可使用通义灵码的智能编程能力,实现开发效率与代码质量的双重提升。
95435 2
|
14天前
|
云安全 数据采集 安全
阿里云安全产品,Web应用防火墙与云防火墙产品各自作用简介
阿里云提供两种关键安全产品:Web应用防火墙和云防火墙。Web应用防火墙专注网站安全,防护Web攻击、CC攻击和Bot防御,具备流量管理、大数据防御能力和简易部署。云防火墙是SaaS化的网络边界防护,管理南北向和东西向流量,提供访问控制、入侵防御和流量可视化。两者结合可实现全面的网络和应用安全。
阿里云安全产品,Web应用防火墙与云防火墙产品各自作用简介
|
14天前
|
弹性计算 安全
电子好书发您分享《阿里云第八代企业级ECS实例,为企业提供更安全的云上防护》
阿里云第八代ECS实例,搭载第五代英特尔至强处理器与飞天+CIPU架构,提升企业云服务安全与算力。[阅读详情](https://developer.aliyun.com/ebook/8303/116162?spm=a2c6h.26392459.ebook-detail.5.76bf7e5al1Zn4U) ![image](https://ucc.alicdn.com/pic/developer-ecology/cok6a6su42rzm_f422f7cb775444bbbfc3e61ad86800c2.png)
35 14
|
27天前
|
云安全 编解码
阿里云安全视频审核的最大文件大小为**200MB**。
阿里云安全视频审核的最大文件大小为**200MB**。
13 1
|
1月前
|
人工智能 IDE API
灵动指尖 :阿里云智能编码插件 更好的为IDE内置社区服务
灵动指尖 :阿里云智能编码插件 更好的为IDE内置社区服务
|
1月前
|
存储 人工智能 自然语言处理
“智能+”时代,深维智信如何借助阿里云打造AI内容生成系统
随着数字经济的发展,线上数字化远程销售模式越来越成为一种主流,销售流程也演变为线上视频会议、线下拜访等多种方式的结合。根据Gartner报告,到2025 年60%的B2B 销售组织将从基于经验和直觉的销售转变为数据驱动的销售,将销售流程、销售数据、销售分析合并形成一致的运营实践。
402 0
“智能+”时代,深维智信如何借助阿里云打造AI内容生成系统
|
1月前
|
云安全 人工智能 安全
|
1月前
|
存储 调度 块存储
十二年磨一剑:三代架构演进,打造高性能、低成本的块存储!
上周,全球计算机存储顶会USENIX FAST 2024 在美国加州圣克拉拉召开,继去年获得国内首个FAST最佳论文奖后,凭借在分布式块存储上的创新,阿里云新作再次斩获FAST大会最佳论文奖。这也是国内唯一一家连续两年获得FAST最佳论文奖的科技公司。
104611 104