带你读《云存储应用白皮书》之10:1. 自研分布式存储技术

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
简介: 带你读《云存储应用白皮书》之10:1. 自研分布式存储技术

技术产品


一、强大的技术基因


1. 自研分布式存储技术


1十年磨一剑的飞天盘古


分布式存储因其支持块、文件、HDFS、对象多种协议的特性,具有较好的场景适应性。面向云计算的大规模分布式存储系统,往往需要历经纯软件技术架构、用户态技术架构,再到软硬一体全栈融合技术架构的发展阶段。


2008年问世以来,飞天盘古作为阿里巴巴集团、蚂蚁集团业务的数据存储平台,在存储技术的理解、分析、分类和抽象等方面持续创新,一方面为了适应硬件的迭代更新;另一方面还要满足大规模及复杂业务场景的存储需求,主要体现在四个方面,即开放分层的分布式存储软件、高性能存储网络、硬件适配性和硬件架构创新,以及深度软硬融合的闪存存储架构。


一个大规模、高性能、高可靠、高可用、可伸缩的分布式存储平台,不仅需要为对象存储、表格存储、块存储、文件存储等不同存储产品提供分布式持久化核心存储层,而且要为上层的大数据处理、数据库、中间件、日志分析、邮箱、搜索等基础服务提供底层数据存储服务。

 

image.png 

 

 

2稳定压倒一切


开放分层的软件架构是飞天盘古在系统架构演进上的重要实践经验。飞天盘古数据服务层从上到下分为飞天盘古服务层、飞天盘古分布式功能层、单机存储引擎层和软硬件一体化层。


飞天盘古分布式功能层是一个公共的基础核心,提供多副本文件(典型配置为三副本)及纠删码文件的文件语义,并支持Direct I/OBuffer I/O适应不同业务访问模式的需求。


分布式功能层采用分布式元数据管理,支持单集群的大规模及系统的可伸缩性;提供良好设计的异常处理机制及数据复制机制,保证节点异常的性能稳定性及数据可靠性;采用端到端的QoS保证业务运行的SLA;采用端到端的CRC校验保证数据传输和存储过程中的数据完整性;后台CRC校验机制保障数据持久存储的可靠性;支持快速介质与慢速介质构成的混合存储模式,达到性能与成本的均衡。


3性能是极致追求


开放分层架构具备定义稳定和良好的接口,有利于系统自身的快速迭代。不仅如此,飞天盘古针对不同的硬件特点及应用场景进行了深度的优化和设计,包括:


分布式元数据服务。增强整体系统的元数据服务器能力,支持海量文件规模、灵活伸缩扩展,并摒弃中心节点带来的不足,提升分布式存储的可靠性及性能。


自研的分布式一致性协议。对软硬件异常进行容错,在保证可靠性的基础之上提升性能。


分布式纠删码技术将数据冗余从典型的3份副本降低至1.5份副本以下。


全自研的用户态存储引擎支持NVMe SSDHDD介质,充分发挥NVMe的性能,保证后端存储的I/O延时在10us以内;通过用户态存储引擎挖掘HDD磁盘的吞吐带宽,比基于Ext4的存储引擎性能翻倍。


全链路SLA服务保证I/O的稳定性,通过异常节点探测算法、异步写追加等方法来增强端至端的I/O服务质量。


在网络互联方面,飞天盘古针对存储网络面临的低延时、高吞吐、CPU占用等问题,提出了新的存储网络协议及技术架构。具体包括用户态TCP协议栈Luna、增强型RoCERDMA over Converged Ethernet)、全自研RDMA网络协议及软硬一体技术架构。在规模化生产环境下,端至端I/O延时降低至100us以内,造就了全球性能第一的ESSD云盘。

相关文章
|
23天前
|
监控 算法 网络协议
|
1月前
|
人工智能 文字识别 Java
SpringCloud+Python 混合微服务,如何打造AI分布式业务应用的技术底层?
尼恩,一位拥有20年架构经验的老架构师,通过其深厚的架构功力,成功指导了一位9年经验的网易工程师转型为大模型架构师,薪资逆涨50%,年薪近80W。尼恩的指导不仅帮助这位工程师在一年内成为大模型架构师,还让他管理起了10人团队,产品成功应用于多家大中型企业。尼恩因此决定编写《LLM大模型学习圣经》系列,帮助更多人掌握大模型架构,实现职业跃迁。该系列包括《从0到1吃透Transformer技术底座》、《从0到1精通RAG架构》等,旨在系统化、体系化地讲解大模型技术,助力读者实现“offer直提”。此外,尼恩还分享了多个技术圣经,如《NIO圣经》、《Docker圣经》等,帮助读者深入理解核心技术。
SpringCloud+Python 混合微服务,如何打造AI分布式业务应用的技术底层?
|
2月前
|
人工智能 Kubernetes Cloud Native
深度对话 解锁阿里云分布式云原生技术落地新姿势
深度对话 解锁阿里云分布式云原生技术落地新姿势
深度对话 解锁阿里云分布式云原生技术落地新姿势
因为一个问题、我新学了一门技术 ElasticSearch 分布式搜索
这篇文章讲述了作者因为一个检索问题而学习了ElasticSearch技术,并分享了排查和解决ElasticSearch检索结果与页面展示不符的过程。
因为一个问题、我新学了一门技术 ElasticSearch 分布式搜索
|
3月前
|
存储 缓存 负载均衡
【PolarDB-X 技术揭秘】Lizard B+tree:揭秘分布式数据库索引优化的终极奥秘!
【8月更文挑战第25天】PolarDB-X是阿里云的一款分布式数据库产品,其核心组件Lizard B+tree针对分布式环境优化,解决了传统B+tree面临的数据分片与跨节点查询等问题。Lizard B+tree通过一致性哈希实现数据分片,确保分布式一致性;智能分区实现了负载均衡;高效的搜索算法与缓存机制降低了查询延迟;副本机制确保了系统的高可用性。此外,PolarDB-X通过自适应分支因子、缓存优化、异步写入、数据压缩和智能分片等策略进一步提升了Lizard B+tree的性能,使其能够在分布式环境下提供高性能的索引服务。这些优化不仅提高了查询速度,还确保了系统的稳定性和可靠性。
92 5
|
3月前
|
C# UED 定位技术
WPF控件大全:初学者必读,掌握控件使用技巧,让你的应用程序更上一层楼!
【8月更文挑战第31天】在WPF应用程序开发中,控件是实现用户界面交互的关键元素。WPF提供了丰富的控件库,包括基础控件(如`Button`、`TextBox`)、布局控件(如`StackPanel`、`Grid`)、数据绑定控件(如`ListBox`、`DataGrid`)等。本文将介绍这些控件的基本分类及使用技巧,并通过示例代码展示如何在项目中应用。合理选择控件并利用布局控件和数据绑定功能,可以提升用户体验和程序性能。
68 0
|
3月前
|
存储 负载均衡 中间件
构建可扩展的分布式数据库:技术策略与实践
【8月更文挑战第3天】构建可扩展的分布式数据库是一个复杂而具有挑战性的任务。通过采用数据分片、复制与一致性模型、分布式事务管理和负载均衡与自动扩展等关键技术策略,并合理设计节点、架构模式和网络拓扑等关键组件,可以构建出高可用性、高性能和可扩展的分布式数据库系统。然而,在实际应用中还需要注意解决数据一致性、故障恢复与容错性以及分布式事务的复杂性等挑战。随着技术的不断发展和创新,相信分布式数据库系统将在未来发挥更加重要的作用。
|
3月前
|
SQL 存储 分布式计算
神龙大数据加速引擎MRACC问题之RDMA技术帮助大数据分布式计算优化如何解决
神龙大数据加速引擎MRACC问题之RDMA技术帮助大数据分布式计算优化如何解决
59 0
|
3月前
|
存储 监控 开发者
分布式链路监控系统问题之系统拆分后链路追踪技术的问题如何解决
分布式链路监控系统问题之系统拆分后链路追踪技术的问题如何解决
|
4月前
|
数据采集 存储 NoSQL
Redis 与 Scrapy:无缝集成的分布式爬虫技术
Redis 与 Scrapy:无缝集成的分布式爬虫技术
下一篇
无影云桌面