【2018中国计算机大会】阿里云分布式存储架构师谈 自研分布式文件系统服务

简介: 10月27日下午,2018中国计算机大会上举办了主题“存储软硬件之国产化挑战与机遇”的技术论坛,一起探讨存储软硬件栈上的关键系统与技术的国产化发展道路。论坛上,阿里云分布式存储团队架构师黄硕针对存储软硬件国产化进行了《云上自研分布式文件系统服务的设计与实践》的报告。

10月27日下午,2018中国计算机大会上举办了主题“存储软硬件之国产化挑战与机遇”的技术论坛,一起探讨存储软硬件栈上的关键系统与技术的国产化发展道路。论坛上,阿里云分布式存储团队架构师黄硕针对存储软硬件国产化进行了《云上自研分布式文件系统服务的设计与实践》的报告。
image001

专家简介:
黄硕,阿里云分布式存储团队架构师,主要从事分布式文件系统上云、元数据管理、分布式一致性协议、高性能存储引擎与QoS等相关架构设计和研发工作。

image003

黄硕从云上分布式文件系统(DFS,Distributed File System)的价值出发,详述了存储发展的关键推动力——大数据分析,包括大数据分析的数据量增长前景、存储方案发展历程与现状等,对比了DFS服务相对于开源HDFS在性能、成本、灵活性、规模及稳定性方面的优势,同时阿里云DFS服务全面对接开源大数据生态,兼容HDFS API,确保用户实现系统平滑迁移。
image005
image007
image009
image011

阿里云的云上分布式文件系统(DFS)服务是极具竞争力的大数据存储方案,具有云化服务、开源大数据生态兼容、阿里存储中台“盘古”十年积累带来的多重优势,其自研内核“盘古”的技术革新保证了阿里云DFS服务在规模、性能、可靠性、技术先进性等方面的极大优势。黄硕针对“盘古”的整体架构、应用接口、数据多副本复制协议、高性能线程模型、单机存储引擎、用户态文件系统、存储设备上数据布局及盘古近期的演化方向进行了详细的解析。
image013
image015
image017

阿里云在专有云和公共云提供DFS服务(公共云即将公测上线),其架构具有多租户、安全、高可用、继承阿里存储中台(盘古)优势、统一等特点。
image019

了解更多阿里云产品请戳链接:
https://www.aliyun.com/product/list?utm_code=p_2018090501

点击了解“阿里云新品发布会频道”:
https://promotion.aliyun.com/ntms/act/cloud/product.html

阿里云总监系列课重磅上线!聚焦人工智能、弹性计算、数据库等热门领域,首次集齐12位阿里云技术高管,耗时半年精心打磨,从理论到实践倾囊相授,从零开始绘制技术大牛成长路径,限时直播课程免费报名中!欢迎戳“https://yq.aliyun.com/promotion/689”免费报名学习。
IMG_1996

相关文章
|
21天前
|
存储 缓存 算法
分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。
51 3
|
2月前
|
安全 应用服务中间件 API
微服务分布式系统架构之zookeeper与dubbo-2
微服务分布式系统架构之zookeeper与dubbo-2
|
11天前
|
运维 供应链 安全
SD-WAN分布式组网:构建高效、灵活的企业网络架构
本文介绍了SD-WAN(软件定义广域网)在企业分布式组网中的应用,强调其智能化流量管理、简化的网络部署、弹性扩展能力和增强的安全性等核心优势,以及在跨国企业、多云环境、零售连锁和制造业中的典型应用场景。通过合理设计网络架构、选择合适的网络连接类型、优化应用流量优先级和定期评估网络性能等最佳实践,SD-WAN助力企业实现高效、稳定的业务连接,加速数字化转型。
SD-WAN分布式组网:构建高效、灵活的企业网络架构
|
16天前
|
消息中间件 关系型数据库 Java
‘分布式事务‘ 圣经:从入门到精通,架构师尼恩最新、最全详解 (50+图文4万字全面总结 )
本文 是 基于尼恩之前写的一篇 分布式事务的文章 升级而来 , 尼恩之前写的 分布式事务的文章, 在全网阅读量 100万次以上 , 被很多培训机构 作为 顶级教程。 此文修改了 老版本的 一个大bug , 大家不要再看老版本啦。
|
20天前
|
存储 安全 API
单元化架构,分布式系统的新王!
【10月更文挑战第9天】
80 0
单元化架构,分布式系统的新王!
|
25天前
|
存储 缓存 数据处理
简述计算机X86架构
【10月更文挑战第3天】本文介绍了计算机的基本工作原理,重点阐述了CPU(中央处理器)及其组成部分:运算单元、数据单元和控制单元的功能。文中解释了CPU通过总线与内存等设备通信的过程,并详细描述了指令执行的步骤,包括指令获取、数据处理和结果存储。此外,还介绍了地址总线和数据总线的作用,以及段寄存器在内存管理中的应用。最后,提供了一些基本的CPU指令示例。文中配有多幅插图帮助理解。
|
2月前
|
数据采集 分布式计算 MaxCompute
MaxCompute 分布式计算框架 MaxFrame 服务正式商业化公告
MaxCompute 分布式计算框架 MaxFrame 服务于北京时间2024年09月27日正式商业化!
69 3
|
27天前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
41 0
|
1天前
|
缓存 监控 API
探索微服务架构中的API网关模式
随着微服务架构的兴起,API网关成为管理和服务间交互的关键组件。本文通过在线零售公司的案例,探讨了API网关在路由管理、认证授权、限流缓存、日志监控和协议转换等方面的优势,并详细介绍了使用Kong实现API网关的具体步骤。
11 3
|
2天前
|
运维 NoSQL Java
后端架构演进:微服务架构的优缺点与实战案例分析
【10月更文挑战第28天】本文探讨了微服务架构与单体架构的优缺点,并通过实战案例分析了微服务架构在实际应用中的表现。微服务架构具有高内聚、低耦合、独立部署等优势,但也面临分布式系统的复杂性和较高的运维成本。通过某电商平台的实际案例,展示了微服务架构在提升系统性能和团队协作效率方面的显著效果,同时也指出了其带来的挑战。
23 4

热门文章

最新文章