运维工程师面试题总结-分布式存储系统Ceph17

简介: 个人学习

Ceph是一个统一的分布式存储系统,最早起源于Sage就读博士期间的工作(最早的成果于2004年发表),随后贡献给开源社区。其设计初衷是提供较好的性能、可靠性和可扩展性。在经过多年的发展之后,目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。

1.fastDFS的角色

trackerserver:跟踪服务器,主要做调度工作,起到均衡的作用;负责管理所有的storageserver和group,每个storage在启动后会连接Tracker,告知自己所属group等信息,并保持周期性心跳,storageserver:存储服务器,主要提供容量和备份服务;以group为单位,每个group内可以包含多台storageserver,数据互为备份,存储容量空间以group内容量最小的storage为准;建议group内的storageserver配置相同;以group为单位组织存储能够方便的进行应用隔离、负载均衡和副本数定制;缺点是group的容量受单机存储容量的限制,同时group内机器坏掉,数据恢复只能依赖group内其他机器重新同步。client:客户端

2.fastDFS多个group之间的存储方式

Roundrobin,所有group轮询使用Specifiedgroup,指定某个确定的groupLoadbalance,剩余存储空间较多的group优先

3.fastDFS的同步机制

由于storageserver上配置了所有的trackerserver,storageserver和trackerserver之间的通信是由storageserver主动发起的,storageserver为每个trackerserver启动一个线程进行通信;在通信过程中,若发现该trackerserver返回的本组storageserver列表比本机记录少,就会将该trackerserver上没有的storageserver同步给该tracker,这样的机制使得tracker之间是对等关系,数据保持一致。

4.fastDFS新增storage服务器数据同步

若新增storageserver或者其状态发生变化,trackerserver都会将storageserver列表同步给该组内所有storageserver;以新增storageserver为例,因为新加入的storageserver会主动连接trackerserver,trackerserver发现有新的storageserver加入,就会将该组内所有的storageserver返回给新加入的storageserver,并重新将该组的storageserver列表返回给该组内的其他storageserver。

5.ceph有哪几种接口

Object:有原生的API,而且也兼容Swift和S3的API。Block:支持精简配置、快照、克隆。File:Posix接口,支持快照。

6.ceph特性

集群可靠性

尽可能的保障数据不会丢失。数据写入过程中不会因为意外情况出现而造成数据丢失。降低不可控物理因素造成的数据丢失。例如死机、断电等不可控物理因素。

集群可扩展性

系统规模可扩展。存储容量可扩展。随着系统节点数增加的聚合数据访问带宽的线性扩展。

数据安全性

保障不可控物理因素(死机、断电等)自然因素的生产、数据不会丢失,并且支持数据自动回复,自动平衡等。保证系统规模扩大以后,运维难度保持在一个相对较低的水平。接口统一性同时支持三种存储:块存储、对象存储和文件存储。支持市面上所有流行的存储类型。

去除所有的中心节点,防止单点故障

7.ceph系统组件

RADOS(ReliableAutonomicObjectStore,可靠、自动、分布式对象存储)

OSD(对象存储设备)MON(Cephmonitor)

RBD(RADOS块设备、Ceph块设备)

RGW(RADOS网关、Ceph对象网关)

MDS(Ceph元数据服务器)

CephFS(Ceph文件系统)

8.CRUSH算法

CRUSH算法通过每个设备的权重来计算数据对象的分布。对象分布是由clustermap和datadistributionpolicy决定的。clustermap描述了可用存储资源和层级结构(比如有多少个机架,每个机架上有多少个服务器,每个服务器上有多少个磁盘)。datadistributionpolicy由placementrules组成。rule决定了每个数据对象有多少个副本,这些副本存储的限制条件(比如3个副本放在不同的机架中)。

9.CRUSH算法优点

任何组件都可以独立计算出每个object所在的位置(去中心化)。

只需要很少的元数据(clustermap),只要当删除添加设备时,这些元数据才需要改变。

如果想上手操作的同学们可以通过阿里云ecs服务器免费试用参与或低价购买专属于自己的服务器入口如下

入口一:新老同学免费试用

入口二:新人服务器特惠礼包

入口三:大学生版低价特惠服务器

入口四:云服务器首购特惠&免费试用

入口五:云服务器特惠1.5折起

入口六:低价特惠建站

申领云栖大会免费门票入口如下

入口七:云栖大会免费领票

目录
相关文章
|
3月前
|
运维 监控 NoSQL
分布式不是“分布痛”吗?说说那些年我踩过的运维坑和总结的血泪经验
分布式不是“分布痛”吗?说说那些年我踩过的运维坑和总结的血泪经验
126 0
|
6月前
|
Kubernetes 大数据 调度
Airflow vs Argo Workflows:分布式任务调度系统的“华山论剑”
本文对比了Apache Airflow与Argo Workflows两大分布式任务调度系统。两者均支持复杂的DAG任务编排、社区支持及任务调度功能,且具备优秀的用户界面。Airflow以Python为核心语言,适合数据科学家使用,拥有丰富的Operator库和云服务集成能力;而Argo Workflows基于Kubernetes设计,支持YAML和Python双语定义工作流,具备轻量化、高性能并发调度的优势,并通过Kubernetes的RBAC机制实现多用户隔离。在大数据和AI场景中,Airflow擅长结合云厂商服务,Argo则更适配Kubernetes生态下的深度集成。
813 34
|
2月前
|
存储 算法 安全
“卧槽,系统又崩了!”——别慌,这也许是你看过最通俗易懂的分布式入门
本文深入解析分布式系统核心机制:数据分片与冗余副本实现扩展与高可用,租约、多数派及Gossip协议保障一致性与容错。探讨节点故障、网络延迟等挑战,揭示CFT/BFT容错原理,剖析规模与性能关系,为构建可靠分布式系统提供理论支撑。
192 2
|
2月前
|
运维 监控 Kubernetes
分布式系统太大管不过来?运维效率提升的那些真招实料
分布式系统太大管不过来?运维效率提升的那些真招实料
79 3
|
2月前
|
机器学习/深度学习 算法 安全
新型电力系统下多分布式电源接入配电网承载力评估方法研究(Matlab代码实现)
新型电力系统下多分布式电源接入配电网承载力评估方法研究(Matlab代码实现)
|
4月前
|
数据采集 缓存 NoSQL
分布式新闻数据采集系统的同步效率优化实战
本文介绍了一个针对高频新闻站点的分布式爬虫系统优化方案。通过引入异步任务机制、本地缓存池、Redis pipeline 批量写入及身份池策略,系统采集效率提升近两倍,数据同步延迟显著降低,实现了分钟级热点追踪能力,为实时舆情监控与分析提供了高效、稳定的数据支持。
144 1
分布式新闻数据采集系统的同步效率优化实战
|
5月前
|
运维 监控 Linux
WGCLOUD运维平台的分布式计划任务功能介绍
WGCLOUD是一款免费开源的运维监控平台,支持主机与服务器性能监控,具备实时告警和自愈功能。本文重点介绍其计划任务功能模块,可统一管理Linux和Windows主机的定时任务。相比手动配置crontab或Windows任务计划,WGCLOUD提供直观界面,通过添加cron表达式、执行指令或脚本并选择主机,即可轻松完成任务设置,大幅提升多主机任务管理效率。
|
10月前
|
存储 运维 安全
盘古分布式存储系统的稳定性实践
本文介绍了阿里云飞天盘古分布式存储系统的稳定性实践。盘古作为阿里云的核心组件,支撑了阿里巴巴集团的众多业务,确保数据高可靠性、系统高可用性和安全生产运维是其关键目标。文章详细探讨了数据不丢不错、系统高可用性的实现方法,以及通过故障演练、自动化发布和健康检查等手段保障生产安全。总结指出,稳定性是一项系统工程,需要持续迭代演进,盘古经过十年以上的线上锤炼,积累了丰富的实践经验。
756 7
|
10月前
|
存储 分布式计算 Hadoop
基于Java的Hadoop文件处理系统:高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想,使用Java实现其核心功能MapReduce,解决海量数据处理问题。通过类比图书馆管理系统,详细解释了Hadoop的两大组件:HDFS(分布式文件系统)和MapReduce(分布式计算模型)。具体实现了单词统计任务,并扩展支持CSV和JSON格式的数据解析。为了提升性能,引入了Combiner减少中间数据传输,以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性,鼓励Java开发者学习Hadoop以拓展技术边界。
330 7
|
10月前
|
存储 监控 Java
招行面试: 分布式调度 设计,要考虑 哪些问题?
45岁资深架构师尼恩在读者交流群中分享了关于设计分布式调度框架时需考虑的关键问题。近期有小伙伴在面试招商银行时遇到了相关难题,因准备不足而失利。为此,尼恩系统化地梳理了以下几点核心内容,帮助大家在面试中脱颖而出,实现“offer直提”。

热门文章

最新文章