服务器硬件及RAID配置实践

简介: 1、RAID磁盘阵列介绍2、创建RAID磁盘阵列

1、RAID


中文简称为独立冗余磁盘阵列


把多块独立的物理硬盘按不同的方式组合起来形成一个硬盘组(逻辑硬盘),从而提供比单个硬盘更高的存储性能和提供数据备份技术。


组成磁盘阵列的不同方式称为RAID级别,有:

RAID0,RAID1,RAID5,RAID6,RAID1+0


RAID 0(条带化存储):RAID0连续以位或字节为单位分割数据,并行读/写于多个磁盘上,因此具有很高的数据传输率,但它没有数据冗余。RAID0只是单纯地提高性能,并没有为数据的可靠性提供保证,而且其中的一个磁盘失效将影到所有数据。RAID0不能应用于数据安全性要求高的场合。


RAID 1(镜像存储):通过磁盘数据镜像实现数据冗余,在成对的独立磁盘上产生互为备份的数据。当原始数据繁忙时,可直接从镜像拷贝中读取数据,因此RAID1可以提高读取性能。RAID1是磁盘阵列中单位成本最高的,但提供了很高的数据安全性和可用性。当一个磁盘失效时,系统可以自动切换到镜像磁盘上读写,而不需要重组失效的数据。


RAID 5:N(N>=3)块盘组成阵列,一份数据产生N-1个条带,同时还有1份校验数据,共N份数据在N块盘上循环均衡存储N块盘同时读写,读性能很高,但由于有校验机制的问题,写性能相对不高(N-1)/N磁盘利用率可靠性高,允许坏1块盘,不影响所有数据。


RAID 6:N(N>=4)块盘组成阵列(N-2)/N磁盘利用率与RAID5相比,RAID6增加了第二个独立的奇偶校验信息块。两个独立的奇偶系统使用不同的算法,即使两块磁盘同时失效也不会影响数据的使用相对于RAID 5有更大的“写损因此写性能较差。


RAID1+0:(先做镜象,再做条带)N(偶数,N>=4)块盘两两镜像后,再组合成一个RAID0,N/2磁盘利用率。N/2块盘同写入,N块盘同时读取。性能高,可靠性高


RAID0+1:(先做条带,再做镜象)读写性能与RAID 10相同。安全性低于RAID 10

 

它们的利弊如图对比:

2387773-20210621190938722-937393341.png

 

 

2、创建软 RAID磁盘阵列步骤:


a)检查是否已安装mdadm软件包

 

rpm -q mdadm

yum install -y mdadm

 

 

b)使用fdisk工具将新磁盘设备/dev/sdb、/dev/sdc、/dev/sdd、/dev/sde划分出主分区sdb1、sdc1、sdd1、sde1,并且把分区类型的ID标记号改为fd

fdisk  /dev/sdb

fdisk  /dev/sdc

 

c)创建RAID

创建RAID5

 

mdadm -Cv /dev/md0 -l5 -n3 /dev/sd[bcd]1 -x1 /dev/sde1

-C:表示新建;

-v:显示创建过程中的详细信息。

/dev/md0:创建RAID5的名称。

-a yes:--auto,表示如果有什么设备文件没有存在的话就自动创建,可省略。

-l:指定RAID的级别,15表示创建RAID5。

-n:指定使用几块硬盘创建RAID,n3表示使用3块硬盘创建RAID。

/dev/sd[bcd]1:指定使用这3块磁盘分区去创建RAID。

-x:指定使用几块硬盘做RAID的热备用盘,x1表示保留1块空闲的硬盘作备用

/dev/sde1:指定用作于备用的磁盘

 

d)创建并挂载文件系统

mkfs -t xfs /dev/md0

mkdir /myraid

mount /dev/md0 /myraid/

df -Th

cp /etc/fstab  /etc/fstab.bak

vim /etc/fstab

/dev/md0  /myraid   xfs  defaults  0  0

 

e)实现故障恢复

mdadm  /dev/md0 -f /dev/sdb1   模拟/dev/sdb1故障

mdadm -D /dev/md0         查看发现sde1已顶替sdb1

 

常用选项:

mdadm命令常用选项:

-r:移除设备

-a:添加设备

-S:停止RAID

-A:启动RAID

 

 

f)创建 /etc/mdadm.conf 配置文件,方便管理软RAID的配置,比如启动、停止

echo 'DEVICE /dev/sdc1 /dev/sdb1 /dev/sdd1 /dev/sde1'> /etc/mdadm.conf

mdadm --detail --scan>> /etc/mdadm.conf

umount /dev/md0

mdadm -S /dev/md0

mdadm /As /dev/md0

-s:指查找 /etc/mdadm.conf 文件中的配置信息

 

 

 

详细步骤实例:

首先别打开虚拟机,先编辑虚拟机设置,添加4个硬盘,每块分40G,然后在开启虚拟机

2387773-20210621222709418-1809967553.png

 

 

 

 

连接xshell,查看是否已安装mdadm软件包

2387773-20210621223506251-3166404.png

 

 

 

 

接着创建分区并修改类型:

由于创建四个分区并修改分区类型比较繁琐 可以用如图操作:

2387773-20210621225757327-3553376.png

 

 

 

可以fdisk -l 查看一下 以创建并修改好分区类型

2387773-20210622085014311-2115488269.png

 

 

 

 

接下来创建RAID设备:

2387773-20210622100546476-340086149.png

 

 

可以查看一下设备进度,也可以自动刷新例子是5秒刷新一次:

2387773-20210622100943511-2108233660.png

 

 

 

2387773-20210622101016183-1348761439.png

 

 

2387773-20210622101053341-613613121.png

 

 

 

 

好了的话,我么可以在查看一下磁盘信息:

2387773-20210622101244553-608162351.png

 

 

最后我们创建并挂载:

2387773-20210622101326770-1294771196.png

 

 

 最终 我们模拟down掉一个设备,看备份是否能顶上来用:

2387773-20210622101420443-1072605193.png

 

2387773-20210622101430827-1079374136.png

 

 

 

 

 

 

 

 

相关文章
|
1天前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
14 4
|
2天前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
20 5
|
1天前
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
11 3
|
2天前
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
14 4
|
2天前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
16 4
|
2天前
|
Java Shell Maven
Flink-11 Flink Java 3分钟上手 打包Flink 提交任务至服务器执行 JobSubmit Maven打包Ja配置 maven-shade-plugin
Flink-11 Flink Java 3分钟上手 打包Flink 提交任务至服务器执行 JobSubmit Maven打包Ja配置 maven-shade-plugin
16 4
|
1天前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
8 2
|
1天前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
9 1
|
1天前
|
存储 数据采集 分布式计算
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
9 1
|
1天前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
11 0

热门文章

最新文章