解析Linux环境下RAID 6的Q校验算法

简介:

【前言】

   RAID为廉价磁盘冗余阵列(Redundant Array of Inexpensive Disks),RAID技术将一个个单独的磁盘以不同的组合方式形成一个逻辑硬盘,从而提高了磁盘读取的性能和数据的安全性。不同的组合方式用RAID级别来标识,常见RAID的级别有0、1、01、10、5、6等等。具体实现的数据存储的原理请参考相关文章。本章主要概述Linux环境下RAID 6级别的存储原理。Linux环境下配置RAID的命令是“mdadm”,如果不知道该命令如何使用请参考文章《Linux系统中实现RAID卷详解》。


【RAID 6概述】

   RAID 6是指带有两种分布存储的奇偶校验码(既P和Q)的独立硬盘结构。与RAID 5相比,RAID 6增加了第二个独立校验码(Q)信息块,两个独立的奇偶校验系统使用不同的算法,数据的可靠性非常高,即使两块硬盘同时失效也不会影响数据的使用,主要是用于要求数据绝对安全的场合。如下图:

wKiom1LbXrTj3w9zAADou_pfCsM413.jpg

上图中Q为RAID 6的第二个校验信息块,采用的是非常复杂的“伽罗华域”算法,稍后会讲到。


【RAID 6的P校验概述】

   其实RAID 6的P校验和RAID 5的校验是一样的,都是采用的“异或”运算。异或运算符的原则就是相同为0,不同为1的。在RAID 5的环境中只能掉一块硬盘,但是RAID 6在RAID 5的基础上添加了Q校验,因此RAID 6支持同时掉两块盘。异或运算如下:

P = A + B + C = A xor B xor C

A = P - B - C = P xor B xor C

注意:上述的加减法都是异或运算。


【RAID 6的Q校验概述】

   说到Q校验就有点复杂了,它采用上面所提到的“伽罗华域”算法。“伽罗华域”实际上就是“0-255”的一个有限域GF(2^8),在GF(2^8)内不管是是加、减、乘、除都不会超过这个范围。并且,加减法可逆,乘除法可逆,而且计算的值在GF(2^8)内是唯一的。注意:此处提到的加、减、乘、除法不是日常使用的加减乘除,而是“伽罗华域”内的运算。在GF(2^8)中,如果2的n次方大于某个值(本原多项式)就会对该值(本原多项式)取余,结果又会返回到GF(2^8)中。因此,保证了2^0到2^255的结果值在GF(2^8)内是唯一的。

在GF(2^8)中一共有16个本原多项式,分别如下:

1     x8+x7+x6+x5+x4+x2+1              1 1111 0101 = 0x1F5  

2     x8+x7+x6+x5+x2+x+1               1 1110 0111 = 0x1E7

3     x8+x7+x6+x3+x2+x+1               1 1100 1111 = 0x1CF

4     x8+x7+x6+x+1                     1 1100 0011 = 0x1C3

5     x8+x7+x5+x3+1                    1 1010 1001 = 0x1A9

6     x8+x7+x3+x2+1                    1 1000 1101 = 0x18D

7     x8+x7+x2+x+1                     1 1000 0111 = 0x187

8     x8+x6+x5+x4+1                    1 0111 0001 = 0x171

9     x8+x6+x5+x3+1                    1 0110 1001 = 0x169

10    x8+x6+x5+x2+1                    1 0110 0101 = 0x165

11    x8+x6+x5+x+1                     1 0110 0011 = 0x163

12    x8+x6+x4+x3+x2+x+1               1 0101 1111 = 0x15F

13    x8+x6+x3+x2+1                    1 0100 1101 = 0x14D

14    x8+x5+x3+x2+1                    1 0010 1101 = 0x12D

15    x8+x5+x3+x+1                     1 0010 1011 = 0x12B

16    x8+x4+x3+x2+1                    1 0001 1101 = 0x11D

RAID 6常用的本原多项式为0X11D,既上列中最后一个。Linux 环境中的RAID 6也是如此。

好了回到Q校验上,Q校验和P校验结合正好组成了一个二元一次方程,K1、K2、K3为GF(2^8)中多项式的数值。

P = A + B + C

Q = A*K1 + B*K2 + C*K3


【伽罗华域的乘除法运算】

   伽罗华域中的加减法也是异或运算,所以就不做详细解释了,重点解释一下乘除法。通过上面的Q校验知道Q校验的生成需要伽罗华域中的乘法运算,计算乘法运算是一件非常复杂的事情,最好的解决办法就是将GF(2^8)中所有多项式的值生成表格,通过查表得知乘法运算的值。

1、生成正表GFILOG

通过下表的方法生成正表GFILOG,注意:此表的本原多项式为0X11D。

wKiom1LbfKCRRFRvAAGoGmYYD3A702.jpg

如下:是正表GFILOG

wKioL1LbfM7C1mdoAAG64i_A9r0398.jpg

2、生成反表GFLOG

   有了正向变换表,要得到逆向表就很简单了,把正向中的表变换值做为索引,在把正向表中的索引作为值就OK了。如下表:

wKiom1LbfmXSY32YAAHLu-fPL7g224.jpg

3、计算乘除法运算(查表法)

乘法:A * K1 = GFILOG[(GFLOG[A]+GFLOG[K1]) mod 255];

除法:A / K1 = GFILOG[(GFLOG[A]-GFLOG[K1]+255) mod 255];

现在知道了伽罗华域的乘除法,那么我们计算Q校验就方便了许多。


【根据Q校验生成丢失的数据】

当RAID 6中坏掉两块磁盘,那该如何生成丢失的数据呢?用RAID 6的一个条带举例说明。

1、如果某个条带中丢失的两块数据是P和Q,那么正好,数据没有丢失,正常提取即可。


2、如果某个条带中丢失的两块数据是P和A,那么可以根据Q校验计算出A的数据。

P = A*K1 + B*K2 + C*K3

A*K1 = P + B*K2 + C*K3

A = (P + B*K2 + C*K3)/ K1   //注:K1可以同过查表获取


3、如果某个条带中丢失的两块数据是Q和A,那么可以根据校验P计算出A的数据。

P = A + B + C

A = P + B + C


4、如果某个条带中丢失的两块数据是A和B,那么可以根据校验P和Q计算出A和B的数据。

P = A + B + C

Q =  A*K1 + B*K2 + C*K3

A = P + B + C

Q = (P + B + C)*K1 + B*K2 +C*K3

Q = P*K1 + B*K1 + C*K1 + B*K2 + C*K3

Q = P*K1 + C*K1 + C*K3 + B*K1 + B*K2

Q + P*K1 + C*K1 + C*K3 = (K1+K2) * B

B = ( Q + P*K1 + C*K1 + C*K3) / (K1+K2)

计算出B的值以后,再根据P校验和计算出A的值就容易很多了。

A = P + B + C


【Linux环境下的RAID 6】

   根据前的内容已经知道RAID 6的大致原理了。因为伽罗华域的本原多项式有16种,因此RAID 6的种类有很多,再加上K值的不固定。因此计算某个RAID 6的Q校验值会变的很复杂。不过Linux环境下的RAID 6的K值经过测试,其值根据够成RAID 6阵列的磁盘数,从本原多项式0X11D的开始取(RAID 6总磁盘数 -2)个多项式的值作为K的值。




本文转自yun5277 51CTO博客,原文链接:http://blog.51cto.com/dengqi/1352919,如需转载请自行联系原作者
相关文章
|
3月前
|
传感器 机器学习/深度学习 监控
【路径规划】一种越野环境下车辆驾驶风险规避运动规划算法(Matlab代码实现)
【路径规划】一种越野环境下车辆驾驶风险规避运动规划算法(Matlab代码实现)
|
10月前
|
存储 算法 安全
.NET 平台 SM2 国密算法 License 证书生成深度解析
授权证书文件的后缀通常取决于其编码格式和具体用途。本文档通过一个示例程序展示了如何在 .NET 平台上使用国密 SM2 算法生成和验证许可证(License)文件。该示例不仅详细演示了 SM2 国密算法的实际应用场景,还提供了关于如何高效处理大规模许可证文件生成任务的技术参考。通过对不同并发策略的性能测试,开发者可以更好地理解如何优化许可证生成流程,以满足高并发和大数据量的需求。 希望这段描述更清晰地传达了程序的功能和技术亮点。
1125 14
.NET 平台 SM2 国密算法 License 证书生成深度解析
|
5月前
|
机器学习/深度学习 存储 算法
强化学习算法基准测试:6种算法在多智能体环境中的表现实测
本文系统研究了多智能体强化学习的算法性能与评估框架,选用井字棋和连珠四子作为基准环境,对比分析Q-learning、蒙特卡洛、Sarsa等表格方法在对抗场景中的表现。实验表明,表格方法在小规模状态空间(如井字棋)中可有效学习策略,但在大规模状态空间(如连珠四子)中因泛化能力不足而失效,揭示了向函数逼近技术演进的必要性。研究构建了标准化评估流程,明确了不同算法的适用边界,为理解强化学习的可扩展性问题提供了实证支持与理论参考。
245 0
强化学习算法基准测试:6种算法在多智能体环境中的表现实测
|
7月前
|
Unix Linux
对于Linux的进程概念以及进程状态的理解和解析
现在,我们已经了解了Linux进程的基础知识和进程状态的理解了。这就像我们理解了城市中行人的行走和行为模式!希望这个形象的例子能帮助我们更好地理解这个重要的概念,并在实际应用中发挥作用。
141 20
|
7月前
|
Ubuntu Linux
"unzip"命令解析:Linux下如何处理压缩文件。
总的来说,`unzip`命令是Linux系统下一款实用而方便的ZIP格式文件处理工具。本文通过简明扼要的方式,详细介绍了在各类Linux发行版上安装 `unzip`的方法,以及如何使用 `unzip`命令进行解压、查看和测试ZIP文件。希望本文章能为用户带来实际帮助,提高日常操作的效率。
912 12
|
8月前
|
Linux
Linux命令的基本格式解析
总的来说,Linux命令的基本格式就像一个食谱,它可以指导你如何使用你的计算机。通过学习和实践,你可以成为一个真正的“计算机厨师”,创造出各种“美味”的命令。
195 15
|
8月前
|
存储 Linux
Linux内核中的current机制解析
总的来说,current机制是Linux内核中进程管理的基础,它通过获取当前进程的task_struct结构的地址,可以方便地获取和修改进程的信息。这个机制在内核中的使用非常广泛,对于理解Linux内核的工作原理有着重要的意义。
359 11
|
9月前
|
监控 Shell Linux
Android调试终极指南:ADB安装+多设备连接+ANR日志抓取全流程解析,覆盖环境变量配置/多设备调试/ANR日志分析全流程,附Win/Mac/Linux三平台解决方案
ADB(Android Debug Bridge)是安卓开发中的重要工具,用于连接电脑与安卓设备,实现文件传输、应用管理、日志抓取等功能。本文介绍了 ADB 的基本概念、安装配置及常用命令。包括:1) 基本命令如 `adb version` 和 `adb devices`;2) 权限操作如 `adb root` 和 `adb shell`;3) APK 操作如安装、卸载应用;4) 文件传输如 `adb push` 和 `adb pull`;5) 日志记录如 `adb logcat`;6) 系统信息获取如屏幕截图和录屏。通过这些功能,用户可高效调试和管理安卓设备。
|
9月前
|
监控 算法 安全
基于 C# 的内网行为管理软件入侵检测算法解析
当下数字化办公环境中,内网行为管理软件已成为企业维护网络安全、提高办公效率的关键工具。它宛如一位恪尽职守的网络守护者,持续监控内网中的各类活动,以确保数据安全及网络稳定。在其诸多功能实现的背后,先进的数据结构与算法发挥着至关重要的作用。本文将深入探究一种应用于内网行为管理软件的 C# 算法 —— 基于二叉搜索树的入侵检测算法,并借助具体代码例程予以解析。
150 4
|
9月前
|
JavaScript 算法 前端开发
JS数组操作方法全景图,全网最全构建完整知识网络!js数组操作方法全集(实现筛选转换、随机排序洗牌算法、复杂数据处理统计等情景详解,附大量源码和易错点解析)
这些方法提供了对数组的全面操作,包括搜索、遍历、转换和聚合等。通过分为原地操作方法、非原地操作方法和其他方法便于您理解和记忆,并熟悉他们各自的使用方法与使用范围。详细的案例与进阶使用,方便您理解数组操作的底层原理。链式调用的几个案例,让您玩转数组操作。 只有锻炼思维才能可持续地解决问题,只有思维才是真正值得学习和分享的核心要素。如果这篇博客能给您带来一点帮助,麻烦您点个赞支持一下,还可以收藏起来以备不时之需,有疑问和错误欢迎在评论区指出~

热门文章

最新文章