开发者社区> 技术小阿哥> 正文

压缩工具,神奇的RAID以及逻辑卷管理的PE,PA,LV,VG

简介:
+关注继续查看

Linux系统中常用的压缩和解压工具

  压缩:以时间换空间的操作:

  压缩的原理:标记和替换

  压缩比:压缩之前与压缩之后的文件的大小的比值

    纯文本文件的压缩比比较大,视频图形等压缩比相对比较小


能够实现压缩功能的工具:

  compress/uncompress:扩展名.z

  gzip/gunzip:扩展名.gz

    

  bzip2/bunzip2:扩展名.bz2

  xz/unxz:扩展名.xz  目前压缩比最高的工具

  zip/unzip:扩展名.zip  应用在Windows中


  gzip:

  gzip, gunzip, zcat - compress or expand files

    zcat:不用解压直接读取内容

    -d 解压缩 gzip -d = gunzip

    -# 以指定的压缩比进行压缩,1-9,9是最高,默认是6

    -c 将压缩结果输出到标准输出,不会对原文件进行压缩

        gzip -c /PATH/TO/FILE > /PATH/TO/CDMPRESS_FILE.gz


  bzip2:

    bzip2, bunzip2 - a block-sorting file compressor, v1.0.6

    bzcat - decompresses files to stdout

    -# 以指定的压缩比进行压缩,1-9,9是最高,默认是6

    -k 保留原文件不删除,创建新的压缩文件


  xz:

    xz,  unxz,  xzcat,- Compress or decompress .xz files

    -d 解压缩

    -# 以指定的压缩比进行压缩,1-9,9是最高,默认是6

    -k 保留原文件不删除,创建新的压缩文件


  tar:归档程序

    tape archive:磁带档案

    tar [OPTION...] [FILE]...

      主选项:

        -c 创建档案文件

        -x 释放档案文件的内容

        -t 查看档案文件中包含的文件

        -u/-r 向档案文件中添加新的文件

      辅助选项:

        -f 指定档案的文件的路径

        -C 释放档案文件的内容时,指定释放路径

        -z 在创建档案文件时,调用gzip进行压缩

        -j 在创建档案文件时,调用bzip2进行压缩

        -J 在创建档案文件时,调用xz进行压缩(可能不支持)

        --exclude 在释放档案文件时,排除某个文件

        -k 在释放文件时,不会覆盖同名文件


ln命令:

ln [option...] src_file link_file

-s, --symbolic:创建符号链接,省略该选项,即创建硬链接;

-v:显示链接创建的过程;


注意:创建符号链接时,如果想要保证该链接文件被复制或移动到其他路径中依然可以,最好链接至被链接文件的绝对路径;


版本管理:

apache:

2.2  2.4


将不同的版本的软件分别放置于不同的目录中,使用符号链接,将软件链接的一个统一的路径:


/usr/local/apache --> /usr/local/apache-2.2


/usr/local/apache-2.2

/usr/local/apache-2.4


user.sh --> user1.sh

user1.sh user2.sh user3.sh


什么是RAID

RAID:Redundant Arrays of Inexpensive Disks

即:廉价磁盘冗余阵列

Redundant Arrays of Independent Disks

独立磁盘冗余阵列

1988年由加利福尼亚大学伯克利分校(University of California-Berkeley)提出的“A Case for Redundant Arrays of Inexpensive Disks”。

旨在将多个相对廉价的IDE接口的磁盘合成一个“阵列”来提供更好的IO性能、实现磁盘冗余,或者两者都提供。


RAID

提高IO能力:

磁盘并行读写

提高耐用性;

磁盘冗余来实现

级别:多块磁盘组织在一起的工作方式有所不同

RAID实现的方式:

外接式磁盘阵列:通过扩展卡提供适配能力

内接式RAID:主板集成RAID控制器

安装OS前在BIOS里配置

Software RAID:


RAID级别

RAID-0:条带卷,strip

RAID-1: 镜像卷,mirror

RAID-2

..

RAID-5

RAID-6

RAID-10

RAID-01


RAID-0:

读、写性能提升;

可用空间:N*min(S1,S2,...)

无容错能力

最少磁盘数:2, 2

RAID-1:

读性能提升、写性能略有下降;

可用空间:1*min(S1,S2)

有冗余能力

最少磁盘数:2, 2+

RAID-4: (几个工作盘,一个校验盘)

多块数据盘异或运算值,存于专用校验盘

坏了一块硬盘仍然可以继续工作的模式称为降级模式

校验盘压力最大,很容易形成性能瓶颈;

RAID-5: (几个工作盘轮流做校验盘)

读、写性能提升

可用空间:(N-1)*min(S1,S2,...)

有容错能力:允许最多1块磁盘损坏

最少磁盘数:3, 3+

RAID-6: (两个校验盘,校验两次)

读、写性能提升

可用空间:(N-2)*min(S1,S2,...)

有容错能力:允许最多2块磁盘损坏

最少磁盘数:4, 4+


RAID混合类型级别

RAID-10:

读、写性能提升

可用空间:N*min(S1,S2,...)/2

有容错能力:每组镜像最多只能坏一块

最少磁盘数:4, 4+

RAID-01、RAID-50

RAID7:可以理解为一个独立存储计算机,自身带有操作系统和管理工具,可以独立运行,理论上性能最高的RAID模式

JBOD:Just a Bunch Of Disks

功能:将多块磁盘的空间合并一个大的连续空间使用

至少需要2块

可用空间:sum(S1,S2,...)

常用级别:RAID-0, RAID-1, RAID-5, RAID-10, RAID-50, JBOD


实现方式:

硬件实现方式

软件实现方式


CentOS 6上的软件RAID的实现:

结合内核中的md(multi devices)模块实现;


mdadm:模式化工具

命令的语法格式:

mdadm [mode] <raiddevice> [options] <component-devices>

支持的RAID级别:LINEAR, RAID0, RAID1, RAID4, RAID5, RAID6, RAID10,...

模式:

创建模式:-C

装配模式:-A

监控模式:-F

管理模式:-f, -r, -a


<raiddevice>:/dev/md#

<component-devices>:任意块设备,注意如果是分区的话,其分区类型要改为fd


-C:创建模式

-n #:使用#个块设备来创建此RAID

-l #:指明要创建的RAID的级别

-a {yes|no}:自动创建目标RAID设备的设备文件

-c CHUNK_SIZE:指明块大小, 默认值为512K

-x #:指明空闲盘的个数


例如:创建一个10GB可用空间的RAID5


混杂模式

显示RAID的详细信息

-D

mdadm -D /dev/md#

停止md设备:

mdadm -S /dev/md0


管理模式:

-f:为指定的磁盘或分区添加损坏标记

-a:添加磁盘或分区到md设备中

-r:从md设备中移除磁盘或分区


装配模式:Assemble

-A

用于将停止的RAID设备重新装配使之能够正常工作。

在装配RAID设备的时候,需要依赖/etc/mdadm.conf文件进行


mdadm -D --scan >> /etc/mdadm.conf

mdadm -S /dev/md2

mdadm -S /dev/md0

mdadm -C -n 2 -l 0 /dev/sdc /dev/sdf

mdadm -A /dev/md2

mdadm /dev/md2 -a /dev/md0


观察md的状态:

cat /proc/mkstat


watch命令:

-n #:刷新时间间隔,单位为秒,默认为1秒;

watch -n # 'COMMEND


LVM2

Logical Volume Manager,逻辑卷管理器,Version 2

IBM


使用纯软件的方式组织一个或多个底层的块设备,将它们重新定义为一个逻辑块设备的解决方案;


利用内核中的dm模块实现;

dm:device mapper,设备映射表

dm模块可以将一个或多个底层块设备组织成一个逻辑块设备;

用户空间中的相应命令来向dm模块发出系统调用,就可以完成后逻辑块设备的管理;


逻辑块设备统一存放在/dev/dm-#


使用DM机制实现LVM管理的步骤:

1.创建并表示物理卷,PV

注意:如果用来创建物理卷的设备是普通分区,一定要将分区的ID修改为8e;

2.基于PV创建卷组,逻辑块设备,创建的卷组的同时指定PE的大小;

注意:一旦PE大小被指定,就不允许更改;

3.在已经创建的卷组中创建逻辑卷

4.在逻辑卷中创建文件系统(高级格式化)

5.挂载


物理卷的管理操作:

pvcreate:创建物理卷

pvdisplay:显示物理卷的详细信息

pvs:显示物理卷的简单信息

pvremove:删除物理卷

pvmove:将某个物理卷中的所有的PE移动到其他物理卷中;


卷组的管理操作:

vgcreate:创建卷组

-s #{kKmMgG}:指定PE的大小,如果省略该选项,默认的PE为4M;

vgremove:删除卷组

vgextend:扩展卷组容量,将新的pv添加到卷组中

vgextend VolumeGroupName PhysicalDevicePath [PhysicalDevicePath...]

vgreduce:缩减卷组容量,将pv从卷组中移除;在做此操作之前,应该先使用pvmove,保证被移除的pv上没有被占用的PE;

vgreduce VolumeGroupName PhysicalDevicePath [PhysicalDevicePath...]

vgdisplay:显示卷组的详细信息

vgs:显示卷组的简短信息


逻辑卷的管理操作:

lvcreate:创建逻辑卷

-L LV_SIZE(#{kK|mM|gG}):指定逻辑卷的大小,不能超过卷组的容量;

-l #%{FREE|VG|ORIGIN|PVS}:指定逻辑卷占用对应存储单元的百分比;

-n LV_NAME:指定逻辑卷的名称

-i #:在创建逻辑卷的时候,以条带的方式创建,并指明这个逻辑卷上有#个条带

-I #:在创建逻辑卷的时候,以条带的方式创建,并指明CHUNK的大小;

lvremove:移除逻辑卷

lvdisplay:显示逻辑卷的详细信息

lvs:显示逻辑卷的简短信息

lvchange:修改LV的状态

-ay:激活逻辑卷

-an:停用逻辑卷

lvextend:扩展逻辑卷的空间,

注意:一定要先扩展逻辑卷的物理边界,再扩展逻辑卷的逻辑边界;

使用ext系列文件系统的时候,resize2fs命令扩展逻辑边界;


扩大逻辑卷的物理边界:

     lvextend -L [+]SIZE /PATH/TO/LVM

       如果SIZE有+:表示在原有逻辑卷容量的基础上,增加SIZE空间

       如果SIZE无+:表示将逻辑卷的容量扩大到SIZE空间

     扩大逻辑卷的逻辑边界:

       e2fsck /PATH/TO/LVM

        [-f] /PATH/TO/LVM

lvreduce:缩减逻辑卷的空间

注意:先缩减逻辑卷的逻辑边界,再缩减逻辑卷的物理边界;

使用ext系列文件系统的时候,resize2fs命令缩减逻辑边界

 

     lvreduce -L [-]SIZE /PATH/TO/LVM

如果SIZE有-:表示在原有逻辑卷容量的基础上,削减SIZE空间

如果SIZE无-:表示将逻辑卷的容量直接削减至SIZE空间

    umount /PATH/TO/LVM

    e2fsck /PATH/TO/LVM            //强制校验数据一致性

    resize2fs -f /PATH/TO/LVM LV_SiZE //修改逻辑卷的逻辑边界,LV_SIZE为调整后的逻辑卷大小

    lvchange -an /PATH/TO/LVM      //关闭逻辑卷

    lvreduce -L [+]SIZE /PATH/TO/LVM  //修改逻辑卷的物理边界,大小要和逻辑边界保持一致

    lvchange -ay /PATH/TO/LVM      //重新激活逻辑卷

    mount /PATH/TO/LVM /PATH/TO/LVM_MOUNT_POINT


为了更方便的使用逻辑卷,为/dev/dm-#设备创建了两个符号链接文件:

/dev/mapper/VG_NAME-LV_NAME --> ../dm-#

/dev/VG_NAME/LV_NAME --> ../dm-#


逻辑卷的快照:

快照,本身也是一种逻辑卷;目标逻辑卷的另外一个访问路径;


快照是特殊的逻辑卷,它是在生成快照时存在的逻辑卷的准确拷贝

对于需要备份或者复制的现有数据集临时拷贝以及其它操作来说,快照是最合适的选择。

快照只有在它们和原来的逻辑卷不同时才会消耗空间。

在生成快照时会分配给它一定的空间,但只有在原来的逻辑卷或者快照有所改变才会使用这些空间

当原来的逻辑卷中有所改变时,会将旧的数据复制到快照中。

快照中只含有原来的逻辑卷中更改的数据或者自生成快照后的快照中更改的数据

也可以使用lvextend扩展快照卷。


快照就是将当时的系统信息记录下来,就好像照相一般,若将来有任何数据改动了,则原始数据会被移动到快照区,没有改动的区域则由快照区和文件系统共享。


由于快照区与原本的LV共用很多PE的区块,因此快照去与被快照的LV必须要要在同一个VG上!系统恢复的时候的文件数量不能高于快照区的实际容量。


快照逻辑卷

  lvcreate -L SNAPSHOT_SIZE -s -p r -n SNAPSHOT_NAME /PATH/TO/ORIGIN_LVM

    -L SIZE:指定快照逻辑卷的大小

    -s:创建一个快照逻辑卷

    -p r:创建处理的逻辑卷是只读权限

    -n SNAPSHOT_NAME:指定快照逻辑卷的名称


三个命令:

df命令:

df - report file system disk space usage

df [OPTION]... [FILE]...

-h, --human-readble:单位转换

-l, --local:只显示本地文件系统,不显示网络文件系统

-i, --inodes:显示inode使用状态

-T, --print-type:显示文件系统类型

-P, --portability:使用POSIX输出格式,更易于阅读



du命令:

du - estimate file space usage

du [OPTION]... [FILE]...

-s, sumary,:显示整个目录汇总的文件大小

-h, human-readble:单位转换


dd命令:convert and copy a file

dd [OPERAND]...

    dd OPTION


    常见的OPERAND:

dd if=/PATH/FROM/SRC of=/PATH/TO/DEST

bs=BYTES:block size, 复制单元大小

count=N:复制多少个bs

of=FILE:写到所命名的文件而不是到标准输出

if=FILE:从所命名文件读取而不是从标准输入

ibs=BYTES:一次读size个byte

obs=BYTES:一次写size个byte

skip=BLOCKS:从开头忽略blocks个ibs大小的块

seek=BLOCKS:从开头忽略blocks个obs大小的块

conv=conversion[,conversion...]:用指定的参数转换文件。

转换参数:

ascii:转换EBCDIC为ASCII。

ebcdic:转换ASCII为EBCDIC。

block:把每一行转换为长度为cbs的记录,不足部分用空格填充。

unblock:使每一行的长度都为cbs,不足部分用空格填充。

lcase:把大写字符转换为小写字符。

ucase:把小写字符转换为大写字符。

swab:交换输入的每对字节。

noerror:读取出错时继续读取。

notrunc:不截短输出文件。

sync:把每个输入块填充到ibs个字节,不足部分用空(NULL)字符补齐


磁盘拷贝:

~]# dd if=/dev/sda of=/dev/sdb

备份MBR:

~]# dd if=/dev/sda of=/tmp/mbr.bak bs=512 count=1

破坏MBR中的bootloader:

~]# dd if=/dev/zero of=/dev/sda bs=64 count=1 seek=446

有二进制文件fileA,size>2K。现在想从第64个字节位置开始读取,需要读取的大小是128Byts。又有fileB, 想把上面读取到的128Bytes写到第32个字节开始的位置,替换128Bytes,请问如何实现?

~]# dd if=fileA of=fileB bs=1 count=128 skip=63 seek=31 conv=notrunc

备份:

将本地的/dev/sdx整盘备份到/dev/sdy

~]# dd if=/dev/sdx of=/dev/sdy将本地的/dev/sdx整盘备份到/dev/sdy

将/dev/sdx全盘数据备份到指定路径的image文件

~]# dd if=/dev/sdx of=/path/to/image

备份/dev/sdx全盘数据,并利用gzip工具进行压缩,保存到指定路径

~]# dd if=/dev/sdx | gzip >/path/to/image.gz


恢复:

将备份文件恢复到指定盘

~]# dd if=/path/to/image of=/dev/sdx

将压缩的备份文件恢复到指定盘

~]# gzip -dc /path/to/image.gz | dd of=/dev/sdx


拷贝内存资料到硬盘

将内存里的数据拷贝到root目录下的mem.bin文件

~]# dd if=/dev/mem of=/root/mem.bin bs=1024


从光盘拷贝iso镜像

拷贝光盘数据到root文件夹下,并保存为cd.iso文件

~]# dd if=/dev/cdrom of=/root/cd.iso


销毁磁盘数据

利用随机的数据填充硬盘,在某些必要的场合可以用来销毁数据。执行此操作以后,/dev/sda1将无法挂载,创建和拷贝操作无法执行。

~]# dd if=/dev/urandom of=/dev/sda1


得到最恰当的block size

通过比较dd指令输出中所显示的命令执行时间,即可确定系统最佳的block size大小

~]# dd if=/dev/zero bs=1024 count=1000000 of=/root/1Gb.file

~]# dd if=/dev/zero bs=2048 count=500000 of=/root/1Gb.file

~]# dd if=/dev/zero bs=4096 count=250000 of=/root/1Gb.file

~]# dd if=/dev/zero bs=8192 count=125000 of=/root/1Gb.file


测试硬盘读写速度

通过上两个命令输出的执行时间,可以计算出测试硬盘的读/写速度

~]# dd if=/root/1Gb.file bs=64k | dd of=/dev/null

~]# dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000


修复硬盘

当硬盘较长时间(比如1,2年)放置不使用后,磁盘上会产生消磁点。当磁头读到这些区域时会遇到困难,并可能导致I/O错误。当这种情况影响到硬盘的第一个扇区时,可能导致硬盘报废。上边的命令有可能使这些数据起死回生。且这个过程是安全,高效的。

~]# dd if=/dev/sda of=/dev/sda




本文转自 Runs_ 51CTO博客,原文链接:http://blog.51cto.com/12667170/1925007,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Android官方开发文档Training系列课程中文版:网络操作之网络管理
原文地址:http://android.xsoftlab.net/training/basics/network-ops/managing.html 这节课将会学习如何对网络资源的使用情况拥有更细粒度的控制力。
647 0
PostgreSQL 10.1 手册_部分 III. 服务器管理_第 31 章 逻辑复制_31.5. 架构
31.5. 架构 31.5.1. 初始快照 逻辑复制首先复制发布者数据库上的数据快照。一旦完成, 发布者的变化就会实时发送给订阅者。订阅者按照发布者提交的顺序应用数据, 以确保任何单个订阅中的发布的事务一致性。
1191 0
容器集群部署 选好编排工具是关键
本文讲的是容器集群部署 选好编排工具是关键【IT168 评论】容器技术提供了组件化的环境,可以帮助业务应用在云之间轻松迁移而无需显著的返工。随着容器在企业持续获得发展,厂商将增加新的功能让用户可以创建可扩展的基于容器的环境。
2256 0
PostgreSQL 10.1 手册_部分 III. 服务器管理_第 31 章 逻辑复制_31.4. 限制
31.4. 限制 逻辑复制目前有以下限制或缺少的功能。 这些可能会在未来的版本中解决。 不复制数据库模式和DDL命令。初始模式可以使用pg_dump --schema-only 手动复制。后续的模式更改需要手动保持同步。
1077 0
PostgreSQL 10.1 手册_部分 III. 服务器管理_第 31 章 逻辑复制_31.1. 发布
31.1. 发布 可以在任何物理复制主机上定义发布。 定义发布的节点称为发布者。 发布是从一个表或一组表中生成的一组更改,也可能被描述为更改集或复制集。 每个发布只存在于一个数据库中。 发布与模式不同,不影响表格的访问方式。
903 0
PostgreSQL 10.1 手册_部分 III. 服务器管理_第 31 章 逻辑复制_31.3. 冲突
31.3. 冲突 逻辑复制的行为与普通的DML操作类似,因为即使订阅者节点本地更改了数据, 数据也将被更新。如果传入数据违反任何限制,复制将停止。 这被称为冲突。当复制UPDATE 或者DELETE操作时,丢失的数据不会产生冲突,这样的操作将被忽略。
1214 0
js 压缩工具总结
随便百度一个 “js 压缩”,然后就会有各种代码压缩工具可供选择, 向来我就爱那种绚丽新颖的玩意,比如这家显示压缩比呀,或者那家可以查错呀什么的, 今天还为国民浏览器拥有鼠标手势(按住右键画个图形就有相应效果)吃精了一下,真不怕它和网页的右键操作冲突...   那么,压缩代码哪家强,试了就知道咯。 (顺便也笔记一波在线工具网站) http://tool.lu/ http://to
1309 0
Linux 文件压缩工具指南
文件的压缩和解压缩是计算历史上最有用的创造之一,但缺乏可移植性和开放工具是阻碍它发挥其应有作用的最主要的一个障碍。
860 0
PostgreSQL 10.1 手册_部分 III. 服务器管理_第 31 章 逻辑复制_31.2. 订阅
31.2. 订阅 31.2.1. 复制槽管理 订阅是逻辑复制的下游端。定义订阅的节点被称为 订阅者。 订阅定义了与另一个数据库的连接以及它想要订阅的一组发布(一个或多个)。 订阅者数据库的行为与任何其他PostgreSQL实例的行为相同, 并且可以通过定义自己的发布来用作其他数据库的发布者。
1313 0
13690
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载