RHCE系列之备份工具----镜像备份Rsync

    我一哥们最近在搞备份，需要用到rsync。因此，鄙人就简单总结了下rsync，也就有了这篇博文，希望对51的博友们有所帮助！

RSYNC简介：

    Rsync (remote sync)是一款开源、快速，多功能、可实现增量的本地或远程数据镜像同步备份优秀工具。它可通过 LAN/WAN 快速同步多台主机间的文件。Rsync 本来是用以取代rcp 的一个工具，它当前由 Rsync.samba.org 维护。Rsync 使用所谓的“Rsync演算法”来使本地和远程主机之间的文件达到同步，该算法只传送两个文件中的不同部分，而不是每次都整份传送，因此速度相当快。

      Rsync支持大多数的类 Unix 系统，无论是 Linux、Solaris 还是 BSD 上都经过了良好的测试。此外，它在windows 平台下也有相应的版本，比较知名的有 cwRsync 和 Sync2NAS。

RSYNC的特性：

1、支持拷贝特殊文件如链接、设备等。

2、可以有排除制定文件或目录同步的功能，相当于打包命令tar。

3、可以做到保持原来文件或目录的权限、时间、软硬连接等所有属性均不改变。

4、可实现增量同步，既只同步发生变化的数据，因此数据传输效率很高。

5、可以使用rcp，rsh，ssh等方式配合传输文件，也可以通过直接的socket连接。

6、支持匿名的或认证的进程模式传输，方便进行数据备份及镜像

7、优化的流程，文件传输效率高

RSYNC工作模式：

Rsync有四种工作模式，具体如下：

1、列表模式

      和ls -l相似，负责列出源的内容。不仅可以看本地还可以看远端。

2、shell模式，也称为本地模式

      和cp相似，本地拷贝文件

3、远程shell模式，可以通过通过rcp，ssh等通道传输

      和rcp相似，不过可以实现增量备份，并且能够通过安全的ssh方式进行数据传输。

4、服务器模式

      在这种模式下，rsync 守护进程在一台机器上永久运行，接收文件传输请求。可以把文件发送给守护进程，也可以向它请求文件。服务器模式非常适合创建中心备份服务器或项目存储库。

      以上是对rsync做的一个简单介绍，下面来安装一下rsync，然后再详细介绍我们rsync的四种工作模式！

在安装之前，首先让我们看下系统上是否已经安装了rsync。

如果出现如上的情况，说明我们的系统已经安装了rsync。如果没有出现，就说明没有安装。

如果系统没有安装，我们就需要自己安装了。安装rsync的方式一共有2种，一种是基于包管理器安装，比如rpm包之类，另外一种是基于源码安装。

1、基于包管理器安装

2、基于源码安装

  a、安装缺少的gcc和库文件等

   b、安装rsync

     这样子rsync就安装完成了。

  我们需要注意的是，源码安装的rsync默认是没有加入xinetd的，因此你会发现，在/etc/xinetd.d目录下找不到rsync文件。

下面，我就开始带着大家一起来了解下rsync的四种模式！

1、列表模式（list mode）

     Rsync的列表模式，即等同于在实现 ls -l 的功能。我们可以通过分别执行rsync和ls命令来观察区别。

     通过上面的输出，可以看出来，rsync后跟文件或目录和ls -l后跟文件和目录的效果大体相同（不一样的细节，这里不多描述）。需要注意的是，如果你身处某个目录，你ll能查看到所在目录下文件列表的详细信息。但是你执行rsync会报错，因此rsync必须后跟文件或目录才能查看相关的详细信息。

     另外，rsync的列表模式是支持对远端的目录进行查看的，而ls -l是不具备这个功能的。

2、Shell模式（shell mode）

     在 RSYNC 的 shell 模式(本地模式)中，我会列举rsync命令的用法和常规选项信息。

     首先来看下 RSYNC 的命令语法：

执行rsync --help可得到上面输出，当然输出不仅仅只有上面这一条，我仅仅将shell模式的语句摘了出来。下面对该条语句进行拆解。

rsync 常用的参数选项有如下：

       更多的详细信息，请通过man rsync来进行查看。
    

       需要注意的是：rsync命令在使用中，如果源参数的末尾有斜线，就会复制指定目录内的内容，而不复制目录本身;如果没有斜线，则会复制目录本身。目标参数的末尾有没有斜线都不影响。

    接下来，请看下面两个例子：

现在，我们在shell模式下，进行rsync的同步。

实例1：测试本地rsync同步

上面的例子，演示了将本地/rsync目录下的文件，同步到/tmp目录下。其中使用的参数，-avz上面讲过。如果不明白，可以去上面看每个参数的详细介绍。

3、远程shell模式（remote shell mode）

远程shell模式的话，和shell模式是异曲同工。只不过，因为是要通过远程，因此我们需要指定远程主机的IP，如果采用ssh我们还需要指定ssh的端口等等。

远程shell模式，常规分为如下两种情况，其语法分别为：

    下面为大家拆解一下命令：

大家可以发现，拉取和推送，不一样的地方就是源和目标换了位置。其中拉取，表示从远端主机把数据同步到执行命令的本地主机相应目录。（需要注意，拉取的话，远端主机上一定要安装rsync，不然会拉取失败）。推送，表示从本地主机执行命令把本地的数据同步到远端主机指定目录下

    下面我们来看一个案例：

拉取实例：

    老大要求拉取172.16.100.1这台服务器上的etc目录到我们的备份服务器172.16.100.2上的/backup目录下。

操作：

通过ssh连接到172.16.100.1这台服务器上，然后执行如下命令：

推送实例：

公司内部有一台svn服务器（172.16.100.2），公司站点的更新代码通过后台的测试服务器测试之后，经过svn同步到svn服务器。老大要求你将svn服务器上的代码，推送到前台的服务器(172.16.100.1)上。

操作：通过ssh连接到svn服务器（172.16.100.2）上，然后执行如下命令

特别说明：

1）上面两个例子中的数据同步都是加密传输的，因为是通过ssh通道进行数据传输的。

2）在传输前需要进行连接用户（一般为系统用户）密码验证，需要手工输入。这里我们可以通过配置ssh互信来实现免验证方式同步。

3）rsync软件必须安装在本地及远程服务器上

4、服务模式(daemon mode)

RSYNC的服务模式，部署时分为rsync的服务端和rsync的客户端。需要注意的是，rsync 的服务端和客户端都是一个软件包，如果你启用了 rsync 的服务模式，则该主机就变成 rsync 服务器。因此我们需要将 rsync 分别安装于服务端和客户端，服务端和客户端使用同一个 rsync 软件包来实现远程镜像和定期同步更新。

rsync 服务端可同时备份多个客户端的数据，多个服务端备份一个客户端的数据。 rsync 默认端口为 873，服务器在该端口接收客户的匿名或者认证方式的备份请求。

rsync 服务端在使用之前需要进行必要的配置，其配置文件为 /etc/rsyncd.conf，该文件默认没有，需要自己手动创建。Rsync服务端通过/etc/rsyncd.conf进行认证、访问、日志记录等控制，该配置文件包括全局参数、模块参数等设置。

rsyncd.conf 文件中 [module] 之前的所有参数为全局参数，也可以在全局参数部分定义模块参数。在这种情况下该参数的值就是所有模块的默认值。全局参数设置程序使用的端口号，指定消息文件、日志文件 pid 文件以及发送日志消息的级别。模块参数主要定义服务端哪个目录需要被同步。用户可根据不同的需要指定多个模块，每个模块对应需要备份的一个目录树，即若有 N 个需要备份的目录树，则需要 N 个模块与之对应。模块中可以定义许多参数。下面，我们拿出来一个rsyncd.conf文件，来给大家做详解：

以上就是，rsyncd.conf的详细配置信息了。我将很多的默认不显示的参数也列举了出来，大家使用的时候可以灵活掌握。

下面，我就带大家来一起配置一个 rsync的服务端和rsync的客户端！

RSYNC 服务端部署： 

1、安装rsync，并且配置服务端主配置文件

2、创建 rsync.password 作为用户密码文件

3、（可选）创建 rsync.motd 作为登录消息文件。该文件为选择性配置文件，生产环境不推荐使用。

4、创建模块中指定的文件

5、以守护进程方式启动 rsync

 Rsync服务端的启动分2种，一种是交给 xinetd 去管理，另外就是自己手动配置守护进程。

 A、手动配置rsync守护进程

我们可以将上面的命令写入 /etc/rc.local 中，这样当系统启动时，就会自动以守护进程的方式去运行 rsync。

补充：

          重启rsync的组合命令

B、交由xinetd管理

6、检查服务状态

或者

补充：

    手动启动rsync的常见参数：

以上即为rsync服务端的整个配置步骤了！

RSYNC 服务端已经部署完毕，接下来如果要使用的话，肯定还需要搭配 rsync 客户端才行！下面就来看，rsync客户端怎么部署！

RSYNC 客户端部署

RSYNC 客户端部署起来非常简单，我们仅仅需要安装 rsync 软件，然后创建一个本地密码文件。该密码文件为对应rsync 服务端配置文件里面每个模块下面的虚拟用户的密码，以此来实现免密码同步！

操作如下：

1、安装rsync

2、配置本地密码文件

OK！！！

RSYNC的服务端和客户端都配置完毕，现在我们可以进行测试了。

我们需要去rsync客户端，来完成下面的测试操作。需要注意，测试同样分为两种情况，每种情况又有两种语法写法，分别为：

特别值得注意的是，与远程shell模式命令不同的是，第①种语法格式， [USER@]HOST：：SRC和 [USER@]HOST：：DEST结尾处，均为双冒号连接SRC或DEST。另外，这个SRC或DEST已经不再是路径了，而是守护进程中配置的模块的名称了。

下面列举我们在rsync客户端上，对rsync服务端进行拉取或推送的操作范例：

第一种格式：

拉取：

推送：

第二种格式：

    拉取：

    推送：

       以上就是，rsync整个服务端和客户端的配置。

       在生产环境中，我们可以专门部署一台rsync服务器，专门负责接收业务服务器的日志归档和配置文件归档。当然，我们也可以部署在svn服务器之前，来作为网站代码推送的服务器，或者说一台web服务器专门用来做分发的时候。

 但是我们知道，我们的日志归档都是在凌晨，因此我们不可能天天晚上去做向rsync服务端的推送操作。并且，如果日常web内容做分发的次数频繁的话，我们不可能每时每刻都盯着它去做手动推送。因此我们可以借助crontab计划任务来实现定时推送。

注意：上面用到的weblog和webdata都是模块的名字，我们在rsyncd.conf里面指定模块所对应的目录路径。

但是，我们仍然会发现一个问题，虽然使用计划认为能满足我们的日志归档定时推送到rsync服务端，但是每次都有1分钟的延迟。并且，在某些作为网站发布平台的情况下，rsync每分钟都去检查整体一致性然后做推送，这样子非常耗费资源。因此，我们需要对此种情况进行改良。在后面一篇博文，我会带大家一起了解rsync+inotify，借助rsync+inotify来实现实时同步文件。

在本文最后面，我贴上rsync的--delete和--exclude的操作效果！

--delete操作如下：

以上为操作前的环境，请保持这个环境一致，然后做如下操作：（下面的推送和拉取都是基于此环境做的）

在rsync客户端做拉取操作：

 我们发现，rsync客户端本身的a，b，c，d文件都消失了，取而代之的是e文件，并且我们在rsync的拉取过程中，也能看到删除操作！

在rsync客户端做推送操作：

我们发现，rsync服务端本身的e文件消失了，取而代之的是a，b，c，d文件，并且我们在rsync的推送过程中，也能看到删除操作！

--exclude操作如下：

以上为操作前的环境，请保持这个环境一致，然后做如下操作：

在rsync客户端做推送操作：

在rsync服务端进行查看同步效果：

我们可以发现，只要是能被*.txt匹配到的都没有被推送过去！

如果说，你有很多需要排除的目录或者文件，不希望他们被同步过去，此时你可以使用--exclude-from参数，该参数后面跟一个文件，你可以将需要匹配排除的项写到该文件里面！

例子：

在rsync客户端做推送操作：

在rsync服务端进行查看同步效果：   

以上就是我们的--exclude和--exclude-from的详细用法！