FastDFS的介绍与相关知识，以及集群搭建

FastDFS相关知识

什么是FastDFS？

  FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务，如相册网站、视频网站等等。

FastDFS的角色：

  Tracker server:Tracker server作为中心结点，其主要作用是负载均衡和调度。Tracker server在内存中记录分组和Storage server的状态等信息，不记录文件索引信息，占用的内存量很少。  Storage server:FastDFS中的Storage server主要的作用是存储文件，它直接利用OS的文件系统存储文件，FastDFS不对文件进行分块存储，

FastDFS的分组机制：

FastDFS采用了分组存储方式。集群由一个或多个组构成，集群存储总容量为集群中所有组的存储容量之和。一个组由一台或多台存储服务器组成，同组内的多台Storage server之间是互备关系，同组存储服务器上的文件是完全一致的。文件上传、下载、删除等操作可以在组内任意一台Storage server上进行。一个组的存储容量为该组内存储服务器容量最小的那个。

FastDFS的角色关系：

  FastDFS集群中的Tracker server也可以有多台，Tracker server和Storage server均不存在单点问题。Tracker server之间是对等关系，组内的Storage server之间也是对等关系。

Fastdfs的集群架构：

各角色间的消息传递：

  客户端和Storage server主动连接Tracker server。Storage server主动向Tracker server报告其状态信息，包括磁盘剩余空间、文件同步状况、文件上传下载次数等统计信息。Storage server会连接集群中所有的Tracker server，向他们报告自己的状态。一个组包含的Storage server不是通过配置文件设定的，而是通过Tracker server获取到的。

  不同组的Storage server之间不会相互通信，同组内的Storage server之间会相互连接进行文件同步。

Storage server间的文件同步：

  文件同步只在同组内的Storage server之间进行，采用push方式，即源头服务器同步给目标服务器，只同步源头数据，备份数据不同步。当新增加一台Storage server时，由已有的一台Storage server将已有的所有数据（包括源头数据和备份数据）同步给该新增服务器。

  Storage server采用binlog文件记录文件上传、删除等更新操作。binlog中只记录文件名，不记录文件内容。文件同步采用增量同步方式，系统记录已同步的位置（binlog文件偏移量）到标识文件中。

文件上传和下载的交互过程：

 文件上传步骤：

  1，Client询问Tracker server上传到的Storage server；

  2，Tracker server返回一台可用的Storage server，返回的数据为该Storage server的IP地址和端口；

  3，Client直接和该Storage server建立连接，进行文件上传，Storage server返回新生成的文件ID，文件上传结束。

 文件下载步骤：

  1，Client询问Tracker server可以下载指定文件的Storage server，参数为文件ID（包含组名和文件名）；

  2，Tracker server返回一台可用的Storage server；

  3，Client直接和该Storage server建立连接，完成文件下载。

FastDFS的文件ID：

  客户端上传文件时，会返回一个FileID。文件ID不是由客户端指定，而是由Storage server生成后返回给客户端的。文件ID中包含了组名、文件相对路径和文件名，Storage server可以根据文件ID直接定位到文件。

FastDFS的扩容：

  FastDFS的扩容分纵向扩容与横向扩容。纵向指在同一个group中增加服务器，实现数据冗余。横向指新增一个group，增加整个FastDFS的存储空间。

FastDFS的集群安装

实验环境：

     硬件环境：

           tracker:192.168.189.146

           storage:192.168.189.145 (group1)

           storage:192.168.189.144(group2)

     软件环境：

           libevent-2.0.18-stable

           Fastdfs_V5.02

一：fastdfs的安装：---------tracker与storage一致。

  1：下载libevent与fastdfs的安装包到服务器的/usr/local/src目录下:

  2：安装libevent:

  3：安装fastdfs：

二：tracker与storage的配置：

  1：配置tracker：192.168.189.146

  2：配置storagegroup1：192.168.189.145 

 3：配置storagegroup2：192.168.189.144----配置同145

三：启动tracker与storage：

四：测试：

 1：测试tracker与storage的连接

 也可以用fastdfs自带的monitor工具查看storage信息：(使用client.conf)

 2：测试文件上传：

  可以看到文件上传到了group1的相关目录。

  FastDFS可以到storage的存储目录下直接查找到相关的上传文件。