一、FastDFS是什么？

1.1.简介

FastDFS是基于互联网应用的开源分布式文件系统，主要用于大中型网站存储资源文件，如图片、文档、音频、视频等。FastDFS采用类似GFS的架构，用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX 系统。用户端只能通过专有API对文件进行存取访问，不支持POSIX接口方式。准确地讲，GFS以及 FastDFS、mogileFS、HDFS、TFS等类GFS系统都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务

FastDFS简介

1.2.结构组成(Client、Tracker server和Storage server)

Tracker server

Tracker server类似于GFS中的Master或TFS中的Name server，但与他们很不同的一点是，Tracker server的主要作用是负载均衡和调度，而不负责文件索引和映射。Tracker server在内存中记录分组和Storage server的状态等信息，不记录文件索引信息，其占用的内存量也很少。Tracker server可以只有一个，也可以有多个组成Tracker cluster，这样的好处是可以提高对用户的响应能力和增加容灾性，此时各Tracker server相互对等，冗余备份，由应用端来轮流选择进行访问。

Storage server

Storage server完成文件管理的所有功能：存储、同步和提供存取接口，文件和metadata都存储在其上。Storage server类似于GFS中的Chunk server或TFS中的Data server，通常一个Storage server即一台机器，Storage server可以动态新增和删除。FastDFS的存储部分即Storage cluster，分为多个Volume，每个Volume中包括多个Storage server。同一Volume内的各Storage server之间是对等的，存储的内容相同，起冗余容错的作用。文件上传、下载、删除等操作可在Volume内任意一台 Storage server上进行。一个Volume的存储容量取决于该Volume内最小的Storage server的容量，因此Volume内各Storage server的软硬件配置最好是一致的。采用这种分Volume的存储方式的好处是灵活、可控性较强。比如上传文件时，可以由客户端直接指定上传到哪个Volume。当某个Volume的访问压力较大时，可以在该Volume内增加Storage server来扩充服务能力（纵向扩容）。当系统总容量不足时，可以增加Volume来扩充存储容量（横向扩容）。

Storage server直接利用OS的文件系统存储文件。FastDFS不会对文件进行分块存储，客户端上传的文件和Storage server上的文件一一对应。

关于Storage server的同步，不同Volume的Storage server之间不会相互通信，同Volume内的Storage server之间会相互连接进行文件同步。文件同步采用push方式，接受更新操作的文件称为源文件，其所在server称为源服务器，其它文件称为备份文件，其它server称为目标服务器。当文件更新操作发生时，源服务器向目标服务器发起同步，对所有备份文件进行更新。当有新Storage server加入本Volume时，由已有的一台 Storage server将其上的所有文件同步给该新增服务器。具体的同步实现在Storage server中由专门线程根据binlog进行，binlog记录了文件上传、删除等更新操作。为了最大程度地避免相互影响以及出于系统简洁性考虑，Storage server对同Volume内除自己以外的每台服务器都会启动一个线程来负责文件同步。

这种异步的同步方式带来了一致性问题，当源文件尚未来得及将所有备份文件同步更新时，访问这些备份文件将引发错误。文件的访问主要分为更新和下载两种情况：FastDFS规定更新操作只能对源文件进行，从而避免了同时对不同的备份文件进行更新导致的冲突；文件下载时，Tracker server记录了各Storage server中各文件的同步情况，会向Client提供同步后的文件所在的Storage server。

1.3.FastDFS下载安装教程

分布式文件系统FastDFS安装教程

1.4.目录结构

tracker server目录及文件结构：

${base_path}

|__data

| |__storage_groups.dat：存储分组信息

| |__storage_servers.dat：存储服务器列表

|__logs

|__trackerd.log：tracker server日志文件

数据文件storage_groups.dat和storage_servers.dat中的记录之间以换行符（\n）分隔，字段之间以西文逗号（,）分隔。

storage_groups.dat中的字段依次为：

(1) group_name：组名

(2) storage_port：storage server端口号

storage_servers.dat中记录storage server相关信息，字段依次为：

(1) group_name：所属组名

(2) ip_addr：ip地址

(3) status：状态

(4) sync_src_ip_addr：向该storage server同步已有数据文件的源服务器

(5) sync_until_timestamp：同步已有数据文件的截至时间（UNIX时间戳）

(6) stat.total_upload_count：上传文件次数

(7) stat.success_upload_count：成功上传文件次数

(8) stat.total_set_meta_count：更改meta data次数

(9) stat.success_set_meta_count：成功更改meta data次数

(10) stat.total_delete_count：删除文件次数

(11) stat.success_delete_count：成功删除文件次数

(12) stat.total_download_count：下载文件次数

(13) stat.success_download_count：成功下载文件次数

(14) stat.total_get_meta_count：获取meta data次数

(15) stat.success_get_meta_count：成功获取meta data次数

(16) stat.last_source_update：最近一次源头更新时间（更新操作来自客户端）

(17) stat.last_sync_update：最近一次同步更新时间（更新操作来自其他storage server的同步）

storage server目录及文件结构：

KaTeX parse error: Expected group after '_' at position 18: …ase_path} |_̲_data | …{ip_addr}_${port}.mark：存放向目标服务器同步的完成情况

| |

| |__一级目录：256个存放数据文件的目录，目录名为十六进制字符，如：00, 1F

| |__二级目录：256个存放数据文件的目录，目录名为十六进制字符，如：0A, CF

|__logs

|__storaged.log：storage server日志文件

.data_init_flag文件格式为ini配置文件方式，各个参数如下：

#storage_join_time：本storage server创建时间；

#sync_old_done：本storage server是否已完成同步的标志（源服务器向本服务器同步已有数据）；

#sync_src_server：向本服务器同步已有数据的源服务器IP地址，没有则为空；

#sync_until_timestamp：同步已有数据文件截至时间（UNIX时间戳）；

storage_stat.dat文件格式为ini配置文件方式，各个参数如下：

#total_upload_count：上传文件次数

#success_upload_count：成功上传文件次数

#total_set_meta_count：更改meta data次数

#success_set_meta_count：成功更改meta data次数

#total_delete_count：删除文件次数

#success_delete_count：成功删除文件次数

#total_download_count：下载文件次数

#success_download_count：成功下载文件次数

#total_get_meta_count：获取meta data次数

#success_get_meta_count：成功获取meta data次数

#last_source_update：最近一次源头更新时间（更新操作来自客户端）

#last_sync_update：最近一次同步更新时间（更新操作来自其他storage server）

binlog.index中只有一个数据项：当前binlog的文件索引号

binlog.###，###为索引号对应的3位十进制字符，不足三位，前面补0。索引号基于0，最大为999。一个binlog文件最大为1GB。记录之间以换行符（\n）分隔，字段之间以西文空格分隔。字段依次为：

(1)timestamp：更新发生时间（Unix时间戳）

(2)op_type：操作类型，一个字符

(3)filename：操作（更新）的文件名，包括相对路径，如：

5A/3D/FE_93_SJZ7pAAAO_BXYD.S

KaTeX parse error: Expected group after '_' at position 10: {ip_addr}_̲{port}.mark：ip_addr为同步的目标服务器IP地址，port为本组storage server端口。例如：

10.0.0.1_23000.mark。文件格式为ini配置文件方式，各个参数如下：

#binlog_index：已处理（同步）到的binlog索引号

#binlog_offset：已处理（同步）到的binlog文件偏移量（字节数）

#need_sync_old：同步已有数据文件标记，0表示没有数据文件需要同步

#sync_old_done：同步已有数据文件是否完成标记，0表示未完成，1表示已完成

#until_timestamp：同步已有数据截至时间点（UNIX时间戳）

#scan_row_count：已扫描的binlog记录

#sync_row_count：已同步的binlog记录数

数据文件名由系统自动生成，包括三部分：当前时间（Unix时间戳）、文件大小（字节数）和随机数。文件名长度为16字节。文件按照PJW Hash算法hash到65536（256*256，默认配置下）个目录中分散存储。

二、FastDFS文件上传下载

2.1.上传下载流程

1.Client通过Tracker server查找可用的Storage server。

2.Tracker server向Client返回一台可用的Storage server的IP地址和端口号。

3.Client直接通过Tracker server返回的IP地址和端口与其中一台Storage server建立连接并进行文件上传。

4.上传完成，Storage server返回Client一个文件ID，文件上传结束。

1.Client通过Tracker server查找要下载文件所在的的Storage server。

2.Tracker server向Client返回包含指定文件的某个Storage server的IP地址和端口号。

3.Client直接通过Tracker server返回的IP地址和端口与其中一台Storage server建立连接并指定要下载文件。

4.下载文件成功。

2.2.上传下载实现

2.2.1.配置依赖：因为我们使用的maven来管理工程，所以，我们需要去配pom文件

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"    
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">    
    <modelVersion>4.0.0</modelVersion>     
    <groupId>com.leech</groupId>    
    <artifactId>fastdfs-demo</artifactId>    
    <version>0.0.1-SNAPSHOT</version>    
    <packaging>jar</packaging>     
    <name>fastdfs-demo</name>    
    <url>http://maven.apache.org</url>     
    <properties>      
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>    
    </properties>     
    <dependencies>      
        <dependency>        
            <groupId>junit</groupId>        
            <artifactId>junit</artifactId>        
            <version>4.11</version>        
            <scope>test</scope>      
        </dependency>           
        <dependency>        
            <groupId>org.csource</groupId>        
            <artifactId>fastdfs-client-java</artifactId>        
            <version>1.25</version>      
        </dependency>           
        <dependency>          
            <groupId>commons-io</groupId>          
            <artifactId>commons-io</artifactId>          
            <version>2.4</version>      
            </dependency>         
        </dependencies>  
    </project>

2.2.2.新建fdfs_client.conf文件，在我们的itoo中，我们建立在（src/main/resources底下）

connect_timeout = 2

network_timeout = 30

charset = UTF-8

http.tracker_http_port = 80

#没什么用

http.anti_steal_token = no

http.secret_key = FastDFS1234567890

tracker_server = 192.168.17.112:22122

#tracker_server = 192.168.0.119:22122

2.2.3.实现文件上传

   public void save(HttpServletRequest request,HttpServletResponse response){          
    String videoName=request.getParameter("videoName");  
    String videoType=request.getParameter("videoType");  
    String videoDesc=request.getParameter("videoDesc");  
    String videoPath=request.getParameter("videoPath");  
    String picturePath=request.getParameter("picturePath");  
    SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");  
    Date uploadTime=null;  
    try {  
        uploadTime = formatter.parse(formatter.format(new Date()));  
    } catch (ParseException e) {  
        // TODO Auto-generated catch block  
        e.printStackTrace();  
    }  
    JacksonJsonUntil jackJsonUtil =new JacksonJsonUntil ();  
    String dataBaseName = "itoo_video";  
    Video video=new Video();  
    video.setUserName("why");  
    video.setUserID("why");       
    video.setVideoName(videoName);  
    video.setVideoPath(videoPath);  
    video.setVideoType(videoType);  
    video.setVideoDesc(videoDesc);    
    video.setDataBaseName(dataBaseName);  
    video.setPicturePath(picturePath);  
    video.setUploadTime(uploadTime);  
    uploadFileService.save(video);        
       jackJsonUtil.beanToJson(response,video);  
}  
/* 
 * 上传文件 
 */  
@RequestMapping(value={"/upload"})  
@ResponseBody  
public void upload( MultipartFile file, HttpServletRequest request,HttpServletResponse response){         
    String ext_Name = file.getOriginalFilename().split("\\.")[1];  
    String videoName=file.getOriginalFilename().split("\\.")[0];  
       byte[] bytes = null;  
    try {  
        bytes = file.getBytes();  
    } catch (IOException e) {  
        e.printStackTrace();  
    }  
    String videoPath=uploadFile(bytes,ext_Name);  
    JacksonJsonUntil jackJsonUtil =new JacksonJsonUntil ();  
    Video video=new Video();  
    video.setVideoPath(videoPath);  
    video.setVideoName(videoName);        
    jackJsonUtil.beanToJson(response,video);  
}   
public String uploadFile(byte[] byteFile, String ext_file) {  
    // 拼接服务区的文件路径  
    StringBuffer sbPath = new StringBuffer();  
    sbPath.append("http://192.168.22.252");  
    try {  
        // 初始化文件资源  
        ClientGlobal  
                .init("C:\\Users\\alsr\\Desktop\\ITOO-5.0\\itoo-video-Test\\dmsd-itoo-video-parent\\dmsd-itoo-video-web\\src\\main\\resources\\fdfs_client.conf");  
        // 链接FastDFS服务器，创建tracker和Stroage  
        TrackerClient trackerClient = new TrackerClient();  
        TrackerServer trackerServer = trackerClient.getConnection();  
        StorageServer storageServer = null;  
        StorageClient storageClient = new StorageClient(trackerServer,  
                storageServer);  
        //利用字节流上传文件  
        String[] strings = storageClient.upload_file(byteFile, ext_file, null);  
        for (String string : strings) {  
            sbPath.append("/" + string);  
            System.out.println(string);  
        }  
        // 全路径  
        System.out.println(sbPath);  
    } catch (IOException | MyException e) {  
        e.printStackTrace();  
    }  
    return sbPath.toString();  
}

只要我们能正常接收到一个json类型的字符串（url地址），就证明我们已经上传成功了，如果不信，可以直接用浏览器去验证一下，看看能不能得到文件展示。

2.2.4.FastDFS实现文件下载

public void testDownload() {          
        try {               
            ClientGlobal.init(conf_filename);               
            TrackerClient tracker = new TrackerClient();               
            TrackerServer trackerServer = tracker.getConnection();              
            StorageServer storageServer = null;               
            StorageClient storageClient = new StorageClient(trackerServer, storageServer);               
            byte[] b = storageClient.download_file("group1", "M00/00/00/wKgRcFV_08OAK_KCAAAA5fm_sy874.conf");               
            System.out.println(b);               
            IOUtils.write(b, new FileOutputStream("D:/"+UUID.randomUUID().toString()+".conf"));          
            }   
        catch (Exception e) {               
            e.printStackTrace();           
        }       
    }

2.2.5.FastDFS获取将上传文件信息

public void testGetFileInfo(){           
        try {               
            ClientGlobal.init(conf_filename);               
            TrackerClient tracker = new TrackerClient();               
            TrackerServer trackerServer = tracker.getConnection();               
            StorageServer storageServer = null;               
            StorageClient storageClient = new StorageClient(trackerServer, storageServer);               
            FileInfo fi = storageClient.get_file_info("group1", "M00/00/00/wKgRcFV_08OAK_KCAAAA5fm_sy874.conf");               
            System.out.println(fi.getSourceIpAddr());             System.out.println(fi.getFileSize());               
            System.out.println(fi.getCreateTimestamp());             System.out.println(fi.getCrc32());           
            }     
        catch (Exception e) {               
            e.printStackTrace();           
            }       
        }

2.2.6.FastDFS获取文件名称

public void testGetFileMate(){           
        try {              
            ClientGlobal.init(conf_filename);               
            TrackerClient tracker = new TrackerClient();               
            TrackerServer trackerServer = tracker.getConnection();               
            StorageServer storageServer = null;               
            StorageClient storageClient = new StorageClient(trackerServer,                       
            storageServer);               
            NameValuePair nvps [] = storageClient.get_metadata("group1","M00/00/00/wKgRcFV_08OAK_KCAAAA5fm_sy874.conf");               
            for(NameValuePair nvp : nvps){                   
                System.out.println(nvp.getName() + ":" + nvp.getValue());              
                }           
            } catch (Exception e) {               
              e.printStackTrace();           
            }       
    }

2.2.7.FastDFS实现删除文件

public void testDelete(){           
try {               
    ClientGlobal.init(conf_filename);               
    TrackerClient tracker = new TrackerClient();               
    TrackerServer trackerServer = tracker.getConnection();               
    StorageServer storageServer = null;               
    StorageClient storageClient = new StorageClient(trackerServer,storageServer);               
    int i = storageClient.delete_file("group1","M00/00/00/wKgRcFV_08OAK_KCAAAA5fm_sy874.conf");               
    System.out.println( i==0 ? "删除成功" : "删除失败:"+i);           
    } catch (Exception e) {               
      e.printStackTrace();           
    }       
}

2.2.8.FastDFS查询文件

//查询文件
@Test
public void testQueryFile() throws IOException, MyException {
  ClientGlobal.initByProperties("config/fastdfs‐client.properties");
  TrackerClient tracker = new TrackerClient();
  TrackerServer trackerServer = tracker.getConnection();
  StorageServer storageServer = null;
  StorageClient storageClient = new StorageClient(trackerServer,storageServer);
  FileInfo fileInfo = storageClient.query_file_info("group1","M00/00/01/wKhlQFrKBSOAW5AWAALcAg10vf4862.png");
  System.out.println(fileInfo);
}

分布式文件系统FastDFS看这一篇就够了(文件上传下载、单机部署及集群部署)（一）

一、FastDFS是什么？

1.1.简介

1.2.结构组成(Client、Tracker server和Storage server)

1.3.FastDFS下载安装教程

1.4.目录结构

二、FastDFS文件上传下载

2.1.上传下载流程

2.2.上传下载实现

2.2.1.配置依赖：因为我们使用的maven来管理工程，所以，我们需要去配pom文件

2.2.2.新建fdfs_client.conf文件，在我们的itoo中，我们建立在（src/main/resources底下）

2.2.3.实现文件上传

2.2.4.FastDFS实现文件下载

2.2.5.FastDFS获取将上传文件信息

2.2.6.FastDFS获取文件名称

2.2.7.FastDFS实现删除文件

2.2.8.FastDFS查询文件

热门文章

最新文章

相关课程

相关电子书

探索云世界

热门

云计算

大数据

云原生

人工智能

数据库

开发与运维

活动广场

任务中心

训练营

直播

乘风者计划

下载

镜像站

技术资料

分布式文件系统FastDFS看这一篇就够了(文件上传下载、单机部署及集群部署)（一）

一、FastDFS是什么？

1.1.简介

1.2.结构组成(Client、Tracker server和Storage server)

1.3.FastDFS下载安装教程

1.4.目录结构

二、FastDFS文件上传下载

2.1.上传下载流程

2.2.上传下载实现

2.2.1.配置依赖：因为我们使用的maven来管理工程，所以，我们需要去配pom文件

2.2.2.新建fdfs_client.conf文件，在我们的itoo中，我们建立在（src/main/resources底下）

2.2.3.实现文件上传

2.2.4.FastDFS实现文件下载

2.2.5.FastDFS获取将上传文件信息

2.2.6.FastDFS获取文件名称

2.2.7.FastDFS实现删除文件

2.2.8.FastDFS查询文件

热门文章

最新文章

相关课程

相关电子书