在springboot中整合FastDFS+Nginx文件存储服务器(单机版本)进行文件上传操作

公司当时需要自己做一个简单的商城，将公司的产品放在这个商城上售卖。
做商城需要考虑的问题很多，其中一项就是大量商品图片的存储，为了解决这个问题，我在网上搜寻（当时我们还没有使用阿里的OSS+CDN）在经过一番搜寻后找到了FastDFS。

看FastDFS官方仓库中的介绍，正好符合我的需求。

其特点如下：

1. 高性能
2. 可心分布式部署
3. 具有文件存储、同步、上传、下载功能
4. 有负载平衡能力

下面我们就来看看怎么搭建起这个FastDFS文件存储系统并和Spirngboot项目对接起来，对项目中文件上传下载图片功能进行支持。

1.软件下载地址

fastdfs的github地址:
https://github.com/happyfish100/fastdfs

fastdfs的java客户端github地址:
https://github.com/happyfish100/fastdfs-client-java (这是fastdf作者写的客户端)
https://github.com/tobato/FastDFS_Client （这是其它作者封装的客户端，这次我们用这个）

2.环境

搭建环境: centos7.4(最好是一个干净的系统)

3.准备工作

1.上传所需文件到centos服务器上并解压这些文件

fastdfs-5.11.tar.gz
fastdfs-nginx-module-1.20.tar.gz
libfastcommon-1.0.39.tar.gz
nginx-1.14.1.tar.gz

2.安装libevent库

$ yum -y install libevent

3.进入解压后的libfastcommon-1.0.39目录中执行下面的安装命令

$ ./make.sh && ./make.sh install

4.安装后能在/usr/lib64或者/usr/lib目录中查找libfastcommon.so文件 , 如果只在/usr/lib64目录中找到就把它复制到/usr/lib目录中

4.安装tracker服务并启动(跟踪器)

1.进入fasfdfs解压后的目录

$ cd fastdfs-5.11

2.执行编译和安装命令, 执行命令后，会将fastdfs安装在/usr/bin和/etc/fdfs/目录下，使用$ ll /usr/bin/fdfs*命令可以查看到安装后的相关文件

./make.sh && ./make.sh install

3.进入fastdfs5.11/conf目录中，把里面所有的配置文件复制到/etc/fdfs目录中

$ cp * /etc/fdfs

4.进入/etc/fdfs/目录中, 使用$ vim tracker.conf命令打开tracker.conf文件，在打开后的文件中进行修改，将basepath的值修改为/fastdfs/tracker(fastdf目录下的tracker)

5.到根目录下创建这些目录

    $ mkdir /fastdfss/tracker -p
    $ mkdir /fastdfs/storage -p
    $ mkdir /fastdfs/client -p
    $ mkdir /fastdfs/temp -p

6.使用以下的命令启动tracker

$ /usr/bin/fdfs_trackerd /etc/fdfs/tracker_conf
# 重启服务
$ /usr/bin/fdfs_trackerd /etc/fdfs/tracker_conf restart

5.启动storage服务(存储器)

1.到/etc/fdfs目录下，打开并修改storage.conf文件，修改内容如下：

basepath=/fasddfs/storage
store_path0=/fastdfs/storage
group_name=sl (注：这个组名自己定义)
tracker_server=192.168.213.120:22122（注：这里填写服务器本机ip）

2.使用以下命令启动storage

$ /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
# 重启服务
$ /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

3.可以使用以下命令查看服务启动后的状态

# 查看tracker状态
$ ps aux|grep tracker  

# 查看storage状态
$ ps aux|grep storage

6.测试上传文件功能

1.进入/etc/fdfs/目录下，修改这个目录中的client.conf文件，修改内容如下：

basepath=/fastdfs/client
tracker_server=192.169.213.120:22122 （注：这里填写服务器本机ip）

2.使用下面的测试命令上传一张图片，会返回图片的访问链接地址

$ /usr/bin/fdfs_test /etc/fdfs/client.conf upload 我是测试图片.jpg

命令执行返回结果如下：

This is FastDFS client test program v5.11

Copyright (C) 2008, Happy Fish / YuQing

FastDFS may be copied only under the terms of the GNU General
Public License V3, which may be found in the FastDFS source kit.
Please visit the FastDFS Home Page http://www.csource.org/
for more detail.

[2018-11-20 04:36:38] DEBUG - base_path=/fastdfs/client, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0

tracker_query_storage_store_list_without_group:
        server 1. group_name=, ip_addr=192.168.213.120, port=23000

group_name=sl, ip_addr=192.168.213.120, port=23000
storage_upload_by_filename
group_name=sl, remote_filename=M00/00/00/wKjVeFvz_9aAcMNOAAEJsJdjMjM460.jpg
source ip address: 192.168.213.120
file timestamp=2018-11-20 04:36:38
file size=68016
file crc32=2539860531
example file url: http://192.168.213.120/sl/M00/00/00/wKjVeFvz_9aAcMNOAAEJsJdjMjM460.jpg
storage_upload_slave_by_filename
group_name=sl, remote_filename=M00/00/00/wKjVeFvz_9aAcMNOAAEJsJdjMjM460_big.jpg
source ip address: 192.168.213.120
file timestamp=2018-11-20 04:36:38
file size=68016
file crc32=2539860531
example file url: 

# 这是图片文件上传服务器后返回的图片访问路径
http://192.168.213.120/sl/M00/00/00/wKjVeFvz_9aAcMNOAAEJsJdjMjM460_big.jpg

3.可以看到返回信息中显示了图片的访问链接地址。

7.安装并配置nginx

1.配置nginx的fastdfs模块，进入前面第3步解压后的fastdfs-nginx-module-1.20/src目录中，修改此目录下的config文件，修改内容如下：

    ngx_addon_name=ngx_http_fastdfs_module
    
    if test -n "${ngx_module_link}"; then
        ngx_module_type=HTTP
        ngx_module_name=$ngx_addon_name
        ngx_module_incs="/usr/local/include"
        ngx_module_libs="-lfastcommon -lfdfsclient"
        ngx_module_srcs="$ngx_addon_dir/ngx_http_fastdfs_module.c"
        ngx_module_deps=
        CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
        . auto/module
    else
        HTTP_MODULES="$HTTP_MODULES ngx_http_fastdfs_module"
        NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_fastdfs_module.c"
        CORE_INCS="$CORE_INCS /usr/local/include"
        CORE_LIBS="$CORE_LIBS -lfastcommon -lfdfsclient"
        CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
    fi

    把上面这两个地方修改成下面的样子
    ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
    CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

2.安装nginx支持库

$ yum -y install gcc-c++
$ yum -y install pcre pcre-devel
$ yum -y install zlib zlib-devel
$ yum -y install openssl openssl-devel

3.在nginx的文件目录中执行带以下配置的$ configure命令(这个配置里包括添加上面的模块)

$ ./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/run/nginx/nginx/pid \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi \
--add-module=/root/fastDFS/fastdfs-nginx-module-1.20/src


执行命令后返回的结果

Configuration summary
  + using system PCRE library
  + OpenSSL library is not used
  + using system zlib library

  nginx path prefix: "/usr/local/nginx"
  nginx binary file: "/usr/local/nginx/sbin/nginx"
  nginx modules path: "/usr/local/nginx/modules"
  nginx configuration prefix: "/usr/local/nginx/conf"
  nginx configuration file: "/usr/local/nginx/conf/nginx.conf"
  nginx pid file: "/var/run/nginx/nginx/pid"
  nginx error log file: "/var/log/nginx/error.log"
  nginx http access log file: "/var/log/nginx/access.log"
  nginx http client request body temporary files: "/var/temp/nginx/client"
  nginx http proxy temporary files: "/var/temp/nginx/proxy"
  nginx http fastcgi temporary files: "/var/temp/nginx/fastcgi"
  nginx http uwsgi temporary files: "/var/temp/nginx/uwsgi"
  nginx http scgi temporary files: "/var/temp/nginx/scgi"

4.进入nginx文件目录，使用以下命令编译和安装nginx软件(不用/make, 直接make)

$ make && make install 
# 注：安装后会在/usr/local目录下有一个nginx文件夹，这个文件夹就是安装后的nginx程序

5.进入fastdfs-nginx-module目录中,复制模块配置(这个是fastdfs和nginx配合的配置文件)

$ cp mod_fastdfs.conf /etc/fdfs/

6.进入/etc/fdfs/目录中，修改此目录中的mod_fastdfs.conf文件，修改内容如下：

basepath=/fastdfs/temp
group_name=sl # (注：同上面storage的组名一样)
url_have_group_name = true
store_path0=/fastdfs/storage # (注：同storage的配置目录，这个是用于存储文件的目录)

7.进入nginx的安装目录/usr/local/nginx/中,修改nginx.conf这个配置文件，修改内容如下：

# 添加一个server
server {
    listen  88;
    server_name  localhost;

    # 这个/sl/M00是上面设置的组名和自动生成的MOO前缀
    location /sl/M00 {
        # 这里是我们添加的模块名
        ngx_fastdfs_module;
    }
}

8.进入/usr/local/nginx/sbin目录执行以下相关命令操作nginx

  
 # 检查nginx配置文件是否正确
 $ ./nginx -t

[root@localhost nginx]# ./sbin/nginx -t
ngx_http_fastdfs_set pid=23514
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: [emerg] mkdir() "/var/temp/nginx/client" failed (2: No such file or directory)
nginx: configuration file /usr/local/nginx/conf/nginx.conf test failed

# 报错说找不到一个目录(/var/temp/nginx/client)，我们使用以下命令创建这个目录
$ mkdir /var/temp/nginx/client -p

# 再次使用检测命令测试，即可通过测试
$ ./nginx -t

# 开启nginx服务
$ nginx ./nginx

9.关闭防火墙

$ /etc/init.d/iptables stop

执行命令返回结果如下：
iptables: Flushing firewall rules:                         [  OK  ]
iptables: Setting chains to policy ACCEPT: filter          [  OK  ]
iptables: Unloading modules:                               [  OK  ]

10.在浏览器中访问192.168.213.120(服务器id地址)可以看到nginx默认首页

11.重启所有服务(tracker storage nginx firewall)

$ /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf
$ /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
$ /usr/local/nginx/sbin/nginx
$ /etc/init.d/iptables stop

12.在浏览器中访问之前测试上传的图片，可以成功在浏览器中访问图片

http://192.168.213.120:88/sl/M00/00/00/wKjVeFvz_9aAcMNOAAEJsJdjMjM460.jpg

8.整合springboot

1.在springboot工程中添加fastdfs-client-java的maven依赖

<dependency>
    <groupId>com.github.tobato</groupId>
    <artifactId>fastdfs-client</artifactId>
    <version>1.26.2</version>
</dependency>

2.在springboot工程中添加配置类ComponetImport.java

/**
 * 导入FastDFS-Client组件
 * 
 * @author tobato
 *
 */
@Configuration
@Import(FdfsClientConfig.class)
// 解决jmx重复注册bean的问题
@EnableMBeanExport(registration = RegistrationPolicy.IGNORE_EXISTING)
public class ComponetImport {
    // 导入依赖组件
}
注意：@EnableMBeanExport解决问题JMX重复注册问题,issue #8 issue #18，不要再配置 spring.jmx.enabled=false，以免影响SpringBoot默认的JMX监控。

3.在工程配置文件application.yml中修改fastdfs相关参数, 修改如下：

# ===================================================================
# 分布式文件系统FDFS配置
# ===================================================================
fdfs:
  so-timeout: 1501
  connect-timeout: 601 
  thumb-image:             #缩略图生成参数
    width: 80
    height: 80
  tracker-list:            #TrackerList参数,支持多个
    - 192.168.213.120:22122    # 这里填写安装fastdfs的服务器地址

4.整合好后就可以在java代码中注入相关的工具进行上传下载操作了，注入代码如下：

@Autowired
private FastFileStorageClient storageClient;

这个类的部分方法如下，根据方法名可以很容易看出各个方法的作用
    storageClient.uploadFile
    storageClient.uploadFile2
    storageClient.uploadQRCode
    storageClient.uploadFace
    storageClient.uploadBase64
    storageClient.uploadFile
    storageClient.deleteFile
    storageClient.storageClient

至此，我们就搭建起了单机版的FastDFS文件存储系统，并和Springboot项目进行了整合。
我们就可以直接在Springboot项目中的业务代码里使用FastDFS客户端进行商城图片的上传和下载操作了。