AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

在springboot中整合FastDFS+Nginx文件存储服务器(单机版本)进行文件上传操作

2020-04-30 1548
版权
举报
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： FastDFS可以用于存储大量的小文件，比如商城的图片、音频文件等，本文介绍FastDFS+Nginx的安装和整合到Springboot项目中。

公司当时需要自己做一个简单的商城，将公司的产品放在这个商城上售卖。
做商城需要考虑的问题很多，其中一项就是大量商品图片的存储，为了解决这个问题，我在网上搜寻（当时我们还没有使用阿里的OSS+CDN）在经过一番搜寻后找到了FastDFS。

看FastDFS官方仓库中的介绍，正好符合我的需求。

image.png

其特点如下：

  1. 高性能
  2. 可心分布式部署
  3. 具有文件存储、同步、上传、下载功能
  4. 有负载平衡能力

下面我们就来看看怎么搭建起这个FastDFS文件存储系统并和Spirngboot项目对接起来，对项目中文件上传下载图片功能进行支持。

1.软件下载地址

fastdfs的github地址:
https://github.com/happyfish100/fastdfs

fastdfs的java客户端github地址:
https://github.com/happyfish100/fastdfs-client-java (这是fastdf作者写的客户端)
https://github.com/tobato/FastDFS_Client （这是其它作者封装的客户端，这次我们用这个）

2.环境

搭建环境: centos7.4(最好是一个干净的系统)

3.准备工作

1.上传所需文件到centos服务器上并解压这些文件

fastdfs-5.11.tar.gz
fastdfs-nginx-module-1.20.tar.gz
libfastcommon-1.0.39.tar.gz
nginx-1.14.1.tar.gz


        

          
        

        
        

          

          AI 代码解读

2.安装libevent库

$ yum -y install libevent


        

          
        

        
        

          

          AI 代码解读

3.进入解压后的libfastcommon-1.0.39目录中执行下面的安装命令


$ ./make.sh && ./make.sh install


        

          
        

        
        

          

          AI 代码解读

4.安装后能在/usr/lib64或者/usr/lib目录中查找libfastcommon.so文件 , 如果只在/usr/lib64目录中找到就把它复制到/usr/lib目录中

4.安装tracker服务并启动(跟踪器)

1.进入fasfdfs解压后的目录


$ cd fastdfs-5.11


        

          
        

        
        

          

          AI 代码解读

2.执行编译和安装命令, 执行命令后，会将fastdfs安装在/usr/bin和/etc/fdfs/目录下，使用$ ll /usr/bin/fdfs*命令可以查看到安装后的相关文件

./make.sh && ./make.sh install


        

          
        

        
        

          

          AI 代码解读

3.进入fastdfs5.11/conf目录中，把里面所有的配置文件复制到/etc/fdfs目录中


$ cp * /etc/fdfs


        

          
        

        
        

          

          AI 代码解读

4.进入/etc/fdfs/目录中, 使用$ vim tracker.conf命令打开tracker.conf文件，在打开后的文件中进行修改，将basepath的值修改为/fastdfs/tracker(fastdf目录下的tracker)

5.到根目录下创建这些目录

    $ mkdir /fastdfss/tracker -p
    $ mkdir /fastdfs/storage -p
    $ mkdir /fastdfs/client -p
    $ mkdir /fastdfs/temp -p


        

          
        

        
        

          

          AI 代码解读

6.使用以下的命令启动tracker

$ /usr/bin/fdfs_trackerd /etc/fdfs/tracker_conf
# 重启服务
$ /usr/bin/fdfs_trackerd /etc/fdfs/tracker_conf restart


        

          
        

        
        

          

          AI 代码解读

5.启动storage服务(存储器)

1.到/etc/fdfs目录下，打开并修改storage.conf文件，修改内容如下：


basepath=/fasddfs/storage
store_path0=/fastdfs/storage
group_name=sl (注：这个组名自己定义)
tracker_server=192.168.213.120:22122（注：这里填写服务器本机ip）


        

          
        

        
        

          

          AI 代码解读

2.使用以下命令启动storage

$ /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
# 重启服务
$ /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart


        

          
        

        
        

          

          AI 代码解读

3.可以使用以下命令查看服务启动后的状态

# 查看tracker状态
$ ps aux|grep tracker  

# 查看storage状态
$ ps aux|grep storage


        

          
        

        
        

          

          AI 代码解读

6.测试上传文件功能

1.进入/etc/fdfs/目录下，修改这个目录中的client.conf文件，修改内容如下：


basepath=/fastdfs/client
tracker_server=192.169.213.120:22122 （注：这里填写服务器本机ip）


        

          
        

        
        

          

          AI 代码解读

2.使用下面的测试命令上传一张图片，会返回图片的访问链接地址


$ /usr/bin/fdfs_test /etc/fdfs/client.conf upload 我是测试图片.jpg

命令执行返回结果如下：

This is FastDFS client test program v5.11

Copyright (C) 2008, Happy Fish / YuQing

FastDFS may be copied only under the terms of the GNU General
Public License V3, which may be found in the FastDFS source kit.
Please visit the FastDFS Home Page http://www.csource.org/
for more detail.

[2018-11-20 04:36:38] DEBUG - base_path=/fastdfs/client, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0

tracker_query_storage_store_list_without_group:
        server 1. group_name=, ip_addr=192.168.213.120, port=23000

group_name=sl, ip_addr=192.168.213.120, port=23000
storage_upload_by_filename
group_name=sl, remote_filename=M00/00/00/wKjVeFvz_9aAcMNOAAEJsJdjMjM460.jpg
source ip address: 192.168.213.120
file timestamp=2018-11-20 04:36:38
file size=68016
file crc32=2539860531
example file url: http://192.168.213.120/sl/M00/00/00/wKjVeFvz_9aAcMNOAAEJsJdjMjM460.jpg
storage_upload_slave_by_filename
group_name=sl, remote_filename=M00/00/00/wKjVeFvz_9aAcMNOAAEJsJdjMjM460_big.jpg
source ip address: 192.168.213.120
file timestamp=2018-11-20 04:36:38
file size=68016
file crc32=2539860531
example file url: 

# 这是图片文件上传服务器后返回的图片访问路径
http://192.168.213.120/sl/M00/00/00/wKjVeFvz_9aAcMNOAAEJsJdjMjM460_big.jpg


        

          
        

        
        

          

          AI 代码解读

3.可以看到返回信息中显示了图片的访问链接地址。

7.安装并配置nginx

1.配置nginx的fastdfs模块，进入前面第3步解压后的fastdfs-nginx-module-1.20/src目录中，修改此目录下的config文件，修改内容如下：


    ngx_addon_name=ngx_http_fastdfs_module
    
    if test -n "${ngx_module_link}"; then
        ngx_module_type=HTTP
        ngx_module_name=$ngx_addon_name
        ngx_module_incs="/usr/local/include"
        ngx_module_libs="-lfastcommon -lfdfsclient"
        ngx_module_srcs="$ngx_addon_dir/ngx_http_fastdfs_module.c"
        ngx_module_deps=
        CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
        . auto/module
    else
        HTTP_MODULES="$HTTP_MODULES ngx_http_fastdfs_module"
        NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_fastdfs_module.c"
        CORE_INCS="$CORE_INCS /usr/local/include"
        CORE_LIBS="$CORE_LIBS -lfastcommon -lfdfsclient"
        CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
    fi

    把上面这两个地方修改成下面的样子
    ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
    CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"


        

          
        

        
        

          

          AI 代码解读

2.安装nginx支持库

$ yum -y install gcc-c++
$ yum -y install pcre pcre-devel
$ yum -y install zlib zlib-devel
$ yum -y install openssl openssl-devel


        

          
        

        
        

          

          AI 代码解读

3.在nginx的文件目录中执行带以下配置的$ configure命令(这个配置里包括添加上面的模块)


$ ./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/run/nginx/nginx/pid \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi \
--add-module=/root/fastDFS/fastdfs-nginx-module-1.20/src


执行命令后返回的结果

Configuration summary
  + using system PCRE library
  + OpenSSL library is not used
  + using system zlib library

  nginx path prefix: "/usr/local/nginx"
  nginx binary file: "/usr/local/nginx/sbin/nginx"
  nginx modules path: "/usr/local/nginx/modules"
  nginx configuration prefix: "/usr/local/nginx/conf"
  nginx configuration file: "/usr/local/nginx/conf/nginx.conf"
  nginx pid file: "/var/run/nginx/nginx/pid"
  nginx error log file: "/var/log/nginx/error.log"
  nginx http access log file: "/var/log/nginx/access.log"
  nginx http client request body temporary files: "/var/temp/nginx/client"
  nginx http proxy temporary files: "/var/temp/nginx/proxy"
  nginx http fastcgi temporary files: "/var/temp/nginx/fastcgi"
  nginx http uwsgi temporary files: "/var/temp/nginx/uwsgi"
  nginx http scgi temporary files: "/var/temp/nginx/scgi"



        

          
        

        
        

          

          AI 代码解读

4.进入nginx文件目录，使用以下命令编译和安装nginx软件(不用/make, 直接make)

$ make && make install 
# 注：安装后会在/usr/local目录下有一个nginx文件夹，这个文件夹就是安装后的nginx程序


        

          
        

        
        

          

          AI 代码解读

5.进入fastdfs-nginx-module目录中,复制模块配置(这个是fastdfs和nginx配合的配置文件)

$ cp mod_fastdfs.conf /etc/fdfs/


        

          
        

        
        

          

          AI 代码解读

6.进入/etc/fdfs/目录中，修改此目录中的mod_fastdfs.conf文件，修改内容如下：

basepath=/fastdfs/temp
group_name=sl # (注：同上面storage的组名一样)
url_have_group_name = true
store_path0=/fastdfs/storage # (注：同storage的配置目录，这个是用于存储文件的目录)


        

          
        

        
        

          

          AI 代码解读

7.进入nginx的安装目录/usr/local/nginx/中,修改nginx.conf这个配置文件，修改内容如下：


# 添加一个server
server {
    listen  88;
    server_name  localhost;

    # 这个/sl/M00是上面设置的组名和自动生成的MOO前缀
    location /sl/M00 {
        # 这里是我们添加的模块名
        ngx_fastdfs_module;
    }
}


        

          
        

        
        

          

          AI 代码解读

8.进入/usr/local/nginx/sbin目录执行以下相关命令操作nginx

  
 # 检查nginx配置文件是否正确
 $ ./nginx -t

[root@localhost nginx]# ./sbin/nginx -t
ngx_http_fastdfs_set pid=23514
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: [emerg] mkdir() "/var/temp/nginx/client" failed (2: No such file or directory)
nginx: configuration file /usr/local/nginx/conf/nginx.conf test failed

# 报错说找不到一个目录(/var/temp/nginx/client)，我们使用以下命令创建这个目录
$ mkdir /var/temp/nginx/client -p

# 再次使用检测命令测试，即可通过测试
$ ./nginx -t

# 开启nginx服务
$ nginx ./nginx


        

          
        

        
        

          

          AI 代码解读

9.关闭防火墙


$ /etc/init.d/iptables stop

执行命令返回结果如下：
iptables: Flushing firewall rules:                         [  OK  ]
iptables: Setting chains to policy ACCEPT: filter          [  OK  ]
iptables: Unloading modules:                               [  OK  ]


        

          
        

        
        

          

          AI 代码解读

10.在浏览器中访问192.168.213.120(服务器id地址)可以看到nginx默认首页

11.重启所有服务(tracker storage nginx firewall)

$ /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf
$ /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
$ /usr/local/nginx/sbin/nginx
$ /etc/init.d/iptables stop


        

          
        

        
        

          

          AI 代码解读

12.在浏览器中访问之前测试上传的图片，可以成功在浏览器中访问图片

http://192.168.213.120:88/sl/M00/00/00/wKjVeFvz_9aAcMNOAAEJsJdjMjM460.jpg


        

          
        

        
        

          

          AI 代码解读

8.整合springboot

1.在springboot工程中添加fastdfs-client-java的maven依赖

<dependency>
    <groupId>com.github.tobato</groupId>
    <artifactId>fastdfs-client</artifactId>
    <version>1.26.2</version>
</dependency>


        

          
        

        
        

          

          AI 代码解读

2.在springboot工程中添加配置类ComponetImport.java

/**
 * 导入FastDFS-Client组件
 * 
 * @author tobato
 *
 */
@Configuration
@Import(FdfsClientConfig.class)
// 解决jmx重复注册bean的问题
@EnableMBeanExport(registration = RegistrationPolicy.IGNORE_EXISTING)
public class ComponetImport {
    // 导入依赖组件
}
注意：@EnableMBeanExport解决问题JMX重复注册问题,issue #8 issue #18，不要再配置 spring.jmx.enabled=false，以免影响SpringBoot默认的JMX监控。


        

          
        

        
        

          

          AI 代码解读

3.在工程配置文件application.yml中修改fastdfs相关参数, 修改如下：

# ===================================================================
# 分布式文件系统FDFS配置
# ===================================================================
fdfs:
  so-timeout: 1501
  connect-timeout: 601 
  thumb-image:             #缩略图生成参数
    width: 80
    height: 80
  tracker-list:            #TrackerList参数,支持多个
    - 192.168.213.120:22122    # 这里填写安装fastdfs的服务器地址


        

          
        

        
        

          

          AI 代码解读

4.整合好后就可以在java代码中注入相关的工具进行上传下载操作了，注入代码如下：


@Autowired
private FastFileStorageClient storageClient;

这个类的部分方法如下，根据方法名可以很容易看出各个方法的作用
    storageClient.uploadFile
    storageClient.uploadFile2
    storageClient.uploadQRCode
    storageClient.uploadFace
    storageClient.uploadBase64
    storageClient.uploadFile
    storageClient.deleteFile
    storageClient.storageClient


        

          
        

        
        

          

          AI 代码解读

至此，我们就搭建起了单机版的FastDFS文件存储系统，并和Springboot项目进行了整合。
我们就可以直接在Springboot项目中的业务代码里使用FastDFS客户端进行商城图片的上传和下载操作了。

文章标签：
Java
开发工具
应用服务中间件
监控
负载均衡
网络安全
文件存储
nginx
Maven
存储
关键词：
springboot云服务器 ECS
Spring Boot服务器
nginx云服务器 ECS
Nginx服务器
Spring Boot文件存储
xlcode
+关注
1文章2问答
目录
打赏
0
0
0
0
1
分享
相关文章
别惹CC
|
1月前
|
存储 Java 文件存储
🗄️Spring Boot 3 整合 MinIO 实现分布式文件存储
本文介绍了如何基于Spring Boot 3和MinIO实现分布式文件存储。随着应用规模扩大，传统的单机文件存储方案难以应对大规模数据和高并发访问，分布式文件存储系统成为更好的选择。文章详细讲解了MinIO的安装、配置及与Spring Boot的整合步骤，包括Docker部署、MinIO控制台操作、Spring Boot项目中的依赖引入、配置类编写及工具类封装等内容。最后通过一个上传头像的接口示例展示了具体的开发和测试过程，强调了将API操作封装成通用工具类以提高代码复用性和可维护性的重要性。
别惹CC
249 7
🗄️Spring Boot 3 整合 MinIO 实现分布式文件存储
Harry技术
|
3月前
|
存储 Java 文件存储
Spring Boot 3 整合 Minio 实现文件存储
本文介绍了如何使用 Spring Boot 3 整合 MinIO 实现文件存储服务。MinIO 是一款高性能的对象存储服务器，适合大规模数据存储与分析，支持多种部署环境且文档完备、开源免费。从 MinIO 的快速安装、配置文件公开访问，到 Spring Boot 中集成 MinIO 客户端的步骤，包括创建用户访问密钥、引入依赖包、添加配置信息、编写 MinIO 客户端配置类及上传和预览文件的服务代码。最后通过 Apifox 进行文件上传测试，并验证文件是否成功存储及预览功能是否正常。关注公众号“Harry技术”，回复 minio 获取源码地址。
Harry技术
297 76
CiiLii西里网
|
1月前
|
Ubuntu 应用服务中间件 网络安全
Nginx伪流媒体服务器搭建详细说明以及案例
Nginx伪流媒体服务器搭建步骤如下：1. 安装Nginx，根据系统选择命令；2. 编辑配置文件（/etc/nginx/nginx.conf），添加mp4相关设置；3. 创建视频目录/usr/share/nginx/html/videos并上传视频；4. 重启Nginx应用更改；5. 通过浏览器访问视频，如http://your_server_ip/videos/example.mp4。注意启用mp4模块，确保视频格式支持伪流媒体播放。
CiiLii西里网
73 7
1353439074542983
|
2月前
|
应用服务中间件 PHP nginx
当你的nginx服务器和php服务器不在一起的时候，这个nginx 的root目录问题
两个服务器的网站代码目录需要对齐，docker容器里面也是一样
1353439074542983
32 2
dufadayang
|
5月前
|
负载均衡 监控 应用服务中间件
配置Nginx反向代理时如何指定后端服务器的权重？
配置Nginx反向代理时如何指定后端服务器的权重？
dufadayang
311 61
Naylor
|
4月前
|
存储 编解码 应用服务中间件
使用Nginx搭建流媒体服务器
本文介绍了流媒体服务器的特性及各种流媒体传输协议的适用场景，并详细阐述了使用 nginx-http-flv-module 扩展Nginx作为流媒体服务器的详细步骤，并提供了在VLC，flv.js，hls.js下的流媒体拉流播放示例。
Naylor
519 2
游客cxtb2yf2r55as
|
6月前
|
存储 应用服务中间件 PHP
设置nginx中文件上传的大小限制度
设置nginx中文件上传的大小限制度
游客cxtb2yf2r55as
299 4
1288912195458132
|
8月前
|
负载均衡 前端开发 应用服务中间件
FastDFS+Nginx+fastdfs-nginx-module集群搭建
FastDFS+Nginx+fastdfs-nginx-module集群搭建
1288912195458132
88 2
游客mldfis24krfue
|
8月前
|
Ubuntu 应用服务中间件 Linux
在Linux中，如何配置Web服务器（如Apache或Nginx）？
在Linux中，如何配置Web服务器（如Apache或Nginx）？
游客mldfis24krfue
392 2
土木林森
|
8月前
|
负载均衡 应用服务中间件 Linux
"揭晓nginx的神秘力量：如何实现反向代理与负载均衡，拯救服务器于水火？"
【8月更文挑战第20天】在Linux环境下，nginx作为高性能HTTP服务器与反向代理工具，在网站优化及服务器负载均衡中扮演重要角色。本文通过电商平台案例，解析nginx如何解决服务器压力大、访问慢的问题。首先介绍反向代理原理，即客户端请求经由代理服务器转发至内部服务器，隐藏真实服务器地址；并给出配置示例。接着讲解负载均衡原理，通过将请求分发到多个服务器来分散负载，同样附有配置实例。实践表明，采用nginx后，不仅服务器压力得到缓解，还提升了访问速度与系统稳定性。
土木林森
248 3

热门文章

最新文章

  • 1
    20分钟上手DeepSeek开发：SpringBoot + Vue2快速构建AI对话系统
    62
  • 2
    深入理解 Spring Boot 中日期时间格式化：@DateTimeFormat 与 @JsonFormat 完整实践
    77
  • 3
    如何实现上传jar直接部署成功,这篇文章直接带你上手springboot实现jar包热更新!
    16
  • 4
    深入理解 Spring Boot 中日期时间格式化：@DateTimeFormat 与 @JsonFormat 完整实践
    29
  • 5
    weixin117新闻资讯系统设计+springboot(文档+源码)_kaic
    4
  • 6
    深入解析HTTP请求方法：Spring Boot实战与最佳实践
    29
  • 7
    SpringBoot自动配置原理
    8
  • 8
    Spring Boot 与 Vue.js 前后端分离中的数据交互机制
    23
  • 9
    智慧班牌源码，采用Java + Spring Boot后端框架，搭配Vue2前端技术，支持SaaS云部署
    40
  • 10
    两种Spring Boot 项目启动自动执行方法的实现方式
    13
  • 1
    IngressNightmare：Ingress Nginx 再曝5个安全漏洞，可接管你的 K8s 集群
    96
  • 2
    如何使用nginx实现负载均衡？
    41
  • 3
    Nginx进程配置指令详解
    89
  • 4
    Nginx伪流媒体服务器搭建详细说明以及案例
    73
  • 5
    Nginx长连接负载均衡详细说明以及案例
    127
  • 6
    ELK实现nginx、mysql、http的日志可视化实验
    248
  • 7
    Nginx 响应头 Vary 的介绍与应用
    66
  • 8
    当你的nginx服务器和php服务器不在一起的时候，这个nginx 的root目录问题
    32
  • 9
    Nginx负载聚能
    50
  • 10
    nginxconf.sh 自动生成 nginx tcp 转发配置文件 conf
    103

    • 相关课程

    更多
  • SpringBoot实战教程
  • SpringBoot快速掌握 - 核心技术
  • SpringBoot快速掌握 - 高级应用
  • Linux Web服务器Nginx搭建与配置
  • 阿里云文件存储 NAS 使用教程
  • Springboot项目云开发快速迁移

    • 相关电子书

    更多
  • 《Nginx 代理系统常用手册》
  • CentOS Nginx PHP JAVA 多语言镜像使用手
  • CentOS Nginx PHP JAVA多语言镜像使用手册

    • 相关实验场景

    更多
  • 通过云拨测对指定服务器进行Ping/DNS监测
  • 日志服务之使用Nginx模式采集日志
  • 从零搭建Spring Boot的Hello World
    • 下一篇
    阿里云oss简介和使用流程
    目录