FastDFS概念、原理及CentOS7下安装实战

本文涉及的产品
网络型负载均衡 NLB,每月750个小时 15LCU
传统型负载均衡 CLB,每月750个小时 15LCU
应用型负载均衡 ALB,每月750个小时 15LCU
简介: 一、FastDFS基本概念及基本原理   1.什么是FastDFS     FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

一、FastDFS基本概念及基本原理

  1.什么是FastDFS

    FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。主要功能包括文件存储、文件同步、文件访问(上传、下载)、存取负载均衡、在线扩容、相同内容只存储一份等功能,适合有大容量存储需求的应用或系统。做分布式系统开发时,其中要解决的一个问题就是图片、音视频、文件共享的问题,分布式文件系统正好可以解决这个需求。同类的分布式文件系统有谷歌的GFS、HDFS(Hadoop)、TFS(淘宝)等。

    FastDFS有两个角色:跟踪服务(tracker)和存储服务(storage),跟踪服务控制,调度文件以负载均衡的方式访问;存储服务包括:文件存储,文件同步,提供文件访问接口,同时以key value的方式管理文件的元数据。

    跟踪和存储服务可以由1台或者多台服务器组成,同时可以动态的添加,删除跟踪和存储服务而不会对在线的服务产生影响,在集群中,tracker服务是对等的。

    存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起到了冗余备份和负载均衡的作用。在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务。当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量。

  2.FastDFS系统架构

    

  2.文件上传流程

  

  3.文件下载流程

   

  4.上传文件的文件名

    客户端上传文件后存储服务器文件ID返回给客户端,此文件ID用于以后访问该文件的索引信息。文件索引信息包括:组名,虚拟磁盘路径,数据两级目录,文件名。

     

    1). 组名:文件上传后所在的storage组名称,在文件上传成功后有storage服务器返回,需要客户端自行保存。

    2). 虚拟磁盘路径:storage配置的虚拟路径,与磁盘选项store_path*对应。如果配置了store_path0则是M00,如果配置了store_path1则是M01,以此类推。

    3). 数据两级目录:storage服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件。

    文件名:与文件上传时不同。是由存储服务器根据特定信息生成,文件名包含:源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

二、搭建步骤

  为了直观立体,我们选择使用一台虚拟机来模拟,只配置一个Tracker、一个Storage服务,配置Nginx来访问上传的文件。

  

  第一步.安装fastDFS依赖的libevent工具包

    yum -y install libevent

  第二步.下载FastDFS以及相关源码包

    1.下载libfastcommon

       wget https://github.com/happyfish100/libfastcommon/archive/V1.0.35.tar.gz -O libfastcommon-1.0.35.tar.gz

    2.下载fastdfs源码包

       wget https://github.com/happyfish100/fastdfs/archive/V5.10.tar.gz -O fastdfs-5.10.tar.gz

    3.下载fastdfs-nginx-module源码包

       wget https://sourceforge.net/projects/fastdfs/files/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz/download -O fastdfs-nginx-module_v1.16.tar.gz

    4.下载nginx源码包

       wget http://nginx.org/download/nginx-1.12.0.tar.gz

  第三步.安装libfastcommon

    1.解压缩libfastcommon并进入解压后的目录

      tar -zxvf libfastcommon-1.0.35.tar.gz && cd libfastcommon-1.0.35

    2.进行make和make install

      ./make.sh && ./make.sh install

    3.设置软链接或者拷贝usr/lib64/libfastcommon.so文件到/usr/lib/(64位系统跳过该步骤)

      ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
      ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
        ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
      ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

  第四步.安装Tracker服务

    1.解压缩fastdfs-5.10.tar.gz并进入解压后的目录

      tar -zxvf fastdfs-5.10.tar.gz && cd fastdfs-5.10.tar.gz

    2.进行make和make install

      ./make.sh && ./make.sh install

      注:上面命令运行成功以后,会在/usr/bin目录下生成以fdfs开头的文件

    3.拷贝源码解压包目录下conf目录下的所有文件到/etc/fdfs下

      cp ~/fastdfs/fastdfs-5.10.tar.gz/conf/* /etc/fdfs/

    4.修改/etc/fdfs/tracker.conf文件对tracker进行配置

      

    5.启动tracker服务

      /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf

      重启命令:/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

  第五步.安装Storage服务

    1.如果是在不同的服务器安装该服务,第四步的1~3需要重新执行.

    2.修改/etc/fdfs/storage.conf文件对storage进行配置

     

     

     

    3.启动storage服务

      /usr/bin/fdfs_storaged /etc/fdfs/storage.conf

      重启:/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

   第六步.测试服务

    1.修改配置文件/etc/fdfs/client.conf配置客户端

    

        

    2.测试

      /usr/bin/fdfs_test /etc/fdfs/client.conf upload anti-steal.jpg

     成功会出现以下文字

     

     先记下此处上传成功文件的url是:http://192.168.85.131/group1/M00/00/00/wKhVg1kl_NGAd61UAABdrZgsqUU293_big.jpg

  第七步:搭建Nginx提供Http服务

    1.安装教程:Centos7安装Nginx实战

    注意:配置的参数要发生如下变化:添加最后一行

./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi \
--add-module=/root/fastdfs/fastdfs-nginx-module/src

  2.安装完成以后,需要/root/fastdfs/fastdfs-nginx-module/src/mod_fastdfs.conf文件复制到/etc/fdfs目录下

    cp /root/fastdfs/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs

  3.对copy后的文件进行编辑

    

    

    

   4.对nginx进行配置

   在nginx配置文件中增加一个server:

server {
        listen       80;
        server_name  192.168.85.131;

        location /group1/M00/{
                #root /data/fastdfs/storage/data;
                ngx_fastdfs_module;
        }
}

  5.libfdfsclient.so拷贝至/usr/lib下(64位机器跳过此步骤)

    cp /usr/lib64/libfdfsclient.so /usr/lib/

  6.启动nginx

    cd /usr/local/nginx/sbin && ./nginx

  第八步.对之前测试上传的文件进行访问,浏览器输入:http://192.168.85.131/group1/M00/00/00/wKhVg1kl_NGAd61UAABdrZgsqUU293_big.jpg

 

  出现此图片说明fastdfs图片服务器以及nginx插件搭建成功!

相关实践学习
小试牛刀,一键部署电商商城
SAE 仅需一键,极速部署一个微服务电商商城,体验 Serverless 带给您的全托管体验,一起来部署吧!
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
14天前
|
Linux 虚拟化 Windows
VMware隐藏黑科技!CentOS安装这个神器效率翻倍 文件互传竟比U盘还快?
### 安装VMtools的作用及步骤 安装VMtools可以实现Windows与CentOS之间的字符串和命令粘贴、文件夹共享等操作。在CentOS中,通过VMware菜单栏选择“VMware Tools”,将下载的压缩包拷贝到`/opt`目录并解压。接着进入终端,使用`./vmware-install.pl`命令完成安装。安装后重启系统,即可实现Windows与CentOS之间的字符和文件共享。具体步骤包括解压文件、启动命令行终端、安装VMtools以及配置文件共享。
51 16
VMware隐藏黑科技!CentOS安装这个神器效率翻倍 文件互传竟比U盘还快?
|
14天前
|
存储 IDE Linux
零基础保姆级教程!手把手教你免费玩转Linux CentOS安装+学习环境搭建(附避坑指南)
本文详细介绍了在VMware虚拟机中安装CentOS 6.8的全过程。首先,需确保已安装VMware并开启V-CPU虚拟化功能,可通过BIOS设置或使用LeoMoon CPU-V工具检测。接着,下载CentOS镜像文件,并在VMware中新建虚拟机,配置CPU、内存、硬盘等参数。最后,加载ISO镜像启动虚拟机,按照提示完成CentOS的安装,包括语言、键盘、存储方式、地区、密码设置及硬盘分区等步骤。安装完成后,以root用户登录即可进入系统桌面,开始学习Linux命令和操作。
69 12
零基础保姆级教程!手把手教你免费玩转Linux CentOS安装+学习环境搭建(附避坑指南)
|
27天前
|
缓存 Ubuntu Linux
Linux中yum、rpm、apt-get、wget的区别,yum、rpm、apt-get常用命令,CentOS、Ubuntu中安装wget
通过本文,我们详细了解了 `yum`、`rpm`、`apt-get`和 `wget`的区别、常用命令以及在CentOS和Ubuntu中安装 `wget`的方法。`yum`和 `apt-get`是高层次的包管理器,分别用于RPM系和Debian系发行版,能够自动解决依赖问题;而 `rpm`是低层次的包管理工具,适合处理单个包;`wget`则是一个功能强大的下载工具,适用于各种下载任务。在实际使用中,根据系统类型和任务需求选择合适的工具,可以大大提高工作效率和系统管理的便利性。
132 25
|
1月前
|
监控 Linux PHP
【02】客户端服务端C语言-go语言-web端PHP语言整合内容发布-优雅草网络设备监控系统-2月12日优雅草简化Centos stream8安装zabbix7教程-本搭建教程非docker搭建教程-优雅草solution
【02】客户端服务端C语言-go语言-web端PHP语言整合内容发布-优雅草网络设备监控系统-2月12日优雅草简化Centos stream8安装zabbix7教程-本搭建教程非docker搭建教程-优雅草solution
87 20
|
2月前
|
存储 分布式计算 Hadoop
Centos7.9安装kerberos
Centos7.9安装kerberos
99 25
|
2月前
|
存储 Shell 网络安全
Centos7.9安装openldap
Centos7.9安装openldap
69 16
|
2月前
|
数据可视化 Linux 应用服务中间件
Centos7.9安装phpldapadmin
Centos7.9安装phpldapadmin
80 15
|
2月前
|
网络协议 Java 应用服务中间件
centos7环境下tomcat8的安装与配置
本文介绍了在Linux环境下安装和配置Tomcat 8的详细步骤。首先,通过无网络条件下的文件交互软件(如Xftp 6或MobaXterm)下载并解压Tomcat安装包至指定路径,启动Tomcat服务并测试访问。接着,修改Tomcat端口号以避免冲突,并部署Java Web应用项目至Tomcat服务器。最后,调整Linux防火墙规则,确保外部可以正常访问部署的应用。关键步骤包括关闭或配置防火墙、添加必要的端口规则,确保Tomcat服务稳定运行。
|
4月前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第16天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括配置系统源、安装 SQL Server 2019 软件包以及数据库初始化,确保 SQL Server 正常运行。
216 4
|
4月前
|
存储 安全 Linux
VMware安装CentOS7
【11月更文挑战第11天】本文详细介绍了在 VMware 中安装 CentOS 7 的步骤,包括准备工作、创建虚拟机、配置虚拟机硬件和安装 CentOS 7。具体步骤涵盖下载 CentOS 7 镜像文件、安装 VMware 软件、创建和配置虚拟机硬件、启动虚拟机并进行安装设置,最终完成 CentOS 7 的安装。在安装过程中,需注意合理设置磁盘分区、软件选择和网络配置,以确保系统的性能和功能满足需求。
506 0

热门文章

最新文章