分布式文件系统FastDFS

简介:  FastDFS是一个开源的轻量级分布式文件系统,由阿里巴巴余庆大神开发,底层采用C语言,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

一介绍


FastDFS是一个开源的轻量级分布式文件系统,由阿里巴巴余庆大神开发,底层采用C语言,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。


  

  FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。


  存储节点存储文件,完成文件管理的所有功能:就是这样的存储、同步和提供存取接口,FastDFS同时对文件的metadata进行管理。所谓文件的meta data就是文件的相关属性,以键值对(key value)方式表示,如:width=1024,其中的key为width,value为1024。文件metadata是文件属性列表,可以包含多个键值对。


  跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的,可以根据服务器的压力情况随时增加或减少。


  为了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式。存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起到了冗余备份和负载均衡的作用。


  在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务。


当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量。


  FastDFS中的文件标识分为两个部分:卷名和文件名,二者缺一不可。


二安装


  使用docker安装FastDFS十分简单和方便,随着容器化技术的流行,使用docker来构建也是一个不错的选择。


   步骤:


1.首先在Docker中找一下FastDFS的镜像,


docker search fastdfs



2.拉取镜像,我拉取的是delron/fastdfs


 docker pull delron/fastdfs

 

3.拉取成功后构建镜像


#构建tracker容器,它的作用是跟踪服务器,起到调度的作用
    docker run -dti --network=host --name tracker -v /var/fdfs/tracker:/var/fdfs -v /etc/localtime:/etc/localtime delron/fastdfs tracker
    构建storage容器(存储服务器,提供容量和备份服务)
    docker run -dti  --network=host --name storage -e TRACKER_SERVER=ip地址:22122 -v /var/fdfs/storage:/var/fdfs  -v /etc/localtime:/etc/localtime  delron/fastdfs storage


构建成功后进入storage容器


 docker exec -it storage容器ID bash


可以在容器的/etc/fdfs目录下的storage.conf配置http访问端口,默认为8888,可以不改




配置nginx,同样进入storage容器,进入/usr/local/nginx/conf目录,修改nginx.conf,也可用默认的,我直接使用8888



由此FastDFS就搭建完成,使用Docker来搭建确实很方便



测试文件上传



将一张测试照片放置在/var/fdfs/storage目录下



进入storage容器,进入/var/fdfs目录,执行命令


/usr/bin/fdfs_upload_file /etc/fdfs/client.conf test.jpg


从上可以看出产生了一个新的jpg文件,访问它只需要加上ip地址和端口


http://ip地址:端口(默认8888)/group1/M00/00/00/wKgAA138lqKAGnLRAAIXDnTxZwQ076.jpg


到这里FastDFS的搭建和测试正式完成。

相关实践学习
部署高可用架构
本场景主要介绍如何使用云服务器ECS、负载均衡SLB、云数据库RDS和数据传输服务产品来部署多可用区高可用架构。
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
目录
相关文章
|
9月前
|
存储 缓存 负载均衡
分布式文件存储与数据缓存 FastDFS(一)
分布式文件存储与数据缓存 FastDFS(一)
|
7月前
|
JSON 前端开发 JavaScript
34分布式电商项目 - 商品录入(图片上传至fastdfs)
34分布式电商项目 - 商品录入(图片上传至fastdfs)
27 0
|
7月前
|
Linux 数据安全/隐私保护
33分布式电商项目 -fastdfs安装教程
33分布式电商项目 -fastdfs安装教程
31 0
|
7月前
|
存储 索引
32分布式电商项目 - FastDFS文件上传与下载流程
32分布式电商项目 - FastDFS文件上传与下载流程
28 0
32分布式电商项目 - FastDFS文件上传与下载流程
|
7月前
|
存储 负载均衡 调度
31分布式电商项目 - 分布式图片服务器FastDFS
31分布式电商项目 - 分布式图片服务器FastDFS
33 0
|
9月前
|
存储 缓存 应用服务中间件
分布式文件存储与数据缓存 FastDFS(二)
分布式文件存储与数据缓存 FastDFS(二)
|
11月前
|
Ubuntu 应用服务中间件 Shell
云服务器上关于分布式文件系统FastDFS的安装教程以及个人遇到的所有排坑
云服务器上关于分布式文件系统FastDFS的安装教程以及个人遇到的所有排坑
190 0
|
存储 Cloud Native Java
放弃FastDFS,Spring Boot 整合 MinIO 实现分布式文件服务,真香!
放弃FastDFS,Spring Boot 整合 MinIO 实现分布式文件服务,真香!
|
存储 监控 Java
保姆级教程-分布式文件系统FastDFS(高效存储,有效解决大量资源上传下载)(三)
保姆级教程-分布式文件系统FastDFS(高效存储,有效解决大量资源上传下载)
150 0
保姆级教程-分布式文件系统FastDFS(高效存储,有效解决大量资源上传下载)(三)
|
存储 负载均衡 前端开发
保姆级教程-分布式文件系统FastDFS(高效存储,有效解决大量资源上传下载)(一)
保姆级教程-分布式文件系统FastDFS(高效存储,有效解决大量资源上传下载)
182 0
保姆级教程-分布式文件系统FastDFS(高效存储,有效解决大量资源上传下载)(一)