AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

分布式文件系统-FastDFS

2017-11-16 2342
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

一、FastDFS简介

一、FastDFS简介

FastDFS是由国人余庆所开发，其项目地址：https://github.com/happyfish100 
 FastDFS是一个轻量级的开源分布式文件系统，主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡。 
 支持存储服务器在线扩容,支持相同的文件只保存一份,节约磁盘。 
 FastDFS只能通过Client API访问，不支持POSIX访问方式。 
 FastDFS适合中大型网站使用，用来存储资源文件(如：图片、文档、视频等)

二、FastDFS组成部分及其它名词

1、tracker server

跟踪服务器：用来调度来自客户端的请求。且在内存中记录所有存储组和存储服务器的信息状态。

2、storage server

存储服务器：用来存储文件(data)和文件属性(metadata)

3、client

客户端：业务请求发起方，通过专用接口基于TCP协议与tracker以及storage server进行交互

group

组，也可称为卷：同组内上的文件是完全相同的

文件标识

包括两部分：组名和文件名(包含路径)

meta data

文件相关属性：键值对(Key Value Pair)方式

fid

文件标识符： 
例如： 
group1/M00/00/00/CgEOxVegXB2AdYafAAAB0b8tBbQ9155303 
group_name：存储组的组名；上传完成后，需要客户端自行保存 
M##：服务器配置的虚拟路径，与磁盘选项store_path#对应 
两级以两位16进制数字命名的目录 
文件名：与原文件名并不相同；由storage server根据特定信息生成。文件名包含：源存储服务器的IP地址、文件创建时间戳、文件大小、随机数和文件扩展名等

三、FastDFS同步机制

1、同一组内的storage server之间是对等的，文件上传、删除等操作可以在任意一台storage server上进行； 
 2、文件同步只在同组内的storage server之间进行，采用push方式，即源服务器同步给目标服务器； 
 3、源头数据才需要同步，备份数据不需要再次同步，否则就构成环路了； 
 上述第二条规则有个例外，就是新增加一台storage server时，由已有的一台storage server将已有的所有数据（包括源头数据和备份数据）同步给该新增服务器。

四、FastDFS与集中存储方式对比

fastdfs2.png

五、FastDFS和mogileFS对比

fastdfs1.png

六、FastDFS安装配置

1、安装开发环境

# yum groupinstall "Development Tools" "Server platform Development"

2、安装libfastcommon

# git clone https://github.com/happyfish100/libfastcommon.git

# cd libfastcommon/

# ./make.sh 

# ./make.sh install

3、安装fastdfs

# cd /root/

# git clone https://github.com/happyfish100/fastdfs.git

# cd fastdfs/

# ./make.sh 

# ./make.sh install

tracker 配置

配置文件修改：根据需求修改

# cd /etc/fdfs

# cp tracker.conf.sample tracker.conf

# vim /etc/fdfs/tracker.conf

 base_path=/data/fdfs/tracker # 存储日志及tracker的状态信息

启动服务（Centos6）：

# mkdir -pv /data/fdfs/tracker

# service fdfs_trackerd start

启动服务（Centos7）方式一：

# mkdir -pv /data/fdfs/tracker

# /etc/init.d/fdfs_trackerd start

启动服务（Centos7）方式二： 
添加systemd的units文件

# cat > /usr/lib/systemd/system/fdfs_trackerd << EOF

# Systemd unit file for default tomcat

# 



[Unit]

Description=FastDFS tracker script

After=syslog.target network.target



[Service]

Type=notify

ExecStart=/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf





[Install]

WantedBy=multi-user.target

EOF

通过systemd启动

systemctl start fdfs_trackerd.service

# ss -tnl|grep 22122

LISTEN     0      128          *:22122                    *:*  

storage 配置

根据需求修改

# cd /etc/fdfs

# cp storage.conf.sample storage.conf

# vim /etc/fdfs/storage.conf

 group_name=group1  #指定组名

 base_path=/data/fdfs/storage # 用于存储数据

 store_path_count=2 # 设置设备数量

 store_path0=/data/fdfs/storage/m0 #指定存储路径0

 store_path1=/data/fdfs/storage/m1 #指定存储路径1

 # 注意：同一组内存储路径不能冲突，例如：下一个节点的存储路径就是m2,m3....等

 tracker_server=10.1.14.197:22122 #指定tracker

启动服务（Centos6）：

# mkdir -pv /data/fdfs/storage/{m0,m1} # 创建数据目录

# service fdfs_storaged start

启动服务（Centos7）方式一：

# mkdir -pv /data/fdfs/storage/{m0,m1} # 创建数据目录

# /etc/init.d/fdfs_storaged start

启动服务（Centos7）方式二： 
添加systemd的units文件

# mkdir -pv /data/fdfs/storage/{m0,m1} # 创建数据目录



# cat > /usr/lib/systemd/system/fdfs_trackerd << EOF

# Systemd unit file for default fastdfs storage

# 



[Unit]

Description=FastDFS storage script

After=syslog.target network.target



[Service]

Type=notify

ExecStart=/usr/bin/fdfs_storaged /etc/fdfs/storage.conf





[Install]

WantedBy=multi-user.target

EOF

通过systemd启动

systemctl start fdfs_storaged.service

# ss -tnl|grep 23000

LISTEN     0      128          *:23000                    *:*  

client配置

修改客户端配置文件

base_path=/data/fdfs/client

tracker_server=10.1.14.197:22122

七、测试FastDFS

1、上传文件

fdfs_upload_file   [storage_ip:port] [store_path_index]

# fdfs_upload_file /etc/fdfs/client.conf /etc/issue

group1/M00/00/00/CgEOxVeMxeuABKiEAAAAF30Ccq85795930

2、查看文件

fdfs_file_info

# fdfs_file_info /etc/fdfs/client.conf group1/M00/00/00/CgEOxVeMxeuABKiEAAAAF30Ccq85795930



source storage id: 0

source ip address: 10.1.14.198

file create timestamp: 2016-07-18 20:04:59

file size: 23

file crc32: 2097312431 (0x7D0272AF)

3、下载文件

fdfs_download_file   [local_filename] [ ]

# fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/CgEOxVeMxeuABKiEAAAAF30Ccq85795930 /tmp/issue

4、查看存储节点状态

# fdfs_monitor /etc/fdfs/client.conf

[2016-08-03 11:58:20] DEBUG - base_path=/data/fdfs/client, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0



server_count=1, server_index=0



tracker server is 10.1.14.197:22122



group count: 1



Group 1:

group name = mage1

disk total space = 18898 MB

disk free space = 17222 MB

trunk free space = 0 MB

storage server count = 2

active server count = 2

storage server port = 23000

storage HTTP port = 8888

store path count = 1

subdir count per path = 256

current write server index = 1

current trunk file id = 0



   Storage 1:

       id = 10.1.14.198

       ip_addr = 10.1.14.198  ACTIVE

       http domain = 

       version = 5.08

       join time = 2016-08-03 20:40:46

       up time = 2016-08-03 11:58:16

       total storage = 18898 MB

       free storage = 17222 MB

       upload priority = 10

       store_path_count = 1

       subdir_count_per_path = 256

       storage_port = 23000

       storage_http_port = 8888

       current_write_path = 0

       source storage id = 

       if_trunk_server = 0

       connection.alloc_count = 256

       connection.current_count = 0

       connection.max_count = 0

       total_upload_count = 1

       success_upload_count = 1

       total_append_count = 0

       success_append_count = 0

       total_modify_count = 0

       success_modify_count = 0

       total_truncate_count = 0

       success_truncate_count = 0

       total_set_meta_count = 0

       success_set_meta_count = 0

       total_delete_count = 0

       success_delete_count = 0

       total_download_count = 0

       success_download_count = 0

       total_get_meta_count = 0

       success_get_meta_count = 0

       total_create_link_count = 0

       success_create_link_count = 0

       total_delete_link_count = 0

       success_delete_link_count = 0

       total_upload_bytes = 23

       success_upload_bytes = 23

       total_append_bytes = 0

       success_append_bytes = 0

       total_modify_bytes = 0

       success_modify_bytes = 0

       stotal_download_bytes = 0

       success_download_bytes = 0

       total_sync_in_bytes = 0

       success_sync_in_bytes = 0

       total_sync_out_bytes = 0

       success_sync_out_bytes = 0

       total_file_open_count = 1

       success_file_open_count = 1

       total_file_read_count = 0

       success_file_read_count = 0

       total_file_write_count = 1

       success_file_write_count = 1

       last_heart_beat_time = 2016-08-03 11:58:15

       last_source_update = 2016-08-03 20:43:55

       last_sync_update = 1970-01-01 08:00:00

       last_synced_timestamp = 1970-01-01 08:00:00 

   Storage 2:

       id = 10.1.14.199

       ip_addr = 10.1.14.199  ACTIVE

       http domain = 

       version = 5.08

       join time = 2016-08-03 20:42:13

       up time = 2016-08-03 11:58:08

       total storage = 18898 MB

       free storage = 17222 MB

       upload priority = 10

       store_path_count = 1

       subdir_count_per_path = 256

       storage_port = 23000

       storage_http_port = 8888

       current_write_path = 0

       source storage id = 10.1.14.198

       if_trunk_server = 0

       connection.alloc_count = 256

       connection.current_count = 0

       connection.max_count = 0

       total_upload_count = 0

       success_upload_count = 0

       total_append_count = 0

       success_append_count = 0

       total_modify_count = 0

       success_modify_count = 0

       total_truncate_count = 0

       success_truncate_count = 0

       total_set_meta_count = 0

       success_set_meta_count = 0

       total_delete_count = 0

       success_delete_count = 0

       total_download_count = 0

       success_download_count = 0

       total_get_meta_count = 0

       success_get_meta_count = 0

       total_create_link_count = 0

       success_create_link_count = 0

       total_delete_link_count = 0

       success_delete_link_count = 0

       total_upload_bytes = 0

       success_upload_bytes = 0

       total_append_bytes = 0

       success_append_bytes = 0

       total_modify_bytes = 0

       success_modify_bytes = 0

       stotal_download_bytes = 0

       success_download_bytes = 0

       total_sync_in_bytes = 23

       success_sync_in_bytes = 23

       total_sync_out_bytes = 0

       success_sync_out_bytes = 0

       total_file_open_count = 1

       success_file_open_count = 1

       total_file_read_count = 0

       success_file_read_count = 0

       total_file_write_count = 1

       success_file_write_count = 1

       last_heart_beat_time = 2016-08-03 11:58:07

       last_source_update = 1970-01-01 08:00:00

       last_sync_update = 2016-08-03 20:43:57

       last_synced_timestamp = 2016-08-03 20:43:55 (0s delay)

八、配置nginx为storage server提供http访问接口

1、下载fastdfs-nginx-module

# git clone https://github.com/happyfish100/fastdfs-nginx-module.git

2、下载nginx源码，并编译支持fastdfs

# 安装依赖程序

# yum install openssl-devel pcre-devel -y &>/dev/null



# wget http://nginx.org/download/nginx-1.10.1.tar.gz &>/dev/null



# tar xf /root/nginx-1.10.1.tar.gz



# cd /root/nginx-1.10.1

# useradd -r nginx &>/dev/null



# ./configure --prefix=/usr/local/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx/nginx.pid --lock-path=/var/lock/nginx.lock --user=nginx --group=nginx --with-http_ssl_module --with-http_stub_status_module --with-pcre --add-module=../fastdfs-nginx-module/src

# make

# make install

3、复制配置文件

# cp /root/fastdfs-nginx-module/src/mod_fastdfs.conf  /etc/fdfs/

# cp /root/fastdfs-5.0.8/conf/{http.conf,mime.types}  /etc/fdfs/

注意：fastdfs-5.0.8为fastdfs源码目录，如为更改，应叫fastdfs

4、配置fastdfs-nginx-module配置文件

# vim /etc/fdfs/mod_fastdfs.conf

base_path=/data/fdfs/storage #存储节点的目录位置

tracker_server=10.1.14.197:22122 #制定tracker-server

storage_server_port=23000

group_name=mage1  #制定组名

url_have_group_name = true  #访问路径中是否包括组名

store_path_count=1 #配置路径个数

store_path0=/data/fdfs/storage/m0  #指定要查看的路径



[group1]

group_name=mage1

storage_server_port=23000

store_path_count=1

store_path0=/data/fdfs/storage/m0

5、配置nginx

# vim /etc/nginx/nginx.conf

location ~ /mage[0-9]+/M00/ {

   root /data/fdfs/storage/m0/data/;

   ngx_fastdfs_module;

}       

# cat >> /etc/profile.d/nginx.sh << EOF

export PATH=$PATH:/usr/local/nginx/sbin

EOF



# source /etc/profile.d/nginx.sh

6、为存储文件路径穿件链接至M00

# ln -sv /data/fdfs/storage/m0/data  /data/fdfs/storage/m0/data/M00

7、启动nginx和重启storage并上传文件测试

启动nginx

# nginx -t

# nginx

# /etc/init.d/fdfs_storaged restart

# ss -tnl|grep -E "(80|23000)"

LISTEN     0      128          *:80                       *:*                  

LISTEN     0      128          *:23000                    *:*  

上传文件

# fdfs_upload_file /etc/fdfs/client.conf /usr/share/wallpapers/CentOS7/contents/images/2560x1600.jpg

mage1/M00/00/00/CgEOx1ehc2eATt6RAA6q2wjnW8s035.jpg

查看测试

fastdfs3.png










本文转自 赵大鑫 51CTO博客，原文链接：http://blog.51cto.com/xinzong/1834466，如需转载请自行联系原作者
文章标签：
应用服务中间件
存储
nginx
开发工具
Linux
负载均衡
网络协议
文件存储
git
调度
余二五
目录
相关文章
刘牌
|
存储 负载均衡 应用服务中间件
分布式文件系统FastDFS
　FastDFS是一个开源的轻量级分布式文件系统，由阿里巴巴余庆大神开发，底层采用C语言，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
刘牌
169 0
流楚丶格念
|
存储 负载均衡 架构师
分布式存储FastDFS介绍
分布式存储FastDFS介绍
流楚丶格念
1191 0
分布式存储FastDFS介绍
我是廖志伟
|
存储 负载均衡 Java
FastDFS分布式文件系统
FastDFS分布式文件系统
我是廖志伟
148 0
FastDFS分布式文件系统
Rsun04551
|
存储 前端开发 Java
8、分布式文件系统FastDFS
在很多系统都有上传图片/上传文件的需求，为了提供系统的可重用性专门设立文件系统服务承担图片/文件的管理，文件系统服务实现对文件的上传、删除、查询等功能进行管理。
Rsun04551
130 0
怒放de生命
|
存储 负载均衡 调度
分布式文件服务器FastDFS介绍
分布式文件服务器FastDFS介绍
怒放de生命
379 0
分布式文件服务器FastDFS介绍
码农小达人
|
存储 分布式计算 Hadoop
【FastDFS】FastDFS 分布式文件系统的安装与使用，看这一篇就够了！！
有不少小伙伴在实际工作中，对于如何存储文件（图片、视频、音频等）没有一个很好的解决思路。都明白不能将文件存储在单台服务器的磁盘上，也知道需要将文件进行副本备份。如果自己手动写文件的副本机制，那就太麻烦了，这会涉及冗余副本机制、服务器的调度、副本检测、服务器节点检测、文件副本存放策略、网络环境检测等等一系列的难题。了解Hadoop的小伙伴，会自然而然的想到HDFS，
码农小达人
337 0
【FastDFS】FastDFS 分布式文件系统的安装与使用，看这一篇就够了！！
伏草惟存
|
存储 Ubuntu 应用服务中间件
一文搞定FastDFS分布式文件系统配置与部署
Ubuntu下FastDFS分布式文件系统配置与部署 白宁超 2017年4月15日09:11:52 摘要: FastDFS是一个开源的轻量级分布式文件系统，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。
伏草惟存
1737 0
verdalee
FastDFS - 开源的分布式文件系统
FastDFS 是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等
verdalee
912 0
纯洁的虫纸
|
存储 负载均衡 容灾
分布式文件系统FastDFS详解
上一篇文章《一次FastDFS并发问题的排查经历》介绍了一次生产排查并发问题的经历，可能有些人对FastDFS不是特别的了解，因此计划写几篇文章完整的介绍一下这个软件。 为什么要使用分布式文件系统呢？ 嗯，这个问题问的好，使用了它对我们有哪些好处？带着这个问题我们来往下看： 单机时代 初创时期由于时间紧迫，在各种资源有限的情况下，通常就直接在项目目录下建立静态文件夹，用于用户存放项目中的文件资源。
纯洁的虫纸
2187 0
技术小阿哥
|
存储 负载均衡 文件存储
分布式文件系统FastDFS设计原理
技术小阿哥
1602 0

热门文章

最新文章

  • 1
    使用cProfile等工具来提高python的执行速度
  • 2
    四大触点，教你从“用户视角”构建数据分析体系
  • 3
    Spring-boot+Dubbo应用启停源码分析
  • 4
    docker阿里云镜像加速
  • 5
    《Stata统计分析与应用（第2版）》一3.4 图形的保存、合并及修改
  • 6
    语言设计中的鸭子类型风格
  • 7
    ActionBar的使用
  • 8
    [20150529]ORA-16664.txt
  • 9
    25个优秀的国外单页网站设计作品欣赏
  • 10
    人际风格的四大分类
  • 1
    【SpringFramework】Spring初体验
    75
  • 2
    「Mac畅玩鸿蒙与硬件46」UI互动应用篇23 - 自定义天气预报组件
    65
  • 3
    解决Redis缓存数据类型丢失问题
    109
  • 4
    Flink 2.0 存算分离状态存储 — ForSt DB 
    114
  • 5
    RDS通用云盘核心能力
    65
  • 6
    体验云数据库RDS通用云盘核心能力
    34
  • 7
    产品动态丨阿里云弹性计算产品月刊（2024年11月）
    35
  • 8
    确保 Active Directory 安全性的方法
    31
  • 9
    【实践】快速学会使用云消息队列RabbitMQ版
    30

    • 相关课程

    更多
  • 分布式文件存储系统技术及实现
  • 分布式协调系统 Zookeeper 快速入门
  • 基于Zookeeper、Dubbo构建互联网分布式基础架构
  • 开源PolarDB分布式版部署实操
  • Spring Boot+Vue.js+FastDFS实现分布式图片服务器
  • Hadoop 分布式文件系统 HDFS

    • 相关电子书

    更多
  • 分布式海量二进制文件存储系统
  • 分布式 KV 存储系统 Cellar 演进之路
  • PostgresChina2018_赖宝华_开源分布式NewSQL数据库CockroachDB架构及最佳实践

    • 相关实验场景

    更多
  • 体验PolarDB-X透明分布式
    • 下一篇
    DataWorks