FastDFS分布式文件系统

简介:

摘要: FastDFS简介 •FastDFS是一个轻量级的开源分布式文件系统

•FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡

•FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储 •支持存储服务器在线扩容

•支持相同内容的文件只保存一份,节约磁盘空间 •FastDFS只能通过ClientAPI访问,不支持POSIX访问方式

•FastDFS特别适合大中型网站使用,用来存储资源文件(如:图片、文档、音频、视频等等)

FastDFS简介

•FastDFS是一个轻量级的开源分布式文件系统

•FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡

•FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储

•支持存储服务器在线扩容

•支持相同内容的文件只保存一份,节约磁盘空间

•FastDFS只能通过ClientAPI访问,不支持POSIX访问方式

•FastDFS特别适合大中型网站使用,用来存储资源文件(如:图片、文档、音频、视频等等)

系统架构-架构图

系统架构-上传文件流程图

• 1. client询问tracker上传到的storage,不需要附加参数;

• 2. tracker返回一台可用的storage;

• 3. client直接和storage通讯完成文件上传。

系统架构-下载文件流程图

• 1. client询问tracker下载文件的storage,参数为文件标识(组名和文件名);

• 2. tracker返回一台可用的storage;

• 3. client直接和storage通讯完成文件下载。

相关术语

• Tracker Server:跟踪服务器,主要做调度工作,在访问上起负载均衡的作用。记录storage server的状态,是连接Client和Storageserver的枢纽。

• Storage Server:存储服务器,文件和meta data都保存到存储服务器上

• group:组,也可称为卷。同组内服务器上的文件是完全相同的

• 文件标识:包括两部分:组名和文件名(包含路径)

• meta data:文件相关属性,键值对(Key Value Pair)方式,如:width=1024,heigth=768

同步机制

•同一组内的storageserver之间是对等的,文件上传、删除等操作可以在任意一台storage server上进行;

•文件同步只在同组内的storage server之间进行,采用push方式,即源服务器同步给目标服务器;

•源头数据才需要同步,备份数据不需要再次同步,否则就构成环路了;

•上述第二条规则有个例外,就是新增加一台storage server时,由已有的一台storageserver将已有的所有数据(包括源头数据和备份数据)同步给该新增服务器。

通信协议

• 协议包由两部分组成:header和body

• header共10字节,格式如下:

– 8 bytes body length

– 1 byte command

– 1 byte status

• body数据包格式由取决于具体的命令,body可以为空

运行时目录结构-tracker server

• ${base_path}

|__data

| |__storage_groups.dat:存储分组信息

| |__storage_servers.dat:存储服务器列表

|__logs

|__trackerd.log:trackerserver日志文件

运行时目录结构-storage server

• ${base_path}

|__data

| |__.data_init_flag:当前storageserver初始化信息

| |__storage_stat.dat:当前storage server统计信息

| |__sync:存放数据同步相关文件

| | |__binlog.index:当前的binlog文件索引号

| | |__binlog.###:存放更新操作记录(日志)

| | |__${ip_addr}_${port}.mark:存放同步的完成情况

| |

| |__一级目录:256个存放数据文件的目录,如:00, 1F

| |__二级目录:256个存放数据文件的目录

|__logs

|__storaged.log:storageserver日志文件

安装和运行

•#step 1. download FastDFS source package and unpack it,

•# if you use HTTP to download file, please downloadlibevent 1.4.x and install it

•tar xzf FastDFS_v1.x.tar.gz

•#for example:

•tar xzf FastDFS_v1.20.tar.gz

•#step 2. enter the FastDFS dir

•cd FastDFS

•#step 3. if HTTP supported, modify make.sh, uncommentthe line:

•# WITH_HTTPD=1, then execute:

•./make.sh

•#step 4. make install

•./make.sh install

•#step 5. edit/modify the config file of tracker andstorage

•#step 6. run server programs

•#start the tracker server:

•/usr/local/bin/fdfs_trackerd

•#start the storage server:

•/usr/local/bin/fdfs_storaged

FastDFS和集中存储方式对比

• FastDFS中文:http://www.csource.org/

• FastDFS英文:http://code.google.com/p/fastdfs/

官网资料,分享给大家学习

目录
相关文章
|
7月前
|
存储 负载均衡 应用服务中间件
分布式文件系统FastDFS
 FastDFS是一个开源的轻量级分布式文件系统,由阿里巴巴余庆大神开发,底层采用C语言,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
97 0
|
存储 负载均衡 架构师
分布式存储FastDFS介绍
分布式存储FastDFS介绍
886 0
分布式存储FastDFS介绍
|
6月前
|
存储 负载均衡 并行计算
11 FastDFS与HDFS区别
11 FastDFS与HDFS区别
44 0
|
存储 前端开发 Java
8、分布式文件系统FastDFS
在很多系统都有上传图片/上传文件的需求,为了提供系统的可重用性专门设立文件系统服务承担图片/文件的管理,文件系统服务实现对文件的上传、删除、查询等功能进行管理。
100 0
|
存储 负载均衡 Java
FastDFS分布式文件系统
FastDFS分布式文件系统
104 0
FastDFS分布式文件系统
|
存储 分布式计算 Hadoop
【FastDFS】FastDFS 分布式文件系统的安装与使用,看这一篇就够了!!
有不少小伙伴在实际工作中,对于如何存储文件(图片、视频、音频等)没有一个很好的解决思路。都明白不能将文件存储在单台服务器的磁盘上,也知道需要将文件进行副本备份。如果自己手动写文件的副本机制,那就太麻烦了,这会涉及冗余副本机制、服务器的调度、副本检测、服务器节点检测、文件副本存放策略、网络环境检测等等一系列的难题。了解Hadoop的小伙伴,会自然而然的想到HDFS,
304 0
【FastDFS】FastDFS 分布式文件系统的安装与使用,看这一篇就够了!!
FastDFS - 开源的分布式文件系统
FastDFS 是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等
841 0
|
存储 负载均衡 容灾
分布式文件系统FastDFS详解
上一篇文章《一次FastDFS并发问题的排查经历》介绍了一次生产排查并发问题的经历,可能有些人对FastDFS不是特别的了解,因此计划写几篇文章完整的介绍一下这个软件。 为什么要使用分布式文件系统呢? 嗯,这个问题问的好,使用了它对我们有哪些好处?带着这个问题我们来往下看: 单机时代 初创时期由于时间紧迫,在各种资源有限的情况下,通常就直接在项目目录下建立静态文件夹,用于用户存放项目中的文件资源。
2043 0
|
Unix 应用服务中间件 nginx
|
存储 应用服务中间件 Linux