云服务器上关于分布式文件系统FastDFS的安装教程以及个人遇到的所有排坑

简介: 云服务器上关于分布式文件系统FastDFS的安装教程以及个人遇到的所有排坑

前言

  FastDFS(Fast Distributed File System)是一款开源轻量级分布式文件系统,本文不讲解原理和架构,只是在个人使用部署过程中耗费了好长时间和精力,遇到了很多的坑,于是总结成了一篇详细的部署文档分享给大家。

一、安装libfastcommon

1.1、获取libfastcommon安装包:

wget https://github.com/happyfish100/libfastcommon/archive/V1.0.38.tar.gz

1.2、解压安装包:tar -zxvf V1.0.38.tar.gz

1.3、进入目录:cd libfastcommon-1.0.38

1.4、执行编译:./make.sh

1.5、安装:./make.sh install

可能遇到的问题:

-bash: make: command not found

-bash: gcc: command not found

解决方案:

debian通过apt-get install gcc make安装

centos通过yum -y install gcc make安装

二、安装FastDFS

2.1、获取fdfs安装包:

wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz

2.2、解压安装包:tar -zxvf V5.11.tar.gz

2.3、进入目录:cd fastdfs-5.11

2.4、执行编译:./make.sh

2.5、安装:./make.sh install

2.6、查看可执行命令:

ls -la /usr/bin/fdfs*

三、配置Tracker服务

进入/etc/fdfs目录,有三个.sample后缀的文件(自动生成的fdfs模板配置文件),通过cp命令拷贝tracker.conf.sample,删除.sample后缀作为正式文件:

cp  tracker.conf.sample  tracker.conf

编辑tracker.conf:vi tracker.conf,修改相关参数

base_path=/home/mm/fastdfs/tracker  #tracker存储data和log的跟路径,必须提前创建好
port=23000   #tracker默认23000
http.server_port=80  #http端口,需要和nginx相同

启动tracker(支持start|stop|restart):

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start

查看tracker启动日志:进入刚刚指定的base_path(/home/mm/fastdfs/tracker)中有个logs目录,查看tracker.log文件

查看端口情况:netstat -apn|grep fdfs

可能遇到的报错:

/usr/bin/fdfs_trackerd: error while loading shared libraries: libfastcommon.so: cannot open shared object file: No such file or directory

解决方案:建立libfastcommon.so软链接

ln -s /usr/lib64/libfastcommon.so  /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so  /usr/lib/libfastcommon.so

三、配置Storage服务

3.1、 进入/etc/fdfs目录,有cp命令拷贝storage.conf.sample,删除.sample后缀作为正式文件;

编辑storage.conf:vi storage.conf,修改相关参数:

base_path=/home/mm/fastdfs/storage   #storage存储data和log的跟路径,必须提前创建好
port=23000  #storge默认23000,同一个组的storage端口号必须一致
group_name=group1  #默认组名,根据实际情况修改
store_path_count=1  #存储路径个数,需要和store_path个数匹配
store_path0=/home/mm/fastdfs/storage  #如果为空,则使用base_path
tracker_server=10.122.149.211:22122 #配置该storage监听的tracker的ip和port

3.2 、启动storage(支持start|stop|restart):

/usr/bin/fdfs_storaged  /etc/fdfs/storage.conf start

3.3、查看storage启动日志:进入刚刚指定的base_path(/home/mm/fastdfs/storage)中有个logs目录,查看storage.log文件

3.4、此时再查看tracker日志:发现已经开始选举,并且作为唯一的一个tracker,被选举为leader

3.5、查看端口情况:netstat -apn|grep fdfs

3.6、通过monitor来查看storage是否成功绑定:

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

四、安装Nginx和fastdfs-nginx-module模块

下载Nginx安装包

wget http://nginx.org/download/nginx-1.15.2.tar.gz

五、下载fastdfs-nginx-module安装包

wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz

5.1、解压nginx:tar -zxvf nginx-1.15.2.tar.gz

5.2 、解压fastdfs-nginx-module:tar -xvf V1.20.tar.gz

5.3、进入nginx目录:cd nginx-1.10.1

5.4、 安装依赖的库

centos的可以用:sudo yum -y install

Ubuntu的可以用:

apt-get updat
apt-get install libpcre3 libpcre3-dev openssl libssl-dev libperl-dev

配置,并加载fastdfs-nginx-module模块:

(前提是已经把fastdfs-nginx-module-1.20放到src里面去,用mv指令就行)

./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/fastdfs-nginx-module-1.20/src/

5.5、编译安装:

make
make install

在make的时候可能会遇到三个报错

第一个:需要安装PCRE库

yum -y install pcre-devel

第二个:需要安装zlib库

yum -y install zlib-devel

遇到没有common.h的报错,可以百度一下,一般是修改fastdfs-nginx-module-1.20/src/config文件的两行,即下面图片的第六行和第15行

5.6、查看安装路径:whereis nginx

5.7、启动、停止:

cd /usr/local/nginx/sbin/
./nginx 
./nginx -s stop #此方式相当于先查出nginx进程id再使用kill命令强制杀掉进程
./nginx -s quit #此方式停止步骤是待nginx进程处理任务完毕进行停止
./nginx -s reload

遇到nginx端口被占用或者正在使用的错误解决方案如下图:

先用

netstat -ntlp

查看正在使用的80端口进程,然后使用

kill -9 正在使用80端口的进程号

5.8、验证启动状态:wget "http://127.0.0.1"

查看此时的nginx版本:发现fastdfs模块已经安装好了

可能的报错:

/usr/include/fastdfs/fdfs_define.h:15:27: fatal error: common_define.h: No such file or directory

解决方案:修改fastdfs-nginx-module-1.20/src/config文件,然后重新第7步开始

ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

六、配置Nginx和fastdfs-nginx-module模块

6.1、配置mod-fastdfs.conf,并拷贝到/etc/fdfs文件目录下

cd fastdfs-nginx-module-1.20/src/
cp mod_fastdfs.conf /etc/fdfs
• 1
• 2

6.2、进入/etc/fdfs修改mod-fastdfs.conf:

base_path=/home/mm/fastdfs
tracker_server=10.122.149.211:22122 #tracker的地址
url_have_group_name=true #url是否包含group名称
storage_server_port=23000 #需要和storage配置的相同
store_path_count=1  #存储路径个数,需要和store_path个数匹配
store_path0=/home/mm/fastdfs/storage #文件存储的位置

配置nginx,80端口server增加location如图:

cd /usr/local/nginx/conf/
vi nginx.conf

6.3、 最后需要拷贝fastdfs解压目录中的http.conf和mime.types:

cd /usr/local/src/fastdfs-5.11/conf
cp mime.types http.conf /etc/fdfs/

七、FastDFS常用命令测试

上传文件

进入/etc/fdfs目录,有cp命令拷贝client.conf.sample,删除.sample后缀作为正式文件;

修改client.conf相关配置:

base_path=/home/mm/fastdfs/tracker //tracker服务器文件路径
tracker_server=10.122.149.211:22122 //tracker服务器IP地址和端口号
http.tracker_server_port=80 # tracker服务器的http端口号,必须和tracker的设置对应起来

新建一个测试文档1.txt,内容为abc

命令:

/usr/bin/fdfs_upload_file <config_file> <local_filename>

示例:

/usr/bin/fdfs_upload_file  /etc/fdfs/client.conf 1.txt

组名:group1

磁盘:M00

目录:00/00

文件名称:CnqV01trmeyAbAN0AAAABLh3frE677.txt

查看结果,进入storage的data目录:

通过wget和浏览器方式访问成功:

wget http://10.122.149.211/group1/M00/00/00/CnqV01trmeyAbAN0AAAABLh3frE677.txt

在这里遇到404错误的话,建议看一下这篇博客

https://blog.csdn.net/qq_37495786/article/details/84330699

检测nginx是否启动,如果没有启动或者使用./nginx -s stop报错的话可以尝试重新启动试试

/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

下载文件:

命令:

/usr/bin/fdfs_download_file <config_file> <file_id> [local_filename]

示例:

/usr/bin/fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/CnqV01trmeyAbAN0AAAABLh3frE677.txt a.txt

查看结果:

删除文件:

命令:

/usr/bin/fdfs_delete_file <config_file> <file_id>

示例:

/usr/bin/fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/CnqV01trmeyAbAN0AAAABLh3frE677.txt

查看结果,进入storage的data目录文件不存在,通过wget再次获取404:

好了,以上就是我在云服务器上安装FastDFS遇到的坑,如果弄完还有不懂的可以评论


相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情:&nbsp;https://www.aliyun.com/product/ecs
相关文章
|
2月前
|
人工智能 安全 Shell
Jupyter MCP服务器部署实战:AI模型与Python环境无缝集成教程
Jupyter MCP服务器基于模型上下文协议(MCP),实现大型语言模型与Jupyter环境的无缝集成。它通过标准化接口,让AI模型安全访问和操作Jupyter核心组件,如内核、文件系统和终端。本文深入解析其技术架构、功能特性及部署方法。MCP服务器解决了传统AI模型缺乏实时上下文感知的问题,支持代码执行、变量状态获取、文件管理等功能,提升编程效率。同时,严格的权限控制确保了安全性。作为智能化交互工具,Jupyter MCP为动态计算环境与AI模型之间搭建了高效桥梁。
163 2
Jupyter MCP服务器部署实战:AI模型与Python环境无缝集成教程
|
6月前
|
弹性计算 关系型数据库 MySQL
阿里云服务器搭建网站教程:经济型e实例2核2G快速搭建网站图文教程参考
目前在阿里云的活动中,轻量应用服务器2核2G3M带宽只要68元1年,2核4G4M带宽只要298元1年。云服务器ECS经济型e实例2核2G 3M固定带宽,价格只要99元/1年,新老用户都可购买,企业用户购买2核4G5M带宽199元一年,为用户提供长期权益。这些都是个人和普通企业用户搭建网站使用较多的云服务器,本文为大家展示使用经济型e实例2核2G3M带宽快速搭建网站的相关教程,以供参考。
334 18
|
3月前
|
存储 网络安全 PHP
在阿里云服务器上如何搭建网站,网址怎么建站图文教程详解案例及步骤.
做好一个网站不仅需要我们对站点装修及内容发布,也需要我们学会对网站运营,如进行站长推送,将我们内容快速推送到各大搜索平台,有效的让用户能搜索到我们内容,或者需要在谷歌推广就必须对网站添加SSL证书,这样搜索域名的时候搜索框不会出现<不安全>字符在域名前面,以及运行网站要懂运维,出现BUG时要去及时解决查找原因.自始至终自身要不断学习网络相关知识,遇到问题方能迎刃而解. 本文结束,如还有不懂的同学可联系作者,倾力而为,祝您成功!
687 73
|
1月前
|
弹性计算 Linux 网络安全
阿里云服务器租用流程参考:四种常见租用方式图文操作教程
阿里云服务器怎么租用?流程是怎样的?比较常见的租用方式主要有四种,分别是云服务器 ECS 产品页自定义租用、一键租用、云市场租用和活动租用,本文将详细介绍四种阿里云服务器的租用方式,并通过图文教程,帮助用户轻松完成阿里云服务器的租用流程。
|
3月前
|
域名解析 弹性计算 安全
阿里云服务器安装宝塔面板、安装网站(新手图文教程)
本文详细介绍了从注册阿里云账号到使用宝塔面板安装网站的完整流程,包括阿里云账号的企业认证、服务器购买与安全规则配置、宝塔面板的安装及网站部署等步骤。通过图文并茂的方式,帮助用户轻松完成阿里云服务器的搭建和管理。适合新手快速上手,实现网站从零到有的全过程。如果觉得有用,别忘了点赞收藏!
2052 2
阿里云服务器安装宝塔面板、安装网站(新手图文教程)
|
4月前
|
弹性计算 Linux 数据安全/隐私保护
2025最新幻兽帕鲁palworld服务器搭建教程:新手0基础,超简单~
阿里云提供2025年最新幻兽帕鲁游戏服务器申请购买及一键开服教程。支持4核16G(70元/月,8人)和8核32G(160元/月,20人)配置,带宽10M,ESSD云盘100GB。玩家只需选择配置、地域、操作系统并设置密码,系统自动部署游戏程序。本地安装STEAM客户端后,输入服务器IP和端口8211即可开始游戏。详细教程及更多问题解答请访问阿里云幻兽帕鲁游戏专区。
401 56
|
3月前
|
弹性计算 Linux 网络安全
阿里云服务器迁移中心SMC实战指南:跨平台业务迁移教程参考
现在越来越多的个人和企业用户选择将其他云平台或者服务商的业务迁移到阿里云,但是如何快速且安全完成迁移是很多用户比较关注的问题,我们可以选择使用阿里云提供的服务器迁移中心(Server Migration Center,简称SMC),这个产品是阿里云提供给您的迁移平台,专注于提供能力普惠、体验一致、效率至上的迁移服务,满足您在阿里云的迁移需求。本文为大家展示使用阿里云服务器迁移中心SMC将其他云平台业务迁移至阿里云的教程,以供参考。
|
5月前
|
弹性计算 Ubuntu Linux
一键部署OpenWebUI+Ollama到阿里云ECS,轻松运行DeepSeek!(保姆级教程)
在当今数据驱动的时代,快速部署和管理大模型成为企业的关键需求。阿里云提供了一键部署OpenWebUI+Ollama的便捷方案,支持本地大模型运行和管理。用户也可以选择连接阿里云百炼的在线模型。
一键部署OpenWebUI+Ollama到阿里云ECS,轻松运行DeepSeek!(保姆级教程)
|
6月前
|
弹性计算 Ubuntu Linux
阿里云服务器一键安装Docker社区版教程,基于系统运维管理OOS
阿里云服务器一键安装Docker社区版教程,基于系统运维管理OOS自动化部署。支持Ubuntu 22.04/20.04、CentOS 7.7-7.9及Alibaba Cloud Linux 3.2104 LTS。前提条件:ECS实例需运行中且有公网。步骤:选择Docker扩展并安装,验证成功通过命令`docker -v`查看版本号。
519 79

热门文章

最新文章