分布式文件存储系统fastdfs安装教程(下)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 分布式文件存储系统fastdfs安装教程

6.配置/etc/fdfs目录下的tracker.conf,该文件主要就是设置软件数据以及日志目录


我们需要先创建一个目录来存放fastdfs的数据以及日志


mkdir /opt/fastdfs
cd /etc/fdfs
vi tracker.conf


将这个目录修改成我们刚才创建的那个存放数据以及日志的目录

20201107133957911.png

之后保存退出即可


7.配置storage.conf文件,该文件主要就是存储文件


我们主要就是修改下面三处地方

这一处就是我们数据和日志存储的目录


20201107134028425.png

这一处使我们文件将来存储的位置,我们可以看到这里面可以设置多个文件存储位置


20201107134057636.png


这里就是修改成刚才部署tracker的那台服务器的IP就行了,因为我们这里tracker和storage是部署在同一台服务器上的,所以我们就直接用本机的IP即可,因为我们是阿里云的服务器,所以等会我们需要去配置防火墙以及开通安全组规则,否则这个22122端口是无法访问开启的


20201107134119982.png


配置防火墙端口号:


service firewalld start
firewall-cmd --zone=public --permanent --add-port=22122/tcp
firewall-cmd --reload
firewall-cmd --list-all 


20201107134150193.png


开通安全组:

记得入方向和出方向都需要配置


20201107134223783.png

8.配置fdfs_storaged和fdfs_trackerd的启动服务


先创建/usr/local/fdfs,再将安装目录下的两个服务复制到/usr/local/fdfs目录下


mkdir /usr/local/fdfs
cd /opt/FastDFS
cp stop.sh /usr/local/fdfs
cp restart.sh /usr/local/fdfs


20201107140131778.png


之后我们就可以去/etc/init.d目录下修改fdfs_storaged和fdfs_trackerd的启动服务,这里由于我们在安装fastdfs的过程中就已经帮我们安装了fdfs_storaged和fdfs_trackerd的启动服务了,所以我们只需要修改他们的配置即可


这是fdfs_trackerd文件需要修改的地方


cd /etc/init.d
vi fdfs_trackerd

20201107135257853.png

20201107135749575.png

20201107135829863.png

这是fdfs_storaged需要修改的地方


cd /etc/init.d
vi fdfs_storaged


20201107140834499.png

20201107140913509.png

20201107140931322.png

将服务添加到系统服务中,并且启动

chkconfig --add fdfs_storaged 
chkconfig --add fdfs_trackerd 
service fdfs_storaged start
service fdfs_trackerd start
ps -ef|grep fdfs


如果能够看到下面的页面就说明fdfs服务就已经成功启动了

20201107141508234.png


9.测试文件上传服务


Fastdfs有一个专门让我们用来测试的目录,我们可以通过修改该目录来测试我们的文件服务是否真的成功

首先修改该文件etc/fdfs/client.conf的以下配置:


vim /etc/fdfs/client.conf


20201107143554519.png


这里我们通过下面的命令来上传图片测试一下


/usr/bin/fdfs_test  /etc/fdfs/client.conf  upload test.jpg


/usr/bin/fdfs_test 是fastdfs自带的一个测试demo

/etc/fdfs/client.conf 是我们刚才配置的测试的配置,命令会读取这个配置文件的信息

test.jpg 代表你要上传的文件名,是当前目录下的文件

20201107152433654.png


但是这里报错了,一看就知道是端口23000没有开启,所以我们需要将这个端口开启。步骤和上面开启22122端口的步骤一样,开启端口之后,我们重新测试一次,发现我们的文件就已经成功上传了


20201107152349517.png

并且这里他还给我们返回了一个图片的URL。但是目前这个URL是访问不了的,因为我的服务器还没有添加Nginx进行反向代理,这个之后会加进去的,但是我们可以通过进入相应的目录来进行查看文件是否存在。查看之后发现文件的确已经存储进来了。到这里fastdfs的安装就已经基本完成了。

20201107153005818.png




相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
5月前
|
Kubernetes 大数据 调度
Airflow vs Argo Workflows:分布式任务调度系统的“华山论剑”
本文对比了Apache Airflow与Argo Workflows两大分布式任务调度系统。两者均支持复杂的DAG任务编排、社区支持及任务调度功能,且具备优秀的用户界面。Airflow以Python为核心语言,适合数据科学家使用,拥有丰富的Operator库和云服务集成能力;而Argo Workflows基于Kubernetes设计,支持YAML和Python双语定义工作流,具备轻量化、高性能并发调度的优势,并通过Kubernetes的RBAC机制实现多用户隔离。在大数据和AI场景中,Airflow擅长结合云厂商服务,Argo则更适配Kubernetes生态下的深度集成。
718 34
|
1月前
|
存储 算法 安全
“卧槽,系统又崩了!”——别慌,这也许是你看过最通俗易懂的分布式入门
本文深入解析分布式系统核心机制:数据分片与冗余副本实现扩展与高可用,租约、多数派及Gossip协议保障一致性与容错。探讨节点故障、网络延迟等挑战,揭示CFT/BFT容错原理,剖析规模与性能关系,为构建可靠分布式系统提供理论支撑。
169 2
|
1月前
|
机器学习/深度学习 算法 安全
新型电力系统下多分布式电源接入配电网承载力评估方法研究(Matlab代码实现)
新型电力系统下多分布式电源接入配电网承载力评估方法研究(Matlab代码实现)
|
3月前
|
数据采集 缓存 NoSQL
分布式新闻数据采集系统的同步效率优化实战
本文介绍了一个针对高频新闻站点的分布式爬虫系统优化方案。通过引入异步任务机制、本地缓存池、Redis pipeline 批量写入及身份池策略,系统采集效率提升近两倍,数据同步延迟显著降低,实现了分钟级热点追踪能力,为实时舆情监控与分析提供了高效、稳定的数据支持。
111 1
分布式新闻数据采集系统的同步效率优化实战
|
9月前
|
存储 运维 安全
盘古分布式存储系统的稳定性实践
本文介绍了阿里云飞天盘古分布式存储系统的稳定性实践。盘古作为阿里云的核心组件,支撑了阿里巴巴集团的众多业务,确保数据高可靠性、系统高可用性和安全生产运维是其关键目标。文章详细探讨了数据不丢不错、系统高可用性的实现方法,以及通过故障演练、自动化发布和健康检查等手段保障生产安全。总结指出,稳定性是一项系统工程,需要持续迭代演进,盘古经过十年以上的线上锤炼,积累了丰富的实践经验。
716 7
|
9月前
|
存储 分布式计算 Hadoop
基于Java的Hadoop文件处理系统:高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想,使用Java实现其核心功能MapReduce,解决海量数据处理问题。通过类比图书馆管理系统,详细解释了Hadoop的两大组件:HDFS(分布式文件系统)和MapReduce(分布式计算模型)。具体实现了单词统计任务,并扩展支持CSV和JSON格式的数据解析。为了提升性能,引入了Combiner减少中间数据传输,以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性,鼓励Java开发者学习Hadoop以拓展技术边界。
304 7
|
11月前
|
存储 运维 负载均衡
构建高可用性GraphRAG系统:分布式部署与容错机制
【10月更文挑战第28天】作为一名数据科学家和系统架构师,我在构建和维护大规模分布式系统方面有着丰富的经验。最近,我负责了一个基于GraphRAG(Graph Retrieval-Augmented Generation)模型的项目,该模型用于构建一个高可用性的问答系统。在这个过程中,我深刻体会到分布式部署和容错机制的重要性。本文将详细介绍如何在生产环境中构建一个高可用性的GraphRAG系统,包括分布式部署方案、负载均衡、故障检测与恢复机制等方面的内容。
590 4
构建高可用性GraphRAG系统:分布式部署与容错机制
|
10月前
|
机器学习/深度学习 存储 运维
分布式机器学习系统:设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战,重点分析了数据并行、模型并行等核心训练范式,以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性,旨在提供一套全面的技术解决方案,以应对超大规模模型训练中的计算、存储及通信挑战。
590 4
|
消息中间件 中间件 数据库
NServiceBus:打造企业级服务总线的利器——深度解析这一面向消息中间件如何革新分布式应用开发与提升系统可靠性
【10月更文挑战第9天】NServiceBus 是一个面向消息的中间件,专为构建分布式应用程序设计,特别适用于企业级服务总线(ESB)。它通过消息队列实现服务间的解耦,提高系统的可扩展性和容错性。在 .NET 生态中,NServiceBus 提供了强大的功能,支持多种传输方式如 RabbitMQ 和 Azure Service Bus。通过异步消息传递模式,各组件可以独立运作,即使某部分出现故障也不会影响整体系统。 示例代码展示了如何使用 NServiceBus 发送和接收消息,简化了系统的设计和维护。
242 3
|
11月前
|
机器学习/深度学习 人工智能 分布式计算
【AI系统】分布式通信与 NVLink
进入大模型时代后,AI的核心转向大模型发展,训练这类模型需克服大量GPU资源及长时间的需求。面对单个GPU内存限制,跨多个GPU的分布式训练成为必要,这涉及到分布式通信和NVLink技术的应用。分布式通信允许多个节点协作完成任务,而NVLink则是一种高速、低延迟的通信技术,用于连接GPU或GPU与其它设备,以实现高性能计算。随着大模型的参数、数据规模扩大及算力需求增长,分布式并行策略,如数据并行和模型并行,变得至关重要。这些策略通过将模型或数据分割在多个GPU上处理,提高了训练效率。此外,NVLink和NVSwitch技术的持续演进,为GPU间的高效通信提供了更强的支持,推动了大模型训练的快
362 0