AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

C++文件服务器项目—Nginx+FastDFS插件—5

2024-01-15 94
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
日志服务 SLS，月写入数据量 50GB 1个月
简介： C++文件服务器项目—Nginx+FastDFS插件—5


前言

  本文介绍了Nginx+FastDFS插件的安装流程以及文件上传下载的流程。文件安装包、源码地址：gopherWxf git

  本专栏知识点是通过零声教育的线上课学习，进行梳理总结写下文章，对c/c++linux课程感兴趣的读者，可以点击链接 C/C++后台高级服务器课程介绍 详细查看课程的服务。

1. 文件上传下载流程

1.1 文件上传流程

文件上传流程：

  1. 客户端发送上传文件请求
  2. nginx只能处理静态请求，所以调用fastCGI
  3. fastCGI程序读取数据，临时存储到本地磁盘
  4. fastCGi程序将文件上传到fastDFS，返回fileID
  5. 将文件名，和返回fileID等信息存储到数据库(业务逻辑细节不做展开，后续介绍)
  6. 删除本地的临时文件

1.2 文件下载流程

文件下载流程：

  1. 客户端发送下载文件请求
  2. nginx只能处理静态请求，所以调用fastCGI
  3. fastCGI程序从数据库中获得对应的fileID
  4. fastCGI程序从fastDFS通过fileID下载文件
  5. 将文件回发给客户端
  6. 删除磁盘的临时文件

1.3 文件下载优化流程

  如果下载能够直接让客户端连接fastDFS的存储节点, 实现文件下载，那么下载的流程就非常简单了。

# 举个例子
http://192.168.109.100/group1/M00/00/00/wKj3k1tMBKuARhwBAAvea_OGt2M471.jpg

  想要实现这个优化有几个问题需要解决：

  1. 客户端发送请求使用的协议：http。而fastDFS不能解析http协议
  • nginx能解析http协议。
  • nginx和fdfs是两个独立的进程，互不干涉
  • 在存储节点上安装一个nginx，让nginx帮助它解析http请求
  • 收到之后把数据发送给nginx，nginx再把数据发送给客户端
  • 这里的小nginx就相当于中转
  • 中转就要求nginx和storage能够进行数据交互
  • 在nginx中安装fastDFS的插件
  1. 客户端怎么知道文件存储在哪个存储节点storage上？
  • 上传的时候存储过<文件名,fileID>
  • 通过nginx服务器查询并返回该信息。

文件下载优化流程

  1. 客户端发送下载请求
  2. nginx服务器去数据库查询fileID以及是哪台storage存储数据，组装url发回给客户端
  3. 客户端通过URL访问fastDFS
  4. fastDFS通过Nginx和插件，将数据回发
  5. 客户端完成下载

2. Nginx和fastDFS插件

2.1 安装Nginx和fastdfs-nginx-module插件

  1. 在所有的存储节点上安装Nginx, 将软件安装包拷贝到fastDFS存储节点对应的主机上。注意了，一定是存储节点，至于原因在上面优化流程以及说过了。文件压缩包在前言中。
# 1. 找fastDFS的存储节点
# 2. 在存储节点对应的主机上安装Nginx, 安装的时候需要一并将插件(fastdfs-nginx-module)装上
# - (余庆提供插件的代码   +   nginx的源代码 ) * 交叉编译 = Nginx
  1. 在存储节点对应的主机上安装Nginx, 作为web服务器
root@wxf:/source_code_dir# tar zxvf nginx-1.16.1.tar.gz
root@wxf:/source_code_dir# tar zxvf fastdfs-nginx-module-1.22.tar.gz
root@wxf:/source_code_dir# cd fastdfs-nginx-module-1.22/
root@wxf:/source_code_dir/fastdfs-nginx-module-1.22# vi INSTALL

  这里面告诉我们在安装nginx的时候，要带上fastdfs-nginx-module/src目录，然后再安装

# 1. 进入nginx的源码安装目录
# 2. 检测环境, 生成makefile
# ./configure --add-module=fastdfs插件的源码目录/src
# make
# sudo make install
root@wxf:/source_code_dir# cd nginx-1.16.1/
root@wxf:/source_code_dir/nginx-1.16.1# ./configure --add-module=/source_code_dir/fastdfs-nginx-module-1.22/src
root@wxf:/source_code_dir/nginx-1.16.1# make
root@wxf:/source_code_dir/nginx-1.16.1# make install

2.2 解决Nginx无法正常启动的问题

  1. 安装成功, 启动Nginx, 发现没有 worker进程

没有work进程

root@wxf:/usr/local/nginx/conf# nginx 
root@wxf:/usr/local/nginx/conf# ps aux |grep nginx
root       8948  0.0  0.0  33180   472 ?        Ss   14:22   0:00 nginx: master process nginx
root       9156  0.0  0.0  13140  1104 pts/1    S+   14:25   0:00 grep --color=auto nginx

找nginx的logs日志

提示：file /etc/fdfs/mod_fastdfs.conf not exist

# ERROR - file: shared_func.c, line: 1301, file /etc/fdfs/mod_fastdfs.conf not exist
# 从哪儿找 -> fastDFS插件目录中找
root@wxf:/source_code_dir/fastdfs-nginx-module-1.22/src# tree 
.
├── common.c
├── common.h
├── config
├── mod_fastdfs.conf
└── ngx_http_fastdfs_module.c
root@wxf:/source_code_dir/fastdfs-nginx-module-1.22/src# cp mod_fastdfs.conf /etc/fdfs
root@wxf:/etc/fdfs# ls
client.conf     mime.types.back   storage.conf      tracker.conf storage_ids.conf

  需要修改mod_fdfs.conf文件, 参数按照当前存储节点的storage.conf进行修改。storage.conf里面怎么配置，mod_fdfs.conf就怎么配置。

# 存储log日志的目录
base_path=/fastdfs/storage
# 连接tracker地址信息
tracker_server=192.168.109.101:22122
# 存储节点绑定的端口
storage_server_port=23000
# 当前存储节点所属的组
group_name=group1
# 客户端下载文件的时候, 这个下载的url中是不是包含组的名字
# 上传的fileID: group1/M00/00/00/wKj3h1vJRPeAA9KEAAAIZMjR0rI076.cpp
# 完整的url: http://192.168.109.101/group1/M00/00/00/wKj3h1vJRPeAA9KEAAAIZMjR0rI076.cpp
url_have_group_name = true
# 存储节点上存储路径的个数
store_path_count=1
# 存储路径的详细信息
store_path0=/fastdfs/storage
  1. 重启启动Nginx, 还是没有worker进程, 查看log日志
# ERROR - file: ini_file_reader.c, line: 1051, include file "http.conf" not exists, line: "#include http.conf"
从 /etc/fdfs 下找的时候不存在
  - 从fastDFS源码安装目录找/conf
  - sudo cp http.conf /etc/fdfs
# ERROR - file: shared_func.c, line: 1301, file /etc/fdfs/mime.types not exist
从 /etc/fdfs 下找的时候不存在
  - 从fastDFS源码安装目录找/conf
  - sudo cp mime.types /etc/fdfs
root@wxf:/source_code_dir/fastdfs/conf# cp mime.types /etc/fdfs/
root@wxf:/source_code_dir/fastdfs/conf# cp http.conf /etc/fdfs/

  现在nginx是正常的启动了

2.3 通过URL下载文件: 404 Not Found

# 上传一张gopher的照片
root@wxf:/temp# fdfs_upload_file /etc/fdfs/client.conf gopher.png 
group1/M00/00/00/wKhtZWMaAlyAD9WYAABR1ZotbJI570.png

通过浏览器请求服务器下载文件: 404 Not Found

查看一下error日志，发现是路径不对，需要配置location

# http://192.168.109.101/group1/M00/00/00/wKhtZWMaAlyAD9WYAABR1ZotbJI570.png
2022/09/08 14:56:02 [error] 9415#0: *1 
open() "/usr/local/nginx/html/group1/M00/00/00/wKhtZWMaAlyAD9WYAABR1ZotbJI570.png" 
failed (2: No such file or directory), 
client: 192.168.109.1, server: localhost, 
request: "GET /group1/M00/00/00/wKhtZWMaAlyAD9WYAABR1ZotbJI570.png HTTP/1.1", 
host: "192.168.109.101"
http://192.168.109.101/group1/M00/00/00/wKhtZWMaAlyAD9WYAABR1ZotbJI570.png
# 错误信息
open() "/usr/local/nginx/html/group1/M00/00/00/wKhtZWMaAlyAD9WYAABR1ZotbJI570.png" failed (2: No such file or directory), client: 192.168.109.1, server: localhost, request: "GET /group1/M00/00/00/wKhtZWMaAlyAD9WYAABR1ZotbJI570.png HTTP/1.1", host: "192.168.109.101"
# /usr/local/nginx/html/group1/M00/00/00/wKhtZWMaAlyAD9WYAABR1ZotbJI570.png
服务器在查找资源时候, 找的位置不对,所以找不到
需要给服务器指定一个正确的位置, 如何指定?
  - 资源在哪? 在存储节点的存储目录中 store_path0
  - 如何告诉服务器资源在这? 在服务器端添加location处理
按照之前文章介绍的指令查找方法，可以可以把指令提取出来
- location /group1/M00/00/00/
但是后面的两个目录00/00/,有很多个，而且文件存储的时候是随机存的
- 难道我们要写这么多个location？
- location采用的是模糊匹配
- 所以我们直接把指令缩短
- location /group1/M00/
location /group1/M00/
{
  # 告诉服务器资源的位置store_path0
  root /home/robin/fastdfs/storage/data;
  ngx_fastdfs_module;
}
在分布式里面，可能有多个group，多个目录Mxx
- 难道还要把所有的可能都枚举写出来吗
- 用正则即可
location ~/group([0-9])/M([0-9])([0-9]) {
  # 告诉服务器资源的位置store_path0
  # 这个root真的正确吗？
  root /home/robin/fastdfs/storage/data;
  ngx_fastdfs_module;
}
上面也说了，可能有多个目录，也就意味着store_path可能有多个，
那root要与location的指令对应，指令都用正则了，root怎么写？
- 不用写，ngx_fastdfs_module会帮我们处理
- 上文我们以及配置过mod_fastdfs.conf
- 会从这里面找资源存储的位置

  在/usr/local/nginx/conf/nginx.conf中配置location

  可以看到我们上传的图片被下载下来了。这里被浏览器显示图片的原因是谷歌浏览器会自动打开图片。

3. 上传大文件Nginx设置

  1. 413 错误

服务器提示：413 Request Entity Too Large 的解决方法

  • 原因: 上传文件太大, 请求实体太长了
  • 解决方案:
  • 在配置文件nginx.conf中添加:client_max_body_size 10M
  • xxxM: 用户指定的大小多少兆(M)
  1. 设置的位置:
  • 在http{ }中设置：client_max_body_size 20m;
  • 所有的server中的所有的location都起作用
  • 在server{ }中设置：client_max_body_size 20m;
  • 对当前server的所有的location生效
  • 在location{ }中设置：client_max_body_size 20m;
  • 只对当前location生效
  1. 三者的区别是：
  • http{} 中控制着所有nginx收到的 http 请求。
  • 报文大小限制设置在server｛｝中，控制该server收到的请求报文大小
  • 如果配置在location中，则报文大小限制，只对匹配了location 路由规则的请求生效。

文章标签：
日志服务
应用服务中间件
nginx
存储
C++
数据库
关键词：
云服务器 ECS nginx
C++项目
服务器Nginx
云服务器 ECS项目
Nginx项目
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
cheems~
目录
相关文章
Naylor
|
24天前
|
存储 编解码 应用服务中间件
使用Nginx搭建流媒体服务器
本文介绍了流媒体服务器的特性及各种流媒体传输协议的适用场景，并详细阐述了使用 nginx-http-flv-module 扩展Nginx作为流媒体服务器的详细步骤，并提供了在VLC，flv.js，hls.js下的流媒体拉流播放示例。
Naylor
110 1
dufadayang
|
1月前
|
负载均衡 监控 应用服务中间件
配置Nginx反向代理时如何指定后端服务器的权重？
配置Nginx反向代理时如何指定后端服务器的权重？
dufadayang
63 4
WK
|
1月前
|
机器学习/深度学习 人工智能 算法
那C++适合开发哪些项目
C++ 是一种功能强大、应用广泛的编程语言，适合开发多种类型的项目。它在游戏开发、操作系统、嵌入式系统、科学计算、金融、图形图像处理、数据库管理、网络通信、人工智能、虚拟现实、航空航天等领域都有广泛应用。C++ 以其高性能、内存管理和跨平台兼容性等优势，成为众多开发者的选择。
WK
86 1
蓝易云
|
2月前
|
Ubuntu Linux 编译器
Linux/Ubuntu下使用VS Code配置C/C++项目环境调用OpenCV
通过以上步骤，您已经成功在Ubuntu系统下的VS Code中配置了C/C++项目环境，并能够调用OpenCV库进行开发。请确保每一步都按照您的系统实际情况进行适当调整。
蓝易云
572 3
nanshaws
|
2月前
|
JavaScript 应用服务中间件 nginx
nginx部署vue项目
本文介绍了将Vue项目部署到Nginx的步骤，包括构建Vue项目、上传dist文件夹到服务器、安装Nginx、配置Nginx代理静态文件以及重启Nginx，确保了Vue应用可以通过域名或IP地址访问。
nanshaws
153 1
nanshaws
|
2月前
|
Linux C语言 C++
vsCode远程执行c和c++代码并操控linux服务器完整教程
这篇文章提供了一个完整的教程，介绍如何在Visual Studio Code中配置和使用插件来远程执行C和C++代码，并操控Linux服务器，包括安装VSCode、安装插件、配置插件、配置编译工具、升级glibc和编写代码进行调试的步骤。
nanshaws
386 0
vsCode远程执行c和c++代码并操控linux服务器完整教程
dream_ready
|
2月前
|
前端开发 JavaScript 应用服务中间件
linux安装nginx和前端部署vue项目（实际测试react项目也可以）
本文是一篇详细的教程，介绍了如何在Linux系统上安装和配置nginx，以及如何将打包好的前端项目（如Vue或React）上传和部署到服务器上，包括了常见的错误处理方法。
dream_ready
791 0
linux安装nginx和前端部署vue项目（实际测试react项目也可以）
刘大猫.
|
2月前
|
JavaScript 应用服务中间件 开发工具
vue尚品汇商城项目-day07【53.nginx反向代理配置】
vue尚品汇商城项目-day07【53.nginx反向代理配置】
刘大猫.
37 4
数据知道
|
3月前
|
C++
【C++案例】一个项目掌握C++基础-通讯录管理系统
这篇文章通过一个通讯录管理系统的C++项目案例，详细介绍了如何使用C++实现添加、显示、删除、查找、修改和清空联系人等功能。
数据知道
57 3
nanshaws
|
2月前
|
存储 监控 NoSQL
Redis的实现二: c、c++的网络通信编程技术，让服务器处理多个client
本文讨论了在C/C++中实现服务器处理多个客户端的技术，重点介绍了事件循环和非阻塞IO的概念，以及如何在Linux上使用epoll来高效地监控和管理多个文件描述符。
nanshaws
38 0

热门文章

最新文章

  • 1
    Nginx报错403 forbidden几个解决方法
  • 2
    如何优雅打印nginx header和body
  • 3
    Nginx的Upload上传模块
  • 4
    Nginx防盗链、Nginx访问控制、Nginx解析php相关配置、Nginx代理
  • 5
    nginx hello world模块编译运行的问题
  • 6
    nginx反向代理与微信测试全攻略
  • 7
    Nginx动静分离经典案例配置
  • 8
    Nginx极简入门（三）基于端口的虚拟主机配置
  • 9
    nginx禁止访问目录
  • 10
    NGINX基本优化(一)
  • 1
    ECS使用体验的文章
    43
  • 2
    workbench远程登录ECS
    177
  • 3
    阿里云ecs使用体验
    144
  • 4
    高校学生在家实践ECS弹性云服务器
    47
  • 5
    Web应用程序的会话管理是一种跟踪和识别特定用户与Web服务器之间交互的技术
    266
  • 6
    服务器Linux系统配置mysql数据库主从自动备份
    218
  • 7
    香港服务器需要备案吗
    187
  • 8
    LabVIEW中如何在网络上使用远程VI服务器
    96
  • 9
    LabVIEW将视觉生成器AI用作OPC服务器
    75
  • 10
    阿里云服务器计算型c7、计算型c7a、计算型c8a、计算型c8y实例区别及选择参考
    217

    • 相关课程

    更多
  • Nginx企业级Web服务实战
  • Linux Web服务器Nginx搭建与配置
  • C++ 入门教程开发文档
  • 服务器硬件基础
  • 服务器迁移上云
  • 企业Web常用架构LAMP-LNMP实战

    • 相关电子书

    更多
  • GPON Class C++ SFP O;T Transce
  • CentOS Nginx PHP JAVA 多语言镜像使用手
  • GPON Class C++ SFP OLT Transce

    • 相关实验场景

    更多
  • 通过云拨测对指定服务器进行Ping/DNS监测
  • 部署svnserve访问SVN
  • 日志服务之使用Nginx模式采集日志
    • 下一篇
    DataWorks售前咨询