【JAVA秒会技术之图片上传】基于Nginx及FastDFS,完成图片的上传及展示

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
EMR Serverless StarRocks,5000CU*H 48000GB*H
应用型负载均衡 ALB,每月750个小时 15LCU
简介: 基于Nginx及FastDFS,完成商品图片的上传及展示 一、传统图片存储及展示方式      存在问题: 1)大并发量上传访问图片时,需要对web应用做负载均衡,但是会存在图片共享问题 2)web应用服务器的存储空间有限,它是web应用服务器,而不是存储服务器。 3)web应用服务器的本身的io读写性能不高,图片上传下载时,速度偏慢 4)web应用服务器访问图片

基于NginxFastDFS,完成商品图片的上传及展示

一、传统图片存储及展示方式

 

   存在问题

1大并发量上传访问图片时,需要对web应用做负载均衡,但是会存在图片共享问题

2web应用服务器的存储空间有限它是web应用服务器而不是存储服务器

3web应用服务器的本身的io读写性能不高图片上传下载时速度偏慢

4web应用服务器访问图片时由于图片内容较大并发量大的时候会占用web应用服务器的带宽这样web应用服务器的其他功能就会受到较大的影响。

   解决方案

1将图片集中存储到IO读写性能高的图片服务器中

2下载访问图片时使用http服务器直接读取图片服务器中的图片

二、集群模式

 

(1)Nginx快速入门

Nginx是一个高性能的HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP服务器。主要应用于:HTTP服务器反向代理服务器\负载均衡服务器虚拟主机

   Nginx的安装(另见《电商常用软件安装篇》)

   Nginx的使用(通过修改nginx.conf配置文件实现

1)虚拟主机配置

   将网络中的每一台计算机分成多个虚拟主机,每个虚拟主机可以单独对外提供www服务。

   a)基于端口配置ip地址一致,端口不一致

#基于80端口的虚拟主机

server {

listen 80;

server_name 192.168.242.128;

location / {

root html;

index index.html index.htm;

}

}

#基于81端口的虚拟主机

server {

listen 81;

server_name 192.168.242.128;

location /{

root html81;

index index.html index.htm;

}

}

   b)基于域名配置

修改hosts文件,实现ip地址和域名的映射配置:

  Hosts文件的位置:C:\Windows\System32\drivers\etc\hosts

  建议使用SwitchHosts工具修改本地DNS配置。

②配置nginx.conf

    #基于www.aaa.com域名的虚拟主机

server {

       listen 80;

server_name www.aaa.com;

location /{

root htmlaaa;

index index.html index.htm;

}

}

#基于www.bbb.com域名的虚拟主机

server {

listen 80;

server_name www.bbb.com;

location /{

root htmlbbb;

index index.html index.htm;

}

}

2)反向代理配置

通常的代理服务器,只用于代理内部网络对Internet的连接请求;而反向代理(Reverse

Proxy)方式是指以代理服务器来接受internet上的连接请求。

简单理解:以tomcat为中心,以内外网为前提,tomcat主动出击是正向代理,而tomcat

被动接受请求就是反向代理。

3)负载均衡配置

简单理解:反向代理负载均衡技术是把将来自internet上的连接请求以反向代理的方式动态地转发给内部网络上的多台服务器进行处理,从而达到负载均衡的目的。

① 负载均衡的方式硬负载(F5服务器)软负载(Nginx)

② 负载均衡的策略轮询ip_hash

③ 具体配置

tomcat+nginx演示:

反向代理案例中,通过域名www.tomcat1.com访问时,后台只有8080端口服务进行响应。

负载均衡配置时,通过域名www.tomcat1.com访问时,后台除了8080端口响应再添加一台8282服务器响应服务。

修改nginx配置文件,修改如下:

upstream tomcat1{

#weight 权重,默认是1,权重越高,被分配的几率越大

server 192.168.242.128:8080  weight=2;

server 192.168.242.128:8282;

}

 

#配置一个虚拟主机

server {

listen 80;

server_name www.tomcat1.com;

location / {

proxy_pass http://tomcat1;

}

}

 (2)FastDFS

 FastDFS是用C语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制,充分考虑了冗余备份负载均衡线性扩容等机制,并注重高可用高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传下载等服务。

1)FastDFS架构(Tracker server + Storage server)

Tracker server作用是Storage server进行负载均衡和调度,在文件上传时会直接请求Tracker server,然后Tracker server可以根据一些策略找到Storage server来提供文件上传服务。所以可以将tracker称为追踪服务器或调度服务器

Storage server作用是文件存储,客户端上传的文件最终存储在Storage服务器上,Storage server没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。可以将storage称为存储服务器

具体架构如下图:

 

2)Tracker 集群

FastDFS集群中的Tracker server可以有多台,Tracker server之间是相互平等关系同时提供服务,Tracker server不存在单点故障。客户端请求Tracker server采用轮询方式,如果请求的tracker无法提供服务则换另一个tracker

3)Storage集群

Storage集群采用了分组存储方式storage集群由一个或多个组构成,一个组由一台或多台存储服务器组成,组内的Storage server之间是平等关系,不同组的Storage server之间不会相互通信,同组内的Storage server之间会相互连接进行文件同步,从而保证同组内每个storage上的文件完全一致的一个组的存储容量为该组内存储服务器容量最小的那个,集群存储总容量为集群中所有组的存储容量之和,由此可见组内存储服务器的软硬件配置最好是一致的。

采用分组存储方式的好处是灵活、可控性较强。比如上传文件时,可以由客户端直接指定上传到的组也可以由tracker进行调度选择。一个分组的存储服务器访问压力较大时,可以在该组增加存储服务器来扩充服务能力(纵向扩容)。当系统容量不足时,可以增加组来扩充存储容量(横向扩容)。

4)Storage状态收集

Storage server会连接集群中所有的Tracker server定时向他们报告自己的状态,包括磁盘剩余空间、文件同步状况、文件上传下载次数等统计信息。

5)文件上传流程

 

客户端上传文件后存储服务器文件ID返回给客户端,此文件ID用于以后访问该文件的索引信息。文件索引信息包括:组名,虚拟磁盘路径,数据两级目录,文件名。

 

组名:文件上传后所在的storage组名称,在文件上传成功后有storage服务器返回,需要客户端自行保存。

虚拟磁盘路径:storage配置的虚拟路径,与磁盘选项store_path*对应。如果配置了store_path0则是M00,如果配置了store_path1则是M01,以此类推。

数据两级目录:storage服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件。

文件名:与文件上传时不同。是由存储服务器根据特定信息生成,文件名包含:源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

6)文件下载流程

 

tracker根据请求的文件路径即文件ID来快速定义文件。

比如请求下边的文件:

 

1.通过组名tracker能够很快的定位到客户端需要访问的存储服务器组是group1,并选择合适的存储服务器提供客户端访问。  

2.存储服务器根据“文件存储虚拟磁盘路径”和“数据文件两级目录”可以很快定位到文件所在目录,并根据文件名找到客户端需要访问的文件。





相关文章
|
1月前
|
Java
Java开发实现图片URL地址检验,如何编码?
【10月更文挑战第14天】Java开发实现图片URL地址检验,如何编码?
67 4
|
1月前
|
Java
Java开发实现图片地址检验,如果无法找到资源则使用默认图片,如何编码?
【10月更文挑战第14天】Java开发实现图片地址检验,如果无法找到资源则使用默认图片,如何编码?
59 2
|
16天前
|
JSON 前端开发 JavaScript
java-ajax技术详解!!!
本文介绍了Ajax技术及其工作原理,包括其核心XMLHttpRequest对象的属性和方法。Ajax通过异步通信技术,实现在不重新加载整个页面的情况下更新部分网页内容。文章还详细描述了使用原生JavaScript实现Ajax的基本步骤,以及利用jQuery简化Ajax操作的方法。最后,介绍了JSON作为轻量级数据交换格式在Ajax应用中的使用,包括Java中JSON与对象的相互转换。
32 1
|
24天前
|
SQL 监控 Java
技术前沿:Java连接池技术的最新发展与应用
本文探讨了Java连接池技术的最新发展与应用,包括高性能与低延迟、智能化管理和监控、扩展性与兼容性等方面。同时,结合最佳实践,介绍了如何选择合适的连接池库、合理配置参数、使用监控工具及优化数据库操作,为开发者提供了一份详尽的技术指南。
31 7
|
26天前
|
移动开发 前端开发 Java
过时的Java技术盘点:避免在这些领域浪费时间
【10月更文挑战第14天】 在快速发展的Java生态系统中,新技术层出不穷,而一些旧技术则逐渐被淘汰。对于Java开发者来说,了解哪些技术已经过时是至关重要的,这可以帮助他们避免在这些领域浪费时间,并将精力集中在更有前景的技术上。本文将盘点一些已经或即将被淘汰的Java技术,为开发者提供指导。
51 7
|
22天前
|
SQL Java 数据库连接
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率
在Java应用中,数据库访问常成为性能瓶颈。连接池技术通过预建立并复用数据库连接,有效减少连接开销,提升访问效率。本文介绍了连接池的工作原理、优势及实现方法,并提供了HikariCP的示例代码。
37 3
|
22天前
|
SQL 监控 Java
Java连接池技术的最新发展,包括高性能与低延迟、智能化管理与监控、扩展性与兼容性等方面
本文探讨了Java连接池技术的最新发展,包括高性能与低延迟、智能化管理与监控、扩展性与兼容性等方面。同时,结合最佳实践,介绍了如何选择合适的连接池库、合理配置参数、使用监控工具及优化数据库操作,以实现高效稳定的数据库访问。示例代码展示了如何使用HikariCP连接池。
12 2
|
24天前
|
Java 数据库连接 数据库
优化之路:Java连接池技术助力数据库性能飞跃
在Java应用开发中,数据库操作常成为性能瓶颈。频繁的数据库连接建立和断开增加了系统开销,导致性能下降。本文通过问题解答形式,深入探讨Java连接池技术如何通过复用数据库连接,显著减少连接开销,提升系统性能。文章详细介绍了连接池的优势、选择标准、使用方法及优化策略,帮助开发者实现数据库性能的飞跃。
27 4
|
22天前
|
Java 数据库连接 数据库
深入探讨Java连接池技术如何通过复用数据库连接、减少连接建立和断开的开销,从而显著提升系统性能
在Java应用开发中,数据库操作常成为性能瓶颈。本文通过问题解答形式,深入探讨Java连接池技术如何通过复用数据库连接、减少连接建立和断开的开销,从而显著提升系统性能。文章介绍了连接池的优势、选择和使用方法,以及优化配置的技巧。
22 1
|
22天前
|
算法 Java 数据库连接
Java连接池技术,从基础概念出发,解析了连接池的工作原理及其重要性
本文详细介绍了Java连接池技术,从基础概念出发,解析了连接池的工作原理及其重要性。连接池通过复用数据库连接,显著提升了应用的性能和稳定性。文章还展示了使用HikariCP连接池的示例代码,帮助读者更好地理解和应用这一技术。
36 1