Flask 高并发部署方案详细教程!

简介: Flask 高并发部署方案详细教程!

640.jpg

前言

虽然标题写的是 Flask,但是下面这个教程不仅仅只适用于 Flask, 还适用于其他Python web 框架,记得帮忙点赞!

众所周知 Flask 是一个同步的框架,处理请求的时候是以单进程的方式,当同时访问的人数过多时,Flask 服务就会出现阻塞的情况。

就像我们买火车票一样,当买火车票的人多的时候,排队的人就会很多,队伍就会很长,相应的等待的时间会变得很长!

因此 Flask, Django,webpy 等框架自带的 web server 性能都很差,只能用来做测试用途,线上发布则需要选择更高性能的 wsgi server 。这里推荐的部署方式:nginx + gunicorn + flask + supervisor

其中每个服务代表的含义如下:

  • Nginx:高性能 Web 服务器+负载均衡;
  • gunicorn:高性能 WSGI 服务器;
  • gevent:把 Python 同步代码变成异步协程的库;
  • Supervisor:监控服务进程的工具;

这里有张图,能让你有个更直观的感受

640.png

Gunicorn

Gunicorn 可以指定多个工作进程,有多种工作模式可以供你选择。默认是同步的 sync 工作模式,除此之外还有 gevent, tronado, gthread, gaiohttp 等。

这里推荐 gevent, gevent 是一个基于 Greenlet 库,利用 python 协程来实现,这样你的 web 服务才能实现并发的功能!

之前有写过关于 gunicorn 的一篇文章,详细使用指南点击查看!

一个高性能的web服务是如何搭建的?

Nginx

Nginx 实际上只能处理静态资源请求,那么对于动态请求怎么做呢。这就需要用到 Nginx 的 upstream 模块对这些请求进行转发,即反向代理。Nginx 在这里主要是用来做负载均衡,同时它能缓存一些动态内容

安装 nginx

安装命令如下:

sudo apt-get install nginx

nginx 安装完后,我们可以通过以下命令控制 nginx 的开启和关闭

sudo /etc/init.d/nginx restart // 重启
sudo /etc/init.d/nginx start 开启
sudo /etc/init.d/nginx stop 关闭

配置 nginx

Nginx 配置文件位于 /usr/local/nginx/conf/nginx.conf

server {
    listen     8080; # 监听8080端口,可以自行配置
    server_name localhost; # 配置域名
    # 动态请求转发到 9600 端口(gunicorn):
    location / {
        proxy_pass   http://127.0.0.1:9600;
        proxy_redirect off;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
       proxy_read_timeout 300;
       proxy_send_timeout 300;
    }
}

修改完之后保存,重启 nginx.

Supervisor

安装 supervisor

命令如下:

pip install supervisor

初始化配置文件:

echo_supervisord_conf > supervisor.conf

修改配置文件,在配置文件最底部添加相应配置

[include] 自己的项目配置  
[program:project]  
directory = /home/jerry/Code/project       ; 程序的启动目录  
command = /home/jerry/.virtualenvs/parsing/bin/gunicorn -w 4 -worker-class gevent -bind 0.0.0.0:9600 app:app  ; 启动命令
numprocs=1           ; number of processes copies to start (def 1)   
autostart = true     ; 在 supervisord 启动的时候也自动启动   
startsecs = 1        ; 启动 1 秒后没有异常退出,就当作已经正常启动了   
autorestart = true   ; 程序异常退出后自动重启   
startretries = 3     ; 启动失败自动重试次数,默认是 3   
user = root          ; 用哪个用户启动   
redirect_stderr = true          ; 把 stderr 重定向到 stdout,默认 false   
stdout_logfile_maxbytes = 20MB  ; stdout 日志文件大小,默认 50MB   
stdout_logfile_backups = 10     ; stdout 日志文件备份数 
stdout_logfile=/home/jerry/Code/project/log/gunicorn.log       ; log 日志
stderr_logfile=/home/jerry/Code/project/log/gunicorn.error     ; 错误日志

编辑完之后保存,启动 supervisor。这里的启动命令和在命令行用 gunicorn 启动的命令是一致的,其中 -w 是指服务的进程数,详细命令查看我之前写的那篇文章哈。

基本命令

通过配置文件启动 supervisor

supervisord -c supervisor.conf

查看 supervisor 的状态

supervisorctl -c supervisor.conf status

重新载入配置文件,每次修改之后记得重新载入

supervisorctl -c supervisor.conf reload

启动指定/所有 supervisor 管理的程序进程

supervisorctl -c supervisor.conf start [all]|[appname]

关闭指定/所有 supervisor管理的程序进程

supervisorctl -c supervisor.conf stop [all]|[appname]

这时候通过 http://127.0.0.1:8080 就能访问你的应用了! 想知道效果如何,可以自己测试一下,比如在代码中增加 sleep,或者自己动手写个脚本测试!




相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
相关文章
|
6月前
|
数据采集 存储 弹性计算
高并发Java爬虫的瓶颈分析与动态线程优化方案
高并发Java爬虫的瓶颈分析与动态线程优化方案
|
10月前
|
数据采集 Web App开发 监控
如何用Pyppeteer打造高并发无头浏览器采集方案
本文从电商行业数据采集痛点出发,结合 Pyppeteer 高并发无头浏览器技术,打造可配置代理的高效采集方案。通过爬虫代理突破 IP 限制,模拟真实用户行为,实现 Amazon 特价商品数据的稳定抓取与分析。代码示例详细展示了代理集成、并发控制及数据处理流程,实验验证效率提升超 4 倍。该方案助力商业决策、竞品分析,并支持技术扩展与创新应用。
366 13
如何用Pyppeteer打造高并发无头浏览器采集方案
|
10月前
|
NoSQL 算法 安全
redis分布式锁在高并发场景下的方案设计与性能提升
本文探讨了Redis分布式锁在主从架构下失效的问题及其解决方案。首先通过CAP理论分析,Redis遵循AP原则,导致锁可能失效。针对此问题,提出两种解决方案:Zookeeper分布式锁(追求CP一致性)和Redlock算法(基于多个Redis实例提升可靠性)。文章还讨论了可能遇到的“坑”,如加从节点引发超卖问题、建议Redis节点数为奇数以及持久化策略对锁的影响。最后,从性能优化角度出发,介绍了减少锁粒度和分段锁的策略,并结合实际场景(如下单重复提交、支付与取消订单冲突)展示了分布式锁的应用方法。
792 3
|
Python
python3之flask快速入门教程Demo
python3之flask快速入门教程Demo
245 6
|
消息中间件 数据挖掘 程序员
【建议收藏】高并发下的分布式事务:如何选择最优方案?
本文介绍了分布式事务的三种常见解决方案。在分布式系统中,事务处理变得复杂,需确保ACID特性。TCC(Try-Confirm-Cancel)方案适用于严格资金要求的场景,如银行转账,通过预留、确认和取消步骤确保一致性。可靠消息最终一致性方案适合一致性要求较低的场景,如电商积分处理,通过消息中间件实现最终一致性。最大努力通知方案则用于允许不一致的场景,如数据分析,通过重复通知尽可能达成一致性。选择合适的方案取决于具体应用场景。
790 5
|
消息中间件 架构师 数据库
本地消息表事务:10Wqps 高并发分布式事务的 终极方案,大厂架构师的 必备方案
45岁资深架构师尼恩分享了一篇关于分布式事务的文章,详细解析了如何在10Wqps高并发场景下实现分布式事务。文章从传统单体架构到微服务架构下分布式事务的需求背景出发,介绍了Seata这一开源分布式事务解决方案及其AT和TCC两种模式。随后,文章深入探讨了经典ebay本地消息表方案,以及如何使用RocketMQ消息队列替代数据库表来提高性能和可靠性。尼恩还分享了如何结合延迟消息进行事务数据的定时对账,确保最终一致性。最后,尼恩强调了高端面试中需要准备“高大上”的答案,并提供了多个技术领域的深度学习资料,帮助读者提升技术水平,顺利通过面试。
本地消息表事务:10Wqps 高并发分布式事务的 终极方案,大厂架构师的 必备方案
|
存储 缓存 NoSQL
云端问道21期方案教学-应对高并发,利用云数据库 Tair(兼容 Redis®*)缓存实现极速响应
云端问道21期方案教学-应对高并发,利用云数据库 Tair(兼容 Redis®*)缓存实现极速响应
392 1
|
缓存 关系型数据库 MySQL
高并发架构系列:数据库主从同步的 3 种方案
本文详解高并发场景下数据库主从同步的三种解决方案:数据主从同步、数据库半同步复制、数据库中间件同步和缓存记录写key同步,旨在帮助解决数据一致性问题。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
高并发架构系列:数据库主从同步的 3 种方案
|
存储 Linux 开发工具
【Azure App Service】本地Git部署Python Flask应用上云(Azure App Service For Linux)关键错误
【Azure App Service】本地Git部署Python Flask应用上云(Azure App Service For Linux)关键错误
182 1
|
存储 关系型数据库 MySQL
阿里云PolarDB解决游戏行业全球部署高并发问题
阿里云PolarDB解决游戏行业全球部署高并发问题