AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

CentOS7分布式部署pyspider

2023-07-14 166
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
Redis 开源版，标准版 2GB
推荐场景：
搭建游戏排行榜
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
简介： CentOS7分布式部署pyspider

1.搭建环境：


  • 系统版本：`Linux centos-linux

  • python版本： Python3.5.1


1.1.搭建python3环境：


本人在尝试过后选择集成环境Anaconda


1.1.1.编译
# 下载依赖
yum install -y ncurses-devel openssl openssl-devel zlib-devel gcc make glibc-devel libffi-devel glibc-static glibc-utils sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-deve
# 下载python版本
wget https://www.python.org/ftp/python/3.5.1/Python-3.5.1.tgz
# 或者使用国内源
wget http://mirrors.sohu.com/python/3.5.1/Python-3.5.1.tgz
mv Python-3.5.1.tgz /usr/local/src;cd /usr/local/src
# 解压
tar -zxf Python-3.5.1.tgz;cd Python-3.5.1
# 编译安装
./configure --prefix=/usr/local/python3.5 --enable-shared
make && make install
# 建立软链接
ln -s /usr/local/python3.5/bin/python3 /usr/bin/python3
echo "/usr/local/python3.5/lib" > /etc/ld.so.conf.d/python3.5.conf
ldconfig
# 验证python3
python3
# Python 3.5.1 (default, Oct  9 2016, 11:44:24)
# [GCC 4.8.5 20150623 (Red Hat 4.8.5-4)] on linux
# Type "help", "copyright", "credits" or "license" for more information.
# >>>
# pip
/usr/local/python3.5/bin/pip3 install --upgrade pip
ln -s /usr/local/python3.5/bin/pip /usr/bin/pip
# 本人在安装时出现问题 将pip重装
wget https://bootstrap.pypa.io/get-pip.py --no-check-certificate
python get-pip.py

1.1.2.集成环境anaconda

# 集成环境anaconda(推荐)
wget https://repo.continuum.io/archive/Anaconda3-4.2.0-Linux-x86_64.sh
# 直接安装即可
./Anaconda3-4.2.0-Linux-x86_64.sh
# 若出错，可能是解压失败
yum install bzip2
1.2.安装mariaDB
# 安装
yum -y install mariadb mariadb-server
# 启动
systemctl start mariadb
# 设置为开机启动
systemctl enable mariadb
# 配置密码 默认为空
mysql_secure_installation
# 登录
mysql -u root -p
# 创建一个用户 自己设定账户密码
CREATE USER 'user_name'@'localhost' IDENTIFIED BY 'user_pass';
GRANT ALL PRIVILEGES ON *.* TO 'user_name'@'localhost' WITH GRANT OPTION;
CREATE USER 'user_name'@'%' IDENTIFIED BY 'user_pass';
GRANT ALL PRIVILEGES ON *.* TO 'user_name'@'%' WITH GRANT OPTION;
1.3.安装pyspider


本人使用 Anaconda

# 搭建虚拟环境sbird python版本3.*
conda create -n sbird python=3*
# 进入环境
source activate sbird
# 安装pyspider
pip install pyspider
# 报错 
# it does not exist.  The exported locale is "en_US.UTF-8" but it is not supported
# 执行 可写入.bashrc
export LC_ALL=en_US.utf-8
export LANG=en_US.utf-8
#ImportError: pycurl: libcurl link-time version (7.29.0) is older than compile-time version (7.49.0)
conda install pycurl
# 退出
source deactivate sbird
# 若在虚拟机内 出现无法访问localhost:5000 可关闭防火墙
systemctl stop firewalld.service
#########直接运行源码==============
mkdir git;cd git
# 下载
git clone https://github.com/binux/pyspider.git
# 安装
/root/anaconda3/envs/sbird/bin/python  /root/git/pyspider/run.py

其他方法

# 搭建虚拟环境
pip install virtualenv
mkdir python;cd python
# 创建虚拟环境pyenv3
virtualenv -p /usr/bin/python3 pyenv3
# 进入虚拟环境 激活环境
cd pyenv3/
source ./bin/activate
pip install pyspider
# 若pycurl报错 
yum install libcurl-devel
# 继续
pip install pyspider
# 关闭
deactivate

本人推荐用anaconda方式安装


若pyspider运行过程中出现错误，参考 anaconda安装部分，至此，访问 localhost:5000可看到页面。


1.4.安装Supervisor
# 安装
yum install supervisor -y
# 若无法检索 则添加阿里的epel源
vim /etc/yum.repos.d/epel.repo
# 添加以下内容
[epel]
name=Extra Packages for Enterprise Linux 7 - $basearch
baseurl=http://mirrors.aliyun.com/epel/7/$basearch
http://mirrors.aliyuncs.com/epel/7/$basearch
failovermethod=priority
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
[epel-debuginfo]
name=Extra Packages for Enterprise Linux 7 - $basearch - Debug
baseurl=http://mirrors.aliyun.com/epel/7/$basearch/debug
http://mirrors.aliyuncs.com/epel/7/$basearch/debug
failovermethod=priority
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
gpgcheck=0
[epel-source]
name=Extra Packages for Enterprise Linux 7 - $basearch - Source
baseurl=http://mirrors.aliyun.com/epel/7/SRPMS
http://mirrors.aliyuncs.com/epel/7/SRPMS
failovermethod=priority
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
gpgcheck=0
# 安装
yum install supervisor -y
# 测试是否安装成功
echo_supervisord_conf

1.4.1.Supervisor用法

supervisord     #supervisor的服务器端部分 启动
supervisorctl    #启动supervisor的命令行窗口
# 假设创建进程pyspider01
vim /etc/supervisord.d/pyspider01.ini
# 写入以下内容
[program:pyspider01]
command      = /root/anaconda3/envs/sbird/bin/python  /root/git/pyspider/run.py
directory    = /root/git/pyspider
user         = root
process_name = %(program_name)s
autostart    = true
autorestart  = true
startsecs    = 3
redirect_stderr         = true
stdout_logfile_maxbytes = 500MB
stdout_logfile_backups  = 10
stdout_logfile          = /pyspider/supervisor/pyspider01.log
# 重载
supervisorctl reload
# 启动
supervisorctl start pyspider01
# 也可这样启动
supervisord -c /etc/supervisord.conf
# 查看状态
supervisorctl status
# output 
pyspider01                       RUNNING   pid 4026, uptime 0:02:40
# 关闭
supervisorctl shutdown
1.5.安装redis
# 消息队列采用redis
mkdir download;cd download
wget http://download.redis.io/releases/redis-3.2.4.tar.gz
tar xzf redis-3.2.4.tar.gz
cd redis-3.2.4
make
# 或者直接yum安装
yum -y install redis
# 启动
systemctl start redis.service
# 重启
systemctl restart redis.service
# 停止
systemctl stop redis.service
# 查看状态
systemctl status redis.service
# 更改文件/etc/redis.conf
vim /etc/redis.conf
# 更改内容
daemonize no 改为 daemonize yes
bind 127.0.0.1 改为 bind 10.211.55.22(当前服务器ip)
# 重启redis
systemctl restart redis.service
1.6.关于自启动
# Supervisor添加到自启动服务
systemctl enable supervisord.service
# redis添加到自启动服务
systemctl enable redis.service
# 关闭防火墙自启动
systemctl disable firewalld.service

至此，pyspider单个服务器运行环境搭建且部署完毕，启动 localhost:5000进入web界面。


也可编写脚本运行，在 /pyspider/supervisor/pyspider01.log查看运行状态。


2.分布式部署


刚才配置的服务器，将其命名为 centos01，按照这样的配置，再分别部署两台 centos02、centos03。


如下：

服务器名称 ip 说明
centos01 10.211.55.22 redis,mariaDB, scheduler
centos02 10.211.55.23 fetcher, processor, result_worker,phantomjs
centos03 10.211.55.24 fetcher, processor,,result_worker,webui
2.1.centos01


进入服务器 centos01，经过第一步，基本环境已经搭好，首先编辑配置文件 /pyspider/config.json

{
 "taskdb": "mysql+taskdb://user_name:user_pass@10.211.55.22:3306/taskdb",
 "projectdb": "mysql+projectdb://user_name:user_pass@10.211.55.22:3306/projectdb",
 "resultdb": "mysql+resultdb://user_name:user_pass@10.211.55.22:3306/resultdb",
 "message_queue": "redis://10.211.55.22:6379/db",
 "logging-config": "/pyspider/logging.conf",
 "phantomjs-proxy":"10.211.55.23:25555",
 "webui": {
   "username": "",
   "password": "",
   "need-auth": false,
   "host":"10.211.55.24",
   "port":"5000",
   "scheduler-rpc":"http:// 10.211.55.22:5002",
   "fetcher-rpc":"http://10.211.55.23:5001"
 },
 "fetcher": {
   "xmlrpc":true,
   "xmlrpc-host": "0.0.0.0",
   "xmlrpc-port": "5001"
 },
 "scheduler": {
   "xmlrpc":true,
   "xmlrpc-host": "0.0.0.0",
   "xmlrpc-port": "5002"
 }
}

尝试运行下：

/root/anaconda3/envs/sbird/bin/python /root/git/pyspider/run.py -c /pyspider/config.json scheduler
# 报错
ImportError: No module named 'mysql'
# 下载 mysql-connector-python
cd ~/git/
git clone https://github.com/mysql/mysql-connector-python.git
# 安装
source activate sbird
cd mysql-connector-python
python setup.py install
# 安装redis
pip install redis
source deactivate
# 运行
/root/anaconda3/envs/sbird/bin/python /root/git/pyspider/run.py -c /pyspider/config.json scheduler
# 输出 ok
[I 161010 15:57:25 scheduler:644] scheduler starting...
[I 161010 15:57:25 scheduler:779] scheduler.xmlrpc listening on 0.0.0.0:5002
[I 161010 15:57:25 scheduler:583] in 5m: new:0,success:0,retry:0,failed:0

运行成功后，可直接更改 /etc/supervisord.d/pyspider01.ini如下：

[program:pyspider01]
command      = /root/anaconda3/envs/sbird/bin/python /root/git/pyspider/run.py -c /pyspider/config.json scheduler
directory    = /root/git/pyspider
user         = root
process_name = %(program_name)s
autostart    = true
autorestart  = true
startsecs    = 3
redirect_stderr         = true
stdout_logfile_maxbytes = 500MB
stdout_logfile_backups  = 10
stdout_logfile          = /pyspider/supervisor/pyspider01.log
# 重载
supervisorctl reload
# 查看状态
supervisorctl status

centos01部署完毕。


2.2.centos02


在 centos02中，需要运行 result_worker、processor、phantomjs、fetcher

分别建立文件：


/etc/supervisord.d/result_worker.ini

[program:result_worker]
command      = /root/anaconda3/envs/sbird/bin/python /root/git/pyspider/run.py -c /pyspider/config.json result_worker
directory    = /root/git/pyspider
user         = root
process_name = %(program_name)s
autostart    = true
autorestart  = true
startsecs    = 3
redirect_stderr         = true
stdout_logfile_maxbytes = 500MB
stdout_logfile_backups  = 10
stdout_logfile          = /pyspider/supervisor/result_worker.log

/etc/supervisord.d/processor.ini

[program:processor]
command      = /root/anaconda3/envs/sbird/bin/python /root/git/pyspider/run.py -c /pyspider/config.json processor
directory    = /root/git/pyspider
user         = root
process_name = %(program_name)s
autostart    = true
autorestart  = true
startsecs    = 3
redirect_stderr         = true
stdout_logfile_maxbytes = 500MB
stdout_logfile_backups  = 10
stdout_logfile          = /pyspider/supervisor/processor.log

/etc/supervisord.d/phantomjs.ini

[program:phantomjs]
command      = /pyspider/phantomjs --config=/pyspider/pjsconfig.json /pyspider/phantomjs_fetcher.js 25555
directory    = /root/git/pyspider
user         = root
process_name = %(program_name)s
autostart    = true
autorestart  = true
startsecs    = 3
redirect_stderr         = true
stdout_logfile_maxbytes = 500MB
stdout_logfile_backups  = 10
stdout_logfile          = /pyspider/supervisor/phantomjs.log

/etc/supervisord.d/fetcher.ini

[program:fetcher]
command      = /root/anaconda3/envs/sbird/bin/python /root/git/pyspider/run.py -c /pyspider/config.json fetcher
directory    = /root/git/pyspider
user         = root
process_name = %(program_name)s
autostart    = true
autorestart  = true
startsecs    = 3
redirect_stderr         = true
stdout_logfile_maxbytes = 500MB
stdout_logfile_backups  = 10
stdout_logfile          = /pyspider/supervisor/fetcher.log

在 pyspider目录中建立pjsconfig.json

{
 /*--ignore-ssl-errors=true */
 "ignoreSslErrors": true,
 /*--ssl-protocol=true */
 "sslprotocol": "any",
 /* Same as: --output-encoding=utf8 */
 "outputEncoding": "utf8",
 /* persistent Cookies. */
 /*cookiesfile="e:/phontjscookies.txt",*/
 cookiesfile="pyspider/phontjscookies.txt",
 /* load image */
 autoLoadImages = false
}

下载phantomjs至 /pyspider/文件夹，将 git/pyspider/pyspider/fetcher/phantomjs_fetcher.js复制到 phantomjs_fetcher.js

# 重载
supervisorctl reload
# 查看状态
supervisorctl status
# output
fetcher                          RUNNING   pid 3446, uptime 0:00:07
phantomjs                        RUNNING   pid 3448, uptime 0:00:07
processor                        RUNNING   pid 3447, uptime 0:00:07
result_worker                    RUNNING   pid 3445, uptime 0:00:07

centos02部署完毕。


2.3.centos03


部署这三个进程 fetcher,processor,result_worker和 centos02 一样，本服务器主要是在前面的基础上加上 webui


建立文件：


/etc/supervisord.d/webui.ini

[program:webui]
command      = /root/anaconda3/envs/sbird/bin/python /root/git/pyspider/run.py -c /pyspider/config.json webui
directory    = /root/git/pyspider
user         = root
process_name = %(program_name)s
autostart    = true
autorestart  = true
startsecs    = 3
redirect_stderr         = true
stdout_logfile_maxbytes = 500MB
stdout_logfile_backups  = 10
stdout_logfile          = /pyspider/supervisor/webui.log
# 重载
supervisorctl reload
# 查看状态
supervisorctl status
# output
fetcher                          RUNNING   pid 2724, uptime 0:00:07
processor                        RUNNING   pid 2725, uptime 0:00:07
result_worker                    RUNNING   pid 2723, uptime 0:00:07
webui                            RUNNING   pid 2726, uptime 0:00:07

3.总结


访问 http://10.211.55.24:5000 即可

16.jpg

文章标签：
云数据库 Tair（兼容 Redis）
云数据库 RDS MySQL 版
Python
开发工具
关系型数据库
NoSQL
Linux
Redis
git
关键词：
分布式部署
centos7分布式
分布式centos7
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务，基于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。 产品详情：https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验：数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引，您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接，领取免费ECS&RDS资源，30分钟完成数据库上云实战！https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
老胡的储物柜
目录
相关文章
whisper1
|
4月前
|
Java 测试技术 Linux
jmeter-分布式部署之负载机的设置
jmeter-分布式部署之负载机的设置
whisper1
245 2
PolarDB小助手小悦
|
4月前
|
Docker 容器 关系型数据库
【PolarDB-X从入门到精通】 第四讲：PolarDB分布式版安装部署（源码编译部署）
本期课程将于4月11日19:00开始直播，内容包括源码编译基础知识和实践操作，课程目标是使学员掌握源码编译部署技能，为未来发展奠定基础，期待大家在课程中取得丰富的学习成果！
PolarDB小助手小悦
464 7
【PolarDB-X从入门到精通】 第四讲：PolarDB分布式版安装部署（源码编译部署）
杨校
|
3月前
|
分布式计算 Java Hadoop
杨校老师课堂之分布式数据库HBase的部署和基本操作
杨校老师课堂之分布式数据库HBase的部署和基本操作
杨校
47 0
尹正杰
|
25天前
|
存储
cephFS高可用分布式文件系统部署指南
关于如何部署高可用的cephFS分布式文件系统，包括集群的搭建、验证高可用性以及实现两主一从架构的详细指南。
尹正杰
47 9
尹正杰
|
26天前
|
分布式计算 资源调度 Hadoop
在YARN集群上运行部署MapReduce分布式计算框架
主要介绍了如何在YARN集群上配置和运行MapReduce分布式计算框架，包括准备数据、运行MapReduce任务、查看任务日志，并启动HistoryServer服务以便于日志查看。
尹正杰
34 0
土木林森
|
1月前
|
Java Nacos Docker
"揭秘！Docker部署Seata遇上Nacos，注册成功却报错？这些坑你不得不防！一网打尽解决秘籍，让你的分布式事务稳如老狗！"
【8月更文挑战第15天】在微服务架构中，Nacos搭配Seata确保数据一致性时，Docker部署Seata后可能出现客户端连接错误，如“can not connect to services-server”。此问题多由网络配置不当、配置文件错误或版本不兼容引起。解决策略包括：调整Docker网络设置确保可达性；检查并修正`file.conf`和`registry.conf`中的Nacos地址和端口；验证Seata与Nacos版本兼容性；修改配置后重启服务；参考官方文档和最佳实践进行配置。通过这些步骤，能有效排除故障，保障服务稳定运行。
土木林森
54 0
对你痴情
|
1月前
|
存储 运维 安全
多云网络部署存在挑战，F5分布式云应用简化方案解读
多云网络部署存在挑战，F5分布式云应用简化方案解读
对你痴情
35 0
zhangpflyme
|
4月前
|
关系型数据库 MySQL 数据库
测试部署PolarDB-X 分布式与集中式
在本文中，作者详述了在CentOS 7.9上部署测试PolarDB-X分布式与集中式数据库的过程。PolarDB-X作为阿里云优化的分布式数据库，提供高稳定性和与MySQL的兼容性，是应对单体数据库扩展性和性能瓶颈的解决方案，同时也符合国产化需求。文章介绍了部署环境准备，包括关闭防火墙和SELinux，设置系统参数，安装Python3和Docker，以及配置MySQL客户端。接着，通过PXD工具部署了PolarDB-X的集中式和分布式版，遇到的问题包括阿里云镜像源异常导致的部署失败以及指定版本安装的困扰。最后，作者进行了初步的压力测试，并对文档完善、生态工具建设以及提供更多使用案例提出了建议。
zhangpflyme
47900 10
测试部署PolarDB-X 分布式与集中式
爱你三千遍斯塔克
|
2月前
|
缓存 Devops 微服务
微服务01好处，随着代码越多耦合度越多，升级维护困难，微服务技术栈，异步通信技术，缓存技术，DevOps技术，搜索技术，单体架构，分布式架构将业务功能进行拆分，部署时费劲，集连失败如何解决
微服务01好处，随着代码越多耦合度越多，升级维护困难，微服务技术栈，异步通信技术，缓存技术，DevOps技术，搜索技术，单体架构，分布式架构将业务功能进行拆分，部署时费劲，集连失败如何解决
爱你三千遍斯塔克
97 0
xijie.xu
|
4月前
|
SQL 消息中间件 存储
【一文看懂】使用hape部署分布式版Havenask
本次分享内容为使用hape部署分布式版Havenask，共2个部分组成（部署分布式版Havenask集群、 分布式相关问题排查），希望可以帮助大家更好了解和使用Havenask。
xijie.xu
165110 6

热门文章

最新文章

  • 1
    分布式1024节点！1天玩转PolarDB-X超大规模集群
  • 2
    6 张图带你彻底搞懂分布式事务 XA 模式
  • 3
    商城项目01_电商系统基本模式、分布式基础概念、微服务架构图、微服务划分图（四）
  • 4
    17 个方面，综合对比 Kafka、RabbitMQ、RocketMQ、ActiveMQ 四个分布式消息队列
  • 5
    若依框架thymeleaf升级分布式--dora带你来探险
  • 6
    重磅解读：基于Occlum和BigDL构建端到端的安全分布式Spark大数据分析方案
  • 7
    整合spring cloud云架构 --spring cloud分布式系统中实现分布式锁
  • 8
    java- 分布式- 一致性哈希算法（1）
  • 9
    WCF分布式开发常见错误(21):unable to open its IChannelListener.分发器未能打开侦听器
  • 10
    分布式服务框架 Zookeeper -- 管理分布式环境中的数据
  • 1
    探秘Redis分布式锁：实战与注意事项
    373
  • 2
    JAVA难点包括异常处理、多线程、泛型和反射，以及复杂的分布式系统知识
    83
  • 3
    介绍redis分布式锁
    50
  • 4
    Springboot框架使用redisson实现分布式锁
    138
  • 5
    Spring事务与分布式事务
    55
  • 6
    Java远程连接本地开源分布式搜索引擎ElasticSearch
    44
  • 7
    构建未来：以云原生为基石的分布式系统架构深入理解操作系统的内存管理机制
    80
  • 8
    聊一聊分布式锁的设计模型
    52843
  • 9
    区块链技术原理及应用：深入探索分布式账本技术
    273
  • 10
    Windows系统下安装分布式事务组件Seata
    195

    • 相关课程

    更多
  • 开源PolarDB分布式版部署实操
  • Spring Boot+Vue.js+FastDFS实现分布式图片服务器
  • 基于Zookeeper、Dubbo构建互联网分布式基础架构
  • 分布式文件存储系统技术及实现
  • 分布式协调系统 Zookeeper 快速入门
  • Linux软件包安装和yum仓库实战

    • 相关电子书

    更多
  • 基于社区的分布式 风险感知模型
  • 如何利用Redisson分布式化传统Web项目
  • FLASH:大规模分布式图计算引擎及应用

    • 相关实验场景

    更多
  • 部署并使用Docker（AlibabaCloud Linux 3）
  • 体验PolarDB-X透明分布式
  • 基于ROS快速部署LNMP环境（CentOS 7）
  • 基于ROS一键安装LAMP环境
  • 手动部署MySQL数据库（CentOS 7）
  • 部署并使用Docker（CentOS 8）

    • 推荐镜像

    更多
  • centos
  • centos-altarch
  • centos-debuginfo
    • 下一篇
    使用OSS上传下载文件