【开源分享】5期 基于 Go 的分布式管理平台 Crawlab-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

【开源分享】5期 基于 Go 的分布式管理平台 Crawlab

问问小秘 2020-05-07 13:49:42 18591

Crawlab是一款基于 Go 的分布式管理平台。支持 Python、Node.js、Go、Java、PHP 等多种编程语言以及多种爬虫框架

image.png

爬虫文件编辑
image.png

任务抓取结果
任务日志
image.png

定时任务
image.png

语言安装
image.png

依赖安装
image.png

消息通知
image.png

架构
Crawlab的架构包括了一个主节点(Master Node)和多个工作节点(Worker Node),以及负责通信和数据储存的Redis和MongoDB数据库。

image.png

前端应用向主节点请求数据,主节点通过MongoDB和Redis来执行任务派发调度以及部署,工作节点收到任务之后,开始执行爬虫任务,并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简,去除了不必要的节点监控模块Flower,节点监控主要由Redis完成。

安装+源码地址:https://github.com/crawlab-team/crawlab/blob/master/README-zh.md

数据采集 监控 NoSQL JavaScript Java Go MongoDB 调度 Redis Python
分享到
取消 提交回答
全部回答(2)
添加回答
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

推荐文章
相似问题
推荐课程