【开源分享】5期 基于 Go 的分布式管理平台 Crawlab-问答-阿里云开发者社区-阿里云

Crawlab是一款基于 Go 的分布式管理平台。支持 Python、Node.js、Go、Java、PHP 等多种编程语言以及多种爬虫框架

爬虫文件编辑

任务抓取结果
任务日志

定时任务

语言安装

依赖安装

消息通知

架构
Crawlab的架构包括了一个主节点（Master Node）和多个工作节点（Worker Node），以及负责通信和数据储存的Redis和MongoDB数据库。

前端应用向主节点请求数据，主节点通过MongoDB和Redis来执行任务派发调度以及部署，工作节点收到任务之后，开始执行爬虫任务，并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简，去除了不必要的节点监控模块Flower，节点监控主要由Redis完成。

安装+源码地址：https://github.com/crawlab-team/crawlab/blob/master/README-zh.md