【开源分享】5期 基于 Go 的分布式管理平台 Crawlab
Crawlab是一款基于 Go 的分布式管理平台。支持 Python、Node.js、Go、Java、PHP 等多种编程语言以及多种爬虫框架
爬虫文件编辑
任务抓取结果
任务日志
定时任务
语言安装
依赖安装
消息通知
架构
Crawlab的架构包括了一个主节点（Master Node）和多个工作节点（Worker Node），以及负责通信和数据储存的Redis和MongoDB数据库。
前端应用向主节点请求数据，主节点通过MongoDB和Redis来执行任务派发调度以及部署，工作节点收到任务之后，开始执行爬虫任务，并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简，去除了不必要的节点监控模块Flower，节点监控主要由Redis完成。
安装+源码地址：https://github.com/crawlab-team/crawlab/blob/master/README-zh.md
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
