开发者社区> 问答> 正文

【开源分享】5期 基于 Go 的分布式管理平台 Crawlab

Crawlab是一款基于 Go 的分布式管理平台。支持 Python、Node.js、Go、Java、PHP 等多种编程语言以及多种爬虫框架

image.png

爬虫文件编辑
image.png

任务抓取结果
任务日志
image.png

定时任务
image.png

语言安装
image.png

依赖安装
image.png

消息通知
image.png

架构
Crawlab的架构包括了一个主节点(Master Node)和多个工作节点(Worker Node),以及负责通信和数据储存的Redis和MongoDB数据库。

image.png

前端应用向主节点请求数据,主节点通过MongoDB和Redis来执行任务派发调度以及部署,工作节点收到任务之后,开始执行爬虫任务,并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简,去除了不必要的节点监控模块Flower,节点监控主要由Redis完成。

安装+源码地址:https://github.com/crawlab-team/crawlab/blob/master/README-zh.md

展开
收起
问问小秘 2020-05-07 13:49:42 30860 0
2 条回答
写回答
取消 提交回答
  • 好像没问题

    13

    2020-05-09 10:20:30
    赞同 展开评论 打赏
  • 收藏

    2020-05-08 14:11:19
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Go语言路上踩过的坑 立即下载
gohbase :HBase go客户端 立即下载
Go构建日请求千亿级微服务实践 立即下载