AI 助理
备案控制台
开发者社区 问答 正文

【开源分享】5期 基于 Go 的分布式管理平台 Crawlab

Crawlab是一款基于 Go 的分布式管理平台。支持 Python、Node.js、Go、Java、PHP 等多种编程语言以及多种爬虫框架

image.png

爬虫文件编辑
image.png

任务抓取结果
任务日志
image.png

定时任务
image.png

语言安装
image.png

依赖安装
image.png

消息通知
image.png

架构
Crawlab的架构包括了一个主节点（Master Node）和多个工作节点（Worker Node），以及负责通信和数据储存的Redis和MongoDB数据库。

image.png

前端应用向主节点请求数据，主节点通过MongoDB和Redis来执行任务派发调度以及部署，工作节点收到任务之后，开始执行爬虫任务，并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简，去除了不必要的节点监控模块Flower，节点监控主要由Redis完成。

安装+源码地址：https://github.com/crawlab-team/crawlab/blob/master/README-zh.md

展开
收起
问问小秘 2020-05-07 13:49:42 30959 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

2 条回答
写回答
取消 提交回答
问答分类：
数据采集 监控 NoSQL JavaScript Java Go MongoDB 调度 Redis Python 云数据库 Tair（兼容 Redis） 云数据库 MongoDB 版 日志服务
问答标签：
开源Go 分布式平台 分布式go 开源分布式平台 开源分布式
问答地址：
开发者社区 > 开发与运维 > 问答
相关问答
Pravega作为开源分布式流存储有哪些主要特点？
63
1
0
在云原生分布式转型中，如何消除业务、应用与技术平台之间的隔阂？
73
1
0
在进行核心云原生分布式转型时，为什么需要了解核心业务和底层云原生平台？
61
1
0
本地可以直接走外网接入SchedulerX分布式任务调度平台么 ？
66
1
0
SchedulerX 为什么我们的分布式任务调度平台 每天扣费100元？
61
0
0
Hazelcast是一个怎样的平台，它在分布式缓存中扮演什么角色？
125
1
0
Apache ShardingSphere作为开源分布式数据库中间件生态圈如何做到向未来架构靠拢?
76
1
0
因为我公司在测试OceanBase数据库开源版本，现在我只有一台测试服务器，怎么可以起分布式集群?
86
1
0
你好，我现在正在测试使用SchedulerX分布式调度平台，k8s的任务类型，但是执行的shell？
160
1
0
我看 dubbo 的有些组建现在在用 go 重写，对这边比较感兴趣，如何参与开源呢？
313
1
0