项目介绍
Crawlab —— 一个基于 Golang 的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP 等多种编程语言以及多种爬虫框架。
主要功能：
项目截图
登录页
主页
节点
项目
爬虫
任务
插件
快速上手
最快安装
Crawlab的方式是 Docker.推荐使用 Docker Compose.
1、创建配置文件并命名为 docker-compose.yml
version: '3.3' services: master: image: crawlabteam/crawlab container_name: crawlab_master environment: CRAWLAB_NODE_MASTER: "Y" CRAWLAB_MONGO_HOST: "mongo" ports: - "8080:8080" depends_on: - mongo mongo: image: mongo:4.2
2、一键启动 Crawlab
docker-compose up -d
3、浏览器访问
http://IP:8080
这是最小化配置的
Crawlab,支持体验大多数功能，但是不建议在生产环境中配置，生产环境部署Crawlab可参考官方文档。
Crawlab 适用于网路爬虫工程师、运维工程师、数据分析师等，是一款功能强大的爬虫平台！更多的使用功能，可自行部署体验~
项目地址：https://github.com/crawlab-team/crawlab 在线体验：https://demo.crawlab.cn/#/home 在线文档：https://docs.crawlab.cn/zh/guide/
