开发者社区大数据文章正文

Pholcus 幽灵蛛 —— Go 编写的重量级爬虫软件

2017-06-08 1765

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介：

Pholcus（幽灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，支持横纵向两种抓取模式，支持模拟登录和任务取消等，并且考虑了支持分布式布局。

框架模块

09bc63d2c55a99b78c9d7761fffff9067ca39ed3

文章转载自开源中国社区 [http://www.oschina.net]

文章标签：

数据采集

关键词：

Go爬虫

Go软件

爬虫go

爬虫编写

爬虫软件

沉默术士

奔跑的数据

5月前

数据采集 NoSQL 关系型数据库

Go语言网络爬虫工程经验分享：pholcus库演示抓取头条新闻的实例

网络爬虫是一种自动从互联网上获取数据的程序，它可以用于各种目的，如数据分析、信息检索、竞争情报等。网络爬虫的实现方式有很多，不同的编程语言和框架都有各自的优势和特点。在本文中，我将介绍一种使用Go语言和pholcus库的网络爬虫工程，以抓取头条新闻的数据为例，展示pholcus库的功能和用法。

奔跑的数据

579 0 0

陌陌谣

6月前

监控 JavaScript 前端开发

Go语言编程实践：构建网络限制软件的基本步骤

在今天的互联网世界中，网络限制管理是一个重要的主题。不同的组织和个人都需要一种有效的方式来管理和监控网络流量，以确保网络资源的合理使用。本文将介绍如何使用Go语言构建一个基于Web的网络限制软件管理面板，以便轻松管理网络资源分配。我们将使用Go语言、JavaScript和Node.js来完成这个任务。

陌陌谣

205 1 1

yumuing

11月前

数据采集存储 JSON

猜谜游戏、彩云词典爬虫、SOCKS5代理的 Go(Golang) 小实践，附带全代码解释

猜谜游戏在编程语言实践都已经和 HelloWord 程序成为必不可少的新手实践环节，毕竟，它能够让我们基本熟悉 for 循环、变量定义、打印、if else 语句等等的使用，当我们基本熟悉该语言基础之后，就要学会其优势方面的程序实践，比如 Golang 所具备的爬虫及其并发优势。我们将采用彩云词典的英文单词翻译成中文的在线词典爬虫程序，及其改进版本，在并发上，我们将采用 SOCKS5 代理服务器的方式体验 Golang 语言的高并发易用性

yumuing

64 0 0