网络爬虫相关库/工具/API大列表

简介:

详细罗列了用户Web抓取的工具、编程库和API列表,包括Python、PHP、Ruby、JavaScript等。

221465507c902ba73fb4b26562d7431e7337444f

Web Scraping

The list of tools, programming libraries and APIs used in web-scraping.

 ●  Python
 ●  PHP
 ●  Ruby
 ●  JavaScript
 ●  Golang
 ●  Feel free to add your favourite language. Use new_language_template.md as start point.
 ●  Proxy Services
 ●  Web Services
 ●  Console tools

 ●  Books

Other Awesome List Projects

 ●  lists - List of useful, silly and awesome lists curated on GitHub

 ●  HeadlessBrowsers - a list of (almost) all headless web browsers in existence

Contributing

Make this list better! Your contributions are always welcome! See contributing how-to

Credits

This list partially contains data from these sources:

 ●  awesome-python by vinta / CC BY 4.0
 ●  awesome-php by ziadoz
 ●  awesome-ruby by markets
 ●  ruby-nlp by diasks2

 ●  awesome-javascript by sorrycc

Github Page

https://github.com/lorien/awesome-web-scraping


原文发布时间为:2018-11-5
本文来自云栖社区合作伙伴“ 专知”,了解相关信息可以关注“ 专知”。
相关文章
|
1月前
|
数据采集 前端开发 API
从零开始构建网络爬虫:ScrapeKit库详解
从零开始构建网络爬虫:ScrapeKit库详解
|
1天前
|
数据采集 XML JavaScript
Symfony DomCrawler库在反爬虫应对中的应用
Symfony DomCrawler库在反爬虫应对中的应用
|
2天前
|
API
钉钉API调试工具使用
钉钉API调试工具使用
|
3天前
|
网络协议 Dubbo Java
【网络编程】理解客户端和服务器并使用Java提供的api实现回显服务器
【网络编程】理解客户端和服务器并使用Java提供的api实现回显服务器
9 0
|
3天前
|
数据采集 网络安全 UED
揭秘豆瓣网站爬虫:利用lua-resty-request库获取图片链接
本文探讨了如何使用Lua的lua-resty-request库和爬虫代理IP技术从豆瓣网站高效获取图片链接。通过定制请求头部和代理服务,可以应对反爬虫机制,提高爬虫的稳定性和匿名性。示例代码展示了一种方法,但实际应用需考虑版权和法律法规。
揭秘豆瓣网站爬虫:利用lua-resty-request库获取图片链接
|
3天前
|
SQL Java 数据库连接
JDBC Java标准库提供的一些api(类+方法) 统一各种数据库提供的api
JDBC Java标准库提供的一些api(类+方法) 统一各种数据库提供的api
9 0
|
13天前
|
机器学习/深度学习 算法 数据挖掘
机器学习--K近邻算法,以及python中通过Scikit-learn库实现K近邻算法API使用技巧
机器学习--K近邻算法,以及python中通过Scikit-learn库实现K近邻算法API使用技巧
|
14天前
|
网络虚拟化 数据安全/隐私保护 数据中心
【专栏】对比了思科与华为网络设备的基本配置、接口、VLAN、路由、访问控制列表及其它关键命令
【4月更文挑战第28天】本文对比了思科与华为网络设备的基本配置、接口、VLAN、路由、访问控制列表及其它关键命令。尽管两者在很多操作上相似,如设备命名(思科:`hostname`,华为:`sysname`)、查看版本信息(思科:`show version`,华为:`display version`),但在某些方面存在差异,如接口速率设置(两者都使用`speed`和`duplex`,但命令结构略有不同)和VLAN配置(华为的`port hybrid`命令)。
|
16天前
|
缓存 前端开发 API
toapi,一个强大的 Python Web API库!
toapi,一个强大的 Python Web API库!
27 5
|
18天前
|
JSON 测试技术 API
Python的Api自动化测试使用HTTP客户端库发送请求
【4月更文挑战第18天】在Python中进行HTTP请求和API自动化测试有多个库可选:1) `requests`是最流行的选择,支持多种请求方法和内置JSON解析;2) `http.client`是标准库的一部分,适合需要低级别控制的用户;3) `urllib`提供URL操作,适用于复杂请求;4) `httpx`拥有类似`requests`的API,提供现代特性和异步支持。根据具体需求选择,如多数情况`requests`已足够。
15 3