手把手教你用免费代理ip爬数据

简介:

/1 前言/

玩爬虫的都避免不了各大网站的反爬措施限制,比较常见的是通过固定时间检测某ip地址访问量来判断该用户是否为 “网络机器人”,也就是所谓的爬虫,如果被识别到,就面临被封ip的风险,那样你就不能访问该网址了。

通用的解决办法是用代理ip进行爬取,但是收费的代理ip一般都是比较贵的,网上倒是有很多免费的代理ip网站,但是受时效性影响,大部分地址都不能用,有很多维护代理ip池的教程,即把爬取并检测后能用代理ip放到“代理池里”,等以后要用的时候再从里面提取,在我看来,这种效率比较低,因为这类IP地址很快就失效,我们要做的是边检测边使用,充分保证免费IP的时效性。

/2 抓取IP地址/

下面就开始实战操作。

1.首先我们随便找一个免费代理ip网站,如下图所示。

2、打开网页查看器,分析其网页元素结构,如下图所示。

3、就是一个简单的静态网页,我们用requests和bs4将ip地址和对应端口爬下,如下图所示。

4、每一行ip地址都由5个

标签组成,而我们需要的是第一个标签(对应IP地址)和第2个标签(对应端口),所以从第一个开始,每隔5个取出ip地址(item[::5]),从第二个开始,每隔5个取出对应端口(item[1::5]),参数n为页码,每次只在1页取1个有用的ip地址,最终效果如下图所示:

/3 验证IP有效性/

这里把百度百科作为目标网站,这个看似很普通的网站,反爬措施却极为严格,爬不了几条内容就开始请求失败了,下面我以在百度百科查询全国火车站归属地信息为例演示如何使用免费代理ip。

1、首先我在12306上把所有的火车站名都爬下来了,但是没有归属地信息。

2、然后以站名构造百度百科url信息,分析网页元素,把爬取爬取火车站地址信息,网页元素如下图所示:

3、所以,我们只需在class_='basicInfo-item'的标签内容里查找有无“省”或者“市”的字符,然后输出就行了,最后加一个while True循环,当该ip能正常爬数据时,则break该循环;若该ip被禁,则马上重新请求一个新ip进行爬取。直接上代码如下图所示:

4、其中for循环是遍历所有火车站,try是用于检测该ip还能不能用,若不能,则在except里请求1个新ip,爬取效果如下图所示:

下次再遇到爬虫被禁的情况就可以用此办法解决了。

/4 结语/

本文基于Python网络爬虫技术,主要介绍了去IP代理网站上抓取可用IP,并且Python脚本实现验证IP地址的时效性,如遇到爬虫被禁的情况就可以用本文的办法进行解决。

关于本文的代码,小编已经上传到github了,后台回复“IP代理”四个字,即可获取代码链接,如果觉得不错,记得给个star噢!
IT_

相关文章
|
存储 数据库
在TiDB中查询数据
【2月更文挑战第29天】在TiDB中查询数据涉及基本语法如SELECT,条件查询(WHERE子句),排序(ORDER BY),分组(GROUP BY)和聚合函数(COUNT, SUM等)。LIMIT与OFFSET用于分页,子查询和连接查询处理复杂场景。注意列名和表名准确性,优化查询以提升性能,谨慎使用更新或删除操作。
1354 3
|
存储 缓存 Linux
如何在Linux环境下对pip的缓存地址进行修改
如何在Linux环境下对pip的缓存地址进行修改
3801 0
|
负载均衡 应用服务中间件 Linux
高可用系列文章之三 - NGINX 高可用实施方案
高可用系列文章之三 - NGINX 高可用实施方案
|
Linux
Linux下安装curl
Linux下安装curl
3065 0
|
存储 虚拟化 Docker
Windows11 Docker镜像存储路径更改(非C盘路径)
本文是博主学习Docker的记录,对于C盘空间有限的同学,希望对大家有所帮助。
4324 0
Windows11 Docker镜像存储路径更改(非C盘路径)
|
8月前
|
人工智能 机器人 API
OpenClaw多Agent架构搭建保姆级图文教程(阿里云、本地)+百炼大模型api配置实操指南
在2026年的AI Agent生态中,OpenClaw(原Clawdbot)的多Agent模式成为实现智能化任务协作的核心方案,单Agent的“万金油”模式已无法满足精细化的任务处理需求——将不同职能拆分至专属Agent,通过调度层实现任务分配与结果汇总,能有效避免AI幻觉、提升响应专业性与效率。本文将完整覆盖OpenClaw多Agent架构的核心搭建逻辑,同时补充2026年阿里云云端部署、本地MacOS/Linux/Windows11部署的实操流程,阿里云千问大模型与免费Coding Plan API的配置方法,结合飞书生态的多Agent联动配置,以及部署和搭建过程中的全量避坑指南与常见问题
2348 1
|
7月前
|
人工智能 自然语言处理 IDE
阿里云百炼Token Plan支持哪些AI编程工具?OpenClaw、Hermes Agent 全收录
阿里云百炼Token Plan支持OpenClaw、Hermes Agent、Qwen Code、Claude Code、OpenCode、Codex、Kilo CLI/Code等主流AI编程与Agent工具,兼容OpenAI/Anthropic协议,仅限交互式开发场景使用。在阿里云百炼平台:https://t.aliyun.com/U/fPVHqY 申请开通订阅Token Plan
|
10月前
|
人工智能 JSON API
AI 大模型 LLM API + n8n 工作流:打造超级 AI Agent 自动化(2026年 LLM agent 最强指南)
本文将集众家之长,不仅提供保姆级的 n8n 接入教程,更将深入探讨大模型 LLM API 稳定性、成本控制以及国内环境下的最佳实践方案。
2928 6
|
传感器 Ubuntu Python
使用ubuntu串口数据收和发不一致问题
在Ubuntu中使用串口进行数据通信时,确保发送和接收设备的串口配置一致是解决数据不一致问题的关键。此外,适当的软件配置、硬件连接和流控制设置也是确保数据正确传输的重要因素。通过上述方法,可以有效地排查并解决串口数据收发不一致的问题。
969 8
|
数据采集 存储 缓存
Python爬虫与代理IP:高效抓取数据的实战指南
在数据驱动的时代,网络爬虫是获取信息的重要工具。本文详解如何用Python结合代理IP抓取数据:从基础概念(爬虫原理与代理作用)到环境搭建(核心库与代理选择),再到实战步骤(单线程、多线程及Scrapy框架应用)。同时探讨反爬策略、数据处理与存储,并强调伦理与法律边界。最后分享性能优化技巧,助您高效抓取公开数据,实现技术与伦理的平衡。
818 4