AI 助理
文档备案控制台
开发者社区 Python中文社区 文章 正文

scrapy爬取免费代理IP存储到数据库构建自有IP池

2018-03-14 3423
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 以抓取西刺代理网站的高匿IP并存储到mysql数据库为例 西刺网：http://www.xicidaili.com/nn/ 运行环境：scrapy1.0.3 python2.7.10 需要安装MySQLdb模块  pip install mysql-python spider的编写步骤：.

以抓取西刺代理网站的高匿IP并存储到mysql数据库为例

西刺网：http://www.xicidaili.com/nn/


运行环境：scrapy1.0.3 python2.7.10 需要安装MySQLdb模块 
pip install mysql-python

spider的编写步骤：

1、定义抓取的网站


2、定义需要抓取的链接

3、用xpath对网站内容进行解析

填写settings.py文件中的数据库用户名和密码，之后在mysql中导入proxy.sql文件，数据表名称及属性如下所示：


运行scrapy：

scrapy crawl xici

不到一分钟即可抓取3000多代理ip，妈妈再也不用担心ip被封啦，本文源码下载地址：

http://pan.baidu.com/s/1c29kkMG，获取密码请在Python中文社区公众号底部回复代理二字。




原文发布时间为：2016-10-26

本文来自云栖社区合作伙伴“Python中文社区”，了解相关信息可以关注“Python中文社区”微信公众号

文章标签：
云数据库 RDS MySQL 版
Python
数据库
存储
关系型数据库
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发，帮助IT从业者们通过“阿里云Web应用上云解决方案”，了解一个企业级Web应用上云的常见架构，了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品：云数据库RDS MySQL 版 阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务，提供容灾、备份、恢复、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
青衫无名
目录
相关文章
1436047922066202
|
存储 Oracle 关系型数据库
服务器数据恢复—光纤存储上oracle数据库数据恢复案例
一台光纤服务器存储上有16块FC硬盘，上层部署了Oracle数据库。服务器存储前面板2个硬盘指示灯显示异常，存储映射到linux操作系统上的卷挂载不上，业务中断。 通过storage manager查看存储状态，发现逻辑卷状态失败。再查看物理磁盘状态，发现其中一块盘报告“警告”，硬盘指示灯显示异常的2块盘报告“失败”。 将当前存储的完整日志状态备份下来，解析备份出来的存储日志并获得了关于逻辑卷结构的部分信息。
1436047922066202
439 4
数据库知识学习者
|
存储 关系型数据库 数据库
高性能云盘：一文解析RDS数据库存储架构升级
性能、成本、弹性，是客户实际使用数据库过程中关注的三个重要方面。RDS业界率先推出的高性能云盘（原通用云盘），是PaaS层和IaaS层的深度融合的技术最佳实践，通过使用不同的存储介质，为客户提供同时满足低成本、低延迟、高持久性的体验。
数据库知识学习者
947 4
1436047922066202
|
SQL 存储 分布式数据库
分布式存储数据恢复—hbase和hive数据库数据恢复案例
分布式存储数据恢复环境： 16台某品牌R730xd服务器节点，每台服务器节点上有数台虚拟机。 虚拟机上部署Hbase和Hive数据库。 分布式存储故障： 数据库底层文件被误删除，数据库不能使用。要求恢复hbase和hive数据库。
1436047922066202
713 12
游客6kyzki537plg4
|
监控 数据库
【YashanDB 知识库】ycm 托管数据库时报错 OM host ip：127.0.0.1 is not support join to YCM
在托管数据库时，若 OM 的 IP 被设置为 127.0.0.1，将导致无法托管至 YCM，并使数据库失去监控。此问题源于安装时修改了 OM 的监听 IP。解决方法包括：将 OM 的 IP 修改为本机实际 IP 或 0.0.0.0，同时更新 env 文件及 yasom 后台数据库中的相关配置。经验总结指出，应避免非必要的后台 IP 修改，且数据库安装需遵循规范，不使用仅限本机访问的 IP（如 127.0.0.1）。
游客6kyzki537plg4
415 11
游客kufrkwrbkmpsa
|
监控 数据库
【YashanDB知识库】ycm托管数据库时报错OM host ip：127.0.0.1 is not support join to YCM
在托管数据库时，若OM的IP被设置为127.0.0.1，则不支持托管到YCM，导致数据库无法正常监控。此问题源于安装时修改了OM监听IP为127.0.0.1。解决方法为将OM的IP修改为本机实际IP或0.0.0.0，并更新yasom后台数据库中的相关配置。建议遵循规范安装，避免使用仅限本机访问的IP（如127.0.0.1），以减少潜在风险。
游客kufrkwrbkmpsa
514 14
赵渝强老师
|
存储 SQL NoSQL
【赵渝强老师】达梦数据库的逻辑存储结构
本文介绍了达梦数据库的存储结构，包括逻辑和物理存储两部分。逻辑存储结构由数据库（Database）、表空间（Tablespaces）、段（Segments）、簇（Cluster）和页（Page）组成。数据库是最大逻辑单元，包含所有表、索引等；表空间由数据文件组成，用于存储对象；段由簇构成，簇包含连续的数据页；页是最小存储单元。文中还提供了查询表空间、段和页大小的SQL语句，并附有视频讲解和示意图。
赵渝强老师
733 7
赵渝强老师
|
存储 SQL 安全
【赵渝强老师】达梦数据库的物理存储结构
本文介绍了达梦数据库的存储结构及各类物理文件的作用。达梦数据库通过逻辑和物理存储结构管理数据，包含配置文件（如dm.ini、sqllog.ini）、控制文件（dm.ctl）、数据文件（*.dbf）、重做日志文件（*.log）、归档日志文件、备份文件（*.bak）等。配置文件用于功能设置，控制文件记录数据库初始信息，数据文件存储实际数据，重做日志用于故障恢复，归档日志增强数据安全性，备份文件保障数据完整性，跟踪与事件日志辅助问题分析。这些文件共同确保数据库高效、稳定运行。
赵渝强老师
898 0
游客kufrkwrbkmpsa
|
监控 数据库
ycm托管数据库时报错OM host ip：127.0.0.1 is not support join to YCM-YashanDB
ycm托管数据库时报错OM host ip：127.0.0.1 is not support join to YCM-YashanDB
游客kufrkwrbkmpsa
254 0
顾翔
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能（下）
使用MYSQL Report分析数据库性能
顾翔
709 158
翼龙云TG_yilongcloud
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程，需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS，可快速、平滑完成迁移任务，将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例，实现间接迁移上云。
翼龙云TG_yilongcloud
504 1

Python中文社区

热门文章

最新文章

  • 1
    Scrapy分布式、去重增量爬虫的开发与设计
  • 2
    大数据上云那些事儿：（一）上云工具之爬虫(Scrapy)数据
  • 3
    Scrapy基础——Spider
  • 4
    Scrapy安装介绍
  • 5
    scrapy 爬取 useragent
  • 6
    深度剖析Selenium与Scrapy的黄金组合：实现动态网页爬虫
  • 7
    OS X 10.11.5 Scrapy安装指南
  • 8
    scrapy 爬取自己的博客
  • 9
    Python爬虫：关于scrapy模块的请求头
  • 10
    python爬虫：scrapy可视化管理工具spiderkeeper部署
  • 1
    除了JDBC，还有哪些常见的数据库访问技术？
    957
  • 2
    Python SQLAlchemy模块：从入门到实战的数据库操作指南
    1227
  • 3
    云栖大会｜AI时代关系型数据库创新突破：软硬协同赋能企业数智化转型
    2084
  • 4
    云栖大会｜AI时代的数据库变革升级与实践：Data+AI驱动企业智能新范式
    2192
  • 5
    云栖大会｜AI浪潮下的NoSQL演进：下一代数据库的破局之道
    1152
  • 6
    【赵渝强老师】使用NetManager创建Oracle数据库的监听器
    568
  • 7
    探究ClickHouse数据库的Mutation机制
    602
  • 8
    阿里云RDS云数据库全解析：产品功能、收费标准与活动参考
    2175
  • 9
    云栖重磅｜瑶池数据库：从云原生数据底座向“AI就绪”的多模态数据底座演进
    1483
  • 10
    AI大模型应用实践 八：如何通过RAG数据库实现大模型的私有化定制与优化
    2232

    • 相关课程

    更多
  • 瑶池数据库 Data Agent 入门实战课
  • 开源PolarDB分布式版部署实操
  • 阿里云DAS-您的专属AI专家，引领数据库自治驾驶
  • 数据库仓库升级交付实践指引
  • 数据库开源校企合作“数据库内核从入门到精通 ”系列课

    • 相关电子书

    更多
  • 阿里云瑶池数据库产品手册 2025年版
  • 阿里云瑶池数据库产品手册_2025版
  • 低代码开发师（初级）实战教程
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！