AI 助理
备案控制台
开发者社区 Python中文社区 文章 正文

scrapy爬取免费代理IP存储到数据库构建自有IP池

2018-03-14 3061
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
云数据库 RDS MySQL，高可用系列 2核4GB
简介： 以抓取西刺代理网站的高匿IP并存储到mysql数据库为例 西刺网：http://www.xicidaili.com/nn/ 运行环境：scrapy1.0.3 python2.7.10 需要安装MySQLdb模块  pip install mysql-python spider的编写步骤：.

以抓取西刺代理网站的高匿IP并存储到mysql数据库为例

西刺网：http://www.xicidaili.com/nn/


运行环境：scrapy1.0.3 python2.7.10 需要安装MySQLdb模块 
pip install mysql-python

spider的编写步骤：

1、定义抓取的网站


2、定义需要抓取的链接

3、用xpath对网站内容进行解析

填写settings.py文件中的数据库用户名和密码，之后在mysql中导入proxy.sql文件，数据表名称及属性如下所示：


运行scrapy：

scrapy crawl xici

不到一分钟即可抓取3000多代理ip，妈妈再也不用担心ip被封啦，本文源码下载地址：

http://pan.baidu.com/s/1c29kkMG，获取密码请在Python中文社区公众号底部回复代理二字。




原文发布时间为：2016-10-26

本文来自云栖社区合作伙伴“Python中文社区”，了解相关信息可以关注“Python中文社区”微信公众号

文章标签：
云数据库 RDS MySQL 版
Python
数据库
存储
关系型数据库
关键词：
数据库存储
数据库ip
代理数据库
数据库代理
数据库池
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL，然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
青衫无名
目录
相关文章
栈江湖
|
19天前
|
存储 druid 分布式数据库
列式存储数据库与超市的关系？
列式存储数据库是一种高效的数据管理方式，类似于超市将相似商品集中摆放。它将相同类型的数据（如年龄、价格）归类存储，便于快速查询和压缩，广泛应用于市场分析、财务报告和健康数据分析等领域。知名产品包括HBase、ClickHouse、Druid和Apache Cassandra等，适合处理大规模数据和实时分析任务。
栈江湖
33 4
游客54bz4h3flp7ai
|
2月前
|
存储 数据库
快速搭建南大通用GBase 8s数据库SSC共享存储集群
本文介绍如何GBase8s 数据库 在单机环境中快速部署SSC共享存储集群，涵盖准备工作、安装数据库、创建环境变量文件、准备数据存储目录、修改sqlhost、设置onconfig、搭建sds集群及集群检查等步骤，助你轻松完成集群功能验证。
游客54bz4h3flp7ai
38 9
1436047922066202
|
1月前
|
存储 Oracle 关系型数据库
服务器数据恢复—华为S5300存储Oracle数据库恢复案例
服务器存储数据恢复环境： 华为S5300存储中有12块FC硬盘，其中11块硬盘作为数据盘组建了一组RAID5阵列，剩下的1块硬盘作为热备盘使用。基于RAID的LUN分配给linux操作系统使用，存放的数据主要是Oracle数据库。 服务器存储故障： RAID5阵列中1块硬盘出现故障离线，热备盘自动激活开始同步数据，在同步数据的过程中又一块硬盘离线，RAID5阵列瘫痪，上层LUN无法使用。
1436047922066202
24 0
小Tomkk
|
3月前
|
存储 关系型数据库 MySQL
PACS系统 中 dicom 文件在mysql 8.0 数据库中的 存储和读取（pydicom 库使用）
PACS系统 中 dicom 文件在mysql 8.0 数据库中的 存储和读取（pydicom 库使用）
小Tomkk
50 2
瓴羊Dataphin
|
4月前
|
存储 SQL 专有云
支持配置审计日志的存储数据库
审计日志作为企业监管平台的重要依据，同时也是“等保三级”认证的必要考察项之一。Dataphin V4.3版本支持设置平台日志的存储数据源，帮助用户快速获取审计日志，同时介绍了不同部署模式的Dataphin如何查看审计日志的方法。
瓴羊Dataphin
143 5
yuanzhengme
|
4月前
|
存储 NoSQL 关系型数据库
可以存储文件的数据库有哪些？
可以存储文件的数据库有哪些？
yuanzhengme
259 6
yuanzhengme
|
4月前
|
存储 NoSQL 关系型数据库
可以存储文件的数据库有哪些？
可以存储文件的数据库有哪些？
yuanzhengme
714 0
栈江湖
|
16天前
|
存储 Oracle 关系型数据库
数据库传奇：MySQL创世之父的两千金My、Maria
《数据库传奇：MySQL创世之父的两千金My、Maria》介绍了MySQL的发展历程及其分支MariaDB。MySQL由Michael Widenius等人于1994年创建，现归Oracle所有，广泛应用于阿里巴巴、腾讯等企业。2009年，Widenius因担心Oracle收购影响MySQL的开源性，创建了MariaDB，提供额外功能和改进。维基百科、Google等已逐步替换为MariaDB，以确保更好的性能和社区支持。掌握MariaDB作为备用方案，对未来发展至关重要。
栈江湖
41 3
栈江湖
|
16天前
|
安全 关系型数据库 MySQL
MySQL崩溃保险箱：探秘Redo/Undo日志确保数据库安全无忧！
《MySQL崩溃保险箱：探秘Redo/Undo日志确保数据库安全无忧！》介绍了MySQL中的三种关键日志：二进制日志（Binary Log）、重做日志（Redo Log）和撤销日志（Undo Log）。这些日志确保了数据库的ACID特性，即原子性、一致性、隔离性和持久性。Redo Log记录数据页的物理修改，保证事务持久性；Undo Log记录事务的逆操作，支持回滚和多版本并发控制（MVCC）。文章还详细对比了InnoDB和MyISAM存储引擎在事务支持、锁定机制、并发性等方面的差异，强调了InnoDB在高并发和事务处理中的优势。通过这些机制，MySQL能够在事务执行、崩溃和恢复过程中保持
栈江湖
44 3
栈江湖
|
16天前
|
SQL 关系型数据库 MySQL
数据库灾难应对：MySQL误删除数据的救赎之道，技巧get起来！之binlog
《数据库灾难应对：MySQL误删除数据的救赎之道，技巧get起来！之binlog》介绍了如何利用MySQL的二进制日志（Binlog）恢复误删除的数据。主要内容包括： 1. **启用二进制日志**：在`my.cnf`中配置`log-bin`并重启MySQL服务。 2. **查看二进制日志文件**：使用`SHOW VARIABLES LIKE 'log_%';`和`SHOW MASTER STATUS;`命令获取当前日志文件及位置。 3. **创建数据备份**：确保在恢复前已有备份，以防意外。 4. **导出二进制日志为SQL语句**：使用`mysqlbinlog`
栈江湖
59 2

Python中文社区

热门文章

最新文章

  • 1
    MySQL数据库下载安装教程（Windows&Linux）
  • 2
    达梦数据库字段类型 varchar 转 text
  • 3
    Python处理数据库：MySQL与SQLite详解 | python小知识
  • 4
    使用 Spring Boot 执行数据库操作：全面指南
  • 5
    PolarDB 分布式版 V2.0，安全可靠的集中分布式一体化数据库管理软件
  • 6
    在云上轻松部署达梦数据库
  • 7
    活动实践 | 自建数据库迁移到云数据库
  • 8
    MySQL导入.sql文件后数据库乱码问题
  • 9
    数据库数据恢复—MYSQL数据库文件损坏的数据恢复案例
  • 10
    数据库数据恢复—ORACLE常见故障的数据恢复方案
  • 1
    云原生一体化数据库技术是一个具有潜力的领域
    119
  • 2
    构建高性能数据库的秘诀
    101
  • 3
    新一代数据库技术：融合AI的智能数据管理系统
    339
  • 4
    新一代数据库技术：融合人工智能与分布式系统的未来前景
    367
  • 5
    使用 Python 访问数据库的基本方法
    76
  • 6
    数据库解决方案
    110
  • 7
    mysql 设置环境变量与未设置环境变量连接数据库的区别
    173
  • 8
    服务器Linux系统配置mysql数据库主从自动备份
    234
  • 9
    SQLite数据库介绍以及安装
    116
  • 10
    sprinboot+vue集成neo4j图数据库
    188

    • 相关课程

    更多
  • 数据库的前世今生
  • 数据库核心概念
  • 从传统数据库到云数据库演进
  • 数据库常见问题排查
  • 数据库及SQL/MySQL基础
  • 高校精品课-西安交通大学 -数据库理论与技术

    • 相关电子书

    更多
  • DTCC 2022大会集锦《云原生一站式数据库技术与实践》
  • 阿里云瑶池数据库精要2022版
  • 2022 DTCC-阿里云一站式数据库上云最佳实践

    • 相关实验场景

    更多
  • 使用DAS实现数据库SQL优化
  • 自建数据库迁移到云数据库
  • PolarDB for AI：在数据库中通过SQL实现AI能力
  • 云原生HTAP数据库，让你的交易和分析一库搞定
  • 快速体验PolarDB开源数据库
  • SQLServer数据库的创建
    • 下一篇
    DataWorks智能交互式数据开发与分析之旅