python爬虫使用requests模块与urllib模块储存图片数据对比

简介: python爬虫使用requests模块与urllib模块储存图片数据对比

为什么要学两个模块?学爬虫只学一个可以吗?

urllib模块是python的一个内置爬虫模块,在使用爬虫的过程中,有部分爬虫项目需要使用urllib,有的项目需要urllib与requests模块配合使用完成(如使用requests模块作为请求模块,将urllib模块用来储存数据。urllib模块存储数据比较方便。)

requests模块为例

import requests
url = "http://qqpublic.qpic.cn/qq_public/0/0-1172624408-A282236B5E41B7986843F254E36C26C2/0?fmt=jpg&size=58&h=569&w=900&ppv=1.jpg"
# 设置目标图片链接的url
req = requests.get(url)  # 发请求,得到请求对象
fn = open('tu1.png', 'wb')  # 创建一个文件,w可写,是覆盖写入,会清除原有的内容。如果文件不存在则会创建一个文件。wb表示覆盖写入二进制文件
fn.write(req.content)  # 将读取到的图片内容写入
fn.close()

以urllib模块为例

使用urllib模块中的request库的urlretrieve方法储存,明显代码更简洁。

from urllib import request
url = "http://qqpublic.qpic.cn/qq_public/0/0-1172624408-A282236B5E41B7986843F254E36C26C2/0?fmt=jpg&size=58&h=569&w=900&ppv=1.jpg"
request.urlretrieve(url, 'tu2.png')  # 直接将获取到的请求对象的content(内容)写入一个文件中并创建出来。
目录
相关文章
|
3天前
|
数据采集 存储 XML
构建高效的Python爬虫系统
【9月更文挑战第30天】在数据驱动的时代,掌握如何快速高效地获取网络信息变得至关重要。本文将引导读者了解如何构建一个高效的Python爬虫系统,从基础概念出发,逐步深入到高级技巧和最佳实践。我们将探索如何使用Python的强大库如BeautifulSoup和Scrapy,以及如何应对反爬措施和提升爬取效率的策略。无论你是初学者还是有经验的开发者,这篇文章都将为你提供宝贵的知识和技能,帮助你在信息收集的海洋中航行得更远、更深。
15 6
|
4天前
|
JSON API 数据格式
30天拿下Python之requests模块
30天拿下Python之requests模块
17 7
|
1天前
|
数据采集 数据挖掘 数据处理
Python中实现简单爬虫并处理数据
【9月更文挑战第31天】本文将引导读者理解如何通过Python创建一个简单的网络爬虫,并展示如何处理爬取的数据。我们将讨论爬虫的基本原理、使用requests和BeautifulSoup库进行网页抓取的方法,以及如何使用pandas对数据进行清洗和分析。文章旨在为初学者提供一个易于理解的实践指南,帮助他们快速掌握网络数据抓取的基本技能。
12 3
|
4天前
|
人工智能 数据可视化 搜索推荐
Python异常模块与包
Python异常模块与包
|
4天前
|
存储 索引 Python
python中的数据容器
python中的数据容器
|
3天前
|
数据采集 存储 监控
如何使用 Python 爬取京东商品数据
如何使用 Python 爬取京东商品数据
13 0
|
3天前
|
Linux Python Windows
一个Python模块Pendulum的问题
一个Python模块Pendulum的问题
|
3天前
|
数据采集 Linux 网络安全
python 爬虫遇到的aiohttp证书错误解决办法
python 爬虫遇到的aiohttp证书错误解决办法
16 0
|
4天前
|
数据挖掘 Python
Python数据挖掘编程基础8
在Python中,默认环境下并不会加载所有功能,需要手动导入库以增强功能。Python内置了诸多强大库,例如`math`库可用于复杂数学运算。导入库不仅限于`import 库名`,还可以通过别名简化调用,如`import math as m`;也可指定导入库中的特定函数,如`from math import exp as e`;甚至直接导入库中所有函数`from math import *`。但需注意,后者可能引发命名冲突。读者可通过`help('modules')`查看已安装模块。
9 0
|
2月前
|
数据采集 存储 中间件
Python进行网络爬虫:Scrapy框架的实践
【8月更文挑战第17天】网络爬虫是自动化程序,用于从互联网收集信息。Python凭借其丰富的库和框架成为构建爬虫的首选语言。Scrapy作为一款流行的开源框架,简化了爬虫开发过程。本文介绍如何使用Python和Scrapy构建简单爬虫:首先安装Scrapy,接着创建新项目并定义爬虫,指定起始URL和解析逻辑。运行爬虫可将数据保存为JSON文件或存储到数据库。此外,Scrapy支持高级功能如中间件定制、分布式爬取、动态页面渲染等。在实践中需遵循最佳规范,如尊重robots.txt协议、合理设置爬取速度等。通过本文,读者将掌握Scrapy基础并了解如何高效地进行网络数据采集。
149 6
下一篇
无影云桌面