Python小知识 - 一个简单的Python爬虫实例

pip install urllib
接下来，我们来看看如何使用urllib库来下载一个网页：
import urllib.request
 这是要下载的网页地址
url = 'https://www.python.org'
 使用urllib.request库下载网页
response = urllib.request.urlopen(url)
 解析网页
html = response.read()
 打印网页内容
print(html)
运行上面的代码，你会看到网页的内容被打印出来了。
下面，我们来看看如何使用urllib库来下载一个图片：
import urllib.request
 这是要下载的图片地址
url = 'https://www.python.org/static/img/python-logo.png'
 使用urllib.request库下载图片
response = urllib.request.urlopen(url)
 读取图片数据
data = response.read()
 将图片数据写入文件
with open('python-logo.png', 'wb') as f:
    f.write(data)
运行上面的代码，你会发现一个名为“python-logo.png”的文件被下载到了当前目录。
最后，我们来看看如何使用urllib库来模拟一个浏览器发送请求：
import urllib.request
 这是要请求的网页地址
url = 'https://www.python.org'
 这是请求头，模拟一个浏览器发送请求
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
}
 使用urllib.request库发送请求
response = urllib.request.urlopen(url, headers=headers)
 解析网页
html = response.read()
 打印网页内容
print(html)
运行上面的代码，你会发现网页的
顺便介绍一下我的另一篇专栏， 《100天精通Python - 快速入门到黑科技》专栏，是由 CSDN 内容合伙人丨全站排名 Top 4 的硬核博主  不吃西红柿   倾力打造。 基础知识篇以理论知识为主，旨在帮助没有语言基础的小伙伴，学习我整理成体系的精华知识，快速入门构建起知识框架；黑科技应用篇以实战为主，包括办公效率小工具、爬虫、数据分析、机器学习、计算机视觉、自然语言处理、数据可视化等等，让你会用一段简单的Python程序，自动化解决工作和生活中的问题，甚至成为红客。
🍅 订阅福利：原价299，限时1折订阅专栏进入千人全栈VIP答疑群，作者优先解答机会（代码指导/学习方法指引），群里大佬可以抱团取暖（大厂/外企内推机会）
🍅 订阅福利：简历指导、招聘内推、80G全栈学习视频、300本IT电子书：Python、Java、前端、大数据、数据库、算法、爬虫、数据分析、机器学习、面试题库等等
🍅 专栏地址： 点击《100天精通Python - 快速入门到黑科技》