利用urllib进行简单的网页抓取
urllib是Python提供的用于操作URL的模块
l、快速使用urllib爬取网页
# -*- coding: UTF-8 -*-
from urllib import request
if __name__ == "__main__":
file = request.urlopen("https://blog.csdn.net/asialee_bird")#使用request.urlopen()打开和读取url信息
html = file.read() #读取文件的全部内容，read会把读取到的内容赋给一个字符串变量
#html=file.readlines() #读取文件的全部内容，readlines会把读取到的内容赋给一个列表变量
#html=file.readline() #读取文件的一行内容
html = html.decode("utf-8") #decode()命令将网页的信息进行解码
print(html)
2、获取网页的编码方式
# -*- coding: UTF-8 -*-
from urllib import request
import chardet #通过第三方模块获得网页的编码方式（需要pip3安装）
if __name__ == "__main__":
file = request.urlopen("https://blog.csdn.net/asialee_bird")
html = file.read()
charset=chardet.detect(html) #获取该网页的编码方式
print(charset) 结果：
3、将爬取到的网页以网页的形式保存到本地
方法一：
# -*- coding: UTF-8 -*-
from urllib import request
if __name__ == "__main__":
file = request.urlopen("https://blog.csdn.net/asialee_bird")
html = file.read()
file_html=open('test.html','wb')
file_html.write(html)
file_html.close()
结果：
方法二：
# -*- coding: UTF-8 -*-
from urllib import request
if __name__ == "__main__":
file=request.urlretrieve('https://blog.csdn.net/asialee_bird',filename='test2.html')
request.urlcleanup() #清除缓存信息
4、urlopen的url参数信息
# -*- coding: UTF-8 -*-
from urllib import request
if __name__ == "__main__":
# url可以是一个字符串,也可以是一个Request对象
req = request.Request("https://blog.csdn.net/asialee_bird")
response = request.urlopen(req)
get_url=response.geturl() #geturl()返回的是一个url的字符串
in_fo=response.info() #info()返回的是一些meta标记的元信息，包括一些服务器的信息
get_code=response.getcode() #getcode()返回的是HTTP的状态码，如果返回200表示请求成功
#分别对获取的信息进行打印
print("geturl打印信息：%s"%get_url)
print('**********************************************')
print("info打印信息：%s"%in_fo)
print('**********************************************')
print("getcode打印信息：%s"%get_code)
输出结果：
