【Python爬虫】用urllib请求一个网页,响应的content中中文为16进制,如何转换为中文

简介: 用urllib请求一个网页,响应的content中中文为16进制,如何转换为中文

环境:WIN10+Python3.6

代码:​

#~ coding=utf-8
#~ 使用Pyton内建模块 urllib 请求一个 URL 代码示例
import ssl

from urllib.request import Request
from urllib.request import urlopen

#使用ssl创建未经验证的上下文,在urlopen中传入上下文参数
context = ssl._create_unverified_context()

#~ HTTP请求
request = Request(url = 'https://me.csdn.net/chengyikang20',
                  method = 'GET',
                  headers = {
   
   'Host':'me.csdn.net'},
                  data = None)

#~ HTTP响应
response = urlopen(request, context=context)
headers = response.info()#响应头
content = response.read()#响应体
code = response.getcode()#状态码

print('headers='+str(headers)+'\n\n')
print('content='+str(content)+'\n\n')
print('code='+str(code)+'\n')

输出结果:
20190106103150846.png
可以看出中文字符转换为16进制,不好看。

解决方法:
很简单,只需要将read()用‘utf-8’解码即可。
​​

content = response.read().decode('utf-8')#响应体

效果:
20190106103927592.png
可以看到 这样的输出更加美观,可读性强。

相关文章
|
1月前
|
数据采集 Web App开发 数据安全/隐私保护
实战:Python爬虫如何模拟登录与维持会话状态
实战:Python爬虫如何模拟登录与维持会话状态
|
1月前
|
数据采集 监控 数据库
Python异步编程实战:爬虫案例
🌟 蒋星熠Jaxonic,代码为舟的星际旅人。从回调地狱到async/await协程天堂,亲历Python异步编程演进。分享高性能爬虫、数据库异步操作、限流监控等实战经验,助你驾驭并发,在二进制星河中谱写极客诗篇。
Python异步编程实战:爬虫案例
|
2月前
|
数据采集 存储 XML
Python爬虫技术:从基础到实战的完整教程
最后强调: 父母法律法规限制下进行网络抓取活动; 不得侵犯他人版权隐私利益; 同时也要注意个人安全防止泄露敏感信息.
676 19
|
1月前
|
数据采集 存储 JSON
Python爬虫常见陷阱:Ajax动态生成内容的URL去重与数据拼接
Python爬虫常见陷阱:Ajax动态生成内容的URL去重与数据拼接
|
1月前
|
数据采集 存储 JavaScript
解析Python爬虫中的Cookies和Session管理
Cookies与Session是Python爬虫中实现状态保持的核心。Cookies由服务器发送、客户端存储,用于标识用户;Session则通过唯一ID在服务端记录会话信息。二者协同实现登录模拟与数据持久化。
|
JSON API 开发者
深入解析Python网络编程与Web开发:urllib、requests和http模块的功能、用法及在构建现代网络应用中的关键作用
深入解析Python网络编程与Web开发:urllib、requests和http模块的功能、用法及在构建现代网络应用中的关键作用
160 0
|
Web App开发 数据采集 数据格式
Python爬虫二(Urllib库的基本使用和高级用法)
转载:静觅 » Python爬虫入门三之Urllib库的基本使用 转载:静觅 » Python爬虫入门四之Urllib库的高级用法 1.分分钟扒一个网页下来 怎样扒网页呢?其实就是根据URL来获取它的网页信息,虽然我们在浏览器中看到的是一幅幅优美的画面,但是其实是由浏览器解释才呈现出来的,实质它是一段HTML代码,加 JS、CSS,如果把网页比作一个人,那么HTML便
1829 0
|
2月前
|
数据采集 机器学习/深度学习 人工智能
Python:现代编程的首选语言
Python:现代编程的首选语言
275 102
|
2月前
|
数据采集 机器学习/深度学习 算法框架/工具
Python:现代编程的瑞士军刀
Python:现代编程的瑞士军刀
300 104

推荐镜像

更多