超级牛逼的Python库,漂亮的打印,爬虫爱好者最喜欢!

简介: 超级牛逼的Python库,漂亮的打印,爬虫爱好者最喜欢!

遇到的问题

在学习爬虫的时候,大家肯定碰到过返回的结果是json字符串格式的数据。


对于这种数据我们通常使用的是json模块,将json字符串,转化为字典格式的数据,然后采用 “键值对” 方式,获取我们想要的数据。


但是存在一个问题:


往往网页获取到的json数据转化为字典后,嵌套太多,一层接着一层,看起来一团糟的感觉,往往不知道哪个节点是哪个节点的下一级。

今天我们就是告诉大家一个好用的Python库——pprint,这可算是一个超实用的爬虫技巧,大家赶紧拿出你的小本本,记录下来。


引入案例

下面我们以爬取腾讯新闻为例,看看最终爬取下来的是个什么玩意儿。


import requests
import json
china_url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
response = requests.get(url = china_url,headers = headers).json()
print(type(response))
print(response)


结果如下:

image.png

我们利用json()方法,直接将json字符串,转换为了dict格式的数据。扫描一下数据,我的妈!一大堆,我该怎么解析?


pprint模块的妙用

那么,有没有一种好的办法,能够快速帮助我们理清字典嵌套之间的关系呢?pprint模块是一个很好的选择。


这是一个第三方库,在使用之前,我们需要pip安装。


pip install pprint


安装后,直接导入即可。


from pprint import pprint


接着,对于上述案例,我们使用pprint()函数,打印一下,看看会有什么好的效果呢?


from pprint import pprint
pprint(data)


结果如下:

image.png

从图中可以看出,这个嵌套关系,一目了然,清清楚楚,明明白白,这样应该很好解析了吧。


下面在用一个简单的案例,带大家感受一下。


dic = { 'main': {'temp': 44, 'feels_like': 40.42, 'temp_min': 44, 
'temp_max': 44, 'pressure': 1002, 'humidity': 11}, 
'visibility': 6000, 'wind': {'speed': 4.1, 'deg': 290, 
'gust': 9.3}, 'clouds': {'all': 30}, 'dt': 1590398990, 
'sys': {'type': 1, 'id': 9165, 'country': 'IN', 
'sunrise': 1590364538, 'sunset': 1590414050}, 
'timezone': 19800, 'id': 1273294, 'name': 'Delhi', 
'cod': 200}


有这样一个嵌套字典,如果想要获sys标签下面的id数据,应该怎么办呢?


pprint(dic)


结果如下:

image.png

对于上面这个数据,我想大家应该没问题了吧,如果想要获取sys标签下的id数据,你应该知道怎么做吧?


dic['sys']['id']


结果如下:

image.png

网页源代码的结果,基本是一致的,因此你清楚了这中结构关系,只需要一个for循环,就可以很简单的拿到你想要的数据。


好了,今天的讲解就到这里,后面带大家讲述一下本文开头提到的json数据。


相关文章
|
5月前
|
数据采集 Web App开发 数据安全/隐私保护
实战:Python爬虫如何模拟登录与维持会话状态
实战:Python爬虫如何模拟登录与维持会话状态
|
6月前
|
数据采集 Web App开发 自然语言处理
新闻热点一目了然:Python爬虫数据可视化
新闻热点一目了然:Python爬虫数据可视化
|
6月前
|
存储 人工智能 测试技术
如何使用LangChain的Python库结合DeepSeek进行多轮次对话?
本文介绍如何使用LangChain结合DeepSeek实现多轮对话,测开人员可借此自动生成测试用例,提升自动化测试效率。
1379 125
如何使用LangChain的Python库结合DeepSeek进行多轮次对话?
|
6月前
|
监控 数据可视化 数据挖掘
Python Rich库使用指南:打造更美观的命令行应用
Rich库是Python的终端美化利器,支持彩色文本、智能表格、动态进度条和语法高亮,大幅提升命令行应用的可视化效果与用户体验。
526 0
|
5月前
|
数据可视化 关系型数据库 MySQL
【可视化大屏】全流程讲解用python的pyecharts库实现拖拽可视化大屏的背后原理,简单粗暴!
本文详解基于Python的电影TOP250数据可视化大屏开发全流程,涵盖爬虫、数据存储、分析及可视化。使用requests+BeautifulSoup爬取数据,pandas存入MySQL,pyecharts实现柱状图、饼图、词云图、散点图等多种图表,并通过Page组件拖拽布局组合成大屏,支持多种主题切换,附完整源码与视频讲解。
562 4
【可视化大屏】全流程讲解用python的pyecharts库实现拖拽可视化大屏的背后原理,简单粗暴!
|
5月前
|
传感器 运维 前端开发
Python离群值检测实战:使用distfit库实现基于分布拟合的异常检测
本文解析异常(anomaly)与新颖性(novelty)检测的本质差异,结合distfit库演示基于概率密度拟合的单变量无监督异常检测方法,涵盖全局、上下文与集体离群值识别,助力构建高可解释性模型。
475 10
Python离群值检测实战:使用distfit库实现基于分布拟合的异常检测
|
5月前
|
数据采集 监控 数据库
Python异步编程实战:爬虫案例
🌟 蒋星熠Jaxonic,代码为舟的星际旅人。从回调地狱到async/await协程天堂,亲历Python异步编程演进。分享高性能爬虫、数据库异步操作、限流监控等实战经验,助你驾驭并发,在二进制星河中谱写极客诗篇。
Python异步编程实战:爬虫案例
|
6月前
|
数据采集 存储 XML
Python爬虫技术:从基础到实战的完整教程
最后强调: 父母法律法规限制下进行网络抓取活动; 不得侵犯他人版权隐私利益; 同时也要注意个人安全防止泄露敏感信息.
922 19
|
5月前
|
数据采集 存储 JSON
Python爬虫常见陷阱:Ajax动态生成内容的URL去重与数据拼接
Python爬虫常见陷阱:Ajax动态生成内容的URL去重与数据拼接
|
5月前
|
数据采集 存储 JavaScript
解析Python爬虫中的Cookies和Session管理
Cookies与Session是Python爬虫中实现状态保持的核心。Cookies由服务器发送、客户端存储,用于标识用户;Session则通过唯一ID在服务端记录会话信息。二者协同实现登录模拟与数据持久化。

推荐镜像

更多