推荐几个评价非常高的Python库Arrow、jsonpath、psutil、tenacity

简介: 推荐几个评价非常高的Python库Arrow、jsonpath、psutil、tenacity

大家好,今天介绍几个评价不错的Python库,希望对大家的项目编写有所帮助。

Arrow

Python的标准库模块和类型太多,时区转换麻烦,而Arrow是一个更加智能的Python时间处理库。它实现并更新日期时间类型,支持创建、操作、格式化和转换日期、时间和时间戳,可以使用更少导入和代码处理日期和时间。

https://github.com/crsmithdev/arrow

安装:pip install arrow

import arrow

# 当地时区的时间、年、月、日、时
print(arrow.now())
print(arrow.now().year)
print(arrow.now().month)
print(arrow.now().day)
print(arrow.now().hour)
# 获取指定时区时间
print(arrow.now('US/Pacific'))
# 获取时间戳
print(arrow.now().timestamp())

# Arrow对象转化为字符串时间
print(arrow.now().format(fmt="YYYY-MM-DD HH:mm:ss"))

# 时间戳转化为日期
timeStamp = 1625034427.024892
i = arrow.get(timeStamp)
print(i.format('YYYY-MM-DD HH:mm:ss'))

# 当前时间前一年,1个月前,2周前,3天后,2小时后的时间
print(arrow.now().shift(years=-1, months=-1, weeks=-2, days=3, hours=2).format())

print(arrow.utcnow().span('hour'))

jsonpath

jsonpath用来解析json数据,是一种简单的方法来提取给定JSON文档的部分内容。它提供了类似正则表达式的语法,可以解析复杂的嵌套数据结构,可以非常方便的提取接口返回的数据信息。

安装:pip install jsonpath

使用:

from jsonpath import jsonpath
ret = jsonpath(dic, '语法规则字符串')

jsonpath语法规则

语法 描述
$ 根节点
@ 使用过滤谓词来处理当前节点
. or [] 取子节点
n/a 取父节点,jsonpath未支持
.. 就是不管位置,选择符合条件的条件
* 匹配所有元素节点
[,] 支持迭代器中做多选
?() 支持过滤操作
() 支持表达式计算

image-20210808190926129

JsonPath语法 结果
$.store.book[*].author 获取store下book下的所有author值
$..author 获取所有author 的值
$.store..price 获取 store下以及所有子节点下的所有 price
$..book[2] 获取 book数组的第3个值
$..book[0,1] 获取 book数组的第一、第二的值
$..book[:2] 获取 book数组从索引 0 (包括) 到 索引 2 (不包括) 的所有值
$..book[1:2] 获取 book数组从索引 1 (包括) 到 索引 2 (不包括) 的所有值
$..book[2:] 获取 book数组从索引 2 (包括) 到 结尾 的所有值
$..book[?(@.isbn)] 获取 所有节点以及子节点中 book 数组包含 isbn 的所有值
$.store.book[?(@.price < 10)] 获取 store下 book 数组中 price < 10 的所有值
$..book[?(@.price <= $['expensive'])] 获取 所有节点以及子节点下 book 数组中 price <= expensive 的所有值
$..book[?(@.author =~ /.*REES/i)] 获取所有匹配正则的 book ( 不区分大小写 )
$..* 逐层列出 json 中 的所有值,层级由外到内

psutil

一个跨平台的监控硬件信息的Python库,可以监控、分析操作系统的进程、cpu、内存、网络、磁盘等资源使用情况。

psutil实现的功能类似linux中很多资源监控命令,如 ps、 top、 iotop、 lsof、 netstat、 ifconfig、 free 等,当然,你可以结合Python编程,实现更高级的功能,比如结合前端框架实现可视化资源监控资源信息。

https://github.com/giampaolo/psutil

安装:pip install psutil

查看CPU

import psutil
# cpu的逻辑个数
print(psutil.cpu_count())

#每隔1秒输出每隔cpu的使用率
for x in range(3):
    # interval:每隔0.5s刷新一次
    # percpu:查看所有的cpu使用率
    print(psutil.cpu_percent(interval=1, percpu=True))

image-20210808191127848

查看内存

import psutil
# 输出内存使用情况(总内存、可用内存、内存使用率、已使用内存)
print(psutil.virtual_memory())
svmem(total=17126330368, available=8755355648, percent=48.9, used=8370974720, free=8755355648)

磁盘IO

import psutil
# 磁盘IO信息read_count(读IO数),write_count(写IO数)、read_bytes(IO写字节数),read_time(磁盘读时间),write_time(磁盘写时间)
print(psutil.disk_io_counters())
sdiskio(read_count=308820, write_count=193263, read_bytes=6779938304, write_bytes=3320958976, read_time=7298, write_time=2630)

网络

import psutil
# bytes_sent: 发送的字节数
# bytes_recv: 接收的字节数
# packets_sent: 发送的包数据量
# packets_recv: 接收的包数据量
# errin: 接收包时, 出错的次数
# errout: 发送包时, 出错的次数
# dropin: 接收包时, 丢弃的次数
# dropout: 发送包时, 丢弃的次数
print(psutil.net_io_counters())
snetio(bytes_sent=19362924, bytes_recv=159579883, packets_sent=118788, packets_recv=184342, errin=0, errout=0, dropin=0, dropout=0)

https://github.com/jd/tenacity

tenacity

tenacity是一个 Apache 2.0授权的通用重试库,自动化测试或者爬虫中,当网络不稳定导致请求超时或者等待条件满足时操作,我们可以通过tenacity实现代码的重试功能。

https://github.com/jd/tenacity

pip install tenacity

用法非常简单,直接加上装饰器使用。

重试3次

import tenacity
from tenacity import stop_after_attempt

@tenacity.retry(stop=stop_after_attempt(3))
def retry_test():
    print("重试...")
    raise Exception

retry_test()

重试10秒

import tenacity
from tenacity import stop_after_delay

@tenacity.retry(stop=stop_after_delay(10))
def retry_test():
    print("重试...")
    raise Exception

retry_test()

每隔2秒重试

import tenacity
from tenacity import wait_fixed

@tenacity.retry(wait=wait_fixed(2))
def wait_2_s():

print("Wait 2 second between retries")
raise Exception

print(wait_2_s)

目录
相关文章
|
3天前
|
JavaScript 前端开发 Python
用python执行js代码:PyExecJS库
文章讲述了如何使用PyExecJS库在Python环境中执行JavaScript代码,并提供了安装指南和示例代码。
22 1
用python执行js代码:PyExecJS库
|
3天前
|
Python
turtle库的几个案例进阶,代码可直接运行(python经典编程案例)
该文章展示了使用Python的turtle库进行绘图的进阶案例,包括绘制彩色圆形和复杂图案的代码示例。
28 6
turtle库的几个案例进阶,代码可直接运行(python经典编程案例)
|
3天前
|
传感器 JSON 监控
python中psutil模块的使用详解(python3经典编程案例)
这篇文章介绍了如何使用Python的`pyinstaller`库打包应用程序,并提供了详细的打包步骤和参数说明。
22 7
|
3天前
|
Python
turtle库的几个简单案例,代码可直接运行(python经典编程案例)
该文章提供了多个使用Python的turtle库绘制不同图形的简单示例代码,如画三角形、正方形、多边形等,展示了如何通过turtle进行基本的绘图操作。
13 5
|
2天前
|
Python
Python之shutil库详解
Python之shutil库详解
|
7天前
|
机器学习/深度学习 算法 数据挖掘
Python数据分析革命:Scikit-learn库,让机器学习模型训练与评估变得简单高效!
在数据驱动时代,Python 以强大的生态系统成为数据科学的首选语言,而 Scikit-learn 则因简洁的 API 和广泛的支持脱颖而出。本文将指导你使用 Scikit-learn 进行机器学习模型的训练与评估。首先通过 `pip install scikit-learn` 安装库,然后利用内置数据集进行数据准备,选择合适的模型(如逻辑回归),并通过交叉验证评估其性能。最终,使用模型对新数据进行预测,简化整个流程。无论你是新手还是专家,Scikit-learn 都能助你一臂之力。
47 8
|
8天前
|
数据可视化 数据挖掘 API
使用Python进行数据可视化:探索Matplotlib和Seaborn库
【9月更文挑战第19天】在数据科学领域,将复杂的数据集转换成直观、易懂的图形是一项基本而关键的技能。本文旨在通过Python编程语言介绍两个强大的数据可视化库——Matplotlib和Seaborn,以及它们如何帮助数据分析师和研究人员揭示数据背后的故事。我们将从基础概念讲起,逐步深入到高级技巧,确保无论读者的背景如何,都能获得必要的知识和启发,以在自己的项目中实现有效的数据可视化。
|
7天前
|
数据采集 JSON API
🎓Python网络请求新手指南:requests库带你轻松玩转HTTP协议
本文介绍Python网络编程中不可或缺的HTTP协议基础,并以requests库为例,详细讲解如何执行GET与POST请求、处理响应及自定义请求头等操作。通过简洁易懂的代码示例,帮助初学者快速掌握网络爬虫与API开发所需的关键技能。无论是安装配置还是会话管理,requests库均提供了强大而直观的接口,助力读者轻松应对各类网络编程任务。
37 3
|
8天前
|
机器学习/深度学习 JSON API
HTTP协议实战演练场:Python requests库助你成为网络数据抓取大师
在数据驱动的时代,网络数据抓取对于数据分析、机器学习等至关重要。HTTP协议作为互联网通信的基石,其重要性不言而喻。Python的`requests`库凭借简洁的API和强大的功能,成为网络数据抓取的利器。本文将通过实战演练展示如何使用`requests`库进行数据抓取,包括发送GET/POST请求、处理JSON响应及添加自定义请求头等。首先,请确保已安装`requests`库,可通过`pip install requests`进行安装。接下来,我们将逐一介绍如何利用`requests`库探索网络世界,助你成为数据抓取大师。在实践过程中,务必遵守相关法律法规和网站使用条款,做到技术与道德并重。
22 2
|
1天前
|
机器学习/深度学习 Python
9-3|使用Python的scikit-learn库来训练一个逻辑回归模型,检测句子是否含有侮辱性内容:
9-3|使用Python的scikit-learn库来训练一个逻辑回归模型,检测句子是否含有侮辱性内容: