【干货】pandas相关工具包

简介: 【干货】pandas相关工具包

1 Pandas 介绍


Pandas是python的一个数据分析包,最初由AQR Capital Management于2008年4月开发,并于2009年底开源出来,目前由专注于Python数据包开发的PyData开发team继续开发和维护,属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来,因此,pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据(panel data)和python数据分析(data analysis)。panel data是经济学中关于多维数据集的一个术语,在Pandas中也提供了panel的数据类型。

Pandas用于广泛的领域,包括金融,经济,统计,分析等学术和商业领域。在本教程中,我们将学习Python Pandas的各种功能以及如何在实践中使用它们。


2 Pandas 主要特点


  • 快速高效的DataFrame对象,具有默认和自定义的索引。
  • 将数据从不同文件格式加载到内存中的数据对象的工具。
  • 丢失数据的数据对齐和综合处理。
  • 重组和摆动日期集。
  • 基于标签的切片,索引和大数据集的子集。
  • 可以删除或插入来自数据结构的列。
  • 按数据分组进行聚合和转换。
  • 高性能合并和数据加入。
  • 时间序列功能。


3 Pandas 数据结构


  • Series:一维数组,与Numpy中的一维array类似,二者与Python基本的数据结构List也很相近。Series如今能保存不同种数据类型,字符串、boolean值、数字等。
  • Time-Series:以时间为索引的Series。
  • DataFrame:二维的表格型数据结构,很多功能与R中的data.frame类似,可以将DataFrame理解为Series的容器。
  • Panel :三维数组,可以理解为DataFrame的容器。

如果大家对pandas陌生的话,可以随便百度,google相关例子,每日练习即可。下面是本篇文章的主要介绍的内容,就是有关在日常使用提高效率的pandas相关的工具包


4 pandas-profiling


从pandas DataFrame对象中创建HTML形式的分析报告


官方链接:https://github.com/pandas-profiling/pandas-profiling

34.png


4.1 安装命令

pip install pandas-profiling[notebook]


4.2 简单实例


生成一个DataFrame

import numpy as np
import pandas as pd
from pandas_profiling import ProfileReport
df = pd.DataFrame(
    np.random.rand(100, 5),
    columns=["a", "b", "c", "d", "e"]
)


生成分析报告

profile = ProfileReport(df, title="Pandas Profiling Report")


大家可以观摩下pandas_profiling 在Titanic Dataset数据上生成的数据分析报告,真的很强大!


35.png


具体报告在:https://pandas-profiling.github.io/pandas-profiling/examples/master/titanic/titanic_report.html

更多例子以及使用方法请参照官方链接,刚开一展身手吧~


5 missingno


数据集非常混乱?含有缺失值?missingno提供了一组灵活且易于使用的缺失数据可视化工具和实用程序,使开发者能够快速地可视化总结数据集的完整性(或缺失性)。


官方链接:https://github.com/ResidentMario/missingno


5.1 安装命令


直接通过pip即可安装

pip install missingno


5.2 简单实例


通过quilt来下载案例数据

$ pip install quilt
$ quilt install ResidentMario/missingno_data


然后加载数据

>>> from quilt.data.ResidentMario import missingno_data
>>> collisions = missingno_data.nyc_collision_factors()
>>> collisions = collisions.replace("nan", np.nan)


分析缺失值分布

>>> import missingno as msno
>>> %matplotlib inline
>>> msno.bar(collisions.sample(1000))


缺失值比例


36.png


6 swifter


加速panda的DataFrame或Series的apply任何函数的运算工具包。


37.png


官方链接:https://github.com/jmcarpenter2/swifter


6.1 安装命令

$ pip install -U pandas # upgrade pandas
$ pip install swifter # first time installation
$ pip install -U swifter # upgrade to latest version if already installed


6.2 简单实例

df = pd.DataFrame({'x': [1, 2, 3, 4], 'y': [5, 6, 7, 8]})
# runs on single core
df['x2'] = df['x'].apply(lambda x: x**2)
# runs on multiple cores
df['x2'] = df['x'].swifter.apply(lambda x: x**2)
# use swifter apply on whole dataframe
df['agg'] = df.swifter.apply(lambda x: x.sum() - x.min())
# use swifter apply on specific columns
df['outCol'] = df[['inCol1', 'inCol2']].swifter.apply(my_func)
df['outCol'] = df[['inCol1', 'inCol2', 'inCol3']].swifter.apply(my_func,
             positional_arg, keyword_arg=keyword_argval)


7 pandarallel


一个简单高效的pandas运算工具,然cpu烧起来吧!


38.png


官方链接:https://github.com/nalepae/pandarallel


7.1 安装命令

$ pip install pandarallel [--upgrade] [--user]


7.2 使用方法


Without parallelization With parallelization
df.apply(func) df.parallel_apply(func)
df.applymap(func) df.parallel_applymap(func)
df.groupby(args).apply(func) df.groupby(args).parallel_apply(func)
df.groupby(args1).col_name.rolling(args2).apply(func) df.groupby(args1).col_name.rolling(args2).parallel_apply(func)
df.groupby(args1).col_name.expanding(args2).apply(func) df.groupby(args1).col_name.expanding(args2).parallel_apply(func)
series.map(func) series.parallel_map(func)
series.apply(func) series.parallel_apply(func)
series.rolling(args).apply(func)

series.rolling(args).parallel_apply(func)

8  pytablewriter


pandas输出格式化工具:CSV / Elasticsearch / HTML / JavaScript / JSON / LaTeX / LDJSON / LTSV / Markdown / MediaWiki / NumPy / Excel / Pandas / Python / reStructuredText / SQLite / TOML / TSV / YAML.


39.png


官方链接:https://github.com/thombashi/pytablewriter#installation-pip


8.1 安装命令

pip install pytablewriter


8.2 实例

from textwrap import dedent
import pandas as pd
import io
from pytablewriter import MarkdownTableWriter
def main():
    csv_data = io.StringIO(dedent("""\
        "i","f","c","if","ifc","bool","inf","nan","mix_num","time"
        1,1.10,"aa",1.0,"1",True,Infinity,NaN,1,"2017-01-01 00:00:00+09:00"
        2,2.20,"bbb",2.2,"2.2",False,Infinity,NaN,Infinity,"2017-01-02 03:04:05+09:00"
        3,3.33,"cccc",-3.0,"ccc",True,Infinity,NaN,NaN,"2017-01-01 00:00:00+09:00"
        """))
    df = pd.read_csv(csv_data, sep=',')
    writer = MarkdownTableWriter()
    writer.from_dataframe(df)
    writer.write_table()
if __name__ == "__main__":
    main()


9 参考资料


相关文章
|
开发工具 C语言 git
Vcpkg 的安装与使用
Windows 下 Vcpkg 的安装与使用
2302 0
Vcpkg 的安装与使用
|
10月前
|
机器学习/深度学习 传感器 算法
Python | Stacking回归和SHAP可解释性分析回归预测及可视化算法
本教程基于Python实现Stacking回归与SHAP可解释性分析,涵盖地球科学、医学、工程等多领域回归预测应用。结合CatBoost、LightGBM、XGBoost等模型,采用贝叶斯、随机与网格搜索优化参数,并通过SHAP值可视化特征贡献,提升模型性能与可解释性,适用于科研与实际项目。
1070 2
|
3月前
|
SQL 监控 安全
数据同步如何保证不重、不丢、不错?一文讲清全量、增量、校验和异常处理
企业数据同步真正的风险不是任务报错,而是“假成功”——数据重复、遗漏或失真。可靠同步必须回答三个核心问题:是否幂等(不重)、是否全量捕获变化(不丢)、是否保持业务含义准确(不错)。需构建覆盖一致性快照、CDC/时间戳增量、幂等写入、分层校验与分类恢复的可信链路。(239字)
|
人工智能 搜索推荐 算法
洞察客户喜好,精准培育客户
客户关系管理(CRM)系统是企业竞争中的核心工具,通过收集、整合与分析客户数据,洞察客户喜好并实现精准培育。它帮助企业构建全面的客户画像,支持个性化营销与服务优化。例如,联想通过CRM提升复购率25%,海康威视实现自动化老客运营。借助企业微信等工具,销售人员可依据客户标签推送定制内容。在数字化转型中,CRM助力企业智能化运营,增强客户忠诚度与满意度,塑造持久竞争优势。
|
安全 网络安全
别慌!浏览器提示证书风险这样解决
不少朋友用 360 浏览器时遇到过这种情况,其实很多时候是电脑系统设置 “闹脾气” 啦。比如电脑时间设置错了,证书和系统时间对不上号,浏览器自然就发出警报。这时,只需简单几步,点击更改日期和时间设置,重新打开网页,说不定风险提示就消失得无影无踪。
5184 6
|
8月前
|
弹性计算 人工智能 安全
新手“养虾”第一步:OpenClaw 到底该装本地还是上云?答案很明确
新手“养虾”首选云端!OpenClaw部署在阿里云仅需9.9元/月,安全可控、一键安装、无需代码,兼容Linux系统更稳定。本地部署存隐私风险,而云服务器隔离性强、操作简单、成本极低,搭配百炼AI还可享7000万免费Tokens。
1449 1
|
缓存 运维 监控
vLLM推理加速指南:7个技巧让QPS提升30-60%
GPU资源有限,提升推理效率需多管齐下。本文分享vLLM实战调优七招:请求塑形、KV缓存复用、推测解码、量化、并行策略、准入控制与预热监控。结合代码与数据,助你最大化吞吐、降低延迟,实现高QPS稳定服务。
3059 7
vLLM推理加速指南:7个技巧让QPS提升30-60%
|
人工智能 安全 API
2026 WhatsApp Business API 落地攻略:功能、费用、申请流程、防封号指南
2026年,WhatsApp Business API 势必会成为跨境出海与全球化运营的标配。本文旨在为企业运营和营销人员提供一站式落地指南,深度解析 WhatsApp 三大版本的本质区别,并针对申请流程、计费逻辑、账号防封及常见故障提供实操建议。通过 Meta 官方合作伙伴阿里云,企业可实现 AI 自动化集成与合规的大规模客户触达。
8110 0
|
供应链 小程序 API
微信小程序API集成京东库存,移动端销量暴涨!
在数字化时代,微信小程序与京东库存系统集成成为提升移动端销量的关键策略。本文详解如何通过API实现库存实时同步、优化用户体验,推动销量增长50%以上,并结合实际案例与代码示例,为企业提供可落地的解决方案。
|
网络协议 算法 Java
聊聊 Pulsar: Pulsar 分布式集群搭建
聊聊 Pulsar: Pulsar 分布式集群搭建
2259 1