Pandas GroupBy 的 10 个实用技巧

简介: 本文介绍Pandas中groupby的10个实用技巧,突破传统聚合认知。涵盖多函数聚合、结果命名、transform特征构造、组内累积计算、自定义逻辑、唯一值统计、分类分组、多级索引、扁平化输出及透视表结合应用,助你高效处理复杂数据场景,提升数据分析效率。(238字)

很多人把 groupby 理解成单纯的求和、计数这类操作,比如说算算总收入、数数用户量,然后就没了。实际上它的应用场景要广得多:计算组内特征、数据标准化、构造滚动指标、合并不同维度的统计结果,甚至处理一些复杂的嵌套数据结构。

所以本文将介绍10个实际工作中比较有用的技巧,文章的代码都是可以直接拿来用。

1、一次性应用多个聚合函数

 import pandas as pd  

df = pd.DataFrame({  
    "team": ["A", "A", "B", "B"],  
    "score": [10, 15, 7, 20]  
})  
result = df.groupby("team").agg({  
    "score": ["sum", "mean", "max"]  
})  
print(result)
####
    score               
            sum  mean  max  
    team                      
    A        25  12.5   15  
     B        27  13.5   20

2、聚合后对结果进行命名

 result = df.groupby("team").agg(  
    total_score=("score", "sum"),  
    avg_score=("score", "mean"),  
    max_score=("score", "max")  
)  

print(result)
###
    total_score  avg_score  max_score  
    team                                      
    A              25       12.5         15  
     B              27       13.5         20

3、transform

 df["team_avg"] = df.groupby("team")["score"].transform("mean")  
 print(df)

每一行现在都带上了所属组的均值,这在特征工程里特别常用。

     team  score  team_avg  
     0    A     10      12.5  
     1    A     15      12.5  
     2    B      7      13.5  
     3    B     20      13.5

4、组内累积计算

 df["cumulative_score"] = (  
     df.groupby("team")["score"]  
       .transform(lambda s: s.cumsum())  
 )  

 print(df)

累积和会在每个分组内部重新开始计算。

 team  score  team_avg  cumulative_score  
     0    A     10      12.5                10  
     1    A     15      12.5                25  
     2    B      7      13.5                 7  
     3    B     20      13.5                27

5、自定义聚合逻辑

 defscore_range(s):  
     returns.max() -s.min()  

 result=df.groupby("team")["score"].agg(score_range)  
 print(result)

一些复杂的业务指标基本都可以用这种方式实现。

     team  
     A     5  
     B    13  
     Name: score, dtype: int64

6、统计唯一值

 df2=pd.DataFrame({  
    "team": ["A", "A", "B", "B", "B"],  
    "member": ["x", "y", "x", "x", "z"]  
})  

unique_counts=df2.groupby("team")["member"].nunique()  
unique_sets=df2.groupby("team")["member"].apply(set)  

print(unique_counts)  
print(unique_sets)

####
    team  
    A    2  
    B    2  
    Name: member, dtype: int64  


   team  
   A       {x, y}  
   B    {x, z}  
   Name: member, dtype: object

7、按类别分组的正确姿势

 df2["team"] = df2["team"].astype("category")  

 result = df2.groupby("team", observed=False)["member"].count()  
 print(result)

做报表的时候有些预定义的类别即使没数据也需要显示出来,这时候这个参数就派上用场了。

     team  
     A    2  
     B    3  
     Name: member, dtype: int64

8、多层级分组

 df3 = pd.DataFrame({  
    "team": ["A", "A", "B", "B"],  
    "year": [2023, 2024, 2023, 2024],  
    "score": [10, 15, 7, 20]  
})  

result = df3.groupby(["team", "year"])["score"].sum()  
 print(result)

队列分析或者按时间切片的场景基本就是这个结构。

  team  year  
     A     2023    10  
           2024    15  
     B     2023     7  
           2024    20  
     Name: score, dtype: int64

9、扁平化输出

 flat = df3.groupby("team", as_index=False).agg({"score": "sum"})  
 print(flat)

对接 API 或者导入 BI 工具时,扁平结构往往更方便。

      team  score  
     0    A     25  
     1    B     27

10、结合透视表使用

 pivot = pd.pivot_table(  
    df3,  
    values="score",  
    index="team",  
    columns="year",  
    aggfunc="sum"  
)  

 print(pivot)

这种交叉统计的表格在做汇总分析时经常用到。

     year  2023  2024  
     team                
     A       10    15  
     B        7    20

总结

groupby 的功能远比表面看起来丰富。agg 处理多指标汇总,transform 生成组级特征,MultiIndex 分组配合 pivot_table 可以快速构建复杂的数据视图。熟练掌握这些用法之后,很多数据处理任务的代码量能减少不少。

多指标统计用 agg,命名聚合让代码更清晰,组内特征计算靠 transform,业务逻辑封装成自定义函数,多维度报表用 MultiIndex 和透视表组合。

https://avoid.overfit.cn/post/da6bdf53716948b7bd26eddc31ea94a4

目录
相关文章
|
3月前
|
XML JSON 数据格式
Python 3.14 实用技巧:10个让代码更清晰的小改进
Python 3.14 带来10项实用改进:类型系统增强、错误提示更清晰、导入优化、异步任务取消更稳定,并新增 `chdir()` 上下文管理器等。虽改动细微,却显著提升代码可读性、调试效率与运行稳定性,适合自动化脚本与日常开发。升级即享,无需额外成本。
312 10
Python 3.14 实用技巧:10个让代码更清晰的小改进
|
3月前
|
人工智能 JSON 机器人
从零开始:用Python和Gemini 3四步搭建你自己的AI Agent
AI Agent并非玄学,核心仅为“循环 + 大模型 + 工具函数”。本文教你用Gemini 3从零搭建能读写文件、执行指令的命令行助手,拆解其“观察-思考-行动”循环机制,揭示智能体背后的简洁本质。
654 17
从零开始:用Python和Gemini 3四步搭建你自己的AI Agent
|
定位技术 Python
python获取高德地图天气webAPI接口的解决方案
python获取高德地图天气webAPI接口的解决方案
586 0
|
4月前
|
机器学习/深度学习 数据可视化 算法
sklearn 特征选择实战:用 RFE 找到最优特征组合
特征越多模型未必越好,过多特征易导致过拟合、训练慢、难解释。递归特征消除(RFE)通过反复训练与特征评分,逐步剔除不重要特征,提升模型泛化能力与效率。本文详解RFE原理,并用scikit-learn实战葡萄酒数据集,展示如何结合逻辑回归与随机森林进行特征选择,比较不同模型的筛选差异,并通过RFECV自动确定最优特征数量,辅以可视化分析,帮助构建更简洁、高效、可解释的模型。
396 1
sklearn 特征选择实战:用 RFE 找到最优特征组合
|
数据挖掘 数据处理 数据库
Pandas数据聚合:groupby与agg
Pandas库中的`groupby`和`agg`方法是数据分析中不可或缺的工具,用于数据分组与聚合计算。本文从基础概念、常见问题及解决方案等方面详细介绍这两个方法的使用技巧,涵盖单列聚合、多列聚合及自定义聚合函数等内容,并通过代码案例进行说明,帮助读者高效处理数据。
1487 32
|
21天前
|
机器学习/深度学习 弹性计算 编解码
2026年阿里云服务器4核8G租用价格,可选实例收费标准与最新活动价格
本文解析2026年阿里云4核8G云服务器租用价格及选择策略。涵盖经济型e实例、通用算力型u1/u2a、计算型c9i等多规格实例,价格从经济型e实例1M带宽年费1595.11元至计算型c9i实例3147.56元不等。不同实例适配不同场景:经济型e适合轻量应用,u2a以高性价比适配预算敏感用户,c9i专为高性能计算设计。
|
4月前
|
机器学习/深度学习 算法 机器人
大模型强化学习的熵控制:CE-GPPO、EPO与AsyPPO技术方案对比详解
近期LLM强化学习进展迅速,CE-GPPO、EPO与AsyPPO三篇论文从梯度恢复、时序平滑与非对称critic集成等角度,分别解决熵控难题,共同推动大规模推理模型训练方法革新。
337 3
大模型强化学习的熵控制:CE-GPPO、EPO与AsyPPO技术方案对比详解
|
4月前
|
存储 数据库 索引
RAG检索质量差?这5种分块策略帮你解决70%的问题
RAG效果关键在于文档分块:固定、递归、语义、结构化与延迟分块各有优劣。合理选择能显著提升检索质量,减少幻觉,增强上下文理解,是构建高效RAG系统的核心环节。
541 4
|
SQL 数据挖掘 索引
Pandas数据筛选的5种技巧
Pandas数据筛选的5种技巧
895 1
|
数据挖掘 数据处理 Python
Pandas中的数据聚合神器:agg 方法
Pandas中的数据聚合神器:agg 方法
1216 1