独家 | 11个Python Pandas小技巧让你的工作更高效(附代码实例)-阿里云开发者社区

开发者社区> 初商> 正文

独家 | 11个Python Pandas小技巧让你的工作更高效(附代码实例)

简介: 本文为你介绍Pandas隐藏的炫酷小技巧,我相信这些会对你有所帮助。
+关注继续查看

作者:Shiu-TangLi

翻译:吴振东

校对:王雨桐

文章来源:微信公众号 数据派THU

本文约1800字,建议阅读6分钟。


本文为你介绍Pandas隐藏的炫酷小技巧,我相信这些会对你有所帮助。

或许本文中的某些命令你早已知晓,只是没意识到它还有这种打开方式。

image.png

Pandas是一个在Python中广泛应用的数据分析包。市面上有很多关于Pandas的经典教程,但本文介绍几个隐藏的炫酷小技巧,我相信这些会对你有所帮助。

  1. read_csv

这是读取数据的入门级命令。当要你所读取的数据量特别大时,试着加上这个参数 nrows = 5,就可以在载入全部数据前先读取一小部分数据。如此一来,就可以避免选错分隔符这样的错误啦(数据不一定都是用逗号来分隔)。

(或者在linux系统中,你可以使用‘head’来展示任意文本文件的前五行:head -c 5 data.txt)

接下来,用 df.columns.tolist() 可以提取每一列并转换成list。还可以加上 usecols = [‘c1’, ‘c2’, … ]来载入所需要的指定列。另外,如果你知道某些列的类型,你可以加上dtype = {‘c1’: str, ‘c2’: int, …} ,这样会加快载入的速度。加入这些参数的另一大好处是,如果这一列中同时含有字符串和数值类型,而你提前声明把这一列看作是字符串,那么这一列作为主键来融合多个表时,就不会报错了。

  1. select_dtypes

如果已经在Python中完成了数据的预处理,这个命令可以帮你节省一定的时间。在读取了表格之后,每一列的默认数据类型将会是bool,int64,float64,object,category,timedelta64,或者datetime64。首先你可以观察一下大致情况,使用:

df.dtypes.value_counts()
来了解你的dataframe的每项数据类型,然后再使用:

df.select_dtypes(include=['float64', 'int64'])

获取一个仅由数值类型组成的sub-dataframe。

  1. copy

如果你没听说过它的话,我不得强调它的重要性。输入下面的命令:

import pandas as pd
df1 = pd.DataFrame({ 'a':[0,0,0], 'b': [1,1,1]})
df2 = df1
df2['a'] = df2['a'] + 1
df1.head()

你会发现df1已经发生了改变。这是因为df2 = df1并不是生成一个df1的复制品并把它赋值给df2,而是设定一个指向df1的指针。所以只要是针对df2的改变,也会相应地作用在df1上。为了解决这个问题,你既可以这样做:

df2 = df1.copy()

也可以这样做:

from copy import deepcopy
df2 = deepcopy(df1)
  1. map

这个炫酷的命令让你的数据转换变得轻松。首先定义一个

dictionary,“key”是转换前的旧值,而“values”是转换后的新值。

level_map = {1: 'high', 2: 'medium', 3: 'low'}
df['c_level'] = df['c'].map(level_map)

几个适用情景:把True、False,转换成1、0(为了建模);定义级别;使用字典编码。

  1. 用不用apply?

如果我们想在现有几列的基础上生成一个新列,并一同作为输入,那么有时apply函数会相当有帮助。

def rule(x, y):
    if x == 'high' and y > 10:
         return 1
    else:
         return 0
df = pd.DataFrame({ 'c1':[ 'high' ,'high', 'low', 'low'], 'c2': [0, 23, 17, 4]})
df['new'] = df.apply(lambda x: rule(x['c1'], x['c2']), axis =  1)
df.head()

在上面的代码中,我们定义了一个有两个输入变量的函数,并依靠apply函数使其作用到列“c1”和“c2”上。

但是apply函数在有些情况下实在是太慢了。如果你是想计算“c1”和“c2”列的最大值,你当然可以这样去做:

df['maximum'] = df.apply(lambda x: max(x['c1'], x['c2']), axis = 1)

但你会发现相比于以下命令,apply实在是慢太多了:

df['maximum'] = df[['c1','c2']].max(axis =1)

结论:如果你可以采用其他内置函数(他们一般速度更快),请不要使用apply。比如说,如果你想把“c”列的值近似取整,那么请用round(df[‘c’], 0)或df['c'],round(0)而不是上文的apply函数。

  1. value counts

这个命令用于检查值的分布。你想要检查下“c”列中出现的值以及每个值所出现的频率,可以使用:

df['c'].value_counts(

下面是一些有用的小技巧/参数:

normalize = True:查看每个值出现的频率而不是频次数。

dropna = False: 把缺失值也保留在这次统计中。

sort = False: 将数据按照值来排序而不是按照出现次数排序。

df[‘c].value_counts().reset_index(): 将这个统计表转换成pandas的dataframe并且进行处理。

  1. 缺失值的数量

当构建模型时,我们可能会去除包含过多缺失值或是全部是缺失值的行。这时可以使用.isnull()和.sum()来计算指定列缺失值的数量。

import pandas as pd
import numpy as np
df = pd.DataFrame({ 'id': [1,2,3], 'c1':[0,0,np.nan], 'c2': [np.nan,1,1]})
df = df[['id', 'c1', 'c2']]
df['num_nulls'] = df[['c1', 'c2']].isnull().sum(axis=1)
df.head()
  1. 依据指定ID来选取行

在SQL中我们可以使用 SELECT * FROM … WHERE ID in (‘A001’,‘C022’, …)来获取含有指定ID的记录。如果你也想在Pandas中做类似的事情,你可以使用:

df_filter = df['ID'].isin(['A001','C022',...])
df[df_filter]
  1. 基于分位数分组

面对一列数值,你想将这一列的值进行分组,比如说最前面的5%放入组别一,5-20%放入组别二,20%-50%放入组别三,最后的50%放入组别四。当然,你可以使用pandas.cut,但你也可以使用下面这种选择:

import numpy as np
cut_points = [np.percentile(df['c'], i) for i in [50, 80, 95]]
df['group'] = 1
for i in range(3):
    df['group'] = df['group'] + (df['c'] < cut_points[i])
# or <= cut_points[i]

这种方法的运行速度很快(并没有使用到apply函数)。

  1. to_csv

这又是一个大家都会用的命令。我想在这里列出两个小技巧。首先是

print(df[:5].to_csv())
你可以使用这个命令打印出将要输出文件中的前五行记录。

另一个技巧是用来处理整数值和缺失值混淆在一起的情况。如果一列含有缺失值和整数值,那么这一列的数据类型会变成float而不是int。当导出表格时,你可以加上float_format=‘%.0f’以便将所有的浮点数近似成整数。当你想把所有列的输出值都变成整数格式时,就可以使用这个技巧,这样一来你就会告别所有数值后带“.0”的烦恼。

原文标题:

10 PythonPandas tricks that make your work more efficient

原文链接:

https://towardsdatascience.com/10-python-pandas-tricks-that-make-your-work-more-efficient-2e8e483808ba

校对:林亦霖

译者简介

image.png

吴振东,法国洛林大学计算机与决策专业硕士。现从事人工智能和大数据相关工作,以成为数据科学家为终生奋斗目标。来自山东济南,不会开挖掘机,但写得了Java、Python和PPT。

翻译组招募信息

工作内容:需要一颗细致的心,将选取好的外文文章翻译成流畅的中文。如果你是数据科学/统计学/计算机类的留学生,或在海外从事相关工作,或对自己外语水平有信心的朋友欢迎加入翻译小组。

你能得到:定期的翻译培训提高志愿者的翻译水平,提高对于数据科学前沿的认知,海外的朋友可以和国内技术应用发展保持联系,THU数据派产学研的背景为志愿者带来好的发展机遇。

其他福利:来自于名企的数据科学工作者,北大清华以及海外等名校学生他们都将成为你在翻译小组的伙伴。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
实战课堂 | DMS企业版教你用一条SQL搞定跨实例查询
数据管理DMS企业版提供了安全、高效地管理大规模数据库的服务。面对多元的数据库实例,为了更方便地查询被“散落”在各个地方的业务数据,我们在DMS企业版中提供了跨数据库实例查询服务。
2736 0
二路归并排序 代码实例
  感觉好久没有写排序程序了,C语言有qsort()函数,C++有sort()函数,java语言有Arrays类(主要这个不是Array)。今天写了一下归并排序还有点费劲呀。晚上回来写写。   归并排序就是采用分治法进行排序:   (1)将一个数组分成小的2个数组分别进行排序;   (2)之后...
821 0
借助 Resharper 和 StyleCop 让代码更整洁
一:工具安装 Resharper 和 StyleCop 必须安装。 Resharper 的配置文件如下:Resharper.zip 请按如下步骤导入, 1: 2: 3:   StyleCope 的配置文件如下:Settings.zip 请直接包含到项目中,如: (PS:从源码服务器上获取的解决方案,Leader 已经包含)。
764 0
TiDB 源代码学习: ranger 模块代码分析
对数据库技术有一定了解的同行们,应该对 索引前缀匹配 的概念不陌生. 在 TiDB 中 ranger 模块在前缀匹配机制中发挥了一定的作用,所以我想好好了解一下这个模块的代码. ranger 模块介绍 ranger 模块重要的入口是 DetachCondAndBuildRangeForIndex 以及 DetachCondAndBuildRangeForTable 两个函数. 本文以 DetachCondAndBuildRangeForIndex 函数为主要的分析对象,下面简称这个函数位 DCBR DCBR 的入参是: 某个索引信息,主要是用里面的列信息(包含哪些列,以及它们在索引当中
11 0
Spring Boot项目利用MyBatis Generator进行数据层代码自动生成
概 述 MyBatis Generator (简称 MBG) 是一个用于 MyBatis和 iBATIS的代码生成器。它可以为 MyBatis的所有版本以及 2.2.0之后的 iBATIS版本自动生成 ORM层代码,典型地包括我们日常需要手写的 POJO、mapper xml 以及 mapper 接口等。
1795 0
+关注
770
文章
584
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载