pandas指南:做更高效的数据科学家-阿里云开发者社区

开发者社区> 【方向】> 正文

pandas指南:做更高效的数据科学家

简介: Python是开源的,所以有很多开源固有的问题。如果你是Python新手,很难知道针对特定任务的包哪个是最好的。你需要有经验的人来告诉你。今天我要告诉你们的是:在数据科学中,有一个软件包是你们绝对需要学习的,那就是pandas。
+关注继续查看

 摘要:Python是开源的,所以有很多开源固有的问题。如果你是Python新手,很难知道针对特定任务的包哪个是最好的。你需要有经验的人来告诉你。今天我要告诉你们的是:在数据科学中,有一个软件包是你们绝对需要学习的,那就是pandas

9d7c74a20d55e1729562d61440de1b893a7563cd 

pandas真正有趣的地方是,很多其他的包也在里面。pandas是一个核心包,因此它具有来自其他各种包的特性。

pandas类似于Python中的Excel:它使用表(即DataFrame)并对数据进行转换,但它还能做更多。

如果你已经熟悉Python,可以直接进入第三部分

现在让我们开始:

import pandas as pd

pandas包最基本的功能

1、读取数据:

data = pd.read_csv('my_file.csv')

data=pd.read_csv('my_file.csv',sep=';',encoding='latin-1',nrows=1000, kiprows=[2,5])

sep变量代表分隔符。因为Excel中的csv分隔符是“;”,因此需要显示它。编码设置为“latin-1”以读取法语字符。nrows=1000表示读取前1000行。skiprows=[2,5]表示在读取文件时将删除第2行和第5行

最常用的函数:read_csv, read_excel

还有一些很不错的函数:read_clipboard、read_sql

2、写入数据

data.to_csv('my_new_file.csv', index=None)

index=None将简单地按原样写入数据。如果你不写index=None,得到额外的行。

我通常不使用其他函数,比如to_excel,to_json,to_pickle,to_csv,虽然它们也做得很好,但是csv是保存表最常用的方法。

3、检查数据:

data.shape

data.describe()

data.head(3)

.head(3)打印数据的前3行.tail()函数将查看数据的最后一行。

data.loc[8]

打印第8行

data.loc[8, 'column_1']

将第8行值打印在“column_1”上

data.loc[range(4,6)]

打印第4行到第6行

pandas初级功能

1、逻辑运算

data[data['column_1']=='french']

data[(data['column_1']=='french') & (data['year_born']==1990)]

data[(data['column_1']=='french')&(data['year_born']==1990)&(data['city']=='London')]

如果根据逻辑操作对数据进行运算,使用& (AND)、~ (NOT)和| (OR)逻辑操作之前和之后添加“(”&“)”。

data[data['column_1'].isin(['french', 'english'])]

不要为同一列编写多个OR,最好是使用.isin()函数

2、基本绘图

多亏了matplotlib包,这个特性才得以实现。就像我们在介绍中说的,它可以直接用在pandas身上。

data['column_numerical'].plot()

e9200f7226b9ce56649d844cf8b1d30ebaaf7e0d 

 1 .plot() 输出示例

data['column_numerical'].hist()

绘制分布图(直方图)

40d05e950692ff91b457d1d686d3f82dc1f7f9c8 

 2 .hist() 函数输出示例

%matplotlib inline

如果你使用Jupyter,在绘图之前,不要忘记写这一行(在代码中只写一次)

3、更新数据

data.loc[8, 'column_1'] = 'english'

' column_1 '的第8行值替换为' english '

data.loc[data['column_1']=='french', 'column_1'] = 'French'

在一行中更改多行值

3、pandas的中级功能

现在你可以做一些在Excel中很容易做的事情。让我们来挖掘一些在Excel中做不到的神奇事情。

1、计算功能

data['column_1'].value_counts()

a7fbd11131c9be7513bd4d761c7d3442bd2b8fe2 

 3 .value_counts() 输出示例

2、对全行、列或所有数据的操作

data['column_1'].map(len)

len()函数应用于“column_1”的每个元素

map()操作将一个函数应用于列的每个元素。

data['column_1'].map(len).map(lambda x : x/100).plot()

pandas一个特点是进行链式操作。它可以帮助你在一行代码中执行多个操作,从而更加简单和高效

data.apply(sum)

.apply()将函数应用于列。

.applymap()将一个函数应用于表(DataFrame)中的所有单元格。

3、tqdm包

在处理大型数据集时,pandas可能需要一些时间来运行.map()、.apply()、.applymap()操作。tqdm是一个非常有用的包,它可以帮助预测这些操作何时完成。

from tqdm import tqdm_notebook

tqdm_notebook().pandas()

pandas设置tqdm

data['column_1'].progress_map(lambda x : x.count('e'))

.map()替换为.progress_map(),.apply()和.applymap()也是一样

96d484d4f3e44422b9f242aec89895cd23fe6649 

这是你在Jupyter上看到的的进度条

4、相关矩阵和散射矩阵


data.corr()

data.corr().applymap(lambda x : int(x*100)/100)


796e8481a0ef681e5409cbf165954e02e6f77c0a 

 5.corr() 函数会得到相关矩阵

pd.plotting.scatter_matrix(data, figsize=(12,8))

4a193f000c4a4d92e67b364b8b56af2a5142767a 

 6散射矩阵的例子,它绘制同一图表中两列的所有组合

pandas的高级功能

1、行列合并

pandas中,行列合并非常简单。

data.merge(other_data, on=['column_1', 'column_2', 'column_3'])

合并3列只需要一行代码

2、分组

分组一开始并不简单,但是如果掌握其语法,你将发现这非常简单。

data.groupby('column_1')['column_2'].apply(sum).reset_index()

按列分组,选择要在其上操作函数的另一列。reset_index()将数据重新生成DataFrame(表)

243bb6119a730b30267f378e4b64481c0865a97a 

 7使用式操作,只需一行代码

3、遍历行

dictionary = {}

for i,row in data.iterrows():

dictionary[row['column_1']] = row['column_2']

iterrows()循环两个变量:行索引和行(上面代码中的i和row)。

 

总体来说,pandas是一个帮助数据科学家快速阅读和理解数据的工具包,它也可以说Python如此优秀的原因之一我还可以展示pandas包其他有趣的特点,但以上所述足以让人理解为什么数据科学家离不开pandas包。总之,pandas包有以下特点:

1、 简单易用,隐藏了所有复杂和抽象的计算;

2、非常直观;

3、快速。


本文由阿里云云栖社区组织翻译。

文章原标题《Be a more efficient data scientist, master pandas with this guide

》,译者:黄小凡,审校:袁虎。

文章简译,更为详细的内容,请查看原文

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
如何通过多个id查询多条数据
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_36367789/article/details/77995822 ...
883 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10062 0
美国国防部的大数据安全战略
棱镜门事件以来,NSA的全球监控行为遭到各国政府和人民的谴责,但美国情报部门所展现的大数据和信息安全技术实力也成为各国政府甚至一流IT企业为之“艳羡”的对象。   NSA为代表的美国国家安全和情报机构不但在信息安全技术上领先业界数年,而且在大数据采集、处理和分析技术上也让大数据技术厂商们“惊艳”。
1334 0
超详攻略!Databricks 数据洞察 - 企业级全托管 Spark 大数据分析平台及案例分析
5分钟读懂 Databricks 数据洞察 ~ 更多详细信息可登录 Databricks 数据洞察 产品链接:https://www.aliyun.com/product/bigdata/spark(当前产品提供¥599首购试用活动,欢迎试用!)
1115 0
pandas指南:做更高效的数据科学家
Python是开源的,所以有很多开源固有的问题。如果你是Python新手,很难知道针对特定任务的包哪个是最好的。你需要有经验的人来告诉你。今天我要告诉你们的是:在数据科学中,有一个软件包是你们绝对需要学习的,那就是pandas。
2047 0
日志服务数据加工最佳实践: 解析syslog各种标准格式
本篇介绍日志服务数据加工最佳实践: 解析syslog各种标准格式的整体结构, 覆盖RFC524, RFC3164以及RSyslog的标准配置格式: TraditionalFormat, FileFormat, RSYSLOG_SyslogProtocol23Format, RSYSLOG_Debug.
1490 0
通过改写算法获得数据结构学习的更佳效果
【事件】   某名数据结构基础网络学员在“单链表的基本算法”部分连问两个问题: 老师,我while语句里面j<i-1改为j<i,else里面直接q=p可以么? 老师,你这样万一刚好q->next==NULL呢,这样没影响吧?   我的“即时”回答,也已经是10个小时之后了,我不知道他看到解答后,状态还在不在。另外,这种问题,并非是可以、不
856 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13875 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
11888 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
7361 0
+关注
【方向】
欢迎各位对内容方向及质量提需求,我们尽量满足,将国外优质的内容呈现给大家!
707
文章
5
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载