像Excel一样使用python进行数据分析-(2)

简介:

Excel是数据分析中最常用的工具,本篇文章通过python与excel的功能对比介绍如何使用python通过函数式编程完成excel中的数据处理及分析工作。在Python中pandas库用于数据处理,我们从1787页的pandas官网文档中总结出最常用的36个函数,通过这些函数介绍如何通过python完成数据生成和导入,数据清洗,预处理,以及最常见的数据分类,数据筛选,分类汇总,透视等最常见的操作。

1.数据预处理

这部分是数据的预处理,对清洗完的数据进行整理以便后期的统计和分析工作。主要包括数据表的合并,排序,数值分列,数据分组及标记等工作。

数据表合并

首先是对不同的数据表进行合并,我们这里创建一个新的数据表df1,并将df和df1两个数据表进行合并。在Excel中没有直接完成数据表合并的功能,可以通过VLOOKUP函数分步实现。在python中可以通过merge函数一次性实现。下面建立df1数据表,用于和df数据表进行合并。


 
 
  1. #创建df1数据表 
  2. df1=pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006,1007,1008], 
  3. "gender":['male','female','male','female','male','female','male','female'], 
  4. "pay":['Y','N','Y','Y','N','Y','N','Y',], 
  5. "m-point":[10,12,20,40,40,40,30,20]}) 

像Excel一样使用python进行数据分析-(2)

使用merge函数对两个数据表进行合并,合并的方式为inner,将两个数据表中共有的数据匹配到一起生成新的数据表。并命名为df_inner。


 
 
  1. #数据表匹配合并,inner模式 
  2. df_inner=pd.merge(df,df1,how='inner'

像Excel一样使用python进行数据分析-(2)

除了inner方式以外,合并的方式还有left,right和outer方式。这几种方式的差别在我其他的文章中有详细的说明和对比。


 
 
  1. #其他数据表匹配模式 
  2. df_left=pd.merge(df,df1,how='left'
  3. df_right=pd.merge(df,df1,how='right'
  4. df_outer=pd.merge(df,df1,how='outer'

设置索引列

完成数据表的合并后,我们对df_inner数据表设置索引列,索引列的功能很多,可以进行数据提取,汇总,也可以进行数据筛选等。

设置索引的函数为set_index。


 
 
  1. #设置索引列 
  2. df_inner.set_index('id'

像Excel一样使用python进行数据分析-(2)

排序(按索引,按数值)

Excel中可以通过数据目录下的排序按钮直接对数据表进行排序,比较简单。Python中需要使用ort_values函数和sort_index函数完成排序。

像Excel一样使用python进行数据分析-(2)

在python中,既可以按索引对数据表进行排序,也可以看制定列的数值进行排序。首先我们按age列中用户的年龄对数据表进行排序。

使用的函数为sort_values。


 
 
  1. #按特定列的值排序 
  2. df_inner.sort_values(by=['age']) 

像Excel一样使用python进行数据分析-(2)

Sort_index函数用来将数据表按索引列的值进行排序。


 
 
  1. #按索引列排序 
  2. df_inner.sort_index() 

像Excel一样使用python进行数据分析-(2)

数据分组

Excel中可以通过VLOOKUP函数进行近似匹配来完成对数值的分组,或者使用“数据透视表”来完成分组。相应的 python中使用where函数完成数据分组。

Where函数用来对数据进行判断和分组,下面的代码中我们对price列的值进行判断,将符合条件的分为一组,不符合条件的分为另一组,并使用group字段进行标记。


 
 
  1. #如果price列的值>3000,group列显示high,否则显示low 
  2. df_inner['group'] = np.where(df_inner['price'] > 3000,'high','low'

像Excel一样使用python进行数据分析-(2)

除了where函数以外,还可以对多个字段的值进行判断后对数据进行分组,下面的代码中对city列等于beijing并且price列大于等于4000的数据标记为1。


 
 
  1. #对复合多个条件的数据进行分组标记 
  2. df_inner.loc[(df_inner['city'] == 'beijing') & (df_inner['price'] >= 4000), 'sign']=1 

像Excel一样使用python进行数据分析-(2)

数据分列

与数据分组相反的是对数值进行分列,Excel中的数据目录下提供“分列”功能。在python中使用split函数实现分列。

像Excel一样使用python进行数据分析-(2)

在数据表中category列中的数据包含有两个信息,前面的数字为类别id,后面的字母为size值。中间以连字符进行连接。我们使用split函数对这个字段进行拆分,并将拆分后的数据表匹配回原数据表中。


 
 
  1. #对category字段的值依次进行分列,并创建数据表,索引值为df_inner的索引列,列名称为category和size 
  2. pd.DataFrame((x.split('-'for x in df_inner['category']),index=df_inner.index,columns=['category','size']) 

像Excel一样使用python进行数据分析-(2)


 
 
  1. #将完成分列后的数据表与原df_inner数据表进行匹配 
  2. df_inner=pd.merge(df_inner,split,right_index=True, left_index=True

像Excel一样使用python进行数据分析-(2)

2.数据提取

第五部分是数据提取,也是数据分析中最常见的一个工作。这部分主要使用三个函数,loc,iloc和ix,loc函数按标签值进行提取,iloc按位置进行提取,ix可以同时按标签和位置进行提取。下面介绍每一种函数的使用方法。

按标签提取(loc)

Loc函数按数据表的索引标签进行提取,下面的代码中提取了索引列为3的单条数据。


 
 
  1. #按索引提取单行的数值 
  2. df_inner.loc[3] 
  3. id 1004 
  4. date 2013-01-05 00:00:00 
  5. city shenzhen 
  6. category 110-C 
  7. age 32 
  8. price 5433 
  9. gender female 
  10. m-point 40 
  11. pay Y 
  12. group high 
  13. sign NaN 
  14. category_1 110 
  15. size C 
  16. Name: 3, dtype: object 

使用冒号可以限定提取数据的范围,冒号前面为开始的标签值,后面为结束的标签值。下面提取了0到5的数据行。


 
 
  1. #按索引提取区域行数值 
  2. df_inner.loc[0:5] 

像Excel一样使用python进行数据分析-(2)

Reset_index函数用于恢复索引,这里我们重新将date字段的日期设置为数据表的索引,并按日期进行数据提取。


 
 
  1. #重设索引 
  2. df_inner.reset_index() 

像Excel一样使用python进行数据分析-(2)


 
 
  1. #设置日期为索引 
  2. df_inner=df_inner.set_index('date'

像Excel一样使用python进行数据分析-(2)

使用冒号限定提取数据的范围,冒号前面为空表示从0开始。提取所有2013年1月4日以前的数据。


 
 
  1. #提取4日之前的所有数据 
  2. df_inner[:'2013-01-04'

像Excel一样使用python进行数据分析-(2)

按位置提取(iloc)

使用iloc函数按位置对数据表中的数据进行提取,这里冒号前后的数字不再是索引的标签名称,而是数据所在的位置,从0开始。


 
 
  1. #使用iloc按位置区域提取数据 
  2. df_inner.iloc[:3,:2] 

像Excel一样使用python进行数据分析-(2)

iloc函数除了可以按区域提取数据,还可以按位置逐条提取,前面方括号中的0,2,5表示数据所在行的位置,后面方括号中的数表示所在列的位置。


 
 
  1. #使用iloc按位置区域提取数据 
  2. df_inner.iloc[:3,:2] 

像Excel一样使用python进行数据分析-(2)

按标签和位置提取(ix)

ix是loc和iloc的混合,既能按索引标签提取,也能按位置进行数据提取。下面代码中行的位置按索引日期设置,列按位置设置。


 
 
  1. #使用ix按索引标签和位置混合提取数据 
  2. df_inner.ix[:'2013-01-03',:4] 

像Excel一样使用python进行数据分析-(2)

按条件提取(区域和条件值)

除了按标签和位置提起数据以外,还可以按具体的条件进行数据。下面使用loc和isin两个函数配合使用,按指定条件对数据进行提取 。

使用isin函数对city中的值是否为beijing进行判断。


 
 
  1. #判断city列的值是否为beijing 
  2. df_inner['city'].isin(['beijing']) 
  3.  
  4. date 
  5. 2013-01-02 True 
  6. 2013-01-05 False 
  7. 2013-01-07 True 
  8. 2013-01-06 False 
  9. 2013-01-03 False 
  10. 2013-01-04 False 
  11. Name: city, dtype: bool 

将isin函数嵌套到loc的数据提取函数中,将判断结果为Ture数据提取出来。这里我们把判断条件改为city值是否为beijing和 shanghai。如果是就把这条数据提取出来。


 
 
  1. #先判断city列里是否包含beijing和shanghai,然后将复合条件的数据提取出来。 
  2. df_inner.loc[df_inner['city'].isin(['beijing','shanghai'])] 

像Excel一样使用python进行数据分析-(2)

数值提取还可以完成类似数据分列的工作,从合并的数值中提取出制定的数值。


 
 
  1. category=df_inner['category'
  2. 0 100-A 
  3. 3 110-C 
  4. 5 130-F 
  5. 4 210-A 
  6. 1 100-B 
  7. 2 110-A 
  8. Name: category, dtype: object 
  9.  
  10. #提取前三个字符,并生成数据表 
  11. pd.DataFrame(category.str[:3]) 

像Excel一样使用python进行数据分析-(2)

3.数据筛选

第六部分为数据筛选,使用与,或,非三个条件配合大于,小于和等于对数据进行筛选,并进行计数和求和。与excel中的筛选功能和countifs和sumifs功能相似。

按条件筛选(与,或,非)

Excel数据目录下提供了“筛选”功能,用于对数据表按不同的条件进行筛选。Python中使用loc函数配合筛选条件来完成筛选功能。配合sum和count函数还能实现excel中sumif和countif函数的功能。

像Excel一样使用python进行数据分析-(2)

使用“与”条件进行筛选,条件是年龄大于25岁,并且城市为beijing。筛选后只有一条数据符合要求。


 
 
  1. #使用“与”条件进行筛选  
  2. df_inner.loc[(df_inner['age'] > 25) & (df_inner['city'] == 'beijing'), ['id','city','age','category','gender']] 

像Excel一样使用python进行数据分析-(2)

使用“或”条件进行筛选,年龄大于25岁或城市为beijing。筛选后有6条数据符合要求。


 
 
  1. #使用“或”条件筛选 
  2. df_inner.loc[(df_inner['age'] > 25) | (df_inner['city'] == 'beijing'), ['id','city','age','category','gender']].sort 
  3. (['age']) 

像Excel一样使用python进行数据分析-(2)

在前面的代码后增加price字段以及sum函数,按筛选后的结果将price字段值进行求和,相当于excel中sumifs的功能。


 
 
  1. #对筛选后的数据按price字段进行求和 
  2. df_inner.loc[(df_inner['age'] > 25) | (df_inner['city'] == 'beijing'), 
  3. ['id','city','age','category','gender','price']].sort(['age']).price.sum()  
  4. 19796 

使用“非”条件进行筛选,城市不等于beijing。符合条件的数据有4条。将筛选结果按id列进行排序。


 
 
  1. #使用“非”条件进行筛选  
  2. df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].sort(['id']) 

像Excel一样使用python进行数据分析-(2)

在前面的代码后面增加city列,并使用count函数进行计数。相当于excel中的countifs函数的功能。


 
 
  1. #对筛选后的数据按city列进行计数 
  2. df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].sort(['id']).city.count() 

还有一种筛选的方式是用query函数。下面是具体的代码和筛选结果。


 
 
  1. #使用query函数进行筛选 
  2. df_inner.query('city == ["beijing", "shanghai"]'

像Excel一样使用python进行数据分析-(2)

在前面的代码后增加price字段和sum函数。对筛选后的price字段进行求和,相当于excel中的sumifs函数的功能。


 
 
  1. #对筛选后的结果按price进行求和  
  2. df_inner.query('city == ["beijing", "shanghai"]').price.sum()  
  3. 12230 


本文作者:佚名

来源:51CTO

相关文章
|
1月前
|
数据采集 存储 数据挖掘
Python数据分析:Pandas库的高效数据处理技巧
【10月更文挑战第27天】在数据分析领域,Python的Pandas库因其强大的数据处理能力而备受青睐。本文介绍了Pandas在数据导入、清洗、转换、聚合、时间序列分析和数据合并等方面的高效技巧,帮助数据分析师快速处理复杂数据集,提高工作效率。
64 0
|
27天前
|
Java 测试技术 持续交付
【入门思路】基于Python+Unittest+Appium+Excel+BeautifulReport的App/移动端UI自动化测试框架搭建思路
本文重点讲解如何搭建App自动化测试框架的思路,而非完整源码。主要内容包括实现目的、框架设计、环境依赖和框架的主要组成部分。适用于初学者,旨在帮助其快速掌握App自动化测试的基本技能。文中详细介绍了从需求分析到技术栈选择,再到具体模块的封装与实现,包括登录、截图、日志、测试报告和邮件服务等。同时提供了运行效果的展示,便于理解和实践。
80 4
【入门思路】基于Python+Unittest+Appium+Excel+BeautifulReport的App/移动端UI自动化测试框架搭建思路
|
18天前
|
机器学习/深度学习 数据可视化 数据挖掘
使用Python进行数据分析和可视化
【10月更文挑战第42天】本文将介绍如何使用Python进行数据分析和可视化。我们将从数据导入、清洗、探索性分析、建模预测,以及结果的可视化展示等方面展开讲解。通过这篇文章,你将了解到Python在数据处理和分析中的强大功能,以及如何利用这些工具来提升你的工作效率。
|
27天前
|
机器学习/深度学习 数据采集 数据挖掘
解锁 Python 数据分析新境界:Pandas 与 NumPy 高级技巧深度剖析
Pandas 和 NumPy 是 Python 中不可或缺的数据处理和分析工具。本文通过实际案例深入剖析了 Pandas 的数据清洗、NumPy 的数组运算、结合两者进行数据分析和特征工程,以及 Pandas 的时间序列处理功能。这些高级技巧能够帮助我们更高效、准确地处理和分析数据,为决策提供支持。
40 2
|
27天前
|
图形学 Python
SciPy 空间数据2
凸包(Convex Hull)是计算几何中的概念,指包含给定点集的所有凸集的交集。可以通过 `ConvexHull()` 方法创建凸包。示例代码展示了如何使用 `scipy` 库和 `matplotlib` 绘制给定点集的凸包。
27 1
|
28天前
|
JSON 数据格式 索引
Python中序列化/反序列化JSON格式的数据
【11月更文挑战第4天】本文介绍了 Python 中使用 `json` 模块进行序列化和反序列化的操作。序列化是指将 Python 对象(如字典、列表)转换为 JSON 字符串,主要使用 `json.dumps` 方法。示例包括基本的字典和列表序列化,以及自定义类的序列化。反序列化则是将 JSON 字符串转换回 Python 对象,使用 `json.loads` 方法。文中还提供了具体的代码示例,展示了如何处理不同类型的 Python 对象。
|
28天前
|
数据采集 Web App开发 iOS开发
如何使用 Python 语言的正则表达式进行网页数据的爬取?
使用 Python 进行网页数据爬取的步骤包括:1. 安装必要库(requests、re、bs4);2. 发送 HTTP 请求获取网页内容;3. 使用正则表达式提取数据;4. 数据清洗和处理;5. 循环遍历多个页面。通过这些步骤,可以高效地从网页中提取所需信息。
|
17天前
|
数据采集 数据可视化 数据挖掘
掌握Python数据分析,解锁数据驱动的决策能力
掌握Python数据分析,解锁数据驱动的决策能力
|
25天前
|
并行计算 数据挖掘 大数据
Python数据分析实战:利用Pandas处理大数据集
Python数据分析实战:利用Pandas处理大数据集
|
25天前
|
数据采集 数据可视化 数据挖掘
利用Python进行数据分析:Pandas库实战指南
利用Python进行数据分析:Pandas库实战指南