数据分析Pandas之Series,快速上手

简介: 数据分析Pandas之Series,快速上手

Pandas----数据分析核心工具包

基于Numpy构建,为数据分析而存在

一维数组Serise +二维数组Dataframe(有行和列) (相当于,并不是数组)

可以直接读取数据并处理(高效简单)csv,excel,txt等

兼容各种数据库

支持各种分析算法

1.为什么要学Pandas

Numpy已经能够帮助我们处理数据,能够结合matplotlib解决部分数据展示等问题,那么pandas学习的目的在什么地方呢?

(1)增强图表可读性

  • 回忆我们在numpy当中创建学生成绩表样式:
    返回结果:


如果数据展示为这样,可读性就会更友好:

(2)便捷的数据处理能力

(3)读取文件方便

(4)封装了Matplotlib、Numpy的画图和计算

2.Pandas数据结构Series:基本概念及创建

一维数组Serise

查看pandas版本

pip show pandas

除了使用命令行工具外,还可以在Python代码中使用__version__属性来获取库的版本号。下面是一个示例:

import pandas as pd

print(pd.__version__)

Pandas处理数据都是以表格的方式处理的

(1)安装pandas

pip install pandas

(2)Series 数据结构

Series 是带有标签的一维数组,可以保存任何数据类型(整数,字符串,浮点数,Python对象等),轴标签统称为索引

查看下Series参数

import numpy as np
import pandas as pd  
# 导入numpy、pandas模块

s = pd.Series(np.random.rand(5))
print(s)
print(type(s))

查看数据、数据类型

print(s.index,type(s.index))

print(s.values,type(s.values))

#.index查看series索引,类型为rangeindex 是生成器

#.values查看series值,类型是ndarray

指定索引时:

s.index 是可迭代数据

核心:series相比于ndarray,是一个自带索引index的数组 → 一维数组 + 对应索引

所以当只看series的值的时候,就是一个ndarray 相当于一维数组

series和ndarray较相似,索引切片功能差别不大

series和dict相比,series更像一个有顺序的字典(dict本身不存在顺序),其索引原理与字典相似(一个用key,一个用index)

Serise:属于pandas库,相当于np.array,与list不同的是,Series带有索引index

S1=pd.Series([1,2,3,4,5])

S2=pd.Series([1,2,3,4,5],index=[‘a’,‘s’,‘d’,‘f’,‘g’]) #这是指定索引

当Series没有规定索引时,会自动生成数字索引,可以通过索引获取或更改数据,且索引和数据值之间是相关联的。

前面说到List不能直接做一些复杂的运算,但是Series可以。因此,需要将List转换成Series,这里用一个相关系数做例子

from pandas import Series

#生成两个List

a=[1,2,3,4,5]

b=[8,6,5,3,1]

#列表值转化成Series

S1=Series(a)

S2=Series(b)

#计算相关系数

cor=S1.corr(S2)

print(cor)

-0.9948497511671097

#将Series再转化成List

a1=S1.tolist()

b1=S2.tolist()

3.Series创建方式

(1)Series 创建方法一:由字典创建,字典的key就是index,values就是values

dic = {‘a’:1 ,‘b’:2 , ‘c’:3, ‘4’:4, ‘5’:5}

s = pd.Series(dic)

print(s)

注意:key肯定是字符串,假如values类型不止一个会怎么样? → dic = {‘a’:1 ,‘b’:‘hello’ , ‘c’:3, ‘4’:4, ‘5’:5}

Series转化为字典:

dict1 = s.to_dict()

print(dict1)

Series转化为列表,是将Series的值转化为列表

(2)Series 创建方法二:由数组创建(一维数组)

arr = np.random.randn(5)

s = pd.Series(arr)

print(arr)

print(s)

默认index是从0开始,步长为1的数字


s = pd.Series(arr, index = [‘a’,‘b’,‘c’,‘d’,‘e’],dtype = object)

print(s)

index参数:设置index,长度保持一致,多一个少一个都会报错

dtype参数:设置数值类型


(3)Series 创建方法三:由标量创建

s = pd.Series(10, index = range(4))

print(s)

如果data是标量值,则必须提供索引。该值会重复,来匹配索引的长度


4.Series 名称属性:name

s1 = pd.Series(np.random.randn(5))

print(s1)

print(‘-----’)

s2 = pd.Series(np.random.randn(5),name = ‘test’)

print(s2)


print(s1.name, s2.name,type(s2.name))

name为Series的一个参数,创建一个数组的 名称

.name方法:输出数组的名称,输出格式为str,如果没用定义输出名称,输出为None

s3 = s2.rename(‘hehehe’)

print(s3)

print(s3.name, s2.name)

.rename()重命名一个数组的名称,并且新指向一个数组,原数组不变 重新生成一个数组

5.Pandas数据结构Series:索引

位置下标 / 标签索引 / 切片索引 / 布尔型索引

(1)位置下标,类似序列

s = pd.Series(np.random.rand(5))

print(s)

print(s[0],type(s[0]),s[0].dtype)

print(float(s[0]),type(float(s[0])))

#print(s[-1])

位置下标从0开始

输出结果为numpy.float格式,

可以通过float()函数转换为python float格式

numpy.float与float占用字节不同

s[-1]结果如何? 不支持负索引

(2)标签索引

s = pd.Series(np.random.rand(5), index = [‘a’,‘b’,‘c’,‘d’,‘e’])

print(s)

print(s[‘a’],type(s[‘a’]),s[‘a’].dtype)

针对非数字类型的索引,目前还可以通过下标获取,后续版本估计会废弃,#后续通过s.iloc[]来获取位置索引

方法类似下标索引,用[]表示,内写上index,注意index是字符串 用两个中括号

sci = s[[‘a’,‘b’,‘e’]]

print(sci,type(sci))

如果需要选择多个标签的值,用[[]]来表示(相当于[]中包含一个列表)

多标签索引结果是新的数组

标签所以可以相同,但建议不要这么做

(3)切片索引

s1 = pd.Series(np.random.rand(5))

s2 = pd.Series(np.random.rand(5), index = [‘a’,‘b’,‘c’,‘d’,‘e’])

print(s1[1:4],s1[4]) #这种是前闭后开

print(s2[‘a’:‘c’],s2[‘c’]) #这种是前闭后闭

print(s2[0:3],s2[3]) #非数字下标,以后不能这样写了

print(‘-----’)

注意:用index做切片是末端包含

切片索引

s1 = pd.Series(np.random.rand(5))

s2 = pd.Series(np.random.rand(5), index = [‘a’,‘b’,‘c’,‘d’,‘e’])

print(s1[1:4],s1[4])

print(s2[‘a’:‘c’],s2[‘c’])

print(s2[0:3],s2[3])

print(‘-----’)

#这种方式也不包含

print(s2.iloc[0:3],s2.iloc[2])print(‘-----’)

print(s2[:-1])

print(s2[::2])

下标索引做切片,和list写法一样

(4)布尔型索引

s = pd.Series(np.random.rand(3)*100)

s[4] = None # 添加一个空值

print(s)

bs1 = s > 50

bs2 = s.isnull()

bs3 = s.notnull()

print(bs1, type(bs1), bs1.dtype)

print(bs2, type(bs2), bs2.dtype)

print(bs3, type(bs3), bs3.dtype)

print(‘-----’)

数组做判断之后,返回的是一个由布尔值组成的新的数组

.isnull() / .notnull() 判断是否为空值 (None代表空值,NaN代表有问题的数值,两个都会识别为空值)

print(s[s > 50])

print(s[bs3])

布尔型索引方法:用[判断条件]表示,其中判断条件可以是 一个语句,或者是 一个布尔型数组!


6.Pandas数据结构Series:基本技巧

数据查看 / 重新索引 / 对齐 / 添加、修改、删除值

(1)数据查看

s = pd.Series(np.random.rand(50))

print(s.head(10))

print(s.tail())

.head()查看头部数据

.tail()查看尾部数据

默认查看5条

(2)重新索引reindex

.reindex将会根据索引重新排序,如果当前索引不存在,则引入缺失值

s = pd.Series(np.random.rand(3), index = [‘a’,‘b’,‘c’])

print(s)

s1 = s.reindex([‘c’,‘b’,‘a’,‘d’])print(s1)

#.reindex()中也是写列表

#这里’d’索引不存在,所以值为NaN

s2 = s.reindex([‘c’,‘b’,‘a’,‘d’], fill_value = 0)

print(s2)

#fill_value参数:填充缺失值的值

(3)Series对齐

s1 = pd.Series(np.random.rand(3), index = [‘Jack’,‘Marry’,‘Tom’])

s2 = pd.Series(np.random.rand(3), index = [‘Wang’,‘Jack’,‘Marry’])

print(s1)

print(s2)

print(s1+s2)

Series 和 ndarray 之间的主要区别是,Series 上的操作会根据标签自动对齐

index顺序不会影响数值计算,以标签来计算

空值和任何值计算结果扔为空值

(4)删除:.drop

s = pd.Series(np.random.rand(5), index = list(‘ngjur’))

print(s)

s1 = s.drop(‘n’)

s2 = s.drop([‘g’,‘j’]) #删除多个,就用列表包起来

print(s1)

print(s2)

print(s)

drop 删除元素之后返回副本(inplace=False) 原来的数据不变

如果加上inplace=True ,则原来数据也会被删除

(5)添加

s1 = pd.Series(np.random.rand(5))

s2 = pd.Series(np.random.rand(5), index = list(‘ngjur’))

print(s1)

print(s2)

s1[5] = 100

s2[‘a’] = 100

print(s1)

print(s2)

print(‘-----’)

直接通过下标索引/标签index添加值

s3 = s1.append(s2)

print(s3)

print(s1)

通过.append方法,直接添加一个数组 新版本append不支持了,使用_append代替

.append方法生成一个新的数组,不改变之前的数组

(6)修改

s = pd.Series(np.random.rand(3), index = [‘a’,‘b’,‘c’])

print(s)

s[‘a’] = 100

s[[‘b’,‘c’]] = 200

print(s)

通过索引直接修改,类似序列


相关文章
|
8天前
|
机器学习/深度学习 数据采集 数据挖掘
解锁 Python 数据分析新境界:Pandas 与 NumPy 高级技巧深度剖析
【7月更文挑战第12天】Python的Pandas和NumPy库助力高效数据处理。Pandas用于数据清洗,如填充缺失值和转换类型;NumPy则擅长数组运算,如元素级加法和矩阵乘法。结合两者,可做复杂数据分析和特征工程,如产品平均销售额计算及销售额标准化。Pandas的时间序列功能,如移动平均计算,进一步增强分析能力。掌握这两者高级技巧,能提升数据分析质量和效率。
21 4
|
15天前
|
数据采集 机器学习/深度学习 数据可视化
了解数据科学面试中的Python数据分析重点,包括Pandas(DataFrame)、NumPy(ndarray)和Matplotlib(图表绘制)。
【7月更文挑战第5天】了解数据科学面试中的Python数据分析重点,包括Pandas(DataFrame)、NumPy(ndarray)和Matplotlib(图表绘制)。数据预处理涉及缺失值(dropna(), fillna())和异常值处理。使用describe()进行统计分析,通过Matplotlib和Seaborn绘图。回归和分类分析用到Scikit-learn,如LinearRegression和RandomForestClassifier。
31 3
|
6天前
|
数据采集 数据挖掘 数据处理
Python数据分析加速器:深度挖掘Pandas与NumPy的高级功能
【7月更文挑战第14天】Python的Pandas和NumPy库是数据分析的核心工具。Pandas以其高效的数据处理能力,如分组操作和自定义函数应用,简化了数据清洗和转换。NumPy则以其多维数组和广播机制实现快速数值计算。两者协同工作,如在DataFrame与NumPy数组间转换进行预处理,提升了数据分析的效率和精度。掌握这两者的高级功能是提升数据科学技能的关键。**
12 0
|
8天前
|
数据挖掘 数据处理 决策智能
Python 数据分析工具箱:深挖 Pandas 与 NumPy 高级功能,驱动智能决策
【7月更文挑战第12天】Python的Pandas和NumPy是数据分析的基石。Pandas提供灵活的数据结构如DataFrame,用于高效处理关系型数据,而NumPy则以多维数组和科学计算功能著称。两者结合,支持数据合并(如`pd.merge`)、时间序列分析(`pd.to_datetime`)和高级数组运算。通过掌握它们的高级特性,能提升数据分析效率,应用于各领域,如金融风险评估、市场分析和医疗预测,助力数据驱动的决策。学习和熟练运用Pandas与NumPy是成为出色数据分析师的关键。
|
15天前
|
存储 消息中间件 数据挖掘
Python实时数据分析:利用丰富的库(如Pandas, PySpark, Kafka)进行流处理,涵盖数据获取、预处理、处理、存储及展示。
【7月更文挑战第5天】Python实时数据分析:利用丰富的库(如Pandas, PySpark, Kafka)进行流处理,涵盖数据获取、预处理、处理、存储及展示。示例代码展示了从Kafka消费数据,计算社交媒体活跃度和物联网设备状态,并可视化结果。适用于监控、故障检测等场景。通过学习和实践,提升实时数据分析能力。
29 0
|
15天前
|
数据采集 数据挖掘 大数据
Pandas是Python数据分析的核心库,基于NumPy,提供DataFrame结构处理结构化数据
【7月更文挑战第5天】Pandas是Python数据分析的核心库,基于NumPy,提供DataFrame结构处理结构化数据。它支持缺失值处理(dropna()、fillna())、异常值检测(Z-Score、IQR法)和重复值管理(duplicated()、drop_duplicates())。此外,数据转换包括类型转换(astype())、数据标准化(Min-Max、Z-Score)以及类别编码(get_dummies())。这些功能使得Pandas成为大数据预处理的强大工具。
|
1天前
|
数据采集 机器学习/深度学习 数据挖掘
转换数据,扭转乾坤!Python转换技巧,让你的数据分析如虎添翼!
【7月更文挑战第19天】Python在数据转换中扮演关键角色,借助Pandas库进行数据清洗,如填充缺失值、处理异常值和转换数据类型。数据重塑通过pivot、melt和groupby提供多维度视图。文本数据通过独热编码或标签编码转化为数值。自定义函数解决复杂转换问题,提升数据分析的深度和准确性。掌握这些技巧,能有效挖掘数据价值,助力决策。
16 4
|
10天前
|
机器学习/深度学习 监控 算法
Python数据分析与机器学习在金融风控中的应用
Python数据分析与机器学习在金融风控中的应用
39 12
|
8天前
|
机器学习/深度学习 存储 数据可视化
这份Excel+Python飞速搞定数据分析手册,简直可以让Excel飞起来
微软在 UserVoice 上运营着⼀个反馈论坛,每个⼈都可以在这⾥提交新点⼦供他⼈投票。票数最⾼的功能请求是“将 Python 作为Excel 的⼀门脚本语⾔”,其得票数差不多是第⼆名的两倍。尽管⾃2015 年这个点⼦发布以来并没有什么实质性进展,但在 2020 年年末,Python 之⽗ Guido van Rossum 发布推⽂称“退休太无聊了”,他将会加入微软。此事令 Excel ⽤户重燃希望。我不知道他的举动是否影响了 Excel 和 Python 的集成,但我清楚的是,为何⼈们迫切需要结合 Excel 和 Python 的⼒量,⽽你⼜应当如何从今天开始将两者结合起来。总之,这就是本