【python进阶系列之pandas】数据处理的大佬 pandas之数据结构

简介: 这里是三岁,速学了pandas,怕自己不会用整理了一下资料,有问题的地方或者不对的希望大家多多指出,批评指正!!!由于pandas的内容过多我们就把经常使用的进行解析,其他的我们后续逐步添加

这里是三岁,速学了pandas,怕自己不会用整理了一下资料,有问题的地方或者不对的希望大家多多指出,批评指正!!!

由于pandas的内容过多我们就把经常使用的进行解析,其他的我们后续逐步添加


pandas是基于NumPy开发和改进的,许多地方相通但是更加方便,使用更加简单。

虽然小编对传说中的“牛皮”库完全不了解[无奈],接下来会逐渐更新,感谢大家支持!


参考资料:pandas中文官网


那就开始吧~~~~~


pandas概况



pandas是核心数据分析支持库,传说中的分析数据离不开!

pandas分为一维数据和二维数据(多维数据)


  • 一维数据:Series 带标签的一维同构数组
  • 二维数据:DataFrame 带标签的二维异构表格


安装与使用



安装pandas 在cmd 里面使用pip install pandas进行安装emmm我们顺便加上pip install Numpy让‘父子’团聚,嘻嘻嘻

导入,模块(库)


import pandas as pd
import numpy as np


Series



Series 是带标签的一维数组,可存储整数、浮点数、字符串、Python 对象等类型的数据。轴标签统称为索引。


s = pd.Series(data, index=index)


使用以上代码进行创建Series

index 是轴标签列表,data是数据

其中data也是有脾气的有以下要求(支持以下数据类型)


  • Python 字典
  • 多维数组
  • 标量值(单个的数值)


范例:


s = pd.Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e'])
print(s)
print(s.index)


a -0.466190

b 0.097685

c 1.501163

d -0.051875

e -0.242873

dtype: float64

…………………………

Index([‘a’, ‘b’, ‘c’, ‘d’, ‘e’], dtype=‘object’)


以上例子为轴标签进行指定的,接下来看看没有指定的:


s = pd.Series(np.random.randn(5))
print(s)
print(s.index)


0 0.347845

1 -0.018464

2 0.647092

3 -0.456581

4 0.098459

dtype: float64

…………………………

RangeIndex(start=0, stop=5, step=1)


没有指定的话就会从0开始逐个对标。

话说对字典的处理是怎么完成的?

让我们一起举个‘栗子’看看:


data = {'a': 0., 'b': 1., 'c': 2.}
s = pd.Series(data)
print(s)
print(s.index)


a 0.0

b 1.0

c 2.0

type: float64

…………………………

Index([‘a’, ‘b’, ‘c’], dtype=‘object’)


让我们看看这个例子


data = {'a': 0., 'b': 1., 'c': 2.}
s = pd.Series(data, index={'b', 'a', 'd', 'c'})
print(s)
print(s.index)


d NaN

a 0.0

c 2.0

b 1.0

dtype: float64

………………………

Index([‘d’, ‘a’, ‘c’, ‘b’], dtype=‘object’)


在里面出现了一个特殊的值NaN这个代表了数据的缺失

说完了字典那么标量值呢?

data 是标量值时,必须提供索引。Series 按索引长度重复该标量值。


s = pd.Series(5., index=['a', 'b', 'c', 'd', 'e'])
print(s)
print(s.index)


a 5.0

b 5.0

c 5.0

d 5.0

e 5.0

dtype: float64

…………………………

Index([‘a’, ‘b’, ‘c’, ‘d’, ‘e’], dtype=‘object’)


DataFrame



DataFrame 是由多种类型的列构成的二维标签数据结构,类似于 Excel 、SQL 表,或 Series 对象构成的字典。DataFrame 是最常用的 Pandas 对象,与 Series 一样,DataFrame 支持多种类型的输入数据:

  • 一维 ndarray、列表、字典、Series 字典
  • 二维 numpy.ndarray
  • 结构多维数组或记录多维数组
  • Series
  • DataFrame
    还可以有选择地传递 index(行标签)和 columns(列标签)参数。传递了索引或列,就可以确保生成的 DataFrame 里包含索引或列。


举例看看用字典转换成DataFrame


d = {'one': pd.Series([1., 2., 3.], index=['a', 'b', 'c']),
     'two': pd.Series([1., 2., 3., 4.], index=['a', 'b', 'c', 'd'])}
df = pd.DataFrame(d)
print(df)
print(df.index)
print(df.columns)


one two

a 1.0 1.0

b 2.0 2.0

c 3.0 3.0

d NaN 4.0

……………………

Index([‘a’, ‘b’, ‘c’, ‘d’], dtype=‘object’)

……………………

Index([‘one’, ‘two’], dtype=‘object’)


接下来看看定义了index的数据


d = {'one': pd.Series([1., 2., 3.], index=['a', 'b', 'c']),
     'two': pd.Series([1., 2., 3., 4.], index=['a', 'b', 'c', 'd'])}
df = pd.DataFrame(d, index=['d', 'b', 'a'])
print(df)
print(df.index)
print(df.columns)


one two

d NaN 4.0

b 2.0 2.0

a 1.0 1.0

……………………

Index([‘d’, ‘b’, ‘a’], dtype=‘object’)

……………………

Index([‘one’, ‘two’], dtype=‘object’)


仔细看的会发现没有定义的数据直接就删除了,丝毫没有情面

那么接下来看看columns指定的情况


d = {'one': pd.Series([1., 2., 3.], index=['a', 'b', 'c']),
     'two': pd.Series([1., 2., 3., 4.], index=['a', 'b', 'c', 'd'])}
df = pd.DataFrame(d, columns=['two', 'three'])
print(df)
print(df.index)
print(df.columns)


two three

a 1.0 NaN

b 2.0 NaN

c 3.0 NaN

d 4.0 NaN

……………………

Index([‘a’, ‘b’, ‘c’, ‘d’], dtype=‘object’)

……………………

Index([‘two’, ‘three’], dtype=‘object’)


又是见证奇迹的时刻没有定义的直接就删除了,新出现的直接NaN,代码界的黑寡妇!

问题来了!

这里的数据都是字典里面的用Series来表示的那么我们也没有什么办法用其他方法来表示呢?

让我们一起来看看


d = {'one': [1., 2., 3., 4.],
     'two': [5., 6., 7., 8.]}
df = pd.DataFrame(d)
print(df)
print(df.index)
print(df.columns)


one two

0 1.0 5.0

1 2.0 6.0

2 3.0 7.0

3 4.0 8.0

……………………

RangeIndex(start=0, stop=4, step=1)

……………………

Index([‘one’, ‘two’], dtype=‘object’)


我们用字典嵌套列表也是可以的但是要注意,每一项要对齐,不能够有缺失不然就会报错


d = {'one': [1., 2., 3.],
     'two': [5., 6., 7., 8.]}
df = pd.DataFrame(d)
print(df)
print(df.index)
print(df.columns)


raise ValueError(“arrays must all be same length”)

ValueError: arrays must all be same length


同理我们也可以使用index=[……]对index进行定义。此处就不演示了。

接下去使用列表嵌套字典进行处理


d = [{'a': 1, 'b': 2}, {'a': 5, 'b': 10, 'c': 20}]
df = pd.DataFrame(d)
print(df)
print(df.index)
print(df.columns)


a b c

0 1 2 NaN

1 5 10 20.0

……………………

RangeIndex(start=0, stop=2, step=1)

……………………

Index([‘a’, ‘b’, ‘c’], dtype=‘object’)


一样通过设置index来修改index的值


pd.DataFrame(d, index=['first', 'second'])


a b c

first 1 2 NaN

second 5 10 20.0


此处还有许多类型例如元组和字典的嵌套,字典和字典的嵌套,多维数组等等然后可以生成二维,三维,四维……多维的数据,里面需要认真理解,多加练习。

那么pandas的数据结构SeriesDataFrame就先告一段落啦!

记得关注三岁哟!

目录
相关文章
|
1天前
|
Python
python pandas学习(一)
该代码段展示了四个主要操作:1) 删除指定列名,如商品id;2) 使用正则表达式模糊匹配并删除列,例如匹配订单商品名称1的列;3) 将毫秒级时间戳转换为带有时区调整的日期时间格式,并增加8小时以适应本地时区;4) 将列表转换为DataFrame后保存为Excel文件,文件路径和名称根据变量拼接而成。
12 3
|
1月前
|
存储 数据挖掘 数据处理
Python Pandas入门:行与列快速上手与优化技巧
Pandas是Python中强大的数据分析库,广泛应用于数据科学和数据分析领域。本文为初学者介绍Pandas的基本操作,包括安装、创建DataFrame、行与列的操作及优化技巧。通过实例讲解如何选择、添加、删除行与列,并提供链式操作、向量化处理、索引优化等高效使用Pandas的建议,帮助用户在实际工作中更便捷地处理数据。
47 2
|
2月前
|
存储 缓存 监控
局域网屏幕监控系统中的Python数据结构与算法实现
局域网屏幕监控系统用于实时捕获和监控局域网内多台设备的屏幕内容。本文介绍了一种基于Python双端队列(Deque)实现的滑动窗口数据缓存机制,以处理连续的屏幕帧数据流。通过固定长度的窗口,高效增删数据,确保低延迟显示和存储。该算法适用于数据压缩、异常检测等场景,保证系统在高负载下稳定运行。 本文转载自:https://www.vipshare.com
132 66
|
2月前
|
存储 运维 监控
探索局域网电脑监控软件:Python算法与数据结构的巧妙结合
在数字化时代,局域网电脑监控软件成为企业管理和IT运维的重要工具,确保数据安全和网络稳定。本文探讨其背后的关键技术——Python中的算法与数据结构,如字典用于高效存储设备信息,以及数据收集、异常检测和聚合算法提升监控效率。通过Python代码示例,展示了如何实现基本监控功能,帮助读者理解其工作原理并激发技术兴趣。
70 20
|
2月前
|
存储 数据挖掘 索引
Pandas数据结构:Series与DataFrame
本文介绍了 Python 的 Pandas 库中两种主要数据结构 `Series` 和 ``DataFrame`,从基础概念入手,详细讲解了它们的创建、常见问题及解决方案,包括数据缺失处理、数据类型转换、重复数据删除、数据筛选、排序、聚合和合并等操作。同时,还提供了常见报错及解决方法,帮助读者更好地理解和使用 Pandas 进行数据分析。
161 10
|
2月前
|
存储 数据挖掘 数据处理
掌握Pandas核心数据结构:Series与DataFrame的四种创建方式
本文介绍了 Pandas 库中核心数据结构 Series 和 DataFrame 的四种创建方法,包括从列表、字典、标量和 NumPy 数组创建 Series,以及从字典、列表的列表、NumPy 数组和 Series 字典创建 DataFrame,通过示例详细说明了每种创建方式的具体应用。
212 67
|
3月前
|
数据采集 存储 算法
Python 中的数据结构和算法优化策略
Python中的数据结构和算法如何进行优化?
|
3月前
|
存储 开发者 索引
Python 中常见的数据结构
这些数据结构各有特点和适用场景,在不同的编程任务中发挥着重要作用。开发者需要根据具体需求选择合适的数据结构,以提高程序的效率和性能
151 59
|
3月前
|
存储 算法 搜索推荐
Python 中数据结构和算法的关系
数据结构是算法的载体,算法是对数据结构的操作和运用。它们共同构成了计算机程序的核心,对于提高程序的质量和性能具有至关重要的作用
111 33
|
3月前
|
存储 开发者 Python
Python 中的数据结构与其他编程语言数据结构的区别
不同编程语言都有其设计理念和应用场景,开发者需要根据具体需求和语言特点来选择合适的数据结构
119 55

推荐镜像

更多