DataFrame 与内置数据结构的相互转换

简介: DataFrame 与内置数据结构的相互转换


楔子



pandas 支持我们从 Excel、CSV、数据库等不同数据源当中读取数据,来构建 DataFrame。但有时数据并不来自这些外部数据源,而是来自一个已经存在的 Python 数据结构,比如列表、字典等等。

同理当需要导出 DataFrame 时,也不一定非要写到外部文件里,而是希望生成字典或者列表,那么这个时候该怎么做呢?

所以这就涉及到了 DataFrame 和 Python 内置数据结构之间的相互转换,下面来介绍一些最佳实践,你可以根据实际情况进行选择。


DataFrame 转成内置数据结构



假设有这样一个 DataFrame:

import pandas as pd
df = pd.DataFrame({"name": ["Satori", "Koishi", "Marisa"],
                   "score": [99, 98, 100],
                   "rank": [2, 3, 1]})
print(df)
"""
     name  score  rank
0  Satori     99     2
1  Koishi     98     3
2  Marisa    100     1
"""

那么看看 DataFrame 都提供了哪些方法,以及在转成内置数据结构之后是什么样子?

df.to_records()

将 DataFrame 转成 Numpy 的数组,数组里面是一个个的元组

print(df.to_records())
"""
[(0, 'Satori',  99, 2) (1, 'Koishi',  98, 3) (2, 'Marisa', 100, 1)]
"""
# 返回的时候将索引也带上了,我们可以去掉
print(df.to_records(index=False))
"""
[('Satori',  99, 2) ('Koishi',  98, 3) ('Marisa', 100, 1)]
"""
# df.to_records 返回的是 numpy 的数组,可以再转成列表
print(df.to_records(index=False).tolist())
"""
[('Satori', 99, 2), ('Koishi', 98, 3), ('Marisa', 100, 1)]
"""

这种数据结构还是很常见的,在工作中经常会用到。但唯一不好的是,字段信息丢失了。

df.to_dict()

将 DataFrame 转成 Python 的字典。

# 返回 Python 的字典,key 是字段名,value 是对应的每一列
print(df.to_dict())
"""
{'name': {0: 'Satori', 1: 'Koishi', 2: 'Marisa'},
 'rank': {0: 2, 1: 3, 2: 1},
 'score': {0: 99, 1: 98, 2: 100}}
"""
# 但这里的 value 有一些问题,就是它把索引也包含在里面了
# 我们可以去掉它
print(
    {k: tuple(v.values()) for k, v in df.to_dict().items()}
)
"""
{'name': ('Satori', 'Koishi', 'Marisa'),
 'rank': (2, 3, 1),
 'score': (99, 98, 100)}
"""
# 当然啦,to_dict() 还可以手动实现
print(
    {col: tuple(df[col]) for col in df.columns}
)
"""
{'name': ('Satori', 'Koishi', 'Marisa'),
 'rank': (2, 3, 1),
 'score': (99, 98, 100)}
"""

这种格式的数据用的就不多了,用得更多的是下一种。

df.to_dict(orient="records")

将 DataFrame 转成 Python 的列表,列表里面是一个个的字典,每个字典代表数据的每一行。

print(df.to_dict(orient="records"))
"""
[{'name': 'Satori', 'rank': 2, 'score': 99},
 {'name': 'Koishi', 'rank': 3, 'score': 98},
 {'name': 'Marisa', 'rank': 1, 'score': 100}]
"""

个人觉得这种数据结构应该用得最多。

DataFrame 生成的数据还有其它格式,这里就不赘述了,常用的就是上面几种。


内置数据结构转成 DataFrame



内置数据结构转成 DataFrame,我们也来介绍几个最常用的场景。

import pandas as pd
data = [{'name': 'Satori', 'rank': 2, 'score': 99},
        {'name': 'Koishi', 'rank': 3, 'score': 98},
        {'name': 'Marisa', 'rank': 1, 'score': 100}]
# 对于这种数据,可以通过 DataFrame 的 from_records 方法
# 列表里的字典代表了 DataFrame 的每一行,每个字典都具有相同的 key
# 而这些 key 则表示 DataFrame 的列
print(pd.DataFrame.from_records(data))
"""
     name  rank  score
0  Satori     2     99
1  Koishi     3     98
2  Marisa     1    100
"""
# 或者更简单的,直接调用 pd.DataFrame 即可
print(pd.DataFrame(data))
"""
     name  rank  score
0  Satori     2     99
1  Koishi     3     98
2  Marisa     1    100
"""
# 如果列表里面的字典,不具备相同的 key,会怎么样呢?
data[2]["length"] = 155
print(pd.DataFrame(data))
"""
     name  rank  score  length
0  Satori     2     99     NaN
1  Koishi     3     98     NaN
2  Marisa     1    100   155.0
"""
# 很简单,会将所有的 key 都考虑在内
# 如果某一行没有指定的 key,那么对应的值就是空

当然数据也可能是这种格式:

import pandas as pd
data = {'2020-01-01': {'name': 'Satori', 'rank': 2, 'score': 99},
        '2020-01-02': {'name': 'Koishi', 'rank': 3, 'score': 98},
        '2020-01-03': {'name': 'Marisa', 'rank': 1, 'score': 100}}
print(pd.DataFrame.from_dict(data, orient="index"))
"""
              name  rank  score
2020-01-01  Satori     2     99
2020-01-02  Koishi     3     98
2020-01-03  Marisa     1    100
"""

最后一种:

import pandas as pd
data = {'name': ['Satori', 'Koishi', 'Marisa'],
        'rank': [2, 3, 1],
        'score': [99, 98, 100]}
# 直接调用 DataFrame 即可
print(pd.DataFrame(data))
"""
     name  rank  score
0  Satori     2     99
1  Koishi     3     98
2  Marisa     1    100
"""

以上就是本文的内容,比较简单。并且相关函数的具体用法,也没有详细说明,只是从工作角度介绍了一些最佳实践。更多内容,可以查看 pandas 的注释。

相关文章
|
C语言
【数据结构】栈和队列(c语言实现)(附源码)
本文介绍了栈和队列两种数据结构。栈是一种只能在一端进行插入和删除操作的线性表,遵循“先进后出”原则;队列则在一端插入、另一端删除,遵循“先进先出”原则。文章详细讲解了栈和队列的结构定义、方法声明及实现,并提供了完整的代码示例。栈和队列在实际应用中非常广泛,如二叉树的层序遍历和快速排序的非递归实现等。
1028 9
|
存储 算法
非递归实现后序遍历时,如何避免栈溢出?
后序遍历的递归实现和非递归实现各有优缺点,在实际应用中需要根据具体的问题需求、二叉树的特点以及性能和空间的限制等因素来选择合适的实现方式。
291 59
|
6月前
|
编译器 C语言 C++
栈区的非法访问导致的死循环(x64)
这段内容主要分析了一段C语言代码在VS2022中形成死循环的原因,涉及栈区内存布局和数组越界问题。代码中`arr[15]`越界访问,修改了变量`i`的值,导致`for`循环条件始终为真,形成死循环。原因是VS2022栈区从低地址到高地址分配内存,`arr`数组与`i`相邻,`arr[15]`恰好覆盖`i`的地址。而在VS2019中,栈区先分配高地址再分配低地址,因此相同代码表现不同。这说明编译器对栈区内存分配顺序的实现差异会导致程序行为不一致,需避免数组越界以确保代码健壮性。
124 0
栈区的非法访问导致的死循环(x64)
232.用栈实现队列,225. 用队列实现栈
在232题中,通过两个栈(`stIn`和`stOut`)模拟队列的先入先出(FIFO)行为。`push`操作将元素压入`stIn`,`pop`和`peek`操作则通过将`stIn`的元素转移到`stOut`来实现队列的顺序访问。 225题则是利用单个队列(`que`)模拟栈的后入先出(LIFO)特性。通过多次调整队列头部元素的位置,确保弹出顺序符合栈的要求。`top`操作直接返回队列尾部元素,`empty`判断队列是否为空。 两题均仅使用基础数据结构操作,展示了栈与队列之间的转换逻辑。
|
11月前
|
存储 C语言 C++
【C++数据结构——栈与队列】顺序栈的基本运算(头歌实践教学平台习题)【合集】
本关任务:编写一个程序实现顺序栈的基本运算。开始你的任务吧,祝你成功!​ 相关知识 初始化栈 销毁栈 判断栈是否为空 进栈 出栈 取栈顶元素 1.初始化栈 概念:初始化栈是为栈的使用做准备,包括分配内存空间(如果是动态分配)和设置栈的初始状态。栈有顺序栈和链式栈两种常见形式。对于顺序栈,通常需要定义一个数组来存储栈元素,并设置一个变量来记录栈顶位置;对于链式栈,需要定义节点结构,包含数据域和指针域,同时初始化栈顶指针。 示例(顺序栈): 以下是一个简单的顺序栈初始化示例,假设用C语言实现,栈中存储
515 77
|
10月前
|
算法 调度 C++
STL——栈和队列和优先队列
通过以上对栈、队列和优先队列的详细解释和示例,希望能帮助读者更好地理解和应用这些重要的数据结构。
239 11
|
10月前
|
DataX
☀☀☀☀☀☀☀有关栈和队列应用的oj题讲解☼☼☼☼☼☼☼
### 简介 本文介绍了三种数据结构的实现方法:用两个队列实现栈、用两个栈实现队列以及设计循环队列。具体思路如下: 1. **用两个队列实现栈**: - 插入元素时,选择非空队列进行插入。 - 移除栈顶元素时,将非空队列中的元素依次转移到另一个队列,直到只剩下一个元素,然后弹出该元素。 - 判空条件为两个队列均为空。 2. **用两个栈实现队列**: - 插入元素时,选择非空栈进行插入。 - 移除队首元素时,将非空栈中的元素依次转移到另一个栈,再将这些元素重新放回原栈以保持顺序。 - 判空条件为两个栈均为空。
|
11月前
|
存储 C++ 索引
【C++数据结构——栈与队列】环形队列的基本运算(头歌实践教学平台习题)【合集】
【数据结构——栈与队列】环形队列的基本运算(头歌实践教学平台习题)【合集】初始化队列、销毁队列、判断队列是否为空、进队列、出队列等。本关任务:编写一个程序实现环形队列的基本运算。(6)出队列序列:yzopq2*(5)依次进队列元素:opq2*(6)出队列序列:bcdef。(2)依次进队列元素:abc。(5)依次进队列元素:def。(2)依次进队列元素:xyz。开始你的任务吧,祝你成功!(4)出队一个元素a。(4)出队一个元素x。
425 13
【C++数据结构——栈与队列】环形队列的基本运算(头歌实践教学平台习题)【合集】
|
11月前
|
存储 C语言 C++
【C++数据结构——栈与队列】链栈的基本运算(头歌实践教学平台习题)【合集】
本关任务:编写一个程序实现链栈的基本运算。开始你的任务吧,祝你成功!​ 相关知识 初始化栈 销毁栈 判断栈是否为空 进栈 出栈 取栈顶元素 初始化栈 概念:初始化栈是为栈的使用做准备,包括分配内存空间(如果是动态分配)和设置栈的初始状态。栈有顺序栈和链式栈两种常见形式。对于顺序栈,通常需要定义一个数组来存储栈元素,并设置一个变量来记录栈顶位置;对于链式栈,需要定义节点结构,包含数据域和指针域,同时初始化栈顶指针。 示例(顺序栈): 以下是一个简单的顺序栈初始化示例,假设用C语言实现,栈中存储整数,最大
225 9
|
11月前
|
C++
【C++数据结构——栈和队列】括号配对(头歌实践教学平台习题)【合集】
【数据结构——栈和队列】括号配对(头歌实践教学平台习题)【合集】(1)遇到左括号:进栈Push()(2)遇到右括号:若栈顶元素为左括号,则出栈Pop();否则返回false。(3)当遍历表达式结束,且栈为空时,则返回true,否则返回false。本关任务:编写一个程序利用栈判断左、右圆括号是否配对。为了完成本关任务,你需要掌握:栈对括号的处理。(1)遇到左括号:进栈Push()开始你的任务吧,祝你成功!测试输入:(()))
240 7

热门文章

最新文章