Pandas 数据结构 - DataFrame

简介: 10月更文挑战第26天

DataFrame 是 Pandas 中的另一个核心数据结构,用于表示二维表格型数据。

DataFrame 是一个表格型的数据结构,它含有一组有序的列,每列可以是不同的值类型(数值、字符串、布尔型值)。

DataFrame 既有行索引也有列索引,它可以被看做由 Series 组成的字典(共同用一个索引)。

DataFrame 提供了各种功能来进行数据访问、筛选、分割、合并、重塑、聚合以及转换等操作。

DataFrame 特点:

  • 二维结构: DataFrame 是一个二维表格,可以被看作是一个 Excel 电子表格或 SQL 表,具有行和列。可以将其视为多个 Series 对象组成的字典。
  • 列的数据类型: 不同的列可以包含不同的数据类型,例如整数、浮点数、字符串或 Python 对象等。
  • 索引DataFrame 可以拥有行索引和列索引,类似于 Excel 中的行号和列标。
  • 大小可变:可以添加和删除列,类似于 Python 中的字典。
  • 自动对齐:在进行算术运算或数据对齐操作时,DataFrame 会自动对齐索引。
  • 处理缺失数据DataFrame 可以包含缺失数据,Pandas 使用 NaN(Not a Number)来表示。
  • 数据操作:支持数据切片、索引、子集分割等操作。
  • 时间序列支持DataFrame 对时间序列数据有特别的支持,可以轻松地进行时间数据的切片、索引和操作。
  • 丰富的数据访问功能:通过 .loc.iloc.query() 方法,可以灵活地访问和筛选数据。
  • 灵活的数据处理功能:包括数据合并、重塑、透视、分组和聚合等。
  • 数据可视化:虽然 DataFrame 本身不是可视化工具,但它可以与 Matplotlib 或 Seaborn 等可视化库结合使用,进行数据可视化。
  • 高效的数据输入输出:可以方便地读取和写入数据,支持多种格式,如 CSV、Excel、SQL 数据库和 HDF5 格式。
  • 描述性统计:提供了一系列方法来计算描述性统计数据,如 .describe().mean().sum() 等。
  • 灵活的数据对齐和集成:可以轻松地与其他 DataFrameSeries 对象进行合并、连接或更新操作。
  • 转换功能:可以对数据集中的值进行转换,例如使用 .apply() 方法应用自定义函数。
  • 滚动窗口和时间序列分析:支持对数据集进行滚动窗口统计和时间序列分析。

DataFrame 构造方法如下:

pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)

参数说明:

  • data:DataFrame 的数据部分,可以是字典、二维数组、Series、DataFrame 或其他可转换为 DataFrame 的对象。如果不提供此参数,则创建一个空的 DataFrame。
  • index:DataFrame 的行索引,用于标识每行数据。可以是列表、数组、索引对象等。如果不提供此参数,则创建一个默认的整数索引。
  • columns:DataFrame 的列索引,用于标识每列数据。可以是列表、数组、索引对象等。如果不提供此参数,则创建一个默认的整数索引。
  • dtype:指定 DataFrame 的数据类型。可以是 NumPy 的数据类型,例如 np.int64np.float64 等。如果不提供此参数,则根据数据自动推断数据类型。
  • copy:是否复制数据。默认为 False,表示不复制数据。如果设置为 True,则复制输入的数据。

Pandas DataFrame 是一个二维的数组结构,类似二维数组。

实例 - 使用列表创建

import pandas as pd


data = [['Google', 10], ['Runoob', 12], ['Wiki', 13]]


# 创建DataFrame

df = pd.DataFrame(data, columns=['Site', 'Age'])


# 使用astype方法设置每列的数据类型

df['Site'] = df['Site'].astype(str)

df['Age'] = df['Age'].astype(float)


print(df)

也可以使用字典来创建:

实例 - 使用字典创建

import pandas as pd


data = {'Site':['Google', 'Runoob', 'Wiki'], 'Age':[10, 12, 13]}


df = pd.DataFrame(data)


print (df)

输出结果如下:

以下实例使用 ndarrays 创建,ndarray 的长度必须相同, 如果传递了 index,则索引的长度应等于数组的长度。如果没有传递索引,则默认情况下,索引将是range(n),其中n是数组长度。

ndarrays 可以参考:NumPy Ndarray 对象

实例 - 使用 ndarrays 创建

import numpy as np

import pandas as pd


# 创建一个包含网站和年龄的二维ndarray

ndarray_data = np.array([

   ['Google', 10],

   ['Runoob', 12],

   ['Wiki', 13]

])


# 使用DataFrame构造函数创建数据帧

df = pd.DataFrame(ndarray_data, columns=['Site', 'Age'])


# 打印数据帧

print(df)

输出结果如下:

从以上输出结果可以知道, DataFrame 数据类型一个表格,包含 rows(行) 和 columns(列):

还可以使用字典(key/value),其中字典的 key 为列名:

实例 - 使用字典创建

import pandas as pd


data = [{'a': 1, 'b': 2},{'a': 5, 'b': 10, 'c': 20}]


df = pd.DataFrame(data)


print (df)

输出结果为:

  a   b     c

0  1   2   NaN

1  5  10  20.0

没有对应的部分数据为 NaN

Pandas 可以使用 loc 属性返回指定行的数据,如果没有设置索引,第一行索引为 0,第二行索引为 1,以此类推:

实例

import pandas as pd


data = {

 "calories": [420, 380, 390],

 "duration": [50, 40, 45]

}


# 数据载入到 DataFrame 对象

df = pd.DataFrame(data)


# 返回第一行

print(df.loc[0])

# 返回第二行

print(df.loc[1])

输出结果如下:

calories    420

duration     50

Name: 0, dtype: int64

calories    380

duration     40

Name: 1, dtype: int64

注意:返回结果其实就是一个 Pandas Series 数据。

也可以返回多行数据,使用 [[ ... ]] 格式,... 为各行的索引,以逗号隔开:

实例

import pandas as pd


data = {

 "calories": [420, 380, 390],

 "duration": [50, 40, 45]

}


# 数据载入到 DataFrame 对象

df = pd.DataFrame(data)


# 返回第一行和第二行

print(df.loc[[0, 1]])

输出结果为:

  calories  duration

0       420        50

1       380        40

注意:返回结果其实就是一个 Pandas DataFrame 数据。

我们可以指定索引值,如下实例:

实例

import pandas as pd


data = {

 "calories": [420, 380, 390],

 "duration": [50, 40, 45]

}


df = pd.DataFrame(data, index = ["day1", "day2", "day3"])


print(df)

输出结果为:

     calories  duration

day1       420        50

day2       380        40

day3       390        45

Pandas 可以使用 loc 属性返回指定索引对应到某一行:

实例

import pandas as pd


data = {

 "calories": [420, 380, 390],

 "duration": [50, 40, 45]

}


df = pd.DataFrame(data, index = ["day1", "day2", "day3"])


# 指定索引

print(df.loc["day2"])

输出结果为:

calories    380

duration     40

Name: day2, dtype: int64


更多 DataFrame 说明

创建 DataFrame

从字典创建:字典的键成为列名,值成为列数据。

实例

import pandas as pd


# 通过字典创建 DataFrame

df = pd.DataFrame({'Column1': [1, 2, 3], 'Column2': [4, 5, 6]})

从列表的列表创建:外层列表代表行,内层列表代表列。

# 通过列表的列表创建 DataFrame

实例

df = pd.DataFrame([[1, 2, 3], [4, 5, 6], [7, 8, 9]],

                 columns=['Column1', 'Column2', 'Column3'])

从 NumPy 数组创建:提供一个二维 NumPy 数组。

实例

import numpy as np


# 通过 NumPy 数组创建 DataFrame

df = pd.DataFrame(np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]))

从 Series 创建 DataFrame:通过 pd.Series() 创建。

实例

# 从 Series 创建 DataFrame

s1 = pd.Series(['Alice', 'Bob', 'Charlie'])

s2 = pd.Series([25, 30, 35])

s3 = pd.Series(['New York', 'Los Angeles', 'Chicago'])

df = pd.DataFrame({'Name': s1, 'Age': s2, 'City': s3})

DataFrame 的属性和方法

DataFrame 对象有许多属性和方法,用于数据操作、索引和处理,例如:shape、columns、index、head()、tail()、info()、describe()、mean()、sum() 等。

实例

# DataFrame 的属性和方法

print(df.shape)     # 形状

print(df.columns)   # 列名

print(df.index)     # 索引

print(df.head())    # 前几行数据,默认是前 5 行

print(df.tail())    # 后几行数据,默认是后 5 行

print(df.info())    # 数据信息

print(df.describe())# 描述统计信息

print(df.mean())    # 求平均值

print(df.sum())     # 求和

访问 DataFrame 元素

访问列:使用列名作为属性或通过 .loc[].iloc[] 访问,也可以使用标签或位置索引。。

实例

# 通过列名访问

print(df['Column1'])


# 通过属性访问

print(df.Name)    

 

# 通过 .loc[] 访问

print(df.loc[:, 'Column1'])


# 通过 .iloc[] 访问

print(df.iloc[:, 0])  # 假设 'Column1' 是第一列


# 访问单个元素

print(df['Name'][0])

访问行:使用行的标签和 .loc[] 访问。

实例

# 通过行标签访问

print(df.loc[0, 'Column1'])

修改 DataFrame

修改列数据:直接对列进行赋值。

df['Column1'] = [10, 11, 12]

添加新列:给新列赋值。

df['NewColumn'] = [100, 200, 300]

添加新行:使用 loc、append 或 concat 方法。

实例

# 使用 loc 为特定索引添加新行

df.loc[3] = [13, 14, 15, 16]


# 使用 append 添加新行到末尾

new_row = {'Column1': 13, 'Column2': 14, 'NewColumn': 16}

df = df.append(new_row, ignore_index=True)

注意:append() 方法在 pandas 版本 1.4.0 中已经被标记为弃用,并将在未来的版本中被移除,官方推荐使用 concat() 作为替代方法来进行数据的合并操作。

concat() 方法用于合并两个或多个 DataFrame,当你想要添加一行到另一个 DataFrame 时,可以将新行作为一个新的 DataFrame,然后使用 concat():

实例

# 使用concat添加新行

new_row = pd.DataFrame([[4, 7]], columns=['A', 'B'])  # 创建一个只包含新行的DataFrame

df = pd.concat([df, new_row], ignore_index=True)  # 将新行添加到原始DataFrame


print(df)

删除 DataFrame 元素

删除列:使用 drop 方法。

df_dropped = df.drop('Column1', axis=1)

删除行:同样使用 drop 方法。

df_dropped = df.drop(0)  # 删除索引为 0 的行

DataFrame 的统计分析

描述性统计:使用 .describe() 查看数值列的统计摘要。

df.describe()

计算统计数据:使用聚合函数如 .sum()、.mean()、.max() 等。

df['Column1'].sum()

df.mean()

DataFrame 的索引操作

重置索引:使用 .reset_index()

df_reset = df.reset_index(drop=True)

设置索引:使用 .set_index()

df_set = df.set_index('Column1')

DataFrame 的布尔索引

使用布尔表达式:根据条件过滤 DataFrame。

df[df['Column1'] > 2]

DataFrame 的数据类型

查看数据类型:使用 dtypes 属性。

df.dtypes

转换数据类型:使用 astype 方法。

df['Column1'] = df['Column1'].astype('float64')

DataFrame 的合并与分割

合并:使用 concatmerge 方法。

# 纵向合并

pd.concat([df1, df2], ignore_index=True)


# 横向合并

pd.merge(df1, df2, on='Column1')

分割:使用 pivot、melt 或自定义函数。

# 长格式转宽格式

df_pivot = df.pivot(index='Column1', columns='Column2', values='Column3')


# 宽格式转长格式

df_melt = df.melt(id_vars='Column1', value_vars=['Column2', 'Column3'])

索引和切片

DataFrame 支持对行和列进行索引和切片操作。

实例

# 索引和切片

print(df[['Name', 'Age']])  # 提取多列

print(df[1:3])               # 切片行

print(df.loc[:, 'Name'])     # 提取单列

print(df.loc[1:2, ['Name', 'Age']])  # 标签索引提取指定行列

print(df.iloc[:, 1:])        # 位置索引提取指定列

注意事项

  • DataFrame 是一种灵活的数据结构,可以容纳不同数据类型的列。
  • 列名和行索引可以是字符串、整数等。
  • DataFrame 可以通过多种方式进行数据选择、过滤、修改和分析。
  • 通过对 DataFrame 的操作,可以进行数据清洗、转换、分析和可视化等工作。
目录
相关文章
|
6天前
|
弹性计算 双11 开发者
阿里云ECS“99套餐”再升级!双11一站式满足全年算力需求
11月1日,阿里云弹性计算ECS双11活动全面开启,在延续火爆的云服务器“99套餐”外,CPU、GPU及容器等算力产品均迎来了全年最低价。同时,阿里云全新推出简捷版控制台ECS Lite及专属宝塔面板,大幅降低企业和开发者使用ECS云服务器门槛。
|
24天前
|
存储 弹性计算 人工智能
阿里云弹性计算_通用计算专场精华概览 | 2024云栖大会回顾
阿里云弹性计算产品线、存储产品线产品负责人Alex Chen(陈起鲲)及团队内多位专家,和中国电子技术标准化研究院云计算标准负责人陈行、北京望石智慧科技有限公司首席架构师王晓满两位嘉宾,一同带来了题为《通用计算新品发布与行业实践》的专场Session。本次专场内容包括阿里云弹性计算全新发布的产品家族、阿里云第 9 代 ECS 企业级实例、CIPU 2.0技术解读、E-HPC+超算融合、倚天云原生算力解析等内容,并发布了国内首个云超算国家标准。
阿里云弹性计算_通用计算专场精华概览 | 2024云栖大会回顾
|
6天前
|
人工智能 弹性计算 文字识别
基于阿里云文档智能和RAG快速构建企业"第二大脑"
在数字化转型的背景下,企业面临海量文档管理的挑战。传统的文档管理方式效率低下,难以满足业务需求。阿里云推出的文档智能(Document Mind)与检索增强生成(RAG)技术,通过自动化解析和智能检索,极大地提升了文档管理的效率和信息利用的价值。本文介绍了如何利用阿里云的解决方案,快速构建企业专属的“第二大脑”,助力企业在竞争中占据优势。
|
4天前
|
人工智能 自然语言处理 安全
创新不设限,灵码赋新能:通义灵码新功能深度评测
自从2023年通义灵码发布以来,这款基于阿里云通义大模型的AI编码助手迅速成为开发者心中的“明星产品”。它不仅为个人开发者提供强大支持,还帮助企业团队提升研发效率,推动软件开发行业的创新发展。本文将深入探讨通义灵码最新版本的三大新功能:@workspace、@terminal 和 #team docs,分享这些功能如何在实际工作中提高效率的具体案例。
|
7天前
|
自然语言处理 数据可视化 前端开发
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
合合信息的智能文档处理“百宝箱”涵盖文档解析、向量化模型、测评工具等,解决了复杂文档解析、大模型问答幻觉、文档解析效果评估、知识库搭建、多语言文档翻译等问题。通过可视化解析工具 TextIn ParseX、向量化模型 acge-embedding 和文档解析测评工具 markdown_tester,百宝箱提升了文档处理的效率和精确度,适用于多种文档格式和语言环境,助力企业实现高效的信息管理和业务支持。
3913 2
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
|
10天前
|
负载均衡 算法 网络安全
阿里云WoSign SSL证书申请指南_沃通SSL技术文档
阿里云平台WoSign品牌SSL证书是由阿里云合作伙伴沃通CA提供,上线阿里云平台以来,成为阿里云平台热销的国产品牌证书产品,用户在阿里云平台https://www.aliyun.com/product/cas 可直接下单购买WoSign SSL证书,快捷部署到阿里云产品中。
2179 6
阿里云WoSign SSL证书申请指南_沃通SSL技术文档
|
3天前
|
安全 数据建模 网络安全
2024阿里云双11,WoSign SSL证书优惠券使用攻略
2024阿里云“11.11金秋云创季”活动主会场,阿里云用户通过完成个人或企业实名认证,可以领取不同额度的满减优惠券,叠加折扣优惠。用户购买WoSign SSL证书,如何叠加才能更加优惠呢?
831 1
|
1天前
|
算法 数据建模 网络安全
阿里云SSL证书2024双11优惠,WoSign DV证书220元/年起
2024阿里云11.11金秋云创季火热进行中,活动月期间(2024年11月01日至11月30日),阿里云SSL证书限时优惠,部分证书产品新老同享75折起;通过优惠折扣、叠加满减优惠券等多种方式,阿里云WoSign SSL证书将实现优惠价格新低,DV SSL证书220元/年起。
526 4
|
1天前
|
存储 分布式计算 流计算
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
本文介绍了阿里云开源大数据团队在实时计算领域的最新成果——向量化流计算引擎Flash。文章主要内容包括:Apache Flink 成为业界流计算标准、Flash 核心技术解读、性能测试数据以及在阿里巴巴集团的落地效果。Flash 是一款完全兼容 Apache Flink 的新一代流计算引擎,通过向量化技术和 C++ 实现,大幅提升了性能和成本效益。
408 7
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
|
22天前
|
编解码 Java 程序员
写代码还有专业的编程显示器?
写代码已经十个年头了, 一直都是习惯直接用一台Mac电脑写代码 偶尔接一个显示器, 但是可能因为公司配的显示器不怎么样, 还要接转接头 搞得桌面杂乱无章,分辨率也低,感觉屏幕还是Mac自带的看着舒服