30天拿下Python之pandas模块

简介: 30天拿下Python之pandas模块

概述

在上一节,我们介绍了Python的numpy模块,包括:多维数组、数组索引、数组操作、数学函数、线性代数、随机数生成等内容。在这一节,我们将介绍Python的pandas模块。pandas模块是Python编程语言中用于数据处理和分析的强大模块,它提供了许多用于数据操作和清洗的函数,使得数据处理和分析变得更为简单和直观。

在Python中使用pandas模块,需要先安装pandas库。可以通过pip命令进行安装:pip install -i  https://pypi.tuna.tsinghua.edu.cn/simple pandas。安装完成后,就可以在Python脚本中导入pandas模块,并使用其函数和方法了。

Series

Series是一个一维数组,它不仅包含数据,还包含索引。Series可以被看作是一个字典,其中的索引是键,值是数据。每个索引只有一个对应的值,因此Series可以被看作是具有标签化的数值数据。

import pandas as pd
# 创建一个Series
s = pd.Series([1, 2, 3, 4, 5])
# 输出:
# 0    1
# 1    2
# 2    3
# 3    4
# 4    5
# dtype: int64
print(s)


上面的示例代码创建了一个包含五个整数的Series,默认情况下,它的索引是从0开始的整数。

当然,我们也可以提供一个列表作为Series的索引和值。

import pandas as pd
# 创建一个带有自定义索引和值的Series
index = ['C', 'S', 'D', 'N', 'P']
s = pd.Series([1, 2, 3, 4, 5], index = index)
# 输出:
# C    1
# S    2
# D    3
# N    4
# P    5
# dtype: int64
print(s)


我们还可以直接使用字典创建带有自定义数据标签的数据,pandas会自动把字典的键作为数据标签,字典的值作为相对应的数据。

import pandas as pd
# 创建一个带有自定义索引和值的Series
s = pd.Series({'C': 1, 'S': 2, 'D': 3, 'N': 4, 'P': 5})
# 输出:
# C    1
# S    2
# D    3
# N    4
# P    5
# dtype: int64
print(s)


如果想访问Series里的数据,也非常简单,直接使用中括号加数据标签的方式即可。

import pandas as pd
s = pd.Series([1, 2, 3, 4, 5])
# 访问第二个元素,输出:3
print(s[2])
s = pd.Series({'C': 1, 'S': 2, 'D': 3, 'N': 4, 'P': 5})
# 访问Key值为'D'的元素,输出:3
print(s['D'])


使用Series,结合pandas强大的数据对齐功能,可以让我们快速对数据进行分析和处理。

import pandas as pd
s1 = pd.Series({'Red': 1, 'Blue': 2, 'Green': 3})
s2 = pd.Series({'Red': 100, 'Blue': 200, 'Green': 300})
s = s1 + s2
# 将两个Series进行相加,输出:
# Red      101
# Blue     202
# Green    303
# dtype: int64
print(s)
s1 = pd.Series({'Red': 1, 'Blue': 2, 'Green': 3, 'White': 4})
s2 = pd.Series({'Red': 100, 'Blue': 200, 'Green': 300})
s = s1 + s2
# 数据标签不相同的数据,运算后结果是NaN,输出:
# Blue     202.0
# Green    303.0
# Red      101.0
# White      NaN
# dtype: float64
print(s)
# 数据标签不相同的数据,调用add函数,可以设置默认填充值,输出:
# Blue     202.0
# Green    303.0
# Red      101.0
# White      4.0
# dtype: float64
s = s1.add(s2, fill_value = 0)
print(s)

DataFrame

DataFrame是一个二维的表格型数据结构,类似于Excel或数据库中的表。DataFrame中的数据可以是不同的数据类型,比如:整数、浮点数、字符串、布尔值等。

import pandas as pd
# 创建DataFrame
data = {'Name': ['Jack', 'Tank', 'John'], 'Age': [20, 21, 19]}
df = pd.DataFrame(data)
# 输出:
#    Name  Age
# 0  Jack   20
# 1  Tank   21
# 2  John   19
print(df)


使用DataFrame,我们可以很方便地对表中的行、列进行增删改查等操作。使用df['column_name']可以查看指定列的数据;使用df.iloc[row_number]可以查看指定行的数据;使用df.loc[row_label]可以基于标签访问指定行的数据;使用df[condition]可以筛选出满足条件的数据:使用df['new_column'] = values可以添加一个新列;使用del df['column_name']可以删除一列。

import pandas as pd
# 创建DataFrame
data = {'Name': ['Jack', 'Tank', 'John'], 'Age': [20, 21, 19]}
df = pd.DataFrame(data)
# 输出:
#    Name  Age
# 0  Jack   20
# 1  Tank   21
# 2  John   19
print(df)
df = pd.DataFrame(data, index = ['First', 'Second', 'Third'])
# 指定自定义索引,输出:
#         Name  Age
# First   Jack   20
# Second  Tank   21
# Third   John   19
print(df)
# 访问列数据,输出:
# First     Jack
# Second    Tank
# Third     John
# Name: Name, dtype: object
print(df['Name'])
# 根据行索引访问行数据,输出:
# Name    John
# Age       19
# Name: Third, dtype: object
print(df.iloc[2])
# 根据行标签访问行数据,输出:
# Name    John
# Age       19
# Name: Third, dtype: object
print(df.loc['Third'])
df['Age'] = [22, 18, 20]
# 修改列数据,输出:
#         Name  Age
# First   Jack   22
# Second  Tank   18
# Third   John   20
print(df)
df['Gender'] = ['M', 'F', 'F']
# 新增列数据,输出:
#         Name  Age Gender
# First   Jack   22      M
# Second  Tank   18      F
# Third   John   20      F
print(df)
del df['Gender']
# 删除列数据,输出:
#         Name  Age
# First   Jack   22
# Second  Tank   18
# Third   John   20
print(df)
# 筛选出年龄大于20的数据,输出:
#        Name  Age
# First  Jack   22
print(df[df['Age'] > 20])

数据读取和写入

使用pandas,可以方便地读取和写入各种数据格式,比如:CSV、Excel、SQL数据库等。我们以CSV文件的读写为例,来理解CSV表格数据的读取和写入。

import pandas as pd
# 创建DataFrame
data = {'Name': ['Jack', 'Tank', 'John'], 'Age': [20, 21, 19]}
df = pd.DataFrame(data)
# 将DataFrame写入CSV文件
df.to_csv('output.csv', index = False)


在上面的示例代码中,我们首先创建了一个名为df的DataFrame,然后使用to_csv函数将其写入一个名为output.csv的CSV文件中。我们将index参数设置为False,以避免将DataFrame的索引写入CSV文件。

to_csv函数还有其他一些可选参数,包括:

sep:用于指定CSV文件中的分隔符,默认是逗号。

header:用于指定是否将DataFrame的列名写入CSV文件中,默认为True。

encoding:用于指定文件的编码格式,默认为UTF-8。

compression:用于指定文件的压缩格式,默认为None。

在下面的示例代码中,我们读取了上面保存的名为output.csv的CSV文件,并将其转化为一个pandas DataFrame。

import pandas as pd
# 从CSV文件读取  
df = pd.read_csv('output.csv')
# 输出:
#    Name  Age
# 0  Jack   20
# 1  Tank   21
# 2  John   19
print(df)


read_csv函数还有其他一些可选参数,包括:

sep:指定分隔符,默认为逗号。

header:指定行号作为列名,默认为0。

index_col:将一列或多列设为DataFrame的索引。

usecols:返回的列的子集,可以是一个列表或函数。

dtype:为每一列设置数据类型。

skiprows:跳过指定的行数或行号。

na_values:用于识别空值的字符串或字符串列表。

keep_default_na:是否保留默认的识别空值的字符串。


相关文章
|
2天前
|
数据采集 存储 数据挖掘
Python数据分析:Pandas库的高效数据处理技巧
【10月更文挑战第27天】在数据分析领域,Python的Pandas库因其强大的数据处理能力而备受青睐。本文介绍了Pandas在数据导入、清洗、转换、聚合、时间序列分析和数据合并等方面的高效技巧,帮助数据分析师快速处理复杂数据集,提高工作效率。
12 0
|
4天前
|
数据采集 数据可视化 数据处理
如何使用Python实现一个交易策略。主要步骤包括:导入所需库(如`pandas`、`numpy`、`matplotlib`)
本文介绍了如何使用Python实现一个交易策略。主要步骤包括:导入所需库(如`pandas`、`numpy`、`matplotlib`),加载历史数据,计算均线和其他技术指标,实现交易逻辑,记录和可视化交易结果。示例代码展示了如何根据均线交叉和价格条件进行开仓、止损和止盈操作。实际应用时需注意数据质量、交易成本和风险管理。
19 5
|
3天前
|
Java 程序员 开发者
Python的gc模块
Python的gc模块
|
6天前
|
数据采集 Web App开发 JavaScript
python-selenium模块详解!!!
Selenium 是一个强大的自动化测试工具,支持 Python 调用浏览器进行网页抓取。本文介绍了 Selenium 的安装、基本使用、元素定位、高级操作等内容。主要内容包括:发送请求、加载网页、元素定位、处理 Cookie、无头浏览器设置、页面等待、窗口和 iframe 切换等。通过示例代码帮助读者快速掌握 Selenium 的核心功能。
32 5
|
3天前
|
存储 数据挖掘 数据处理
Python数据分析:Pandas库的高效数据处理技巧
【10月更文挑战第26天】Python 是数据分析领域的热门语言,Pandas 库以其高效的数据处理功能成为数据科学家的利器。本文介绍 Pandas 在数据读取、筛选、分组、转换和合并等方面的高效技巧,并通过示例代码展示其实际应用。
14 1
|
6天前
|
Python
SciPy 教程 之 SciPy 模块列表 13
SciPy教程之SciPy模块列表13:单位类型。常量模块包含多种单位,如公制、二进制(字节)、质量、角度、时间、长度、压强、体积、速度、温度、能量、功率和力学单位。示例代码展示了如何使用`constants`模块获取零摄氏度对应的开尔文值(273.15)和华氏度与摄氏度的转换系数(0.5556)。
11 1
|
7天前
|
XML 前端开发 数据格式
超级详细的python中bs4模块详解
Beautiful Soup 是一个用于从网页中抓取数据的 Python 库,提供了简单易用的函数来处理导航、搜索和修改分析树。支持多种解析器,如 Python 标准库中的 HTML 解析器和更强大的 lxml 解析器。通过简单的代码即可实现复杂的数据抓取任务。本文介绍了 Beautiful Soup 的安装、基本使用、对象类型、文档树遍历和搜索方法,以及 CSS 选择器的使用。
22 1
|
4天前
|
Python
SciPy 教程 之 SciPy 模块列表 16
SciPy教程之SciPy模块列表16 - 单位类型。常量模块包含多种单位,如公制、质量、角度、时间、长度、压强、体积、速度、温度、能量、功率和力学单位。示例代码展示了力学单位的使用,如牛顿、磅力和千克力等。
8 0
|
5天前
|
JavaScript Python
SciPy 教程 之 SciPy 模块列表 15
SciPy 教程之 SciPy 模块列表 15 - 功率单位。常量模块包含多种单位,如公制、质量、时间等。功率单位中,1 瓦特定义为 1 焦耳/秒,表示每秒转换或耗散的能量速率。示例代码展示了如何使用 `constants` 模块获取马力值(745.6998715822701)。
8 0
|
5天前
|
JavaScript Python
SciPy 教程 之 SciPy 模块列表 15
SciPy教程之SciPy模块列表15:单位类型。常量模块包含多种单位,如公制、质量、角度、时间、长度、压强、体积、速度、温度、能量、功率和力学单位。功率单位以瓦特(W)表示,1W=1J/s。示例代码展示了如何使用`constants`模块获取马力(hp)的值,结果为745.6998715822701。
10 0