【一起玩蛇】Python 结构化数据分析工具 Pandas | Series 与 DataFrame | 读取CSV文件数据 |

简介: 没什么好写的,不如直接开始。

💭 写在前面


没什么好写的,不如直接开始。


0x00 pandas 介绍

❓ Pandas 是什么?


熊猫?14年网龄的我,早就在互联网发表情包了,这种熊猫表情包我可太熟悉了。


但是我们今天要说的是 Python 里的 pandas,为了接地气本篇所有用的表情包都会是熊猫头。


" pandas 就是一个用于数据处理和分析的 python 库 "


pandas 支持读取和处理各种外部资源数据,比如读取 CSV 文件、文本文件、Excel 文件、web 数据等,还可以使用 matplotlib 可视化数据。


先提一嘴 pandas 的数据结构:


一维数据结构:Series

二维数据结构:Data Frame

三维数据结构:Panel

pandas 在数据中支持多种运算函数,使用 pandas 库需要引入头文件:

import pandas as pd

一般会 as pd 一下,这样用起来能更方便些。(就像 numpy 我们习惯去 as np 一样)


numpy 数组是所有元素都相同的数据类型,但 pandas 允许元素的数据类型不同,并生成结构数,比如 Series 和 DataFrame。


0x01 Series 数据结构

简单的一维数据结构,能展示出带有索引 (index) 的一维数组。


与 Numpy 中的一维 array 类似。它们都和 Python 基本的数据结构 List 相似。


现在的 Series 能保存不同数据类型,字符串、boolean 值、数字等,它们都能保存在 Series 中。


💬 用法演示:使用 pd.Series() 函数


可以指定参数 index,如果不指定 index 会默认从 0 开始。

import pandas as pd
data = [1, 3, 5, 7, 9]
# 不指定
s1 = pd.Series(data)
# 指定index
s2 = pd.Series(data, index = ["安娜", "末日铁拳", "麦克雷", "莱因哈特", "禅雅塔"])
print(s1, "\n\n", s2, "\n")
print(s2.values)   # 只打印值
print(s2.index)    # 只打印索引

🚩 运行结果:

735e47e563be54b68af1ddbd09a19ca4_96b366b7f67e487ba995b231789151fd.png



💬 用法演示:使用字典数据创建 Series


会将字典的键配置为 index,将字典的值配置为 values。

import pandas as pd
# 利用字典构造 series
data = pd.Series (
    {"苹果": "Apple", "橘子": "Orange", "香蕉": "banana", "桃子": "peach"}
)
print(data)
print(data.index)     # 打印索引
print(data.values)    # 打印值

🚩 运行结果

6140ccea96bbc92d483ed75ca6d9f6fb_26e62a8b14504bd4891fa605c5accf72.png


0x02 DataFrame 数据结构

二维的表格型数据结构,DataFrame 接受带行和列的表数据。


index 和列具有各自的标签(名称)

每个列可以有不同的数据类型

默认情况下,按列管理数据

可以将 DataFrame 理解为 Series 的容器。


可以将多种数据类型的数据转换为 Data Frame 数据结构:


字典、列表、nd-array 对象、Series 数据结构

使用 pd.DataFrame() 函数创建

生成的默认索引为从 0 开始的整数

可使用 index 关键字命名索引

可使用 columns 关键字命名列

eb91218d725fd28a06c1adce8172f65f_f8e1456fb2fc4a07bc73513cf219025f.png


💬 用法演示:使用 pd.DataFrame()

import pandas as pd
data = [
    [2019, 2.8, "1.63M"],
    [2020, 3.4, "1.75M"],
    [2021, 5.5, "1.84M"]
]
# 什么都不指定
df1 = pd.DataFrame(data)
print(df1, "\n")
# 指定 index 和 columns
df2 = pd.DataFrame (
    data,                                   # 数据
    index = [1, 2, 3],                      # 指定索引
    columns = ['year', 'GDP_rate', 'GDP']   # 指定列
)
print(df2)


🚩 运行结果:

88410a57f03cf08181945825e26a428e_7902d201d0324fa4bfba6a9676ef0e6f.png


💬 用法演示: 使用字典数据创建 DataFrame(字典的键为列名,字典的值为列值)


import pandas as pd
data = {"year" : [2019, 2020, 2021],
        "GDP_rate" : [2.8, 3.4, 3.0], 
        "GDP" : ["1.63M", "1.75M", "1.83M"]
}
## data 是一个字典
df = pd.DataFrame(data)    # 等同于 df = pd.DataFrame(data=data)
print(df, "\n")
print(df.iloc[1], "\n")    # row 引用类型:df.loc[index名称],df.iloc[index编号]
print(df["year"], "\n")    # 等同于 print(df.year)
                           # column 引用方法:df["列名"] 或 df.列名
## 查看数据类型
print(type(df.iloc[1]))
print(type(df["year"]))


🚩 运行结果

6a073a0260de8336b965f8afd36772fa_6982edd583254e92bfcca88ef9458b2d.png



💬 操作演示:如果在添加行时将其指定为现有索引名称,则会修改现有的数据值。


# 8
import pandas as pd
s1 = pd.Series( [2019, 2020, 2021] )
s2 = pd.Series( [2.8, 3.2, 3.0] )
s3 = pd.Series( ["1.63M", "1.75M", "1.87M"] )
data = {"year" : s1, "GDP_rate" : s2, "GDP" : s3}
df1 = pd.DataFrame(data)
print(df1, "\n")
names = pd.Series(["禅雅塔", "奥丽莎", "西格玛", "索洁恩", "卢西奥"])
scores = pd.Series([18030, 5069, 8958, 14560, 6800])
members = {"[姓名]": names, "[伤害量]" : scores}
df2 = pd.DataFrame(members)
print(df2, "\n")
df2["[表现]"] = ["A", "C", "B", "A", "D"]     # 列名以 Grade 添加列
df2.loc[5] = ["麦克雷", 15035, "A"]             # 添加行
print(df2)


🚩 运行结果:

a220ebf7537cf63b1b51124bae46ccd3_be40a66f76404d2e8bf738a9a8ee8fa6.png



我们之前提到了,numpy 也是可以塞里面的,我们来看看。

import numpy as np
import pandas as pd
data1 = np.array(
    [ [1, 2, 3], [4, 5, 6] ]    # 创建一个二维数组
)
df1 = pd.DataFrame(data1)
print(df1, "\n")
data2 = pd.Series( 
    {"苹果": "Apple", "橙子": "Orange",
    "香蕉": "banana", "桃子": "peach"}
)
df2 = pd.DataFrame(data2, columns = ["英文名"])
print(df2, "\n")
df3 = pd.DataFrame (
    data = [56, 90, 31], 
    index = range(1, 4),
    columns = ["价格"]
)
print(df3, "\n")


🚩 运行结果:

e8d76daf2f76eb6f1ac669a16908031d_a20e054ca25c417a955a00efb2afb8d3.png



0x03 索引与数据选择

刚才在注释里我们演示了一些 "数据引用",现在我们现在来正式讲一下这个知识点。


💭 我们假设变量 df 是 DataFrame 的对象:


列值索引:

df[列名]
df.列名1
df[[列名1, 列名2, ...]]   # 如果有多行要引用,可以写到列表里

切片作为索引:

df[起始位置, 结束位置]      # 从 start 开始到 end-1 行

行索引:

df.loc[行名]
df.loc[[行名1, 行名2, ...]]   # 如果有多行要引用,可以写到列表里

索引单个元素:

df.loc[行名, 列名]

使用布尔索引 (boolean indexing) 引用符合条件的值:

df[条件式]      # 仅引用满足条件表达式的数据

💬 用法演示:数据索引

import pandas as pd
names = ["Bob", "Jessica", "Mary", "John", "Kate"]
scores = [56, 11, 99, 83, 45]
members = {"Name": names, "Score": scores}
df = pd.DataFrame(data=members)
cgpa = pd.Series (
    [3.2, 2.5, 4.1, 2.8, 1.9]
)
df["Cgpa"] = cgpa
## 整体
print(df, "\n")
print("------ 列值引用 ------")
print(df[["Name", "Cgpa"]], "\n")
print("------ 切片引用 ------")
print(df[1 : 4], "\n")
print("------ 行引用 ------")
print(df.loc[[2, 4]], "\n")
print(df.loc[1, "Name"], "\n")
print("------ 布尔索引 ------")
print(df[df.Score > 60])          # 筛出分数大于60的


🚩 运行结果:

16bd2ad6d6cd22ab23fd9fedb6c34acb_4a6cd8d66c3546bd872bde2fe0413491.png



loc 指的是 location,iloc 中的 i 是指的是 integer,这两者的区别如下:

loc:根据实际设置的 index 来索引数据

iloc:根据顺序数字来索引数据

import pandas as pd
names = ["Bob", "Jessica", "Mary", "John", "Kate"]
scores = [56, 11, 99, 83, 45]
members = {"Name": names, "Score": scores}
df = pd.DataFrame(data = members, index = range(1, 6))
print(df, "\n")
## 与 df["Name"] 相同
print(df.loc[2], "\n")     
print(df.iloc[2], "\n")    
print(df.Name)

🚩 运行结果:

9af5d9b989e6cb311b39c3ec32cc54c4_a40e57043fbd4b40aaa2ead8afefd3f8.png



0x04 获取对数据进行排序的新对象

使用 DataFrame 对象的 sort_values(by=列名) 函数,按 by 参数指定的值排序(默认为升序)。


参数 ascending 值为 False 时,按降序排序。


根据引用,初始化 DataFrame 对象索引的新对象。


使用 reset_index() 函数获取初始化 DataFrame 对象索引的新对象。将参数 drop 值设置为 True 时为升序。


💬 用法演示:sort_values() 与 reset_index()

#P13
import pandas as pd
names = ["Bob", "Jessica", "Mary", "John", "Kate"]
scores = [56, 11, 99, 83, 45]
members = {"Name": names, "Score": scores}
df = pd.DataFrame(members)
df["Grade"] = ["C", "F", "A", "B", "D"]
df.loc[5] = ["Hanna", 90, "A"]
print(df, "\n")
## 创建按 "Score" 列降序排序的对象
df1 = df.sort_values(by = "Score", ascending = False) 
print(df1, "\n")
## 创建初始化 df1 对象索引的新对象
df2 = df1.reset_index(drop = True)
print(df2)


🚩 运行结果:

f37d89c654252c8c1361e0921fbbca70_93ba440690d94b5fa337542e1131bf59.png



0x05 DataFrame 为对象增加新列

缺失值处理:大多数实际数据都是未精炼的,存在缺失值,不同的数据具有不同形式的缺失值(缺失值)。结构性数据标记为 null、NaN、NA 等。

# p14
import pandas as pd
import numpy as np
names = ["Bob", "Jessica", "Mary", "John", "Kate"]
scores = [56, 11, 99, 83, 45]
members = {"Name": names, "Score": scores}
df = pd.DataFrame(members)
df["Grade"] = np.nan             # 不指定数据时只增加列
df.loc[2, "Grade"] = "A"         # 在现有行的追加的列中储存数据
df.loc[5, "Grade"] = "F"         # 追加新的行,在指定列中储存数据,剩下的数据以 Nan 形式初始化
print(df, "\n")

🚩 运行结果:

bb5d88611d263f1cb98d0f775fb8d1b1_b3c800cc9a0c44eabbbc6acc22057f96.png



💬 缺失值处理演示:

import pandas as pd
import numpy as np
a = np.array([1, 2, np.nan, 4, 5])
print(a, "\n")
print(a.sum(), a.min(), a.max())
print(np.nansum(a), np.nanmin(a), np.nanmax(a))  # 对非 nan 值计算

🚩 运行结果:

bd8380840c061c524e82ec9e0662702c_428992258ca645cd836c38f93bda0d0a.png



0x06 读取外部文件数据(CSV文件)

pandas 可以读取和写入各种外部数据,包括 CSV 文件、Excel 文件和文本文件。


读取CSV文件(扩展名 .csv)以创建并返回 DataFrame 对象的函数:

read_csv("文件名")

CSV 文件以逗号(,)分隔数据,并由表示记录的行和表示字段的列组成。


💬 用法演示:读取 csv 文件

import pandas as pd
pf = pd.read_scv("/content/test.csv")
print(pf, "\n")
pf1 = pd.read_scv("/content/test.csv", header = None)
print(pf1, "\n")

🚩 运行结果:

802269bbdc8b43ce0da9274f5e24759d_fcbe249889694c288220d83e87434796.png



将下面的 vehicle_prod.csv 文件保存到 colab 的工作文件夹 "/content" 文件夹中:

31b5311f23fe3ea1119000c6b576c560_dee64bba393647298e94a3020a031ce2.png

fc13a07145432a7fb7ec86b04094e0cb_2f6de6a811774aad8f112bc8b625f99c.png

(若要将第一行用作索引,省略第1行第1列的名称)


然后在 colab 中选择该文件,然后右键单击,将出现 "复制路径" 选项。

65e40b397ee7b63c99a4cfd8298730d7_7bb8c3c4565f42c5851779c23f556b01.png


💬 代码演示:读取 vehicle_prod.csv


import pandas as pd
import matplotlib.pyplot as plt
pf_f1 = pd.read_csv("/content/vehicle_prod.csv")
print(pf_f1, "\n")
## 将第0列设置为index
pf_f2 = pd.read_csv("/content/vehicle_prod.csv", index_col = 0)
print(pf_f2)
pf_f2["2007"].plot(kind='bar')   # 将列"2007"的数据可视化
plt.show()

🚩 运行结果:

d5cb423f490f5e1cbaf3330f8ff44871_6ac2fe353a90485e90693b8da0288c39.png

💬 代码演示:读取 vehicle_prod.csv 文件,按国家/地区绘制年度产量图:


import pandas as pd
import matplotlib.pyplot as plt
pf_f = pd.read_csv("/content/vehicle_prod.csv", index_col = 0)
plt.plot(pf_f.loc["China"])
plt.plot(pf_f.loc["EU"])
plt.plot(pf_f.loc["US"])
plt.plot(pf_f.loc["Japan"])
plt.plot(pf_f.loc["Korea"])
plt.plot(pf_f.loc["Mexico"])
plt.legend(["China", "EU", "US", "Japan", "Korea", "Mexico"])
plt.show()

🚩 运行结果:

21c6373c4bb78dc978d8b9a573fe7d37_3751a8fa5bc44e0a9e39eb725b51a76d.png


💬 代码演示:读取 vehicle_prod.csv 文件进行统计(总计,平均值)

import pandas as pd
import matplotlib.pyplot as plt
pf_f = pd.read_csv("/content/vehicle_prod.csv", index_col=0)
## 函数的参数axis=1表示列方向,axis=0表示行方向
pf_f["Total"] = pf_f.sum(axis=1)
pf_f["Average"] = pf_f[["2007", "2008", "2009", "2010", "2011"]].mean(axis=1)
print(pf_f, "\n")
## 追加列
pf_f["Average"].plot(kind='bar')
plt.show()
plt.bar(pf_f.index, pf_f["Average"])
plt.show()


🚩 运行结果:

9f62226254f42a5904f39a72e068557d_22af9af0b81b4ec88695ecc41f8bf4d0.png


相关文章
|
1天前
|
数据采集 机器学习/深度学习 数据可视化
利用Python和Pandas库构建高效的数据分析流程
在数据驱动的时代,数据分析已成为企业决策的关键环节。本文介绍如何利用Python编程语言及其强大的数据分析库Pandas,构建一套高效且可扩展的数据分析流程。与常规的数据分析流程不同,本文不仅涵盖数据加载、清洗、转换等基础步骤,还强调数据可视化、模型探索与评估等高级分析技巧,并通过实际案例展示如何在Python中实现这些步骤,为数据分析师提供一套完整的数据分析解决方案。
|
8天前
|
Python
在Python的pandas库中,向DataFrame添加新列简单易行
【6月更文挑战第15天】在Python的pandas库中,向DataFrame添加新列简单易行。可通过直接赋值、使用Series或apply方法实现。例如,直接赋值可将列表或Series对象分配给新列;使用Series可基于现有列计算生成新列;apply方法则允许应用自定义函数到每一行或列来创建新列。
68 8
|
11天前
|
数据采集 数据可视化 数据挖掘
数据分析大神养成记:Python+Pandas+Matplotlib助你飞跃!
【6月更文挑战第12天】在数字时代,Python因其强大的数据处理能力和易用性成为数据分析首选工具。结合Pandas(用于高效数据处理)和Matplotlib(用于数据可视化),能助你成为数据分析专家。Python处理数据预处理、分析和可视化,Pandas的DataFrame简化表格数据操作,Matplotlib则提供丰富图表展示数据。掌握这三个库,数据分析之路将更加畅通无阻。
|
13天前
|
数据可视化 数据挖掘 数据处理
【源码解析】深入Pandas的心脏DataFrame 含十大功能、源码实现与编程知识点
【源码解析】深入Pandas的心脏DataFrame 含十大功能、源码实现与编程知识点
|
14天前
|
存储 数据挖掘 数据处理
【python源码解析】深入 Pandas BlockManager 的数据结构和初始化过程
【python源码解析】深入 Pandas BlockManager 的数据结构和初始化过程
|
1月前
|
SQL 数据采集 数据可视化
使用Python Pandas实现两表对应列相加(即使表头不同)
使用Python Pandas实现两表对应列相加(即使表头不同)
53 3
|
1月前
|
数据挖掘 数据处理 Python
【Python DataFrame 专栏】深入探索 pandas DataFrame:高级数据处理技巧
【5月更文挑战第19天】在 Python 数据分析中,pandas DataFrame 是核心工具。本文介绍了几个高级技巧:1) 横向合并 DataFrame;2) 数据分组与聚合;3) 处理缺失值;4) 数据重塑;5) 条件筛选;6) 使用函数处理数据。掌握这些技巧能提升数据处理效率和分析深度,助你更好地发掘数据价值。
【Python DataFrame 专栏】深入探索 pandas DataFrame:高级数据处理技巧
|
19天前
|
存储 数据挖掘 数据处理
19. Python 数据处理之 Pandas
19. Python 数据处理之 Pandas
26 1
|
21天前
|
Python 数据挖掘 数据可视化
Python数据分析——Pandas与Jupyter Notebook
【6月更文挑战第1天】 本文探讨了如何使用Python的Pandas库和Jupyter Notebook进行数据分析。首先,介绍了安装和设置步骤,然后展示了如何使用Pandas的DataFrame进行数据加载、清洗和基本分析。接着,通过Jupyter Notebook的交互式环境,演示了数据分析和可视化,包括直方图的创建。文章还涉及数据清洗,如处理缺失值,并展示了如何进行高级数据分析,如数据分组和聚合。此外,还提供了将分析结果导出到文件的方法。通过销售数据的完整案例,详细说明了从加载数据到可视化和结果导出的全过程。最后,讨论了进一步的分析和可视化技巧,如销售额趋势、产品销售排名和区域分布,以及
51 2
|
19天前
|
数据采集 安全 数据处理
Python采集数据处理:利用Pandas进行组排序和筛选
使用Python的Pandas库,结合亿牛云代理和多线程技术,提升网络爬虫数据处理效率。通过代理IP避免封锁,多线程并发采集,示例代码展示数据分组、排序、筛选及代理IP配置和线程管理。
Python采集数据处理:利用Pandas进行组排序和筛选

热门文章

最新文章