前言
本文其实属于：Python的进阶之道【AIoT阶段一】的一部分内容，本篇把这部分内容单独截取出来，方便大家的观看，本文介绍 pandas 高级，读本文之前建议先修：pandas 入门，后续还会发出一篇 pandas 进阶供读者进行进一步的学习了解。
1.数据集成
🚩pandas 提供了多种将 Series、DataFrame 对象组合在一起的功能
1.1 concat数据串联
🚩使用 concat 可以把数据进行合并，分别用 axis = 0 代表行合并，axis = 1 代表列合并
import pandas as pd import numpy as np # df1 看做是一班的考试成绩 df1 = pd.DataFrame(data = np.random.randint(0, 150, size = (10, 3)),# 计算机科目的考试成绩 index = list('ABCDEFGHIJ'), # 行标签，用户 columns = ['Python', 'Tensorflow', 'Keras']) # 考试科目 # df2 看做是二班的考试成绩 df2 = pd.DataFrame(data = np.random.randint(0, 150, size = (10,3)),# 计算机科目的考试成绩 index = list('KLMNOPQRST'),# 行标签，用户 columns = ['Python', 'Tensorflow', 'Keras']) # 考试科目 # df3 新增两门考试科目（一班） df3 = pd.DataFrame(data = np.random.randint(0, 150, size = (10,2)), index = list('ABCDEFGHIJ'), columns = ['PyTorch', 'Paddle']) display(df1, df2, df3) # 一班二班考试成绩合并 # axis = 0 表示进行(xing)行(hang)合并, 即行增加 display(pd.concat([df1, df2], axis = 0)) # 一班科目增加，合并科目 # axis = 1 表示进行列合并，即列增加 display(pd.concat([df1, df3], axis = 1))
1.2 插入
🚩使用 insert 可以在任意位置进行插入
import numpy as np import pandas as pd df = pd.DataFrame(data = np.random.randint(0, 151, size = (10, 3)), index = list('ABCDEFGHIJ'), columns = ['Python', 'Keras', 'Tensorflow']) display(df) # 我们在 Keras 和 TensorFlow 中间插入一行 Math,分数均为150 df.insert(loc = 2, column = 'Math', value = 150) # loc = 0 代表 Python, loc = 1 代表 Pytorch,以此类推 # 在 Python 后面插入一列 English ''' 获取列索引 df.columns 运行结果:Index(['Python', 'Pytorch', 'Math', 'Keras', 'Tensorflow'], dtype='object') 把列索引转换为列表 list(df.columns) 运行结果:['Python', 'Pytorch', 'Math', 'Keras', 'Tensorflow'] 调用index函数,获取列表中特定字段的位置 list(df.columns).index('Python') 运行结果:0 ''' # +1 表示在该位置后 index = list(df.columns).index('Python') + 1 df.insert(loc = index, column = 'English', value = np.random.randint(0, 151, size = 10)) display(df)
1.3 Join SQL风格合并
🚩数据集的合并（merge）或连接（join）运算是通过一个或者多个键将数据链接起来的。这些运算是关系型数据库的核心操作。pandas的merge函数是数据集进行join运算的主要切入点。
先来创建数据：
import pandas as pd import numpy as np # 记录的是name和weight df1 = pd.DataFrame(data = {'name':['辰chen', '娇妹儿', '枭哥', '晶姐'], 'weight':[65, 60, 70, 50]}) # 记录的是name和height df2 = pd.DataFrame(data = {'name':['辰chen', '娇妹儿', '枭哥', '黑猫警长'], 'height':[176, 184, 178, 166]}) # 记录的是名字和height df3 = pd.DataFrame(data = {'名字':['辰chen', '娇妹儿', '枭哥', '黑猫警长'], 'height':[176, 184, 178, 166]}) display(df1, df2, df3)
利用 merge 对数据进行合并：
# df1, df2 进行合并 display(pd.merge(df1, df2)) # merge:根据共同的属性进行合并 # 共同的属性是name,共同拥有的是:辰chen, 娇妹儿, 枭哥
df1 和 df3 是不能直接进行合并的：
# df1, df3 进行合并 display(pd.merge(df1, df3))
当然啦，我们 pandas 是十分强大滴，按照如下代码可以进行合并：
# df1, df3 进行合并 # 指定了合并时, 根据哪一列进行合并 display(pd.merge(df1, df3, left_on = 'name', right_on = '名字'))
创建 10 名同学，计算每个人的平均分，并合并：
创建数据：
df4 = pd.DataFrame(data = np.random.randint(0, 151, size = (10, 3)), index = list('ABCDEFHIJK'), columns = ['Python', 'Keras', 'Tensorflow']) display(df4)
计算平均分：
df4.mean()
我们要计算的不是列的平均分，而是每位同学的平均分：axis = 1：
# 每个人的各科平均分, Series df4.mean(axis = 1)
数据看起来不舒服，我们可以使用之前讲过的 round(1) 去保留一位小数：
# 每个人的各科平均分, Series df4.mean(axis = 1).round(1)
看着是不是不是很舒服？我们可以把它变成 DataFrame
# 每个人的各科平均分, Series t = df4.mean(axis = 1).round(1) # 转为 DataFrame df5 = pd.DataFrame(t, columns = ['平均分']) df5
将 df4 和 df5 使用 merge 进行合并
# 将 df4 和 df5 使用 merge 进行合并 # df4 和 df5 没有共同的一列属性值相同,担有相同的行索引 pd.merge(df4, df5, left_index = True, # 左边使用行索引 right_index = True) # 右边使用行索引
上述代码同样可以用 concat 和 insert 实现：
pd.concat([df4, df5], axis = 1)
df4.insert(loc = 3, column = '平均分', value = df5) df4
