#导包 import pandas as pd import numpy as np import random # 读取pandas120数据文件 df = pd.read_excel('/home/mw/input/pandas1206855/pandas120.xlsx') df.head() # 构建nan数据 df['value'] = [random.randint(1,100) for i in range(len(df))] df.loc[[2,10,45,87], 'value'] = np.nan
createTime |
education | salary | |
| 0 | 2020-03-16 11:30:18 | 本科 | 20k-35k |
| 1 | 2020-03-16 10:58:48 | 本科 | 20k-40k |
| 2 | 2020-03-16 10:46:39 | 不限 | 20k-35k |
| 3 | 2020-03-16 10:45:44 | 本科 | 13k-20k |
| 4 | 2020-03-16 10:20:41 | 本科 | 10k-20k |
1. 判断缺失值
# 检查数据中是否含有任何缺失值： df.isnull().values.any() # 输出True # 查看每列数据缺失值： df.isnull().sum() #####输出######### createTime 0 education 0 salary 0 value 4 dtype: int64 ################### # 查看每列非缺失值数： df.notnull().sum() df.shape[0] - df.isnull().sum() #####输出######### createTime 135 education 135 salary 135 value 131 dtype: int64 ###################
2. 缺失值填充
# 用上下平均值填充value列： df['value'] = df['value'].fillna(df['value'].interpolate()) df.head() # df (注意赋值，如果不赋值，原始序列未改变) # 将value列缺失值全部替换为1.0： df.fillna(value =1.0, inplace = True)
createTime |
education | salary | value | |
| 0 | 2020-03-16 11:30:18 | 本科 | 20k-35k | 38.0 |
| 1 | 2020-03-16 10:58:48 | 本科 | 20k-40k | 9.0 |
| 2 | 2020-03-16 10:46:39 | 不限 | 20k-35k | 39.5 |
| 3 | 2020-03-16 10:45:44 | 本科 | 13k-20k | 70.0 |
| 4 | 2020-03-16 10:20:41 | 本科 | 10k-20k | 88.0 |
3. 删除缺失值
# 删除所有存在缺失值的行： df.dropna(axis=0, how='any', inplace=True) # 删除所有有缺失值的行 df.dropna() # -- 默认axis=0 # 删除所有有缺失值的列 df.dropna(axis='columns') df.dropna(axis=1) # 删除所有值缺失的行 df.dropna(how='all') # 删除至少有两个非缺失值的行 df.dropna(thresh=2) # 指定判断缺失值的列范围 df.dropna(subset=['education', 'value']) # 使删除和的结果生效 df.dropna(inplace=True) # 指定列的缺失值删除 df.value.dropna()
4.数据排序
# 按照value列值大小进行排序 df.sort_values(by=['value'], ascending=True) #注：ascending：True升序，False降序
5.设置value2列保留两位小数
# 方法一：round()函数 df['value2'].round(2) # 方法二：map + lambda df['value2'].map(lambda x : ('%.2f') % x) # 方法三：map + lambda + format df['value2'] = df['value2'].map(lambda x : format(x, '.2f'))
6.数据合并:concat, merge, append, join
用的时候chatgpt吧 太难记了
join 最简单，主要用于基于索引的横向合并拼接
merge 最常用，主要用于基于指定列的横向合并拼接
concat最强大，可用于横向和纵向合并拼接
append，主要用于纵向追加
7.常见统计函数
print('grade列均值:',df['grade'].mean()) # 均值 print('全体平均数:',df.mean().mean()) # 全体平均数 print('grade列中位数:',df['grade'].median()) # 中位数 print('grade列方差:',df['grade'].var()) # 方差 print('grade列标准差:',df['grade'].std()) # 标准差 print('grade列最大值:',df['grade'].max()) # 最大值 print('grade列最小值:',df['grade'].min()) # 最小值
8.agg()函数
- 聚合函数，对分组后数据进行聚合，默认情况对分组后其他列进行聚合；
df[['grade', 'cycle']].agg([np.sum, np.mean, np.median, np.min, np.max, np.std, np.var])
grade |
cycle | |
| sum | 23.00000 | 15.0 |
| mean | 4.60000 | 3.0 |
| median | 5.00000 | 2.0 |
| amin | 2.00000 | 1.0 |
| amax | 6.00000 | 6.0 |
| std | 1.67332 | 2.0 |
| var | 2.80000 | 4.0 |
9.分组计算
- 主要的作用是进行数据的分组以及分组后地组内运算；
例如： 按course列分组后，grade列元素最多的是？
# 方法一：head()取行 df[['course', 'grade']].groupby('course').sum().sort_values(by='grade', ascending=False).head(1)
grade |
|
| course | |
| Java | 6 |
作业：
import pandas as pd import numpy as np import random # 载入数据 data = pd.read_excel('/home/mw/input/pandas1206855/pandas120.xlsx') # 将salary列数据转换为最大值与最小值的平均值 df = data.copy() df['salary'] = df['salary'].map(lambda x: [int(x[0:-1]) for x in x.split('-')]) df['salary'] = df['salary'].map(lambda x: ((x[0] + x[1])*1000) / 2) df['salary'] = df['salary'].astype('int') # 计算salary列最大最小值之差（极差），设置列名为ptp df['ptp'] = df['salary'].max() - df['salary'].min() # 新增一列根据salary列数值大小划分为三个层次['低', '中', '高']，列名命名category df['salary'] = df['salary'].astype('int') df['category'] = pd.cut(df['salary'], [0, 5000, 20000, 50000], labels=['低', '中', '高']) # 根据createTime列，拆分两列字段:日期(年-月-日格式)、小时，分别命名date，hour # for i in range(len(df)): # df['date'] = df.iloc[i, 0].to_pydatetime().strftime('%Y-%m-%d %H:%M:%S') df['date'] = df['createTime'].apply(lambda x: str(x.year) + '-0' + str(x.month) + '-' + str(x.day)) df['hour'] = df['createTime'].apply(lambda x: x.hour) # 统计在2020-03-16这一天，每个小时的平均工资、平均极差(每行数据极差都是41500)、本科和硕士学历个数，薪资层次中高中低的个数， # 数据框展示的列分别有date，hour，mean_salary，mean_ptp，count_college，count_master，count_low，count_meddle，count_high； # 并将平均工资保留两位小数，最后按照date，hour升序排序 # mean_salary 平均工资保留两位小数 # 按照date，hour升序排序 # 请注意按照要求输出答案 # 筛选出2020-03-16这一天的数据 dff = df.loc[df['date'].isin(['2020-03-16'])] ## 对education和category进行dummy处理 dff = pd.get_dummies(dff, prefix=['学历', '等级'], columns=['education', 'category']) ## 按照date和hour分组统计,计算各类数据 df2 = dff.groupby(['date', 'hour']).agg({'salary': ['mean'], 'ptp': ['mean'], '学历_本科': ['sum'], '学历_硕士': ['sum'], '等级_低': ['sum'], '等级_中': ['sum'], '等级_高': ['sum']}) df2.reset_index(inplace=True) df2.columns = [[' '.join(col).strip() for col in df2.columns]] df2['ptp mean'] = df2['ptp mean'].astype('int') df2['salary mean'] = df2['salary mean'].round(2) data = pd.concat([df2.iloc[:, 0], df2.iloc[:, 1], df2.iloc[:, 2], df2.iloc[:, 3], df2.iloc[:, 4], df2.iloc[:, 5], df2.iloc[:, 6], df2.iloc[:, 7], df2.iloc[:, 8]]) df3 = pd.DataFrame(data, columns=['answer']) df3['id'] = range(len(df3)) df3 = df3[['id', 'answer']] df3.to_csv('answer_3.csv', index=False, encoding='utf-8-sig')
收获
