4 文件读取写入
4.1 CSV文件
DataFrame.to_csv(path_or_buf=None,sep=','columns=None,header=True,index=True,index_label=None,mode='w',encoding=None) 1
- path_or_buf ：string or file handle ， default None
- sep : character, default ‘,’（分隔符）
- columns ：sequence,optional
- mode：'w‘:重写，'a’追加
- index:是否写入 行索引
- header:boolean or list of string,default True,是否写进列索引值
Series.to_csv (path=None,index=True,sep=',',na_rep='',float_format=None,header=False,index_label=None,mode='w',encoding=None,compression=None,date_format=None,decimal='.)
- Write Series to a comma-separated values(csv)file
pd.read_csv("./stock_day/stock_day.csv", usecols=["high", "low", "open", "close"]).head() # 读哪些列 data = pd.read_csv("stock_day2.csv", names=["open", "high", "close", "low", "volume", "price_change", "p_change", "ma5", "ma10", "ma20", "v_ma5", "v_ma10", "v_ma20", "turnover"]) # 如果列没有列名，用names传入 data[:10].to_csv("test.csv", columns=["open"]) # 保存open列数据 data[:10].to_csv("test.csv", columns=["open"], index=False, mode="a", header=False) # 保存opend列数据，index=False不要行索引，mode="a"追加模式|mode="w"重写，header=False不要列索引
csv可以用excel表格打开，但是可能有格式错误
4.2 HDF5文件
read_hdf to_hdf
HDF5文件的读取和存储需要指定一个键，值为要存储的DataFrame，也就是说hdf5存储的是panel这种三维类型，一个key对应一个dataframe
pandas.read_hdf(path_or_buf, key=None, **kwargs)
从h5文件当中读取数据
- path_or_buffer: 文件路径
- key: 读取的键
- mode: 打开文件的模式
- reurn: The Selected object
DataFrame.to_hdf(path_or_buf, key, **kwargs)
day_close = pd.read_hdf("./stock_data/day/day_close.h5"，key="close") day_close.to_hdf("test.h5",key="close" )
4.3 JSON文件
read_json to_json
pandas.read_json(path_or_buf=None,orient=None,typ=“frame”,lines=False)
- 将JSON格式转换成默认的Pandas DataFrame格式
- orient: string,Indication of expected JSON string format.
- ‘split’: dict like {index -> [index], columns -> [columns], data -> [values]}
- ‘records’: list like [{column -> value}, …, {column -> value}]
- ‘index’: dict like {index -> {column -> value}}
- ‘columns’: dict like {column -> {index -> value}}, 默认该格式
- ‘values’: just the values array
- lines: boolean, default False
- 按照每行读取json对象
- typ: default ‘frame’，指定转换成的对象类型series或者dataframe
sa = pd.read_json("Sarcasm_Headlines_Dataset.json", orient="records", lines=True) ##主要是path，orient是一种确定索引与数值的对应，以本例来看，列索引就是‘key’,values就是key对应的值 sa.to_json("test.json", orient="records", lines=True)
本示例中按行存储，每行是一个字典，键 有’article_link’,'headline’等
5 高级处理
5.1 缺失值（标记值）处理
主要参数
- inplace实现数据替换(默认为False)
- dropna实现缺失值的删除(默认删除行)
- fillna实现缺失值的填充
- isnull或notnull判断是否有缺失数据NaN
如何进行缺失值处理？
- 删除含有缺失值的样本
- 替换/插补数据
判断NaN是否存在
- pd.isnull(df) 会返回整个dataframe的布尔框架，难以观察(bool为True代表那个位置是缺失值)
- pd.isnull(df).any() 表示只要有一个True就返回True
- pd.notnull(df)会返回整个dataframe的布尔框架，难以观察(bool为False代表那个位置是缺失值)
- pd.notnull(df).all() 表示只要有一个False就返回False
删除nan数据
- df.dropna(inplace=True) 默认按行删除 inplace:True修改原数据，False返回新数据，默认False
替换nan数据
- df.fillna(value,inplace=True)
- value替换的值
inplace:True修改原数据，False返回新数据，默认False
movie["Revenue (Millions)"].fillna(movie["Revenue (Millions)"].mean(), inplace=True) ###这就是先利用其他代码判断出"Revenue (Millions)"有nan数据，然后利用.fillna函数，令value=movie["Revenue (Millions)"].mean()列的均值，然后inplace=True修改原数据
import pandas as pd import numpy as np movie = pd.read_csv("./IMDB/IMDB-Movie-Data.csv") # 1）判断是否存在NaN类型的缺失值 np.any(pd.isnull(movie)) # 返回True，说明数据中存在缺失值 np.all(pd.notnull(movie)) # 返回False，说明数据中存在缺失值 pd.isnull(movie).any() pd.notnull(movie).all() # 2）缺失值处理 # 方法1：删除含有缺失值的样本 data1 = movie.dropna() pd.notnull(data1).all() # 方法2：替换 # 含有缺失值的字段 # Revenue (Millions) # Metascore movie["Revenue (Millions)"].fillna(movie["Revenue (Millions)"].mean(), inplace=True) movie["Metascore"].fillna(movie["Metascore"].mean(), inplace=True)
替换非nan的标记数据
有些数据不存在可能标记为“#”，“?”等
# 读取数据 path = "wisconsin.data" name = ["Sample code number", "Normal Nucleoli","Mitoses", "Class"] data = pd.read_csv(path, names=name) #这里的非nan标记值缺失值就是利用“?”表示的，因此利用参数to_replace,value=np.nan,将默认标记值替换为nan值，然后再利用签署方法处理nan缺失值 # 1）替换 data_new = data.replace(to_replace="?", value=np.nan)
5.2 离散化
这一块建议去看视频，理解更快：视频地址
- 连续属性的离散化就是将连续属性的值域上，将值域划分为若干个离散的区间，最后用不同的符号或整数 值代表落在每个子区间的属性值。
- 连续属性离散化的目的是为了简化数据结构，数据离散化技术可以用来减少给定连续属性值的个数。离散化方法经常作为数据挖掘的工具。
- 实现方法：
- 分组
- 自动分组 sr = pd.qcut(data, bins)
- 自定义分组 sr = pd.cut(data, [])
- 将分组好的结果转换成one-hot编码（哑变量）
- pd.get_dummies(sr, prefix=)
one-hot编码：
比如男女数据一般用1和0表示,但1和0本身有大小问题，而男女只是不同的概念，因此用1，0表示会存在区别
| （男：1 女：0） | 性别 |
| 小明 | 1 |
| 小红 | 0 |
如果用one-hot表示一种方法可以是，相当于利用一种编码的方式表示
| 男 | 女 | 编码 | |
| 小明 | 1 | 0 | 1 0 |
| 小红 | 0 | 1 | 0 1 |
同时还可处理连续数据，比如将身高的连续数据分为不同的身高区间，每个区间对应一个类别，然后类比同上来考虑
# 1）准备数据 data = pd.Series([165,174,160,180,159,163,192,184], index=['No1:165', 'No2:174','No3:160', 'No4:180', 'No5:159', 'No6:163', 'No7:192', 'No8:184']) # 2）分组 # 自动分组 sr = pd.qcut(data, 3) sr.value_counts() # 看每一组有几个数据 # 3）转换成one-hot编码 pd.get_dummies(sr, prefix="height") # 自定义分组 bins = [150, 165, 180, 195]#这就表示有三组[150,165][165,180][180,195] sr = pd.cut(data, bins) # get_dummies pd.get_dummies(sr, prefix="身高")
5.3 合并
指合并不同dataframe上的内容数据
按方向
pd.concat([data1, data2], axis=1) #axis：0为列索引；1为行索引
按索引
left = pd.DataFrame({'key1': ['K0', 'K0', 'K1', 'K2'], 'key2': ['K0', 'K1', 'K0', 'K1'], 'A': ['A0', 'A1', 'A2', 'A3'], 'B': ['B0', 'B1', 'B2', 'B3']}) right = pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'], 'key2': ['K0', 'K0', 'K0', 'K0'], 'C': ['C0', 'C1', 'C2', 'C3'], 'D': ['D0', 'D1', 'D2', 'D3']}) pd.merge(left, right, how="inner", on=["key1", "key2"]) pd.merge(left, right, how="left", on=["key1", "key2"]) pd.merge(left, right, how="outer", on=["key1", "key2"]) ###这里merge参数解释： #left: 需要合并的一个表，合并后在左侧 #right:需要合并的一个表，合并后在右侧 #how: 合并方式 #on: 在哪些索引上进行合并
5.4交叉表与透视表
- 交叉表
- 交叉表用于计算一列数据对于另外一列数据的分组个数（寻找两个列之间的关系）
pd.crosstab(value1, value2)
data = pd.crosstab(stock["week"], stock["pona"]) data.div(data.sum(axis=1), axis=0).plot(kind="bar", stacked=True)
透视表
- 相对于交叉表操作简单些
# 透视表操作 stock.pivot_table(["pona"], index=["week"])
5.6 分组与聚合
- 分组与聚合通常是分析数据的一种方式，通常与一些统计函数一起使用，查看数据的分组情况。
- DataFrame.groupby(key, as_index=False) key：分组的列数据，可以多个
col =pd.DataFrame({'color': ['white','red','green','red','green'], 'object': ['pen','pencil','pencil','ashtray','pen'],'price1':[5.56,4.20,1.30,0.56,2.75],'price2':[4.75,4.12,1.60,0.75,3.15]}) # 进行分组，对颜色分组，price1进行聚合 # 用dataframe的方法进行分组 col.groupby(by="color") # 或者用Series的方法进行分组聚合 col["price1"].groupby(col["color"])
6 案例
要求
- 想知道这些电影数据中评分的平均分，导演的人数等信息，我们应该怎么获取？
- 对于这一组电影数据，如果我们想看Rating,Runtime(Minutes)的分布情况，应该如何呈现数据？
- 对于这一组电影数据，如果我们希望统计电影分类(genre)的情况，应该如何
处理数据？
数据结构展示
代码
# 1、准备数据 movie = pd.read_csv("./IMDB/IMDB-Movie-Data.csv") ###movie读入后如上图所示 ######################问题一 # 问题1：我们想知道这些电影数据中评分的平均分，导演的人数等信息，我们应该怎么获取？ # 评分的平均分 movie["Rating"].mean() # 导演的人数 np.unique(movie["Director"]).size ######################问题二 ##绘制直方图查看分布 movie["Rating"].plot(kind="hist", figsize=(20, 8)) #利用matplotlib可更细致绘图 import matplotlib.pyplot as plt # 1、创建画布 plt.figure(figsize=(20, 8), dpi=80) # 2、绘制直方图 plt.hist(movie["Rating"], 20) # 修改刻度 plt.xticks(np.linspace(movie["Rating"].min(),movie["Rating"].max(), 21)) # 添加网格 plt.grid(linestyle="--", alpha=0.5) # 3、显示图像 plt.show() ######################问题三 ##如果我们希望统计电影分类(genre)的情况，应该如何处理数据？ ###可以发现图中genre一列数据中每个电影都有多种标签，因此要先分割 # 先统计电影类别都有哪些 movie_genre = [i.split(",") for i in movie["Genre"]] ###得到的movie_genre结构图见《下图一》 ###这一块主要是把movie_genre的二维列表变为以为列表，然后利用unique函数去重 movie_class = np.unique([j for i in movie_genre for j in i]) len(movie_class)####这就得到了电影的类型标签种类数 # 统计每个类别有几个电影 count = pd.DataFrame(np.zeros(shape=[1000, 20], dtype="int32"), columns=movie_class) count.head()###得到的count结构如《下图二》 # 计数填表 for i in range(1000): count.ix[i, movie_genre[i]] = 1###注意ix现在不太能用了 ############movie_genre[i]将返回字符索引列 #这就得到了下面第三张图片的数据处理效果，列表示电影类型种类，行表示不同电影，如《下图三》 #因此只需逐列求和即可得到每类标签电影的数量 ##最终实现数据可视化如《下图四》 count.sum(axis=0).sort_values(ascending=False).plot(kind="bar", figsize=(20, 9), fontsize=40, colormap="cool")
