动手学习数据分析(一)——数据探索性分析

简介: 动手学习数据分析(一)——数据探索性分析

Task01-数据加载及探索性数据分析


20190820211251427.jpg



pandas 的数据结构:

基本概念:轴(Axis)和标签(Label)
数据框(DataFrame)的数据结构(存储二维数据)
数据框的 row 和 column 是 Axis,行索引和列名称是 Label
序列(Series)的数据结构(存储一维数据)
序列是一堆结构,DataFrame的每一列都是一个序列,序列结构只有行索引,没有列名称。序列包含数据和行索引


切片:

iloc 和 loc 都是对数据切片处理,只不过输入参数形式不一样


文件名.loc [ [ 行数 ],[ 列的名称] ]
文件名.loc [ [ 行数 ],[ 列数] ]


在数据分析中要养成一种思维:选取出对研究结果有价值的列数自由组合,用描述性统计总结样本的数字特征。


1.1载入数据


1.1.1任务一:导入numpy和pandas

import numpy as np

import pandas as pd



1.1.2任务二:载入数据



(1)相对路径载入


df=pd.read_csv('train.csv')

必须将数据与jupyter文件放在同一路径下


(2)绝对路径载入


df=pd.read_csv('E:/暑期学习/动手学数据分析/第一单元项目集合/train.csv')

拓展1:TSV与CSV的区别: 1)从名称上即可知道,TSV是用制表符(Tab,'\t')作为字段值的分隔符;CSV是用半角逗号(',')作为字段值的分隔符; 2)IANA规定的标准TSV格式,字段值之中是不允许出现制表符的。3) CSV形式相比较TSV形式更常见。


文本文件读取:


1、使用read_table来读取txt文本文件


pandas.read_table(数据文件名, sep=’\t’, header=’infer’, names=None,index_col=None, dtype=None, engine=None, nrows=None)


2、使用read_csv函数来读取csv、tsv、txt文件


pandas.read_csv(数据文件名, sep=’,’, header=’infer’, names=None, index_col=None,dtype=None, engine=None, nrows=None)


Excel文件读取


pandas.read_excel(文件名, sheetname=0, header=0, index_col=None, names=None, dtype=None)


文本文件存储


DataFrame.to_csv(path_or_buf=None, sep=’,’, na_rep=”, columns=None, header=True,index=True,index_label=None,mode=’w’,encoding=None)


Excel文件储存


DataFrame.to_excel(excel_writer=None, sheetname=None'’, na_rep=”, header=True,index=True, index_label=None, mode=’w’, encodin


其他注意事项:

os.getcwd() 查看当前工作目录

read_csv 从文件、URL、文件型对象中加载带分隔符的数据,默认分隔符为逗号,read_csv中每一个字符串作为一列,所以输出格式为   [891 rows x 12 columns]

read_table 从文件、URL、文件型对象中加载带分隔符的数据,默认分隔符为制表符(“ \t ”),read_table中每一行字符串为一列,输出格式为 [891 rows x 1 columns]

通过读取时改变分隔符参数,可以让他们效果一样。

del , drop(inplace = True) ,  drop(inplace = False)是不同程度的删除数据 。drop(inplace = False) 是最轻程度的删除数据,它只是返还视图,并不改变DataFrame的存储空间。del 函数和drop(inplace = True) 删除指定列,改变DataFrame的存储空间,并不改变原数据

当数据量特别大,我们需要只想读取其中一部分或对数据进行逐块处理时,需要进行逐块读取

目录
相关文章
|
22天前
|
数据采集 数据可视化 数据挖掘
多维数据分析:使用Pandas进行复杂的数据操作和聚合
【4月更文挑战第12天】Pandas是Python的强大数据分析库,提供DataFrame数据结构进行多维数据处理。本文介绍了使用Pandas进行多维数据分析的流程:1) 导入数据(如CSV、Excel);2) 数据预处理,包括缺失值处理和类型转换;3) 数据探索,利用describe()、hist()、plot()等进行统计和可视化;4) 数据操作,如筛选、排序和分组;5) 数据聚合,通过groupby()和agg()进行计算。文中还给出了电商数据分析的案例,展示Pandas在实际应用中的价值。
|
26天前
|
人工智能 监控 数据可视化
【Python】Python商业公司贸易业务数据分析可视化(数据+源码)【独一无二】
【Python】Python商业公司贸易业务数据分析可视化(数据+源码)【独一无二】
|
2月前
|
自然语言处理 小程序 数据挖掘
数据分析实战-Python实现博客评论数据的情感分析
数据分析实战-Python实现博客评论数据的情感分析
126 0
|
8天前
|
数据可视化 数据挖掘
R语言生存分析数据分析可视化案例(下)
R语言生存分析数据分析可视化案例
16 0
|
4天前
|
数据可视化 前端开发 数据挖掘
R语言对综合社会调查GSS数据进行自举法bootstrap统计推断、假设检验、探索性数据分析可视化|数据分享(上)
R语言对综合社会调查GSS数据进行自举法bootstrap统计推断、假设检验、探索性数据分析可视化|数据分享
13 0
|
4天前
|
前端开发 数据可视化 数据挖掘
R语言对综合社会调查GSS数据进行自举法bootstrap统计推断、假设检验、探索性数据分析可视化|数据分享(下)
R语言对综合社会调查GSS数据进行自举法bootstrap统计推断、假设检验、探索性数据分析可视化|数据分享
16 0
|
8天前
|
数据可视化 数据挖掘
R语言生存分析数据分析可视化案例(上)
R语言生存分析数据分析可视化案例
|
8天前
|
机器学习/深度学习 安全 数据挖掘
数据分享|函数型数据分析部分省市新冠疫情数据
数据分享|函数型数据分析部分省市新冠疫情数据
15 0
|
15天前
|
数据可视化 数据挖掘 Linux
如何在Linux部署DataEase数据分析服务并实现无公网IP远程分析内网数据信息
如何在Linux部署DataEase数据分析服务并实现无公网IP远程分析内网数据信息
|
17天前
|
数据采集 数据可视化 数据挖掘
Seaborn在数据分析中的应用:案例分析与实践
【4月更文挑战第17天】本文介绍了Seaborn在数据分析中的应用,它是一个基于Python的可视化库,简化了复杂数据的图表创建。通过一个销售数据分析的案例,展示了数据加载、描述性统计、相关性分析、多变量分析及高级可视化步骤。实践技巧包括数据清洗、图表选择、颜色使用、注释标签和交互性。Seaborn助力高效数据探索和理解,提升分析效率。注意,实际使用需根据数据集和目标调整,并参考最新文档。