动手学习数据分析(一)——数据探索性分析

简介: 动手学习数据分析(一)——数据探索性分析

Task01-数据加载及探索性数据分析


20190820211251427.jpg



pandas 的数据结构:

基本概念:轴(Axis)和标签(Label)
数据框(DataFrame)的数据结构(存储二维数据)
数据框的 row 和 column 是 Axis,行索引和列名称是 Label
序列(Series)的数据结构(存储一维数据)
序列是一堆结构,DataFrame的每一列都是一个序列,序列结构只有行索引,没有列名称。序列包含数据和行索引


切片:

iloc 和 loc 都是对数据切片处理,只不过输入参数形式不一样


文件名.loc [ [ 行数 ],[ 列的名称] ]
文件名.loc [ [ 行数 ],[ 列数] ]


在数据分析中要养成一种思维:选取出对研究结果有价值的列数自由组合,用描述性统计总结样本的数字特征。


1.1载入数据


1.1.1任务一:导入numpy和pandas

import numpy as np

import pandas as pd



1.1.2任务二:载入数据



(1)相对路径载入


df=pd.read_csv('train.csv')

必须将数据与jupyter文件放在同一路径下


(2)绝对路径载入


df=pd.read_csv('E:/暑期学习/动手学数据分析/第一单元项目集合/train.csv')

拓展1:TSV与CSV的区别: 1)从名称上即可知道,TSV是用制表符(Tab,'\t')作为字段值的分隔符;CSV是用半角逗号(',')作为字段值的分隔符; 2)IANA规定的标准TSV格式,字段值之中是不允许出现制表符的。3) CSV形式相比较TSV形式更常见。


文本文件读取:


1、使用read_table来读取txt文本文件


pandas.read_table(数据文件名, sep=’\t’, header=’infer’, names=None,index_col=None, dtype=None, engine=None, nrows=None)


2、使用read_csv函数来读取csv、tsv、txt文件


pandas.read_csv(数据文件名, sep=’,’, header=’infer’, names=None, index_col=None,dtype=None, engine=None, nrows=None)


Excel文件读取


pandas.read_excel(文件名, sheetname=0, header=0, index_col=None, names=None, dtype=None)


文本文件存储


DataFrame.to_csv(path_or_buf=None, sep=’,’, na_rep=”, columns=None, header=True,index=True,index_label=None,mode=’w’,encoding=None)


Excel文件储存


DataFrame.to_excel(excel_writer=None, sheetname=None'’, na_rep=”, header=True,index=True, index_label=None, mode=’w’, encodin


其他注意事项:

os.getcwd() 查看当前工作目录

read_csv 从文件、URL、文件型对象中加载带分隔符的数据,默认分隔符为逗号,read_csv中每一个字符串作为一列,所以输出格式为   [891 rows x 12 columns]

read_table 从文件、URL、文件型对象中加载带分隔符的数据,默认分隔符为制表符(“ \t ”),read_table中每一行字符串为一列,输出格式为 [891 rows x 1 columns]

通过读取时改变分隔符参数,可以让他们效果一样。

del , drop(inplace = True) ,  drop(inplace = False)是不同程度的删除数据 。drop(inplace = False) 是最轻程度的删除数据,它只是返还视图,并不改变DataFrame的存储空间。del 函数和drop(inplace = True) 删除指定列,改变DataFrame的存储空间,并不改变原数据

当数据量特别大,我们需要只想读取其中一部分或对数据进行逐块处理时,需要进行逐块读取

目录
相关文章
|
8月前
|
数据采集 数据可视化 数据挖掘
用 Excel+Power Query 做电商数据分析:从 “每天加班整理数据” 到 “一键生成报表” 的配置教程
在电商运营中,数据是增长的关键驱动力。然而,传统的手工数据处理方式效率低下,耗费大量时间且易出错。本文介绍如何利用 Excel 中的 Power Query 工具,自动化完成电商数据的采集、清洗与分析,大幅提升数据处理效率。通过某美妆电商的实战案例,详细拆解从多平台数据整合到可视化报表生成的全流程,帮助电商从业者摆脱繁琐操作,聚焦业务增长,实现数据驱动的高效运营。
|
数据采集 数据可视化 数据挖掘
Pandas数据应用:天气数据分析
本文介绍如何使用 Pandas 进行天气数据分析。Pandas 是一个强大的 Python 数据处理库,适合处理表格型数据。文章涵盖加载天气数据、处理缺失值、转换数据类型、时间序列分析(如滚动平均和重采样)等内容,并解决常见报错如 SettingWithCopyWarning、KeyError 和 TypeError。通过这些方法,帮助用户更好地进行气候趋势预测和决策。
423 71
|
7月前
|
SQL 数据挖掘 BI
数据分析的尽头,是跳出数据看数据!
当前许多企业在数据分析上投入大量资源,却常陷入“数据越看越细,业务越看越虚”的困境。报表繁杂、指标众多,但决策难、行动少,分析流于形式。真正有价值的数据分析,不在于图表多漂亮,而在于能否带来洞察、推动决策、指导行动。本文探讨如何跳出数据、回归业务场景,实现数据驱动的有效落地。
|
9月前
|
数据采集 人工智能 算法
“脏数据不清,分析徒劳”——聊聊数据分析里最容易被忽视的苦差事
“脏数据不清,分析徒劳”——聊聊数据分析里最容易被忽视的苦差事
331 34
|
SQL 人工智能 数据可视化
数据团队必读:智能数据分析文档(DataV Note)五种高效工作模式
数据项目复杂,涉及代码、数据、运行环境等多部分。随着AI发展,数据科学团队面临挑战。协作式数据文档(如阿里云DataV Note)成为提升效率的关键工具。它支持跨角色协同、异构数据处理、多语言分析及高效沟通,帮助创建知识库,实现可重现的数据科学过程,并通过一键分享报告促进数据驱动决策。未来,大模型AI将进一步增强其功能,如智能绘图、总结探索、NLP2SQL/Python和AutoReport,为数据分析带来更多可能。
761 142
|
SQL 数据可视化 大数据
从数据小白到大数据达人:一步步成为数据分析专家
从数据小白到大数据达人:一步步成为数据分析专家
684 92
|
8月前
|
数据采集 SQL 监控
“你分析个锤子啊,米都没洗净”——数据采集和数据分析的底层逻辑真相
“你分析个锤子啊,米都没洗净”——数据采集和数据分析的底层逻辑真相
185 0
|
存储 数据采集 数据可视化
Pandas数据应用:电子商务数据分析
本文介绍如何使用 Pandas 进行电子商务数据分析,涵盖数据加载、清洗、预处理、分析与可视化。通过 `read_csv` 等函数加载数据,利用 `info()` 和 `describe()` 探索数据结构和统计信息。针对常见问题如缺失值、重复记录、异常值等,提供解决方案,如 `dropna()`、`drop_duplicates()` 和正则表达式处理。结合 Matplotlib 等库实现数据可视化,探讨内存不足和性能瓶颈的应对方法,并总结常见报错及解决策略,帮助提升电商企业的数据分析能力。
647 73
|
数据采集 机器学习/深度学习 数据挖掘
数据分析入门:从数据探索到洞察真相
数据分析入门:从数据探索到洞察真相
329 19
|
存储 机器学习/深度学习 数据可视化
数据集中存在大量的重复值,会对后续的数据分析和处理产生什么影响?
数据集中存在大量重复值可能会对后续的数据分析和处理产生多方面的负面影响
942 56

热门文章

最新文章