开发者社区> 飞天小橘子> 正文

Python3数据分析——(2)Pandas快速入门基础

简介: Pandas基础 Pandas的名称来自于面板数据(panel data)和Python数据分析(data analysis)。
+关注继续查看
Pandas基础

Pandas的名称来自于面板数据(panel data)和Python数据分析(data analysis)。
Pandas是一个强大的分析结构化数据的工具集,基于NumPy构建,提供了高级数据结构和数据操作工具,它是使Python成为强大而高效的数据分析环境的重要因素之一。
Pandas特点:
1.一个强大的分析和操作大型结构化数据集所需的工具集
2.基础是NumPy,提供了高性能矩阵的运算
3.提供了大量能够快速便捷地处理数据的函数和方法
4.应用于数据挖掘,数据分析
5.提供数据清洗功能
Pandas的数据结构:
import pandas as pd
Pandas有两个最主要也是最重要的数据结构: SeriesDataFrame
Pandas中使用频率较低的一种数据结构:Panel(Pandas 决定在未来的版本中将 Panel 移除,转而使用 MultiIndex DataFrame 来表示多维数据结构)
Pandas的对齐运算:
数据清洗的重要过程,可以按索引对齐进行运算,如果没对齐的位置则补NaN,最后也可以填充NaN

一、Series数据结构(一维数据)
1、简要介绍:
(1)Series是一种类似于一维数组的对象,由一组数据(各种NumPy数据类型)以及一组与之对应的索引(数据标签)组成。
(2)类似一维数组的对象,由数据和索引组成(索引(index)在左,数据(values)在右,索引是自动创建的)
(3)Series 是 Pandas 中最基本的一维数据形式。其可以储存整数、浮点数、字符串等形式的数据。Series 的新建方法如下:s = pandas.Series(data, index=index);其中,data 可以是字典、numpy 里的 ndarray 对象等。index 是数据索引,索引是 pandas 数据结构中的一大特性,它主要的功能是帮助我们更快速地定位数据。

2、通过字典(dict)构建Series


数据值是 10, 20, 30,索引为 a, b, c 。
我们也可以直接通过 index= 参数来设置新的索引,如下

pandas 会自动匹配人为设定的索引值和字典转换过来的索引值。而当索引无对应值时,会显示为 NaN 缺失值。
3、通过ndarray构建Series
ndarray 是著名数值计算包 numpy 中的多维数组。我们也可以将 ndarray 直接转换为 Series。
(1)指定了 index 的值

(2)非人为指定索引值时,Pandas 会默认从 0 开始设置索引值。

(3)从一维数据 Series 中返回某一个值时,可以直接通过索引完成

(4)对Series 直接进行运算

(5)Series的对齐运算

注意:填充未对齐的数据进行运算
使用add, sub, div, mul的同时,通过fill_value指定填充值,未对齐的数据将和填充值做运算
示例代码:print(s1)
print(s2)
s1.add(s2, fill_value = -1)

二、DataFrame数据结构(二维数据)
1、简要介绍
(1)DataFrame是一个表格型的数据结构,它含有一组有序的列,每列可以是不同类型的值。DataFrame既有行索引也有列索引,它可以被看做是由Series组成的字典(共用同一个索引),数据是以二维结构存放的。
(2)特点:类似多维数组/表格数据 (如,excel, R中的data.frame);每列数据可以是不同的类型;索引包括列索引和行索引
(3)DataFrame 可以用于储存多种类型的输入:
  • 一维数组、列表、字典或者 Series 字典。
  • 二维 numpy.ndarray。
  • 结构化的 ndarray。
  • 一个 Series。
  • 另一个 DataFrame。
2、通过字典(dict)构建DataFrame
(1)通过Series的字典构建DataFrame

行索引为 a, b, c, d ,而列索引为 one, two
(2)通过ndarray或list的字典构建DataFrame


3、通过带字典的列表构建DataFrame

4、DataFrame.from_ 方法
pandas的 DataFrame 下面还有 4 个以 from_ 开头的方法,这也可以用来创建 Dataframe。

5、DataFrame中列的选择、删除和添加
一维数据结构Series中,我们用 df['标签']来选择行。在二维数据DataFrame中,df['标签']表示选择列。


6、DataFrame的对齐运算

三、Panel数据结构(三维数据)
1、简要介绍
(1)Panel是Pandas中使用频率较低的一种数据结构,但它是三维数据的重要容器。
(2)Panel data又称面板数据,它是计量经济学中派生出来的一个概念。在计量经济学中,数据大致可分为三类:截面数据时间序列数据面板数据。而面板数据即是截面数据与时间序列数据综合起来的一种数据类型。
简单来讲,截面数据指在某一时间点收集的不同对象的数据。而时间序列数据是指同一对象在不同时间点所对应的数据集合。
这里引用一个城市和 GDP 关系的示例来解释上面的三个概念:
截面数据:
  • 例如城市:北京、上海、重庆、天津在某一年的 GDP 分别为10、11、9、8(单位亿元)。
时间序列数据:
  • 例如:2000、2001、2002、2003、2004 各年的北京市 GDP 分别为8、9、10、11、12(单位亿元)。
面板数据:
  • 2000、2001、2002、2003、2004 各年中国所有直辖市的 GDP 分别为(单位亿元):北京市分别为 8、9、10、11、12;上海市分别为 9、10、11、12、13;天津市分别为 5、6、7、8、9;重庆市分别为 7、8、9、10、11。
(3)Panel 构成
在 Pandas 中,Panel 主要由三个要素构成:
  • items: 每个项目(item)对应于内部包含的 DataFrame。
  • major_axis: 每个 DataFrame 的索引(行)。
  • minor_axis: 每个 DataFrame 的索引列。
简言之,在 Pandas 中,一个 Panel由多个 DataFrame 组成。
2、生成一个Panel

可以看到,wp 由 2 个项目、5个主要轴和4个次要轴组成。其中,主要轴由2000-01-01 到2000-01-05这5天组成的时间序列,次轴从A到D。

3、由于 Panel 在 Pandas 中的使用频率远低于 Series 和 DataFrame,所以 Pandas 决定在未来的版本中将 Panel 移除,转而使用 MultiIndex DataFrame 来表示多维数据结构。

补充:Pandas统计计算和描述


#描述和汇总的方法
count 非Nan数量
describe 针对个列汇总统计
min和max 最大最小值
argmin、argmax 计算最大值或最小值对应的索引位置
quantile 计算样本的分位数(0-1)
mean 均值
median 中位数
mad 平均绝对离差
var 样本方差
std 样本的标准差
skew 样本值的偏度
kurt 样本值的峰度
cumsum样本值的累计和



注:
Pandas官网:http://pandas.pydata.org/





版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
【Spring Boot 快速入门】十、Spring Boot集成Druid数据监控
【Spring Boot 快速入门】十、Spring Boot集成Druid数据监控
64 0
Markdown 基础入门 :文章目录生成、合并单元格、文章快速插入链接(使用剪切板的链接插到选中文字)
Markdown 基础入门 :文章目录生成、合并单元格、文章快速插入链接(使用剪切板的链接插到选中文字)
43 0
Okhttp3源码解析(1)-OkHttpClient分析
前言 上篇文章我们讲了Okhttp的基本用法,今天根据上节讲到请求流程来分析源码,那么第一步就是实例化OkHttpClient对象,所以我们今天主要分析下OkHttpClient源码! 初始化-构造方式 创建 OkHttpClient实例的两种方式 1.
2637 0
教你零基础如何快速入门大数据技巧
现在是大数据时代,很多人都想要学习大数据,因为不管是就业前景还是薪资都非常的不错,不少人纷纷从其他行业转型到大数据行业,那么零基础的人也想要学习大数据怎么办呢?下面一起探讨下零基础如何快速入门大数据技巧吧。
892 0
TreeMap源码分析——基础分析(基于JDK1.6)
常见的数据结构有数组、链表,还有一种结构也很常见,那就是树。前面介绍的集合类有基于数组的ArrayList,有基于链表的LinkedList,还有链表和数组结合的HashMap,今天介绍基于树的TreeMap。
424 0
Python零基础学习笔记(四)——数据类型
python数据类型:Number(数字):包括整数/浮点数(小数)/复数String(字符串)Boolean(布尔值)None(空值)list(列表)tuple(元组)dict(字典)set(集合)
1263 0
《Spark与Hadoop大数据分析》——1.1 大数据分析以及 Hadoop 和 Spark 在其中承担的角色
本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第1章,第1.1节,作者 [美]文卡特·安卡姆(Venkat Ankam),译 吴今朝,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1379 0
83
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载