数据分析之Python-Pandas详解

简介: 1.pandas简介Pandas 是 Python 语言的一个扩展程序库,用于数据分析。Pandas 是一个开放源码、BSD 许可的库,提供高性能、易于使用的数据结构和数据分析工具。Pandas 名字衍生自术语 “panel data”(面板数据)和 “Python data analysis”(Python 数据分析)。Pandas 一个强大的分析结构化数据的工具集,基础是 Numpy(提供高性能的矩阵运算)。Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入数据。Pandas 可以对各种数据进行运算操作,比如归并、再成



1.pandas简介


Pandas 是 Python 语言的一个扩展程序库,用于数据分析。

Pandas 是一个开放源码、BSD 许可的库,提供高性能、易于使用的数据结构和数据分析工具。

Pandas 名字衍生自术语 “panel data”(面板数据)和 “Python data analysis”(Python 数据分析)。

Pandas 一个强大的分析结构化数据的工具集,基础是 Numpy(提供高性能的矩阵运算)。

Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入数据。

Pandas 可以对各种数据进行运算操作,比如归并、再成形、选择,还有数据清洗和数据加工特征。

Pandas 广泛应用在学术、金融、统计学等各个数据分析领域。

Pandas 的主要数据结构是 Series (一维数据)与 DataFrame(二维数据),这两种数据结构足以处理金融、统计、社会科学、工程等领域里的大多数典型用例😎引入Pandas:


import pandas as pd


2.Series


Pandas Series 类似表格中的一个列(column),类似于一维数组,可以保存任何数据类型。Series 由索引(index)和列组成,函数如下:


pandas.Series( data, index, dtype, name, copy)


参数说明:copy:拷贝数据,默认为 False。name:设置名称。dtype:数据类型,默认会自己判断。index:数据索引标签,如果不指定,默认从 0 开始。data:一组数据(ndarray 类型)。 实例:Series创建一个简单的


'''
pandas_series
'''
import pandas as pd
a = [1, 2, 3]
myvar = pd.Series(a)
print(myvar)
# 0    1
# 1    2
# 2    3
# dtype: int64


输出简介:



从上图可知,如果没有指定索引,索引值就从 0 开始,我们可以根据索引值读取数据:


import pandas as pd
a = [1, 2, 3]
myvar = pd.Series(a)
print(myvar[1])  # 2


我们可以指定索引值,如下实例:


'''
指定索引值
'''
str = ['google', 'facebook', 'github']
mystr = pd.Series(str, index=["x", "y", "z"])
print(mystr)
# x      google
# y    facebook
# z      github
# dtype: object


我们也可以使用 key/value 对象,类似字典来创建 Series:


'''
使用key/value对象来设置Series对象
'''
sites = {1: 'google', 2: 'tencent', 3: 'weiwei'}
mysites = pd.Series(sites, name="dahezhiquan")
print(mysites)
# 1     google
# 2    tencent
# 3     weiwei
# Name: dahezhiquan, dtype: object


3.DataFrame


组成的字典(共同用一个索引)。Series 既有行索引也有列索引,它可以被看做由 DataFrame 是一个表格型的数据结构,它含有一组有序的列,每列可以是不同的值类型(数值、字符串、布尔型值)。DataFrame



更形象的演示:



构造方法如下:DataFrame


pandas.DataFrame( data, index, columns, dtype, copy)


参数说明:


data:一组数据(ndarray、series, map, lists, dict 等类型)。

index:索引值,或者可以称为行标签。

columns:列标签,默认为 RangeIndex (0, 1, 2, …, n) 。

dtype:数据类型。

copy:拷贝数据,默认为 False。

Pandas DataFrame 是一个二维的数组结构,类似二维数组。


'''
基本使用
'''
data = [['google', 12], ['face', 13], ['win', 14]]
df = pd.DataFrame(data, columns=['site', 'age'], dtype=float)
print(df)
#      site   age
# 0  google  12.0
# 1    face  13.0
# 2     win  14.0


以下实例使用 ndarrays 创建,ndarray 的长度必须相同, 如果传递了 index,则索引的长度应等于数组的长度。如果没有传递索引,则默认情况下,索引将是range(n),其中n是数组长度。


'''
ndarrays 创建
'''
data_item = {'Sites': ['google', 'time', 'wangwei'], 'Age': [12, 13, 14]}
df2 = pd.DataFrame(data_item)
print(df2)
#      Sites  Age
# 0   google   12
# 1     time   13
# 2  wangwei   14


还可以使用字典(key/value),其中字典的 key 为列名:


'''
使用key-values值创建
'''
shit = [{'a': 1, 'b': 2}, {'a': 5, 'b': 3, 'c': 2}]
df3 = pd.DataFrame(shit)
print(df3)
#    a  b    c
# 0  1  2  NaN
# 1  5  3  2.0


没有对应的部分数据为 NaN

Pandas 可以使用 loc 属性返回指定行的数据,如果没有设置索引,第一行索引为 0,第二行索引为 1,以此类推:


# 获取第一行的数据
print(df3.loc[0])
# a    1.0
# b    2.0
# c    NaN
# Name: 0, dtype: float64


也可以返回多行数据,使用 [[ ... ]] 格式,... 为各行的索引,以逗号隔开:


# 返回第二行和第三行的数据
print(df3.loc[[0, 1]])
#    a  b    c
# 0  1  2  NaN
# 1  5  3  2.0


4.Pandas CSV 文件


Pandas 可以很方便的处理 CSV 文件

简单的读取csv文件的内容:


'''
读取csv文件内容
'''
df = pd.read_csv('nba.csv')
print(df)
# to_string() 用于返回 DataFrame 类型的数据,如果不使用该函数,
# 则输出结果为数据的前面 5 行和末尾 5 行,中间部分以 ... 代替。
print(df.to_string())


我们也可以使用 to_csv() 方法将 DataFrame 存储为 csv 文件:


'''
将dataframe转储为csv文件
'''
nme = ["Google", "Runoob", "Taobao", "Wiki"]
st = ["www.google.com", "www.runoob.com", "www.taobao.com", "www.wikipedia.org"]
ag = [90, 40, 80, 98]
dict = {'name': nme, 'site': st, 'age': ag}
df2 = pd.DataFrame(dict)
print(df2)
#      name               site  age
# 0  Google     www.google.com   90
# 1  Runoob     www.runoob.com   40
# 2  Taobao     www.taobao.com   80
# 3    Wiki  www.wikipedia.org   98
df2.to_csv('site.csv')


执行成功后,我们打开 site.csv 文件,显示结果如下:



5.Pandas CSV文件数据处理


head( n ) 方法用于读取前面的 n 行,如果不填参数 n ,默认返回 5 行。


# 读取前面的 6 行
print(df.head(6))
#             Name            Team  Number  ... Weight            College      Salary
# 0  Avery Bradley  Boston Celtics     0.0  ...  180.0              Texas   7730337.0
# 1    Jae Crowder  Boston Celtics    99.0  ...  235.0          Marquette   6796117.0
# 2   John Holland  Boston Celtics    30.0  ...  205.0  Boston University         NaN
# 3    R.J. Hunter  Boston Celtics    28.0  ...  185.0      Georgia State   1148640.0
# 4  Jonas Jerebko  Boston Celtics     8.0  ...  231.0                NaN   5000000.0
# 5   Amir Johnson  Boston Celtics    90.0  ...  240.0                NaN  12000000.0
# 
# [6 rows x 9 columns]


tail( n ) 方法用于读取尾部的 n 行,如果不填参数 n ,默认返回 5 行,空行各个字段的值返回 NaN。


# 默认读取末尾的5行
print(df.tail())
#              Name       Team  Number Position  ...  Height Weight  College     Salary
# 453  Shelvin Mack  Utah Jazz     8.0       PG  ...     6-3  203.0   Butler  2433333.0
# 454     Raul Neto  Utah Jazz    25.0       PG  ...     6-1  179.0      NaN   900000.0
# 455  Tibor Pleiss  Utah Jazz    21.0        C  ...     7-3  256.0      NaN  2900000.0
# 456   Jeff Withey  Utah Jazz    24.0        C  ...     7-0  231.0   Kansas   947276.0
# 457           NaN        NaN     NaN      NaN  ...     NaN    NaN      NaN        NaN
# 
# [5 rows x 9 columns]


info() 方法返回表格的一些基本信息:


# 返回表格的基本信息
print(df.info())
# <class 'pandas.core.frame.DataFrame'>
# RangeIndex: 458 entries, 0 to 457
# Data columns (total 9 columns):
#  #   Column    Non-Null Count  Dtype  
# ---  ------    --------------  -----  
#  0   Name      457 non-null    object 
#  1   Team      457 non-null    object 
#  2   Number    457 non-null    float64
#  3   Position  457 non-null    object 
#  4   Age       457 non-null    float64
#  5   Height    457 non-null    object 
#  6   Weight    457 non-null    float64
#  7   College   373 non-null    object 
#  8   Salary    446 non-null    float64
# dtypes: float64(4), object(5)
# memory usage: 32.3+ KB
# None
目录
相关文章
|
16天前
|
数据采集 数据可视化 数据挖掘
深入浅出:使用Python进行数据分析
在这篇文章中,我们将探索Python在数据分析中的应用,介绍几个关键的库,如Pandas、NumPy、Matplotlib,以及如何使用它们进行有效的数据处理和可视化。本文旨在为初学者提供一个清晰、简洁的指南,让读者能够快速掌握使用Python进行数据分析的基本技能,并通过一个实例加深理解。不同于其他文章的冗长解释和复杂示例,我们将以最直接、易懂的方式,让你迅速上手,即使是完全没有编程背景的读者也能轻松跟上。
|
7天前
|
机器学习/深度学习 数据挖掘 计算机视觉
python数据分析工具SciPy
【4月更文挑战第15天】SciPy是Python的开源库,用于数学、科学和工程计算,基于NumPy扩展了优化、线性代数、积分、插值、特殊函数、信号处理、图像处理和常微分方程求解等功能。它包含优化、线性代数、积分、信号和图像处理等多个模块。通过SciPy,可以方便地执行各种科学计算任务。例如,计算高斯分布的PDF,需要结合NumPy使用。要安装SciPy,可以使用`pip install scipy`命令。这个库极大地丰富了Python在科学计算领域的应用。
12 1
|
8天前
|
数据可视化 数据挖掘 Python
Python中数据分析工具Matplotlib
【4月更文挑战第14天】Matplotlib是Python的数据可视化库,能生成多种图表,如折线图、柱状图等。以下是一个绘制简单折线图的代码示例: ```python import matplotlib.pyplot as plt x = [1, 2, 3, 4, 5] y = [2, 4, 6, 8, 10] plt.figure() plt.plot(x, y) plt.title(&#39;简单折线图&#39;) plt.xlabel(&#39;X轴&#39;) plt.ylabel(&#39;Y轴&#39;) plt.show() ```
12 1
|
8天前
|
数据采集 SQL 数据可视化
Python数据分析工具Pandas
【4月更文挑战第14天】Pandas是Python的数据分析库,提供Series和DataFrame数据结构,用于高效处理标记数据。它支持从多种数据源加载数据,包括CSV、Excel和SQL。功能包括数据清洗(处理缺失值、异常值)、数据操作(切片、过滤、分组)、时间序列分析及与Matplotlib等库集成进行数据可视化。其高性能底层基于NumPy,适合大型数据集处理。通过加载数据、清洗、分析和可视化,Pandas简化了数据分析流程。广泛的学习资源使其成为数据分析初学者的理想选择。
13 1
|
9天前
|
供应链 搜索推荐 数据挖掘
Pandas实战案例:电商数据分析的实践与挑战
【4月更文挑战第16天】本文通过一个电商数据分析案例展示了Pandas在处理销售数据、用户行为分析及商品销售趋势预测中的应用。在数据准备与清洗阶段,Pandas用于处理缺失值、重复值。接着,通过用户购买行为和商品销售趋势分析,构建用户画像并预测销售趋势。实践中遇到的大数据量和数据多样性挑战,通过分布式计算和数据标准化解决。未来将继续深入研究Pandas与其他先进技术的结合,提升决策支持能力。
|
9天前
|
存储 数据可视化 数据挖掘
实战案例:Pandas在金融数据分析中的应用
【4月更文挑战第16天】本文通过实例展示了Pandas在金融数据分析中的应用。案例中,一家投资机构使用Pandas加载、清洗股票历史价格数据,删除无关列并重命名,将日期设为索引。接着,数据被可视化以观察价格走势,进行基本统计分析了解价格分布,以及计算移动平均线来平滑波动。Pandas的便捷功能在金融数据分析中体现出高效率和实用性。
|
10天前
|
Python 数据挖掘 存储
Python 数据分析(PYDA)第三版(七)(4)
Python 数据分析(PYDA)第三版(七)
34 1
|
Python Shell 存储
Python 数据分析(PYDA)第三版(七)(3)
Python 数据分析(PYDA)第三版(七)
46 1
Python 数据分析(PYDA)第三版(七)(3)
|
机器学习/深度学习 数据可视化 Python
Python 数据分析(PYDA)第三版(六)(2)
Python 数据分析(PYDA)第三版(六)
55 0
|
机器学习/深度学习 Python 数据挖掘
Python 数据分析(PYDA)第三版(六)(1)
Python 数据分析(PYDA)第三版(六)
57 0