一文速学-Pandas处理分类数据(Categorical data)详解+代码演示(一)

简介: 一文速学-Pandas处理分类数据(Categorical data)详解+代码演示(一)

前言


时至如今Pandas仍然是十分火热的基于Python的数据分析工具,与numpy、matplotlib称为数据分析三大巨头,是学习Python数据分析的必经之路。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法,它是使Python成为强大而高效的数据分析环境的重要因素之一。

使用Pandas进行数据预处理时需要对Pandas的基础数据结构Series和DataFrame有一个基础的了解。若是还不清楚的可以再去看看我之前的详解博文:


一文速学-数据分析之Pandas数据结构和基本操作代码


结合Pandas处理不同种类的数据,算下来共有重复值处理、缺失值处理、异常值处理等众多处理数据的方法。但我们使用Pandas做数据分析进阶操作,经常会使用到机器学习算法模型以及神经网络等算法,需要我们对数据进行预处理操作,其中就有label标签数据。而Pandas将此类标签数据单独提取出作为Catagorical data分类数据。了解处理此类型数据能够高效提升对我们进行数据进行建模和分析。对数据分析处理感兴趣的还可以阅读博主前几篇详解博文:


一文速学-Pandas异常值检测及处理操作各类方法详解+代码展示


一文速学-Pandas处理重复值操作各类方法详解+代码展示


一文速学-Pandas处理缺失值操作各类方法详解


以上三篇很容易学会,没有比较难的实战。此篇博客基于Jupyter之上进行演示,本篇博客的愿景是希望我或者读者通过阅读这篇博客能够学会方法并能实际运用,而且能够记录到你的思想之中。希望读者看完能够提出错误或者看法,博主会长期维护博客做及时更新。


一、分类数据(Categorical data)


分类是与统计中的分类变量相对应的数据类型。分类变量具有有限且通常固定的可能值数量(类别;R因子级别)。例如性别、社会阶层、血型、国家归属、观察时间或通过李克特量表进行的评级。


离散与分类


在学习该数据类型之前,我给大家稍微讲讲统计学的一些相关知识,方便大家后续理解函数的相关操作。根据数据类型我们可以可以将数据分为两种类型:


8326dcbeee1843afab2ba758ebc9aef8.png

在统计学中,数据按变量值是否连续可分为连续数据与离散数据两种.


变离数据是指其数值只能用自然数或整数单位计算.例如,企业个数,职工人数,设备台数等,只能按计量单位数计数,这种数据的数值一般用计数方法取得.

反之,在一定区间内可以任意取值的数据叫连续数据,其数值是连续不断的,相邻两个数值可作无限分割,即可取无限个数值.例如,生产零件的规格尺寸,人体测量的身高,体重,胸围等为连续数据,其数值只能用测量或计量的方法取得.

性质:符号x如果能够表示对象集合S中的任意元素,就是变量。如果变量的域(即对象的集合S)是离散的,该变量就是离散变量;如果它的域是连续的,它就是连续变量。


       与统计分类变量相比,分类数据可能有一个顺序(例如“强烈同意”与“同意”或“第一次观察”与“第二次观察”),但不可能进行数值运算(加法、除法等)。 在R语言基础之中,名义型变量和有序型变量称为因子,这些分类变量的可能值称为一个水平,level,例如good,better,best,都称为一个level。由这些水平值构成的向量就称为因子。我们发现R语言的因子和Pandas的Catagorical data数据类型几乎差不多。分类数据的所有值要么在类别中,要么就是np.nan。顺序是由类别的顺序定义的,而不是值的词汇顺序。在内部,数据结构由一个类别数组和一个整数代码数组组成,这些代码指向类别数组中的实值。


实例场景


仅由几个不同值组成的字符串变量。将这样的字符串变量转换为分类变量将节省一些内存。

变量的词汇顺序与逻辑顺序不同(“一”、“二”、“三”)。通过转换为分类并指定类别的顺序,排序和最小/最大将使用逻辑顺序而不是词汇顺序。

作为向其他Python库传递数据时,该列应被视为分类变量(例如,使用适当的统计方法或绘图类型)。


二、创建


1.Series创建


通过Series创建只需要在创建语句后面加上dtype="catagory":


series_cate=pd.Series(["a", "b", "c", "a"], dtype="category")


通过DataFrame创建后使用一列astype直接转换就好了:

df = pd.DataFrame({"A": ["a", "b", "c", "a"]})
df["B"] = df["A"].astype("category")
df.dtypes

ff03273f50494954af4b1fe48805b412.png

标签转换


通过使用自定义函数或者功能函数,例如cut(),能够将数值特征通过范围打上标签:

df = pd.DataFrame({"value": np.random.randint(0, 100, 20)})
labels = ["{0} - {1}".format(i, i + 9) for i in range(0, 100, 10)]
df["group"] = pd.cut(df.value, range(0, 105, 10), right=False, labels=labels)
df

57dfa2646e9f4742a5ee0d818daea464.png

通过Categorical函数可以实现更高级的标签转换:


1. raw_cat=pd.Categorical(df['group'], categories=['40 - 49','60 - 69'])
2. df["group2"] = raw_cat
3. df


97cd1d5d445f41a3a17b63eff61adfa9.png


可以去除空值保留想要保留的特征。


2.DataFrame创建


DataFrama可以整个转化为Catagory

df = pd.DataFrame({"A": ["a", "b", "c", "a"],"B":[1,2,3,4]},dtype="category")
df.dtypes

af41dcb926244fec87a5f56eea0ead02.png

或者和转换一列一样全部转换为category:

df = pd.DataFrame({"A": ["a", "b", "c", "a"],"B":[1,2,3,4]})
df_cat = df.astype("category")
df_cat.dtypes

f5d99ed5428541cd92041373f0185ba6.png

3.操作


1.CategoricalDtype函数


在上面传递dtype='category'的示例中参数均为默认,默认转换的category的类别:.


  • 类别是从数据中推断出来的。
  • 类别是无序的。


若需要控制上述两种情况,需要引入CategoricalDtype函数:

from pandas.api.types import CategoricalDtype
s = pd.Series(["a", "b", "c", "a"])
cat_type = CategoricalDtype(categories=["b", "c", "d"], ordered=True)
s_cat = s.astype(cat_type)
s_cat

db82f840ea354454baa80d25f288441b.png


上述代码就是在默认情况下,转换为category类型并没有设定categories,可以通过CategoricalDtype后期加上去。


对于DataFrame也是如此:

from pandas.api.types import CategoricalDtype
df = pd.DataFrame({"A": ["a", "b", "c", "a"],"B":[1,2,3,4]})
cat_type = CategoricalDtype(categories=list("abcd"), ordered=True)
df_cat = df.astype(cat_type)
df_cat.info

7b37fdc29d854ca39352647858848b0d.png


2.unique唯一标签


为了执行逐表转换,整个DataFrame中的所有标签都用作每列的类别,可以通过编程方式通过categories=pd.unique(df.to_numpy().ravel())确定categories参数。

df = pd.DataFrame({"A": ["a", "b", "c", "a"],"B":[1,2,3,4]})
categories = pd.unique(df['A'].to_numpy().ravel())
categories

array(['a', 'b', 'c'], dtype=object)


如果已经有了代码和类别,那么可以使用from_codes()构造函数在正常构造函数模式下保存分解步骤:

splitter = np.random.choice([0, 1], 5, p=[0.5, 0.5])
s = pd.Series(pd.Categorical.from_codes(splitter, categories=["train", "test"]))

2121e0b33c084fb989e25a592e866c19.png


三.转换


我们知道Category可以通过Series和DataFrame来创建,那么转换成原格式也是一样的:


Series.astype(original_dtype)
np.asarray(categorical)


目录
相关文章
|
1月前
|
Python
使用 Pandas 库时,如何处理数据的重复值?
在使用Pandas处理数据重复值时,需要根据具体的数据特点和分析需求,选择合适的方法来确保数据的准确性和唯一性。
119 8
|
2天前
|
存储 数据挖掘 数据处理
Pandas 数据筛选:条件过滤
Pandas 是 Python 最常用的数据分析库之一,提供了强大的数据结构和工具。本文从基础到高级,介绍如何使用 Pandas 进行条件过滤,包括单一条件、多个条件过滤、常见问题及解决方案,以及动态和复杂条件过滤的高级用法。希望本文能帮助你更好地利用 Pandas 处理数据。
101 78
|
4天前
|
数据挖掘 索引 Python
Pandas数据读取:CSV文件
Pandas 是 Python 中强大的数据分析库,`read_csv` 函数用于从 CSV 文件中读取数据。本文介绍 `read_csv` 的基本用法、常见问题及其解决方案,并通过代码案例详细说明。涵盖导入库、读取文件、指定列名和分隔符、处理文件路径错误、编码问题、大文件读取、数据类型问题、日期时间解析、空值处理、跳过行、指定索引列等。高级用法包括自定义列名映射、处理多行标题和注释行。希望本文能帮助你更高效地使用 Pandas 进行数据读取和处理。
36 13
|
1月前
|
Python
|
1月前
|
Python
|
1月前
|
Python
Pandas 常用函数-数据合并
Pandas 常用函数-数据合并
40 1
|
1月前
|
索引 Python
Pandas 常用函数-数据排序
10月更文挑战第28天
17 1
|
1月前
|
Python
Pandas 常用函数-查看数据
Pandas 常用函数-查看数据
21 2
|
1月前
|
SQL JSON 数据库
Pandas 常用函数-读取数据
Pandas 常用函数-读取数据
19 2
|
1月前
|
Python
通过Pandas库处理股票收盘价数据,识别最近一次死叉后未出现金叉的具体位置的方法
在金融分析领域,"死叉"指的是短期移动平均线(如MA5)下穿长期移动平均线(如MA10),而"金叉"则相反。本文介绍了一种利用Python编程语言,通过Pandas库处理股票收盘价数据,识别最近一次死叉后未出现金叉的具体位置的方法。该方法首先计算两种移动平均线,接着确定它们的交叉点,最后检查并输出最近一次死叉及其后是否形成了金叉。此技术广泛应用于股市趋势分析。
52 2
下一篇
DataWorks