浅析sklearn中的数据预处理方法

简介: 在日常的机器学习开发过程中,基本的机器学习过程如下图所示。

在日常的机器学习开发过程中,基本的机器学习过程如下图所示。

网络异常,图片无法展示
|


本文将讲解经过特征提取之后的数据预处理部分。


简介


通过特征提取,我们能得到未经处理的特征,这时的特征可能有以下问题:

  • 不属于同一量纲:即特征的规格不一样,不能够放在一起比较。无量纲化可以解决这一问题。
  • 信息冗余:对于某些定量特征,其包含的有效信息为区间划分,例如学习成绩,假若只关心“及格”或不“及格”,那么需要将定量的考分,转换成“1”和“0”表示及格和未及格。二值化可以解决这一问题。
  • 定性特征不能直接使用:某些机器学习算法和模型只能接受定量特征的输入,那么需要将定性特征转换为定量特征。最简单的方式是为每一种定性值指定一个定量值,但是这种方式过于灵活,增加了调参的工作。通常使用哑编码的方式将定性特征转换为定量特征。 假设有N种定性值,则将这一个特征扩展为N种特征,当原始特征值为第i种定性值时,第i个扩展特征赋值为1,其他扩展特征赋值为0。哑编码的方式相比直接指定的方式,不用增加调参的工作,对于线性模型来说,使用哑编码后的特征可达到非线性的效果。
  • 存在缺失值:缺失值需要补充。
  • 信息利用率低:不同的机器学习算法和模型对数据中信息的利用是不同的,之前提到在线性模型中,使用对定性特征哑编码可以达到非线性的效果。类似地,对定量变量多项式化,或者进行其他的转换,都能达到非线性的效果

下面我们使用sklearn中的preproccessing库来进行数据预处理,以覆盖上面遇到的问题。


数据集准备

首先,加载IRIS数据集,代码如下所示。

from sklearn.datasets import load_iris # 导入IRIS数据集 
import numpy as np
iris = load_iris()  # 特征矩阵 
print(iris.data.shape) # (150, 4)
print(iris.data[:1,:]) # [[5.1 3.5 1.4 0.2]]
print(np.unique(iris.target)) # [0 1 2]
复制代码


无量纲化


无量纲化是使不同规格的数据转换到同一规格,或不同分布的数据转换到某个特定分布。

在以梯度和矩阵为核心的算法中,譬如逻辑回归,支持向量机,神经网络,无量纲化可以加快求解速度;而在距离类模型,譬如K近邻,K-Means聚类中,无量纲化可以帮我们提升模型精度,避免某一个取值范围特别大的特征对距离计算造成影响

常见的无量纲化方法有标准化、区间缩放法。

  • 标准化的前提是特征值服从正态分布,标准化后,其转换成标准正态分布。
  • 区间缩放法利用了边界值信息,将特征的取值区间缩放到某个特点的范围,例如[0, 1]等。

量纲与无量纲的区别

  • 量纲:物理量的大小与单位有关。比如,1块钱和1分钱,就是两个不同的量纲,因为度量的单位不同了。
  • 无量纲:物理量大小与单位无关。比如,角度、增益、两个长度之比等。


标准化-零均值标准化(zero-mean normalization)

标准化是依照特征矩阵的列处理数据,其通过求z-score的方法,将样本的特征值转换到同一量纲下。

简而言之,标准化将连续性变量转变为均值0、标准差1的变量,标准化需要计算特征的均值和标准差,其公式表达为:

x′=x−x‾σ,其中x‾是均值,σ是标准差{x}'=\frac{x-\overline{x}}{\sigma} ,其中\overline{x}是均值,{\sigma}是标准差x=σxxxσ

常用于基于正态分布的算法,比如回归。

使用preproccessing库的StandardScaler(基于特征矩阵的列,将属性值转换至服从正态分布)类对数据进行标准化,代码如下:

from sklearn.preprocessing import StandardScaler
# 标准化,返回值为标准化后的数据
standard = StandardScaler().fit_transform(iris.data)
print(standard[:1,:]) # [[-0.90068117,  1.01900435, -1.34022653, -1.3154443 ]]
复制代码


归一化-区间缩放法

区间缩放法的思路有多种,常见的一种为利用两个最值进行缩放,把原始的连续型变量转换为范围在 [a,b] 或者 [0,1] 之间的变量,公式表达为:

x′=x−min(x)max(x)−min(x){x}'=\frac{x-\mathit{min}(x)}{\mathit{max}(x)-\mathit{min}(x)}x=max(x)min(x)xmin(x)

区间缩放可以提升模型收敛速度,提升模型精度。

常见用于神经网络。

使用preproccessing库的MinMaxScaler(基于最大最小值,将数据转换到[0,1]区间上的)类对数据进行区间缩放,代码如下:

# 区间缩放,返回值为缩放到[0, 1]区间的数据
from sklearn.preprocessing import MinMaxScaler 
min_max = MinMaxScaler().fit_transform(iris.data)
print(min_max[:1,:]) # [[0.22222222, 0.625     , 0.06779661, 0.04166667]]
复制代码


正则化(Normalization)

正则化的过程是将每个样本缩放到单位范数(每个样本的范数为1),正则化的目的在于样本向量在点乘运算或其他核函数计算相似性时,拥有统一的标准。例如,对于两个TF-IDF向量的l2-norm进行点积,就可以得到这两个向量的余弦相似性。

常见用于文本分类和聚类。

Normalization主要思想是对每个样本计算其p-范数,然后对该样本中每个元素除以该范数,这样处理的结果是使得每个处理后样本的p-范数(l1-norm, l2-norm)等于1。即Normalization的过程是将每个样本缩放到单位范数(结合单位向量进行理解,p=2p=2p=2时为单位向量,其他为单位范数)

LpL_pLp范数的计算公式如下所示:

∣∣X∣∣p=(∣x1∣p+∣x2∣p+...+∣xn∣p)1p||X||_p = (|x_1|^p+|x_2|^p+...+|x_n|^p)^{\frac {1}{p}}Xp=(x1p+x2p+...+xnp)p1

可见,L2L2L2范数即为欧式距离,则规则为L2L2L2的Normalization公式如下所示:

x′=x∑jmxj2{x}' = \frac {x} {\sqrt{\sum_j^mx_j^2}}x=jmxj2x

可知,其将每行(条)数据转为相应的“单位向量”。

使用preproccessing库的Normalizer(基于矩阵的行,将样本向量转换为单位向量)类对数据进行正则化,其代码如下:

from sklearn.preprocessing import Normalizer 
norm = Normalizer(norm='l2').fit_transform(iris.data)
print(norm[:1,:]) # [[0.22222222, 0.625     , 0.06779661, 0.04166667]
复制代码


参数说明:

norm:可以为l1、l2或max,默认为l2。

  • 若为l1时,样本各个特征值除以各个特征值的绝对值之和
  • 若为l2时,样本各个特征值除以各个特征值的平方之和
  • 若为max时,样本各个特征值除以样本中特征值最大的值

标准化、归一化与正则化的区别

  • 标准化处理:把特征变量转换成均值为0,方差为1的标准正态分布
  • 归一化处理:把特征变量转换为最小值为0,最大值为1的区间
  • 正则化处理:将每个样本在所有变量上的值缩放到单位范数(即每个样本在所有变量上的值的范数为1)

定性特征和定量特征的区别

一般定性都会有相关的描述词,定量的描述都是可以用数字来量化处理。举个例子:

  • 定性:博主很胖、博主很瘦
  • 定量:博主有80kg、博主有60kg


对定量特征二值化


定量特征二值化的核心在于设定一个阈值,大于阈值的赋值为1,小于等于阈值的赋值为0,公式表达如下:

x′=={1,x>threshold0,x≤threshold{x}' == \begin{cases} 1 & , x > {threshold} \\ 0 & ,{x} \leq {threshold} \end{cases}x=={10x>thresholdxthreshold

使用preproccessing库的Binarizer类对数据进行二值化,代码如下:

from sklearn.preprocessing import Binarizer
# 二值化,阈值设置为3,返回值为二值化后的数据
binary = Binarizer(threshold=3).fit_transform(iris.data)
print(binary[:1,:]) # [[1., 1., 0., 0.]]
复制代码


对定性特征独热编码


你的变量不是定量特征的时候,是无法拿去进行训练模型的。独热编码主要是针对定性的特征进行处理,然后得到可以用来训练的特征。

由于IRIS数据集的特征皆为定量特征,故使用其目标值进行独热编码(实际上是不需要的)。

使用preproccessing库的OneHotEncoder类对数据进行独热编码,代码如下:

# 独热编码,对IRIS数据集的目标值,返回值为独热编码后的数据
from sklearn.preprocessing import OneHotEncoder 
import pandas as pd
print(iris.target.reshape(-1,1).shape) # (150, 1)
one_hot = OneHotEncoder().fit_transform(iris.target.reshape(-1,1))
print(one_hot.shape) # (150, 3)
dummy = pd.get_dummies(iris.target)
print(dummy.shape) # (150, 3)
复制代码


缺失特征值补全


由于IRIS数据集没有缺失值,故对数据集新增一个样本,4个特征均赋值为NaN,表示数据缺失。

使用preproccessing库的SimpleImputer类对数据进行缺失值补全,代码如下:

from numpy import vstack, array, nan
# 缺失值计算,返回值为计算缺失值后的数据
from sklearn.impute import SimpleImputer
# 参数missing_value为缺失值的表示形式,默认为NaN
# 参数strategy为缺失值填充方式,默认为mean(均值)
imputer = SimpleImputer(missing_values=nan, strategy = "mean")
data = vstack((array([nan, nan, nan, nan]), iris.data))
print(data[0:1,:]) # [[nan nan nan nan]]
result  = imputer.fit_transform(data)
print(result[0:1,:]) # [[5.84333333 3.05733333 3.758      1.19933333]]
复制代码


数据变换


常见的数据变换有基于多项式的、基于指数函数的、基于对数函数的。

基于多项式的数据变换

将少数几个特征转换成更多的特征,来增加模型的复杂度。

2个特征(X1,X2X_1, X_2X1,X2),多项式次数为2的多项式转换公式如下:

(X1′,X2′,X3′,X4′,X5′,X6′)=(1,X1,X2,X12,X1X2,X22)(X_1',X_2',X_3',X_4',X_5',X_6')= (1, X_1, X_2, X_1^2, X_1X_2, X_2^2)(X1,X2,X3,X4,X5,X6)=(1,X1,X2,X12,X1X2,X22)

使用preproccessing库的PolynomialFeatures类对数据进行多项式转换,代码如下:

from sklearn.preprocessing import PolynomialFeatures # 多项式转换 
# 参数degree,默认值为2
ploy = PolynomialFeatures().fit_transform(iris.data)
print(ploy.shape) # (150, 15)
print(ploy[:1,:]) # [[ 1.    5.1   3.5   1.4   0.2  26.01 17.85  7.14  1.02 12.25  4.9  0.7  1.96  0.28  0.04]]
复制代码


PolynomialFeatures类的参数说明:

  • degree:控制多项式的次数;
  • interaction_only:默认为 False,如果指定为 True,那么就不会有特征自己和自己结合的项,组合的特征中没有类似于X12X_1^2X12X22X_2^2X22 的项;
  • include_bias:默认为 True ,如果为 True 的话,那么结果中就会有 0 次幂项,即全为 1 这一列。

如果interaction_only=True,3个特征(X1,X2,X3)(X_1, X_2, X_3)(X1,X2,X3),多项次数为2的多项式转换公式如下:

(X1′,X2′,X3′,X4′,X5′,X6′,X7′,X8′)=(1,X1,X2,X3,X1X2,X1X3,X2X3,X1X2X3)(X_1',X_2',X_3',X_4',X_5',X_6',X_7',X_8')=(1, X_1, X_2, X_3, X_1X_2, X_1X_3, X_2X_3, X_1X_2X_3)(X1,X2,X3,X4,X5,X6,X7,X8)=(1,X1,X2,X3,X1X2,X1X3,X2X3,X1X2X3)

基于对数函数的数据变换

对数函数的数据变换是一个基于单变元函数的数据变换。

使用preproccessing库的FunctionTransformer对数据进行对数函数转换,代码如下:

from numpy import log1p
from sklearn.preprocessing import FunctionTransformer 
# FunctionTransformer:自定义预处理函数,进行特征映射
# 这里使用自定义转换函数进行对数函数的数据变换 
# 第一个参数是单变元函数
log_one = FunctionTransformer(log1p).fit_transform(iris.data)
print(log_one.shape) # (150, 4)
print(log_one[:1,:]) # [[1.80828877 1.5040774  0.87546874 0.18232156]]
复制代码


总结


数据预处理是为了得到整洁的数据,让模型能读懂且更好地学习数据,但预处理过程绝不仅仅只是以上的内容,很多处理过程与数据分析目的紧密结合的,本文只是简要的介绍一些常见的数据预处理方法。如下表格所示:

功能 说明
StandardScaler 标准化 基于特征矩阵的列,将特征值转换至服从标准正态分布
MinMaxScaler 归一化 区间缩放,基于最大最小值,将特征值转换[0, 1]区间上
Normalizer 正则化 基于特征矩阵的行,将样本向量转换为“单位范数”
Binarizer 二值化 基于给定阈值,将定量特征按阈值划分
OneHotEncoder 独热编码 将定性数据编码为定量数据
SimpleImputer 缺失值补全 缺失值插补,缺失值可填充为均值等
PolynomialFeatures 多项式数据转换 多项式数据转换
FunctionTransformer 自定义单元数据转换 使用单变元的函数来转换数据


相关文章
|
6月前
|
算法
sklearn算法
sklearn算法
48 0
|
机器学习/深度学习 算法 计算机视觉
使用sklearn进行特征选择
背景 一个典型的机器学习任务,是通过样本的特征来预测样本所对应的值。如果样本的特征少,我们会考虑增加特征。而现实中的情况往往是特征太多了,需要减少一些特征。
|
3月前
|
机器学习/深度学习 算法 数据挖掘
scikit-learn.datasets 机器学习数据集
scikit-learn.datasets 机器学习数据集
38 0
|
5月前
|
机器学习/深度学习 数据可视化
Sklearn中逻辑回归建模
分类模型评估通常涉及准确率、召回率和F1值。准确率是正确分类样本的比例,但在类别不平衡时可能误导,例如一个模型总是预测多数类,即使误分类少数类也能有高准确率。召回率关注的是真正类被正确识别的比例,而精确率则衡量预测为正类的样本中真正为正类的比例。F1值是精确率和召回率的调和平均数,提供了两者之间的平衡。在sklearn中,可以使用`recall_score`, `precision_score` 和 `f1_score` 函数来计算这些指标。在类别重要性不同时,需根据业务需求选择合适的评估标准。
|
5月前
|
机器学习/深度学习 数据处理 计算机视觉
机器学习- Sklearn (交叉验证和Pipeline)
机器学习- Sklearn (交叉验证和Pipeline)
一、线性回归的两种实现方式:(二)sklearn实现
一、线性回归的两种实现方式:(二)sklearn实现
|
机器学习/深度学习 数据可视化
随机森林和KNN分类结果可视化(Sklearn)
随机森林和KNN分类结果可视化(Sklearn)
247 0
|
机器学习/深度学习 存储 数据可视化
|
自然语言处理 算法 数据可视化
基于 sklearn 的鸢尾花分类
基于 sklearn 的鸢尾花分类
259 0
基于 sklearn 的鸢尾花分类