数据标准化 Normalization

简介:

数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。

  其中最典型的就是数据的归一化处理,即将数据统一映射到[0,1]区间上,常见的数据归一化的方法有:

min-max标准化(Min-max normalization)

也叫离差标准化,是对原始数据的线性变换,使结果落到[0,1]区间,转换函数如下:

其中max为样本数据的最大值,min为样本数据的最小值。这种方法有一个缺陷就是当有新数据加入时,可能导致max和min的变化,需要重新定义。

log函数转换

通过以10为底的log函数转换的方法同样可以实现归一下,具体方法如下:

看了下网上很多介绍都是x*=log10(x),其实是有问题的,这个结果并非一定落到[0,1]区间上,应该还要除以log10(max),max为样本数据最大值,并且所有的数据都要大于等于1。

atan函数转换

用反正切函数也可以实现数据的归一化:

使用这个方法需要注意的是如果想映射的区间为[0,1],则数据都应该大于等于0,小于0的数据将被映射到[-1,0]区间上。

 

而并非所有数据标准化的结果都映射到[0,1]区间上,其中最常见的标准化方法就是Z标准化,也是SPSS中最为常用的标准化方法:

z-score 标准化(zero-mean normalization)

也叫标准差标准化,经过处理的数据符合标准正态分布,即均值为0,标准差为1,其转化函数为:

其中μ为所有样本数据的均值,σ为所有样本数据的标准差。


本文转自ZH奶酪博客园博客,原文链接:http://www.cnblogs.com/CheeseZH/p/5250775.html,如需转载请自行联系原作者

相关文章
|
6月前
|
数据采集 机器学习/深度学习 资源调度
归一化和标准化
归一化和标准化
|
监控 安全 网络安全
标准化
一、标准化 标准化是指通过制定统一的规范和标准,对特定领域的产品、服务、过程等进行规范和统一。在网络安全领域,标准化起到了重要的作用,可以提供一致的安全要求和指导,促进安全技术的发展和应用,增强网络安全的可信度和互操作性。 网络安全标准化的主要目的包括: 1. 统一安全要求:通过制定统一的安全标准,明确网络安全的要求和指导,为各个组织和企业提供一致的安全基准。这有助于降低安全风险,提高网络安全的水平。 2. 促进技术发展:标准化可以推动网络安全技术的发展和创新。通过制定标准,可以促进安全技术的研究和应用,推动新的安全技术和解决方案的出现,提高网络安全的能力和效果。 3. 增强互操作性:网络安全
88 0
|
1月前
|
数据采集 机器学习/深度学习 算法
|
5月前
|
存储 SQL 大数据
GLM(Generalized Linear Model)大模型-大数据自助查询平台
GLM(Generalized Linear Model)大模型-大数据自助查询平台
137 2
|
6月前
|
机器学习/深度学习 监控 Python
【顶刊2023】重新审视Dropout层的作用,不止可有效防止过拟合!来源:《Dropout Reduces Underfitting》
【顶刊2023】重新审视Dropout层的作用,不止可有效防止过拟合!来源:《Dropout Reduces Underfitting》
84 1
【顶刊2023】重新审视Dropout层的作用,不止可有效防止过拟合!来源:《Dropout Reduces Underfitting》
|
6月前
|
机器学习/深度学习 存储 算法
模型部署系列 | 卷积Backbone量化技巧集锦
模型部署系列 | 卷积Backbone量化技巧集锦
96 0
|
机器学习/深度学习 资源调度 算法
特征工程:归一化与标准化
样本特征由于来源以及度量单位不同,它们的尺度(Scale),或者说是取值范围有可能差异很大。如果一个机器学习算法在缩放全部或者部分特征后不影响它的学习和预测,我们就称该算法具有尺度不变性(Scale Invariance)。神经网络从理论上应该具有尺度不变性,可以通过参数的调整来适应不同特征的尺度。
162 0
|
PyTorch 算法框架/工具 数据中心
transforms机制与数据标准化
transforms机制与数据标准化
76 0
|
机器学习/深度学习 语音技术 文件存储
超越MobileNet V3 | 详解SkipNet+Bias Loss=轻量化模型新的里程碑(一)
超越MobileNet V3 | 详解SkipNet+Bias Loss=轻量化模型新的里程碑(一)
157 0
|
机器学习/深度学习 数据挖掘 计算机视觉
超越MobileNet V3 | 详解SkipNet+Bias Loss=轻量化模型新的里程碑(二)
超越MobileNet V3 | 详解SkipNet+Bias Loss=轻量化模型新的里程碑(二)
177 0
下一篇
无影云桌面