数据标准化/归一化方法

简介:

归一化方法(Normalization Method)
1。 把数变为(0,1)之间的小数
        主要是为了数据处理方便提出来的,把数据映射到0~1范围之内处理,更加便捷快速,应该归到数字信号处理范畴之内。
2 。把有量纲表达式变为无量纲表达式
        归一化是一种简化计算的方式,即将有量纲的表达式,经过变换,化为无量纲的表达式,成为纯量。 
比如,复数阻抗可以归一化书写:Z = R + jωL = R(1 + jωL/R) ,复数部分变成了纯数量了,没有量纲。 
另外,微波之中也就是电路分析、信号系统、电磁波传输等,有很多运算都可以如此处理,既保证了运算的便捷,又能凸现出物理量的本质含义。

标准化方法(Normalization Method)
        数据的标准化是将数据按比例缩放,使之落入一个小的特定区间。由于信用指标体系的各个指标度量单位是不同的,为了能够将指标参与评价计算,需要对指标进行规范化处理,通过函数变换将其数值映射到某个数值区间。一般常用的有以下几种方法。 

(1) 最小-最大规范化对原始数据进行线性变换。假定MaxA与MinA分别表示属性A的最大与最小值。最小最大规范化通过计算 

将属性A的值映射到区间[a, b]上的v。一般来说,将最小-最大规范化在用于信用指标数据上,常用的有以下两种函数形式: 
a) 效益型指标(越大越好型)的隶属函数: 

b) 成本型指标(越小越好型)的隶属函数:

(2) z-score规范化也称零-均值规范化。属性A的值是基于A的平均值与标准差规范化,A的值计算公式

(3) 小数定标规范化是通过移动属性A的小数点位置来实现的。小数点的移动位数依赖于A的最大绝对值,计算公式为 

其中,j是使得MAX(|v|)<1的最小整数。例如A的值为125,那么|A|=125,则j=3,有v=0.125。 

///////////////////////////////////////////////////////////////////////////////////////////////////
// C++实现的归一化和反归一化处理函数
///////////////////////////////////////////////////////////////////////////////////////////////////
void __fastcall TModelManage::TranslateData(TModel* pModel, int Id, double *Value, int Flag)
{
   // 转换函数类型
   int iChgFunc;

   // 节点对应的最大、最小值
   double dMaxValue,dMinValue;

   // 取节点配置信息:转换函数类型,最大值,最小值
  GetNodeConfValue(pModel->ConfTable,Id,&iChgFunc,&dMaxValue,&dMinValue);
   if(Flag==1)                // 仿真时不取边界值,以避免仿真结果误差太大
  {
     if(*Value<=(dMinValue*1.005))
        *Value=dMinValue*1.005;
     if(*Value>=(dMaxValue*0.995))
        *Value=dMaxValue*0.995;
  }
   else
  {
     if(*Value<=dMinValue)
        *Value=dMinValue;
     if(*Value>=dMaxValue)
        *Value=dMaxValue;
  }

   // 线性函数转换,转换在0-1之内
   if(iChgFunc==0)
  {
    *Value=(*Value-dMinValue)/(dMaxValue-dMinValue);
  }
   // 用atan函数转换在0-1之内
   else  if(iChgFunc==2)
  {
    *Value=atan(*Value)*2/M_PI;
  }
   // 用log函数转换
   else  if(iChgFunc==1)
  {
     if(*Value<=1)
        *Value=0;
     else
        *Value=log10(*Value);  // 用log10函数转换(缩小)
     if(dMaxValue>1)
        *Value=*Value/log10(dMaxValue);  // 转换为0-1之间
  }
   // 不用转换
   else  if(iChgFunc==3)
  {
      *Value=*Value;
  }


  *Value=((0.5-0.001)/0.5)*(*Value)+0.001;    // 用线性函数把数据转换为0.001-0.0.9995之间
}

///////////////////////////////////////////////////////////////////////////////////////////////////
// 反数据转换,主要是针对仿真结果要反算回实际预测的值
void __fastcall TModelManage::UnTranslateData(TModel* pModel, int Id, double *Value, int Flag)
{
   // 转换函数类型
   int iChgFunc;

   // 节点对应的最大、最小值
   double dMaxValue,dMinValue;

   // 取节点配置信息:转换函数类型,最大值,最小值
  GetNodeConfValue(pModel->ConfTable,Id,&iChgFunc,&dMaxValue,&dMinValue);
 
 
  *Value=(((*Value)-0.001)*0.5)/(0.5-0.001);      // 对应于---->用线性函数把数据转换为0.001-0.0.9995之间

  
// 反线性函数转换
   if(iChgFunc==0)
  {
    *Value=(*Value)*(dMaxValue-dMinValue)+dMinValue;
  }
   // 用tan函数转换
   else  if(iChgFunc==2)
  {
    *Value=tan(*Value)*M_PI/2;
  }
   // 用反log函数转换
   else  if(iChgFunc==1)
  {
    *Value=pow(10,(*Value));  // 用反对数方式函数转换(放大)
  }
   else  if(iChgFunc==3)
  {
    *Value=*Value;  // 不用转换
  }  
}
目录
相关文章
|
SQL 分布式计算 资源调度
阿里云MaxCompute-Hive作业迁移语法兼容性踩坑记录
阿里云MaxCompute-Hive作业迁移语法兼容性踩坑记录
1975 0
|
机器学习/深度学习 人工智能 算法
一文了解人工智能中常用的优化算法
优化算法包含很多种,如果按梯度类型进行划分,可以分为有梯度优化算法和无梯度优化算法,在大多数人工智能技术中常用有梯度优化算法,当然也会有些场景也会用到无梯度优化算法,比如在强化学习中会用到黑盒优化算法cma-es、贝叶斯优化等,有些时候也会用到遗传算法和粒子群优化算法。本文主要讲解机器学习\深度学习中一些常用的优化算法,梯度下降法、动量法momentum、Adagrad、RMSProp、Adadelta、Adam,介绍不同算法之间的关联和优缺点,后续会继续分享其他的算法,
一文了解人工智能中常用的优化算法
|
缓存
vue3-ts:keepalive 列表页到详情,详情回到列表,列表恢复离开时的状态(上)
vue3-ts:keepalive 列表页到详情,详情回到列表,列表恢复离开时的状态(上)
959 0
|
4月前
|
存储 SQL BI
数据也要“打标签”:为什么数据版本控制这么重要?
数据也要“打标签”:为什么数据版本控制这么重要?
259 7
|
2月前
|
机器学习/深度学习 存储 人工智能
[大模型实战 03] 拆解 Transformers:从原理图解到 HuggingFace Transformers 实战
本文图解Transformer核心原理(注意力机制+位置编码),在Kaggle双T4 GPU环境下实战拆解Hugging Face“铁三角”(Config/Tokenizer/Model),并详解Temperature与Top_p两大生成调控参数,助你真正理解并掌控大模型推理。
708 11
[大模型实战 03] 拆解 Transformers:从原理图解到 HuggingFace Transformers 实战
|
机器学习/深度学习 数据采集 算法
回归算法全解析!一文读懂机器学习中的回归模型
回归算法全解析!一文读懂机器学习中的回归模型
1758 0
|
调度
【浅入浅出】Qt多线程机制解析:提升程序响应性与并发处理能力
在学习QT线程的时候我们首先要知道的是QT的主线程,也叫GUI线程,意如其名,也就是我们程序的最主要的一个线程,主要负责初始化界面并监听事件循环,并根据事件处理做出界面上的反馈。但是当我们只限于在一个主线程上书写逻辑时碰到了需要一直等待的事件该怎么办?它的加载必定会带着主界面的卡顿,这时候我们就要去使用多线程。
568 6
Pandoc——使用ZIP方式安装
Pandoc——使用ZIP方式安装
396 0
|
存储 分布式计算 Hadoop
Hadoop中的数据冗余备份
【5月更文挑战第15天】Hadoop中的数据冗余备份
445 2
|
程序员
VSCode变量命名转换插件(Var-Conv)
VSCode变量命名转换插件(Var-Conv)
2586 0
VSCode变量命名转换插件(Var-Conv)