机器学习的数学基础 - 信息论

简介: 机器学习的数学基础 - 信息论

机器学习的数学基础 - 信息论



信息论


信息论本来是通信中的概念,但是其核心思想“熵”在机器学习中也得到了广泛的应用。比如决策树模型ID3,C4.5中是利用信息增益来划分特征而生成一颗决策树的,而信息增益就是基于这里所说的熵。所以它的重要性也是可想而知。


 



image.png



联合熵


image.png



条件熵

image.png

image.png



 



相对熵


image.png





互信息


image.png



image.png

image.png




最大熵模型

image.png

image.png


相关文章
|
1月前
|
机器学习/深度学习 自然语言处理 算法
机器学习-特征选择:如何用信息增益提升模型性能?
机器学习-特征选择:如何用信息增益提升模型性能?
51 1
|
3月前
|
机器学习/深度学习 算法 Python
机器学习 - [源码实现决策树小专题]决策树中,信息增益、信息增益率计算以及最佳特征挑选的Python实现
机器学习 - [源码实现决策树小专题]决策树中,信息增益、信息增益率计算以及最佳特征挑选的Python实现
45 0
|
4月前
|
机器学习/深度学习 大数据 程序员
[机器学习]机器学习数学基础(三)
[机器学习]机器学习数学基础(三)
21 0
|
7月前
|
机器学习/深度学习
机器学习数学基础 2
机器学习数学基础
40 0
|
7月前
|
机器学习/深度学习
机器学习数学基础 1
机器学习数学基础
30 0
|
8月前
|
机器学习/深度学习 人工智能 移动开发
线性代数 | 机器学习数学基础
**线性代数**(linear algebra)是关于向量空间和线性映射的一个数学分支。它包括对线、面和子空间的研究,同时也涉及到所有的向量空间的一般性质。
185 0
线性代数 | 机器学习数学基础
|
11月前
|
机器学习/深度学习 人工智能
【机器学习】信息量、香农熵、信息增益(增加例子,方便理解)
【机器学习】信息量、香农熵、信息增益(增加例子,方便理解)
128 0
|
11月前
|
机器学习/深度学习 人工智能 芯片
机器学习中的新数学,加速AI训练离不开数字表示方式和基本计算的变革
机器学习中的新数学,加速AI训练离不开数字表示方式和基本计算的变革
167 0
|
11月前
|
机器学习/深度学习 人工智能 算法
鄂维南:从数学角度,理解机器学习的“黑魔法”,并应用于更广泛的科学问题(2)
鄂维南:从数学角度,理解机器学习的“黑魔法”,并应用于更广泛的科学问题
175 0
|
11月前
|
机器学习/深度学习 人工智能 算法
鄂维南:从数学角度,理解机器学习的“黑魔法”,并应用于更广泛的科学问题(1)
鄂维南:从数学角度,理解机器学习的“黑魔法”,并应用于更广泛的科学问题
196 0

热门文章

最新文章