机器学习的数学基础 - 信息论
信息论
信息论本来是通信中的概念，但是其核心思想“熵”在机器学习中也得到了广泛的应用。比如决策树模型ID3，C4.5中是利用信息增益来划分特征而生成一颗决策树的，而信息增益就是基于这里所说的熵。所以它的重要性也是可想而知。
熵
联合熵
条件熵
相对熵
互信息
最大熵模型
机器学习的数学基础 - 信息论
2021-12-25
127
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
机器学习的数学基础 - 信息论
目录
相关文章
|
6月前
|
机器学习/深度学习
自然语言处理
算法
|
1月前
|
机器学习/深度学习
自然语言处理
JavaScript
信息论、机器学习的核心概念：熵、KL散度、JS散度和Renyi散度的深度解析及应用
在信息论、机器学习和统计学领域中，KL散度（Kullback-Leibler散度）是量化概率分布差异的关键概念。本文深入探讨了KL散度及其相关概念，包括Jensen-Shannon散度和Renyi散度。KL散度用于衡量两个概率分布之间的差异，而Jensen-Shannon散度则提供了一种对称的度量方式。Renyi散度通过可调参数α，提供了更灵活的散度度量。这些概念不仅在理论研究中至关重要，在实际应用中也广泛用于数据压缩、变分自编码器、强化学习等领域。通过分析电子商务中的数据漂移实例，展示了这些散度指标在捕捉数据分布变化方面的独特优势，为企业提供了数据驱动的决策支持。
53
2
2
|
5月前
|
机器学习/深度学习
|
6月前
|
机器学习/深度学习
人工智能
分布式计算
人工智能平台PAI 操作报错合集之在PAI-DSW（平台上的AI数据科学工作站）上尝试修改实例名时，收到"实例不存在"的错误信息如何解决
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台，旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时，可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
378
0
0
|
6月前
|
机器学习/深度学习
算法
Python
机器学习 - [源码实现决策树小专题]决策树中，信息增益、信息增益率计算以及最佳特征挑选的Python实现
机器学习 - [源码实现决策树小专题]决策树中，信息增益、信息增益率计算以及最佳特征挑选的Python实现
91
0
0
|
6月前
|
机器学习/深度学习
大数据
程序员
|
机器学习/深度学习
人工智能
移动开发
线性代数 | 机器学习数学基础
**线性代数**（linear algebra）是关于向量空间和线性映射的一个数学分支。它包括对线、面和子空间的研究，同时也涉及到所有的向量空间的一般性质。
246
0
0
|
机器学习/深度学习
|
机器学习/深度学习
|
机器学习/深度学习
