矩阵分解和信息论基础

简介: 机器学习中常见的矩阵分解有特征分解和奇异值分解。先提一下矩阵的特征值和特征向量的定义

一、矩阵分解

机器学习中常见的矩阵分解有特征分解和奇异值分解。


先提一下矩阵的特征值和特征向量的定义


若矩阵 A AA 为方阵,则存在非零向量 x xx 和常数 λ \lambdaλ 满足 A x = λ x Ax=\lambda xAx=λx,则称 λ \lambdaλ 为矩阵 A AA 的一个特征值,x xx 为矩阵 A AA 关于 λ \lambdaλ 的特征向量。

image.png

二、信息论

熵(Entropy)

信息熵,可以看作是样本集合纯度一种指标,也可以认为是样本集合包含的平均信息量。

image.png

image.png

image.png


相关文章
|
4月前
|
机器学习/深度学习 算法 搜索推荐
【机器学习】凸集、凸函数、凸优化、凸优化问题、非凸优化问题概念详解
本文解释了凸集、凸函数、凸优化以及非凸优化的概念,并探讨了它们在机器学习中的应用,包括如何将非凸问题转化为凸问题的方法和技术。
528 0
|
6月前
|
机器学习/深度学习 算法 数据挖掘
机器学习之聚类——从教授的等式到凸聚类
机器学习之聚类——从教授的等式到凸聚类
83 0
|
机器学习/深度学习 资源调度 并行计算
经典机器学习系列(一)【 贝叶斯分类、 最大似然估计、 最大后验概率估计】
经典机器学习系列(一)【 贝叶斯分类、 最大似然估计、 最大后验概率估计】
232 0
|
机器学习/深度学习
等约束二次规划中的特征分解研究(Matlab代码实现)
等约束二次规划中的特征分解研究(Matlab代码实现)
|
移动开发
学习笔记: 线性代数-广义向量空间
线性代数个人学习笔记
119 0
概率论笔记(二)概率分布
概率论笔记(二)概率分布
104 0
|
机器学习/深度学习 人工智能
机器学习数学基础四:随机变量和概率论基础
不管是离散型还是连续型,似然函数是一样的,概率表达了在给定参数a时X=x的可能性,而似然函数表示的是在给定样本X=x时参数的可能性。
200 0
机器学习数学基础四:随机变量和概率论基础
|
机器学习/深度学习 并行计算 搜索推荐
推荐系统总结(交替最小二乘法、LightFM、神经网络矩阵分解和神经协同过滤)
在社交媒体网络上,有大量的半结构化数据。该任务的数据集是从在线照片共享社交媒体网络 Flickr 收集的。Flickr 允许用户分享照片并相互交流(朋友)。目标是向访问此社交媒体平台的大量数据的每个用户推荐对象(图片)列表。训练数据集包含一组用于构建推荐系统的用户和项目(照片)之间的交互,包含评分基本事实的验证数据用于决定最终模型。除测试数据外,其余数据集不用于分析。
550 0
|
机器学习/深度学习 算法 Python
机器学习中的数学原理——对数似然函数
机器学习中的数学原理——对数似然函数
890 0
机器学习中的数学原理——对数似然函数
|
机器学习/深度学习 Python
机器学习中的数学原理——似然函数
机器学习中的数学原理——似然函数
219 0
机器学习中的数学原理——似然函数