矩阵分解和信息论基础

简介: 机器学习中常见的矩阵分解有特征分解和奇异值分解。先提一下矩阵的特征值和特征向量的定义

一、矩阵分解

机器学习中常见的矩阵分解有特征分解和奇异值分解。


先提一下矩阵的特征值和特征向量的定义


若矩阵 A AA 为方阵,则存在非零向量 x xx 和常数 λ \lambdaλ 满足 A x = λ x Ax=\lambda xAx=λx,则称 λ \lambdaλ 为矩阵 A AA 的一个特征值,x xx 为矩阵 A AA 关于 λ \lambdaλ 的特征向量。

image.png

二、信息论

熵(Entropy)

信息熵,可以看作是样本集合纯度一种指标,也可以认为是样本集合包含的平均信息量。


假定当前样本集合X中第i类样本 𝑥 𝑖 𝑥_𝑖x

i

 所占的比例为P ( 𝑥 𝑖 ) ( i = 1 , 2 , . . . , n ) P(𝑥_𝑖)(i=1,2,...,n)P(x

i

)(i=1,2,...,n),则X的信息熵定义为

image.png

image.png

相关文章
|
Ubuntu 安全 Linux
Linux Ubuntu系统安装OpenVPN服务
Linux Ubuntu系统安装OpenVPN服务
|
Linux Shell 网络安全
|
5月前
|
人工智能 新能源 BI
关于举办"2025年第五届全国大学生技术创新创业大赛"的通知
大赛已连续举办四届,举办以来大赛始终以“创新驱动,赋能就业”为目标,促进学生的创新创造能力,普及创新创业知识,拓宽就业创业渠道,挖掘创新人才,培育多元化的未来产业推进力量。自开赛以来,赛事受到百余所学校关注,十几所高校已立项,参赛人次达上万人,征集优秀商业计划书上千余份。本届新赛事将继续全面贯彻党的二十大精神,完整、准确、全面贯彻新发展理念,加快构建新发展格局,以传统产业的高端化升级和前沿技术的产业化落地为主线,以创新为动力,第五届赛事将开展优秀项目落地北京计划。
1842 4
成功解决TypeError: ‘encoding’ is an invalid keyword argument for this function
成功解决TypeError: ‘encoding’ is an invalid keyword argument for this function
|
12月前
|
机器学习/深度学习 算法 测试技术
「软件项目管理」一文详解软件项目成本计划
该文章详细解释了软件项目成本估算的过程与方法,涵盖了代码行估算法、功能点估算法、用例点估算法、类比估算法、自下而上估算法、参数模型估算法及专家估算法等多种技术,并探讨了成本预算的制定步骤。
「软件项目管理」一文详解软件项目成本计划
|
存储 分布式计算 监控
Hadoop在云计算环境下的部署策略
【8月更文第28天】Hadoop是一个开源软件框架,用于分布式存储和处理大规模数据集。随着云计算技术的发展,越来越多的企业开始利用云平台的优势来部署Hadoop集群,以实现更高的可扩展性、可用性和成本效益。本文将探讨如何在公有云、私有云及混合云环境下部署和管理Hadoop集群,并提供具体的部署策略和代码示例。
440 0
|
存储 搜索推荐 Linux
5个值得学习的C++完整项目实战
5个值得学习的C++完整项目实战
|
消息中间件 数据管理 Kafka
深入理解微服务架构中的数据一致性挑战
微服务架构在现代应用开发中日益受到青睐,但其引入的分布式数据管理带来了数据一致性问题。本文探讨了微服务架构中常见的数据一致性挑战,并分析了几种解决方案,包括最终一致性和分布式事务。通过具体的案例分析,本文旨在为开发者提供实践中的有效策略,以实现数据的一致性和可靠性。
|
网络协议 安全 网络安全
|
数据采集 Web App开发 前端开发
Python有哪些好用的爬虫框架
在Python中,Scrapy是一个强大的网络爬虫框架,专为数据采集设计,具有高度可定制的爬取流程、内置的数据提取工具、自动请求调度、分布式爬取支持和中间件扩展。它允许开发者轻松构建和管理爬虫,高效抓取和处理网页数据。 Beautiful Soup和Requests库组合则提供了简单的HTML解析和请求功能。Requests库用于发送HTTP请求,而Beautiful Soup则用于解析HTML内容,两者结合便于数据提取。Requests-HTML库进一步简化了这一过程,集成了Requests的功能并内置HTML解析,支持CSS选择器和XPATH。
341 0