【算法系列】主成分分析的推导过程

简介: 【算法系列】主成分分析的推导过程


主成分的推导

640.png

640.jpg

利用拉格朗日乘子,可得拉格朗日函数为:


640.png


它是a1的二次函数和λ的线性函数,分别对向量a1和λ微分,并令其为0,得:


640.png

由前面第一个方程,可得:

640.png

640.png

因此,λ必须是协差阵∑的一个特征根,而a1则是与此特征根相对应的特征向量。

640.jpg

如果只用第一主成分可能丧失的信息太多,这样往往还需要计算p个原始指标的第二主成分y2。


在计算第二主成分时,除去类似于计算第一主成分的约束条件以外,还必须附上第二主成分与第一主成分不相关这一条件,即还须有约束条件:

640.jpg

640.jpg

640.jpg

640.jpg

640.jpg

640.png


即x1,x2,…,xp的主成分就是以∑的特征向量为系数的线性组合,它们互不相关,其方差为∑特征根。


在实际问题中,不同的变量往往有不同的量纲,为了消除由于量纲的不同可能带来的一些不合理的影响,常采用将变量标准化的办法。

标准化后的变量的协差阵就是原变量的相关阵,所以标准化原始变量的主成分可以根据相关阵来求出。

640.jpg


假设市场上肉类x1、鸡蛋x2、水果x3三种商品价格的月份资料的协方差矩阵为:

640.png

试求三种商品月份价格的所有主成分。

⑴根据上述协方差矩阵,可写出其特征多项式为:


image.png


令此特征多项式等于0,则得特征方程,解此特征方程,从而得∑的特征值为:

λ1=10 λ2=λ3=1


⑵将这些特征根分别代入特征方程,然后求解就可得到相应的各个特征向量,将这些特征向量单位化,就得到相应于上述三个特征根的三个单位特征向量分别为:

image.png

⑶于是,三种商品价格的三个主成分分别为:

image.png

⑷三个主成分的方差分别为:

image.png

第一个主成分的方差占了原始指标的总方差的绝大部分,所以第一主成分综合反映了三种商品价格的绝大部分变动。


PS:在实际问题中,不同的变量往往有不同的量纲,为了消除由于量纲的不同可能带来的一些不合理的影响,常采用将变量标准化的办法。

标准化后的变量的协差阵就是原变量的相关阵,所以标准化原始变量的主成分可以根据相关阵来求出。

相关文章
|
数据采集 机器学习/深度学习 算法
别急着上算法,咱先把数据整明白:大数据分析的5个基本步骤,你都搞对了吗?
别急着上算法,咱先把数据整明白:大数据分析的5个基本步骤,你都搞对了吗?
1049 4
|
机器学习/深度学习 边缘计算 算法
NOMA和OFDMA优化算法分析
NOMA和OFDMA优化算法分析
612 127
|
11月前
|
运维 监控 JavaScript
基于 Node.js 图结构的局域网设备拓扑分析算法在局域网内监控软件中的应用研究
本文探讨图结构在局域网监控系统中的应用,通过Node.js实现设备拓扑建模、路径分析与故障定位,提升网络可视化、可追溯性与运维效率,结合模拟实验验证其高效性与准确性。
540 3
|
11月前
|
存储 边缘计算 算法
【太阳能学报EI复现】基于粒子群优化算法的风-水电联合优化运行分析(Matlab代码实现)
【太阳能学报EI复现】基于粒子群优化算法的风-水电联合优化运行分析(Matlab代码实现)
200 0
|
编解码 算法 5G
MIMO雷达空间谱估计中Capon算法与MUSIC算法的对比分析及实现
MIMO雷达空间谱估计中Capon算法与MUSIC算法的对比分析及实现
1067 2
|
人工智能 自然语言处理 算法
2025 年 7 月境内深度合成服务算法备案情况分析报告
2025年7月,中央网信办发布第十二批深度合成算法备案信息,全国389款产品通过备案,服务提供者占比超七成。截至7月14日,全国累计备案达3834款,覆盖文本、图像、音视频等多模态场景,广泛应用于生活服务、医疗、金融等领域。广东以135款居首,数字人、AI客服等C端应用主导,民营企业成主力,国企聚焦公共服务。随着AI政策推动,备案已成为AI产品合规上线关键环节。
|
12月前
|
机器学习/深度学习 算法 5G
【MUSIC、最大似然与克拉美-罗下界】MUSIC与ESPRIT 算法来估计到达角(AoA),并尝试推导克拉美-罗下界(CRLB)以分析其性能研究(Matlab代码实现)
【MUSIC、最大似然与克拉美-罗下界】MUSIC与ESPRIT 算法来估计到达角(AoA),并尝试推导克拉美-罗下界(CRLB)以分析其性能研究(Matlab代码实现)
784 0
|
存储 监控 算法
员工行为监控软件中的 Go 语言哈希表算法:理论、实现与分析
当代企业管理体系中,员工行为监控软件已逐步成为维护企业信息安全、提升工作效能的关键工具。这类软件能够实时记录员工操作行为,为企业管理者提供数据驱动的决策依据。其核心支撑技术在于数据结构与算法的精妙运用。本文聚焦于 Go 语言中的哈希表算法,深入探究其在员工行为监控软件中的应用逻辑与实现机制。
324 14
|
自然语言处理 算法 安全
境内深度合成服务算法备案通过名单分析报告
本报告基于《境内深度合成服务算法备案通过名单》,分析了2023年6月至2025年3月公布的10批备案数据,涵盖属地分布、行业应用及产品形式等多个维度。报告显示,深度合成算法主要集中于经济发达地区,如北京、广东、上海等地,涉及教育、医疗、金融、娱乐等多行业。未来趋势显示技术将向多模态融合、行业定制化和安全合规方向发展。建议企业加强技术研发、拓展应用场景、关注政策动态,以在深度合成领域抢占先机。此分析旨在为企业提供参考,助力把握技术发展机遇。
境内深度合成服务算法备案通过名单分析报告
|
供应链 算法 搜索推荐
从公布的前十一批其他算法备案通过名单分析
2025年3月12日,国家网信办发布算法备案信息,深度合成算法通过395款,其他算法45款。前10次备案中,深度合成算法累计3234款,其他类别647款。个性化推送类占比49%,涵盖电商、资讯、视频推荐;检索过滤类占31.53%,用于搜索优化和内容安全;调度决策类占9.12%,集中在物流配送等;排序精选类占8.81%,生成合成类占1.55%。应用领域包括电商、社交媒体、物流、金融、医疗等,互联网科技企业主导,技术向垂直行业渗透,内容安全和多模态技术成新增长点。未来大模型检索和多模态生成或成重点。
从公布的前十一批其他算法备案通过名单分析

热门文章

最新文章