【算法系列】主成分分析的推导过程

简介: 【算法系列】主成分分析的推导过程


主成分的推导

640.png

640.jpg

利用拉格朗日乘子,可得拉格朗日函数为:


640.png


它是a1的二次函数和λ的线性函数,分别对向量a1和λ微分,并令其为0,得:


640.png

由前面第一个方程,可得:

640.png

640.png

因此,λ必须是协差阵∑的一个特征根,而a1则是与此特征根相对应的特征向量。

640.jpg

如果只用第一主成分可能丧失的信息太多,这样往往还需要计算p个原始指标的第二主成分y2。


在计算第二主成分时,除去类似于计算第一主成分的约束条件以外,还必须附上第二主成分与第一主成分不相关这一条件,即还须有约束条件:

640.jpg

640.jpg

640.jpg

640.jpg

640.jpg

640.png


即x1,x2,…,xp的主成分就是以∑的特征向量为系数的线性组合,它们互不相关,其方差为∑特征根。


在实际问题中,不同的变量往往有不同的量纲,为了消除由于量纲的不同可能带来的一些不合理的影响,常采用将变量标准化的办法。

标准化后的变量的协差阵就是原变量的相关阵,所以标准化原始变量的主成分可以根据相关阵来求出。

640.jpg


假设市场上肉类x1、鸡蛋x2、水果x3三种商品价格的月份资料的协方差矩阵为:

640.png

试求三种商品月份价格的所有主成分。

⑴根据上述协方差矩阵,可写出其特征多项式为:


image.png


令此特征多项式等于0,则得特征方程,解此特征方程,从而得∑的特征值为:

λ1=10 λ2=λ3=1


⑵将这些特征根分别代入特征方程,然后求解就可得到相应的各个特征向量,将这些特征向量单位化,就得到相应于上述三个特征根的三个单位特征向量分别为:

image.png

⑶于是,三种商品价格的三个主成分分别为:

image.png

⑷三个主成分的方差分别为:

image.png

第一个主成分的方差占了原始指标的总方差的绝大部分,所以第一主成分综合反映了三种商品价格的绝大部分变动。


PS:在实际问题中,不同的变量往往有不同的量纲,为了消除由于量纲的不同可能带来的一些不合理的影响,常采用将变量标准化的办法。

标准化后的变量的协差阵就是原变量的相关阵,所以标准化原始变量的主成分可以根据相关阵来求出。

相关文章
|
3月前
|
机器学习/深度学习 算法 搜索推荐
从理论到实践,Python算法复杂度分析一站式教程,助你轻松驾驭大数据挑战!
【10月更文挑战第4天】在大数据时代,算法效率至关重要。本文从理论入手,介绍时间复杂度和空间复杂度两个核心概念,并通过冒泡排序和快速排序的Python实现详细分析其复杂度。冒泡排序的时间复杂度为O(n^2),空间复杂度为O(1);快速排序平均时间复杂度为O(n log n),空间复杂度为O(log n)。文章还介绍了算法选择、分而治之及空间换时间等优化策略,帮助你在大数据挑战中游刃有余。
112 3
|
5月前
|
人工智能 算法 BI
第一周算法设计与分析 D : 两面包夹芝士
这篇文章介绍了解决算法问题"两面包夹芝士"的方法,通过找出两个数组中的最大最小值,计算这两个值之间的整数个数,包括特判不存在整数的情况。
|
18天前
|
存储 算法 安全
基于哈希表的文件共享平台 C++ 算法实现与分析
在数字化时代,文件共享平台不可或缺。本文探讨哈希表在文件共享中的应用,包括原理、优势及C++实现。哈希表通过键值对快速访问文件元数据(如文件名、大小、位置等),查找时间复杂度为O(1),显著提升查找速度和用户体验。代码示例展示了文件上传和搜索功能,实际应用中需解决哈希冲突、动态扩容和线程安全等问题,以优化性能。
|
27天前
|
缓存 算法 搜索推荐
Java中的算法优化与复杂度分析
在Java开发中,理解和优化算法的时间复杂度和空间复杂度是提升程序性能的关键。通过合理选择数据结构、避免重复计算、应用分治法等策略,可以显著提高算法效率。在实际开发中,应该根据具体需求和场景,选择合适的优化方法,从而编写出高效、可靠的代码。
35 6
|
2月前
|
并行计算 算法 测试技术
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面,旨在通过综合策略提升程序性能,满足实际需求。
81 1
|
3月前
|
并行计算 算法 IDE
【灵码助力Cuda算法分析】分析共享内存的矩阵乘法优化
本文介绍了如何利用通义灵码在Visual Studio 2022中对基于CUDA的共享内存矩阵乘法优化代码进行深入分析。文章从整体程序结构入手,逐步深入到线程调度、矩阵分块、循环展开等关键细节,最后通过带入具体值的方式进一步解析复杂循环逻辑,展示了通义灵码在辅助理解和优化CUDA编程中的强大功能。
|
3月前
|
算法 索引
HashMap扩容时的rehash方法中(e.hash & oldCap) == 0算法推导
HashMap在扩容时,会创建一个新数组,并将旧数组中的数据迁移过去。通过(e.hash & oldCap)是否等于0,数据被巧妙地分为两类:一类保持原有索引位置,另一类索引位置增加旧数组长度。此过程确保了数据均匀分布,提高了查询效率。
63 2
|
3月前
|
算法
PID算法原理分析
【10月更文挑战第12天】PID控制方法从提出至今已有百余年历史,其由于结构简单、易于实现、鲁棒性好、可靠性高等特点,在机电、冶金、机械、化工等行业中应用广泛。
|
4月前
|
算法 搜索推荐 开发者
别再让复杂度拖你后腿!Python 算法设计与分析实战,教你如何精准评估与优化!
在 Python 编程中,算法的性能至关重要。本文将带您深入了解算法复杂度的概念,包括时间复杂度和空间复杂度。通过具体的例子,如冒泡排序算法 (`O(n^2)` 时间复杂度,`O(1)` 空间复杂度),我们将展示如何评估算法的性能。同时,我们还会介绍如何优化算法,例如使用 Python 的内置函数 `max` 来提高查找最大值的效率,或利用哈希表将查找时间从 `O(n)` 降至 `O(1)`。此外,还将介绍使用 `timeit` 模块等工具来评估算法性能的方法。通过不断实践,您将能更高效地优化 Python 程序。
81 4
|
4月前
|
算法 程序员 Python
程序员必看!Python复杂度分析全攻略,让你的算法设计既快又省内存!
在编程领域,Python以简洁的语法和强大的库支持成为众多程序员的首选语言。然而,性能优化仍是挑战。本文将带你深入了解Python算法的复杂度分析,从时间与空间复杂度入手,分享四大最佳实践:选择合适算法、优化实现、利用Python特性减少空间消耗及定期评估调整,助你写出高效且节省内存的代码,轻松应对各种编程挑战。
87 1

热门文章

最新文章