《主成分分析与奇异值分解_上传课件》由会员分享，可在线阅读，更多相关《主成分分析与奇异值分解_上传课件（18页珍藏版）》请在金锄头文库上搜索。
1、主成分分析（PCA）与奇异值分解（SV）,提纲,引言：高维数据,降维从3维到2维,主成分分析:寻找最能够代表原始数据分布特性的投影方向。,散布 矩阵：,PCA目标函数：,重构误差:,结论1、求重构误差最小的投影方向等价于求散度最大的投影方向,主成分分析:寻找在最小均方误差意义下最能够代表原始数据的投影方向。,结论2、主成分分析的本质就是对角化协方差矩阵，即求解矩阵特征值问题,最大散度：,1、降噪，消除维度间的相关性，恢复主要维度应有能量,2、去冗余，即去掉多余维度，压缩数据中包含的信息。,主成分分析的物理意义,PCA,主成分分析的几何解释：平移、旋转坐标轴,平移、旋转坐标轴的目的是使样本数据在
2、主轴方向的离散程度最大，且不同轴之间具有不相关性。,算法复杂度分析,处理高维数据的时候，需要进行超大矩阵特征值求解，面临算法复杂度过高，效率低下问题,设A是一秩为r的nxr维矩阵，则存在两个正交矩阵:,以及对角阵:,且:,满足：,奇异值分解,奇异值分解,奇异值分解的物理意义,=,1、奇异值分解将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性，即抽取重要特征,奇异值分解几何意义,矩阵奇异值分解的几何意义实质是将对原始矩阵进行两个正交旋转（U和VT）和一个缩放变换（ ）。,14,奇异值分解与主成分分析的关系,结论1、奇异值分解与主成分分析是等价关系,结论1、求解高维矩阵的特征值问题可以转化为求解低维矩阵特征值问题,具体应用:人脸识别,重 点,主成分分析与奇异值分解的工作机理,主成分分析与奇异值分解的物理意义以及两者的关联关系,小结,难 点,对于分类问题是否最优？是否可以提取带有判别信息的主成分信息？,思考,基于信息重构的最佳表示,谢谢大家,
