《主成分提取-讲稿-2014.》由会员分享,可在线阅读,更多相关《主成分提取-讲稿-2014.(11页珍藏版)》请在金锄头文库上搜索。
1、 基于主成分分析的特征向量提取第六章 竞争和自组织网络1 数据压缩l 数学方法l NN方法2 竞争学习网络3 数据压缩实例(自学)第六章 竞争和自组织网络一. 主元(主成分)分析的概念和原理 图示 用基底(特征向量)来表示,有要求 (在某种评价指标下)二.主元分析的原理设:(1)是样本集中的第个样本,且该组样本的期望;(2)是单位向量;若将向方向上投影,可得投影分量为:其期望和方差为其中: 为的自相关矩阵(计算实例见附件1)。如果不止一个(即要用多个基底来表示)则 在方向上的投影为 由此,原向量可表示为 压缩后的向量可表示为 数据压缩的目标是:使误差 的方差的期望达到最小:在此意义上, 是的一
2、个很好的近似。【证明】:设的自相关矩阵为 ,则有:为实对称阵(因为)的个特征值 ( )(1) 且特征向量是正交的,即: (2)将按大小排序 用上述特征值对应的特征向量组成一个矩阵 (3)由此,将(1)式用矩阵表示,有 (4)由该式和正交性,得 (6)将向各特征向量方向上投影,得 (7)写成矩阵形式 由此, 压缩为 维后的向量可表示为 ,注意:为一向量压缩前后的误差 为 的第个投影分量 的方差为误差 的个投影分量 的方差和为是较小的特征值之和。在此意义上 是的一个很好的近似【注意】: 上述讨论并未说明 ,只是说明他们的方差存在着大小顺序:【结论】:虽然用任何一组基底都可表示,但是,只有按上述方法来近似时(即)才是最好的近似。评价标准是: 的个主分量 的方差都是较大的那些。- 12 -