《主成分提取-讲稿-2014.》由会员分享，可在线阅读，更多相关《主成分提取-讲稿-2014.（11页珍藏版）》请在金锄头文库上搜索。
1、 基于主成分分析的特征向量提取第六章 竞争和自组织网络1 数据压缩l 数学方法l NN方法2 竞争学习网络3 数据压缩实例（自学）第六章 竞争和自组织网络一. 主元（主成分）分析的概念和原理 图示 用基底（特征向量）来表示，有要求 （在某种评价指标下）二.主元分析的原理设：（1）是样本集中的第个样本，且该组样本的期望；（2）是单位向量；若将向方向上投影，可得投影分量为：其期望和方差为其中： 为的自相关矩阵（计算实例见附件1）。如果不止一个（即要用多个基底来表示）则 在方向上的投影为 由此，原向量可表示为 压缩后的向量可表示为 数据压缩的目标是：使误差 的方差的期望达到最小：在此意义上， 是的一
2、个很好的近似。【证明】：设的自相关矩阵为 ，则有：为实对称阵（因为）的个特征值 （ ）（1） 且特征向量是正交的，即： （2）将按大小排序 用上述特征值对应的特征向量组成一个矩阵 （3）由此，将（1）式用矩阵表示，有 （4）由该式和正交性，得 （6）将向各特征向量方向上投影，得 （7）写成矩阵形式 由此， 压缩为 维后的向量可表示为 ，注意：为一向量压缩前后的误差 为 的第个投影分量 的方差为误差 的个投影分量 的方差和为是较小的特征值之和。在此意义上 是的一个很好的近似【注意】： 上述讨论并未说明 ，只是说明他们的方差存在着大小顺序：【结论】：虽然用任何一组基底都可表示，但是，只有按上述方法来近似时（即）才是最好的近似。评价标准是： 的个主分量 的方差都是较大的那些。- 12 -
