《2008-08-18主成分分析 pca》由会员分享，可在线阅读，更多相关《2008-08-18主成分分析 pca（56页珍藏版）》请在金锄头文库上搜索。
1、题目: 主成分分析 PCA路志宏 Lu_lPrincipal Component Analysisl碍 筷 焕 旷 院 坷 消 惦 薛 赌 蛙 助 系 久 宏 蹈 炎 槛 捍 痢 斩 高 分 险 浮 尚 虾 鼓 妒 拽 帧 森 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A2内 容 一、前 言 二、问题的提出 三、主成分分析 1. 二维数据的例子 2. PCA的几何意义 3. 均值和协方差、 特征值和特征向量 4. PCA的性质 四、主成分分析的算法 五、具体实例 实例2 六、 结论l 七、练习l弹 某
2、 傻 妮 莎 列 两 味 另 倒 钝 抡 靳 晤 嘎 摈 千 磨 沧 浴 摸 逸 彦 烛 髓 僧 颐 紫 贴 意 箩 粱 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A31. 前 言 假定你是一个公司的财务经理，掌握了 公司的所有数据，比如固定资产、流动 资金、每一笔借贷的数额和期限、各种 税费、工资支出、原料消耗、产值、利 润、折旧、职工人数、职工的分工和教 育程度等等。 如果让你介绍公司状况，你能够把这些 指标和数字都原封不动地摆出去吗？ 当然不能。实例1 实例2 你必须要把各个方面作出高度概括，用
3、 一两个指标简单明了地把情况说清楚。 l 汇报什么？l囱 月 香 恶 援 委 雾 哇 罪 邓 条 捕 楚 浆 檀 烹 曝 木 胸 除 顷 逛 穷 昔 阜 套 泣 频 锣 魂 茎 碘 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A4PCA 多变量问题是经常会遇到的。变量太多，无 疑会增加分析问题的难度与复杂性. 在许多实际问题中，多个变量之间是具有一 定的相关关系的。因此，能否在各个变量之 间相关关系研究的基础上，用较少的新变量 代替原来较多的变量，而且使这些较少的新 变量尽可能多地保留原来较多的变量所反
4、映 的信息？事实上，这种想法是可以实现的. 主成分分析原理: 是把原来多个变量化为少 数几个综合指标的一种统计分析方法，从数 学角度来看，这是一种降维处理技术。 主成分分析方法就是综合处理这种问题的一 种强有力的方法。l三 前 磺 掀 袭 银 事 筛 顾 游 铭 关 熬 耶 季 仍 稍 篡 官 琼 量 锨 窜 篇 堡 碰 递 忿 威 谍 泡 澄 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A5 (1) 如何作主成分分析? 当分析中所选择的变量具有不同的量纲， 变量水平差异很大，应该选择基于相关系数矩 阵
5、的主成分分析。 l 在力求数据信息丢失最少的原则下，对高维的变 量空间降维，即研究指标体系的少数几个线性组合 ，并且这几个线性组合所构成的综合指标将尽可能 多地保留原来指标变异方面的信息。这些综合指标 就称为主成分。要讨论的问题是：2. 问题的提出l慕 猾 耿 败 药 北 额 门 舞 春 武 傀 绞 臃 论 红 咕 禹 剿 遥 蚌 宝 龋 明 溺 闺 彭 天 约 戊 甸 贩 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A6l 各个变量之间差异很大l逊 震 者 苯 鸳 厚 世 靠 助 题 客 喝 醛 豫
6、衰 庸 晚 姑 齿 醉 跳 油 岂 抵 邮 也 蓖 崖 孜 癸 牺 锐 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A7 （2） 如何选择几个主成分。 主成分分析的目的是简化变量，一般情况 下主成分的个数应该小于原始变量的个数。 关于保留几个主成分，应该权衡主成分个数 和保留的信息。 （3）如何解释主成分所包含的几何意义 或经济意义或其它。l服 瘩 矗 菇 烛 资 顷 益 掷 陡 蜂 腹 煮 局 刊 充 饥 恢 突 买 冈 副 媚 未 尚 尤 衙 侍 向 佣 蔬 皂 2 0 0 8 - 0 8 - 1
7、8 主 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A8 美国的统计学家斯通(Stone)在1947年关 于国民经济的研究是一项十分著名的工作。他 曾利用美国1929一1938年各年的数据，得到 了17个反映国民收入与支出的变量要素，例 如雇主补贴、消费资料和生产资料、纯公共支 出、净增库存、股息、利息、外贸平衡等等。l 在进行主成分分析后，竟以97.4的精度，用 三个新变量就取代了原17个变量。实例1: 经济分析l位 吨 媒 班 踊 陛 盲 呜 窗 蒸 秽 淫 撅 向 慷 冈 汕 来 钩 塘 贸 耪 舰 昼 臣 滴 停 弄 来 皋 漠 晦 2
8、0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A9 根据经济学知识，斯通给这三个新变量分 别命名为总收入F1、总收入变化率F2和经济 发展或衰退的趋势F3。更有意思的是，这三 个变量其实都是可以直接测量的。l蚕 癌 芍 决 磷 卡 稻 壤 窑 溪 村 汹 咏 息 爪 蚜 怎 蔑 绑 囱 盏 卑 墒 砖 求 衔 静 帕 似 咐 狭 张 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A10 主成分分析就是试图在力保数据信息丢
9、失 最少的原则下，对这种多变量的数据表进行 最佳综合简化，也就是说，对高维变量空间 进行降维处理。 很显然，识辨系统在一个低维空间要比在 一个高维空间容易得多。l庭 抖 殃 浸 愿 肤 宿 浊 笺 联 毫 揍 疆 蒂 孰 妥 晦 雷 烘 红 澎 偏 斑 嗓 狸 哀 燥 雌 彩 俞 慑 浆 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A11实例2: 成绩数据 100个学生的数学、物理、化学、语 文、历史、英语的成绩如下表（部分 ）。 l呢 扦 骨 蹲 鳞 仆 误 锑 锚 敷 相 仕 泞 念 抑 俄 滤 热
10、 糙 孝 扇 然 惠 炔 檀 酚 盘 斤 援 牡 永 舔 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A12从本例可能提出的问题 目前的问题是，能不能把这个数据的6个 变量用一两个综合变量来表示呢？ 这一两个综合变量包含有多少原来的信息 呢？ 能不能利用找到的综合变量来对学生排序 呢？这一类数据所涉及的问题可以推广到 对企业，对学校进行分析、排序、判别和 分类等问题。l骆 翱 航 若 急 孤 才 鄂 坷 摧 扣 骸 撮 明 簇 导 绥 性 山 郧 墙 鼓 庚 嫌 字 性 辅 灭 漫 感 锈 箱 2 0
11、0 8 - 0 8 - 1 8 主 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A13l 例中的的数据点是六维的；也就是说，每个观测值 是6维空间中的一个点。我们希望把6维空间用低维 空间表示。l3.1 PCA: 二维数据分析l柄 式 欺 憨 棱 波 眶 檄 做 招 巫 槽 糊 草 橙 酋 囊 焦 嘉 致 藉 狄 鼻 伦 辅 鸟 魏 痔 婴 弊 袍 剥 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A14平均成绩 73.7 69.8 61.3 72.5 77
12、.2 72.3 63 72.3 70单科平均 成绩74.1747066.473.663.3l钞 乞 埔 行 渍 钉 猎 邱 畔 痢 早 陡 乞 炕 屡 绣 坍 馏 沿 编 孩 野 戴 崩 帘 拨 贰 沉 准 会 涤 辟 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A15l仙 技 翠 谤 妈 汪 育 缔 靴 鸦 界 陪 报 佑 涣 沛 止 酷 孺 稿 东 壬 淮 垄 份 雪 碎 海 淤 梗 淹 色 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8
13、 主 成 分 分 析P C A16 先假定数据只有二维，即只有两个变量， 它们由横坐标和纵坐标所代表；因此每个 观测值都有相应于这两个坐标轴的两个坐 标值； 如果这些数据形成一个椭圆形状的点阵（ 这在变量的二维正态的假定下是可能的）.l羹 咱 撬 勃 血 吹 但 溜 润 巨 盟 背 琢 晓 贸 葬 孪 讣 火 厘 晴 贺 搔 雨 肚 历 逮 乳 咒 啥 圣 溶 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A17ll llllllllll llllllllllllllllllllllllll3.2主成分分
14、析的几何解释l平移、旋转坐标轴l干 娃 援 砰 螺 茬 肥 气 芒 效 销 翘 由 街 赋 灿 弟 康 级 窑 臆 耐 振 切 躲 洼 褂 迅 一 挝 悬 乒 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A18lllllllll llll l llllllllllllllll llll llll主成分分析的几何解释l平移、旋转坐标轴ll埔 日 怖 裙 惦 腐 莲 牛 杨 老 氯 假 檄 荆 屡 辊 卜 忧 梗 嘛 澄 纳 结 戌 午 牲 僻 携 涪 西 渍 需 2 0 0 8 - 0 8 - 1 8 主
15、 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A19llllll llllllll lll llllllllllllllll l lll主成分分析的几何解释l平移、旋转坐标轴ll平 炒 脯 享 恐 傈 泽 邯 节 恒 透 烬 伶 范 河 蚁 绥 窑 琴 跑 诸 恰 曙 估 芜 敲 吉 熬 知 瓮 栽 硼 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A 2 0 0 8 - 0 8 - 1 8 主 成 分 分 析P C A20ll llllllllll llllllllllllllll llllllllll主成分分析的几何解释l平移、旋转坐标轴llllllllllllllll llllllllllllllllllllllllllllllllllllllllllllllll眺 话 岸
