《矩阵分析和流形学习》由会员分享，可在线阅读，更多相关《矩阵分析和流形学习（4页珍藏版）》请在金锄头文库上搜索。
1、重庆邮电大学研究生堂下考试答卷2011-2012 学年第 1 学期考试科目 高等代数与矩阵分析 姓 名 李淑芳 年 级 2011 级 2 班 专 业 计算机技术 电 话 15223398011 2011 年 12 月 27 日矩阵分析和流形学习课 本 矩 阵 分 析 的 内 容 主 要 包 括 ： 线 性 空 间 和 线 性 变 换 、 矩 阵 的 性质 及 其 基 本 运 算 、 矩 阵 分 解 、 矩 阵 函 数 、 矩 阵 的 广 义 逆 等 。 以 课 本 详 细 详系 、 系 统 、 全 面 地 介 绍 矩 阵 分 析 的 主 要 理 论 、 方 法 及 应 用 。 在 信 息 化
2、时 代 ，数 学 应 用 于 诸 多 方 面 ， 甚 至 涉 及 到 现 实 世 界 的 第 一 个 方 面 ， 特 别 是 应 用 在 计算 机 领 域 ， 矩 阵 分 析 是 数 学 的 一 个 分 支 ， 其 中 的 方 法 或 是 算 法 加 上 适 当的 工 具 ， 为 计 算 机 领 域 的 发 展 提 供 了 一 个 好 的 平 台 。 现 在 ， 随 着 信 息 时 代 的到 来 ， 使 得 数 据 集 更 新 更 快 、 数 据 维 度 更 高 以 及 非 结 构 化 性 等 问 题 更 突 出 。在 科 研 研 究 的 过 程 中 不 可 避 免 地 遇 到 大 量 的 高
3、 维 数 据 ， 这 就 需 要 一 种 技 术 能够 使 在 保 持 数 据 信 息 足 够 完 整 的 意 义 下 从 海 量 数 据 集 中 提 取 出 有 效 而 又 合 理的 约 简 数 据 ， 满 足 人 的 存 储 需 求 和 感 知 需 要 。 流 形 学 习 这 一 非 监 督 学 习 方 法应 运 而 生 ， 引 起 越 来 越 多 机 器 学 习 和 认 知 科 学 工 作 者 的 重 视 。 而 在 海 量 的 高维 数 据 中 ， 往 往 只 有 少 量 的 有 用 信 息 ， 如 果 想 快 速 高 效 的 搜 集 到 人 们 想 要 的 、有 用 的 那 些 少
4、量 信 息 且 快 速 的 处 理 信 息 ， 这 就 需 要 一 些 关 键 技 术 的 支 持 ， 即是 必 须 采 用 相 应 的 降 维 技 术 。 而 流 形 学 习 正 是 在 数 据 降 维 方 面 有 着 重 要 的 贡献 。 然 而 ， 降 维 的 过 程 与 矩 阵 分 析 中 的 内 容 有 着 密 切 的 关 系 。基 于 流 形 的 降 维 方 法 能 充 分 利 用 数 据 中 所 隐 藏 的 低 维 有 价 值 信 息 ， 进 一步 提 高 检 索 性 能 。 Seung从 神 经 心 理 学 的 角 度 提 出 “感 知 以 流 形 的 形 式 存 在 ，视 觉
5、 记 忆 也 可 能 是 以 稳 态 的 流 形 存 储 ”， 为 流 形 提 供 了 与 人 类 认 识 相 关 的 理由 。 流 形 学 习 的 方 法 主 要 有 主 成 分 分 析 （ PCA） 、 多 维 尺 度 化 （ MDS） 、 基于 局 部 切 空 间 排 列 法 （ LTSA） 和 基 于 等 度 规 映 射 （ ISOMAP） 、 局 部 线 性 嵌入 算 法 （ LLE） 、 拉 普 拉 斯 特 征 映 射 （ LE） 等 。 另 外 ， 流 形 学 习 方 法 在 人 脸识 别 、 图 像 处 理 、 模 式 识 别 、 计 算 机 视 觉 、 认 知 科 学 、 人
6、 工 智 能 、 人 机 交 互等 众 多 学 科 中 有 着 广 泛 的 应 用 。流 形 学 习 的 定 义 ：流 形 是 局 部 具 有 欧 氏 空 间 性 质 的 空 间 。 假 设 数 据 是 均 匀 采 样 于 一 个 高 维欧 氏 空 间 中 的 低 维 流 形 ， 流 形 学 习 就 是 从 高 维 采 样 数 据 中 恢 复 低 维 流 形 结 构 ，即 找 到 高 维 空 间 中 的 低 维 流 形 ， 并 求 出 相 应 的 嵌 入 映 射 ， 以 实 现 维 数 约 简 或者 数 据 可 视 化 。 它 是 从 观 测 到 的 现 象 中 去 寻 找 事 物 的 本 质
7、 ， 找 到 产 生 数 据 的内 在 规 律 。流 形 学 习 用 数 学 语 言 描 述 是 ： 令 Y 且 : Y 是 一 个 光 滑 的 嵌 套 ，iyD其 中 D d。 那 么 流 形 学 习 的 目 标 是 基 于 上 的 一 个 给 定 被 观 测 数 据 集 合D去 恢 复 Y与 ， 也 就 是 在 Y 中 随 机 产 生 隐 藏 的 数 据 ， 然 后 通 过 映ix iy射 到 观 测 空 间 ， 使 得 。iixfy从 流 形 学 习 的 定 义 中 可 以 看 出 ， 这 是 一 个 把 数 据 从 高 维 映 射 到 低 维 的 过程 ， 用 到 了 线 性 变 换
8、， 当 然 少 不 了 矩 阵 的 分 解 及 其 基 本 运 算 。 下 面 用 流 形 学习 算 法 中 的 一 种 算 法 多 维 尺 度 分 析 （ Multidimensional Scaling, MDS）来 说 明 矩 阵 分 析 这 一 课 和 的 内 容 与 流 形 学 习 研 究 的 相 关 度 。多 维 尺 度 分 析 （ Multidimensional Scaling, MDS） 是 一 种 经 典 的 线 性 降 维方 法 ， 其 主 要 思 想 是 ： 根 据 数 据 点 间 的 欧 氏 距 离 ， 构 造 关 系 矩 阵 ， 为 了 尽 可能 地 保 持 每 对
9、 观 测 数 据 点 间 的 欧 氏 距 离 ， 只 需 对 此 关 系 矩 阵 进 行 特 征 分 解 ，从 而 获 得 每 个 数 据 在 低 维 空 间 中 的 低 维 坐 标 。设 给 定 的 高 维 观 测 数 据 点 集 为 ， ， 观 测 数 据 点 对 , TYUDixix间 的 欧 氏 距 离 为 ， 传 统 MDS 的 算 法 步 骤 如 下 ：jyijijxya) 首 先 根 据 求 出 的 两 点 之 间 的 欧 氏 距 离 构 造 n阶 平 方 欧 式 距 离 矩 阵ij。2ijnAb) 将 矩 阵 A进 行 双 中 心 化 计 算 ， 即 计 算 （ 其 中 H 为
10、 中 心 化12BA矩 阵 ， ， 将 矩 阵 H左 乘 和 右 乘 时 称 为 双 中 心 化 ） 。TeHInc) 计 算 低 维 坐 标 Y。 即 将 B奇 异 值 分 解 ， 设 B的 最 大 的 d个 特 征 值， 对 应 特 征 向 量 ，1,2.ddiag则 d维 低 维 坐 标 为。TYU虽 然 作 为 线 性 方 法 ， MDS在 流 形 学 习 中 不 能 有 效 发 现 内 在 低 维 结 构 。 但是 从 这 一 基 本 的 算 法 中 我 们 可 以 清 楚 的 看 出 矩 阵 分 析 在 流 形 学 习 研 究 中 的 应用 。 在 这 个 MDS算 法 中 ， 运
11、 用 到 了 矩 阵 中 的 线 性 空 间 变 换 、 矩 阵 特 征 值 和 特征 向 量 的 计 算 、 矩 阵 的 中 心 化 计 算 、 矩 阵 的 奇 异 值 的 分 解 等 相 关 知 识 点 。 想象 一 下 ， 如 果 没 有 这 些 知 识 点 做 基 础 ， 这 些 算 法 如 何 进 行 。总 结 ： 在 流 形 学 习 中 的 各 个 算 法 中 大 都 用 到 矩 阵 的 相 关 的 许 多 知 识 点 ，特 别 是 矩 阵 分 解 、 线 性 空 间 变 换 等 。 当 然 ， 只 用 矩 阵 中 知 识 来 解 决 在 流 形 学习 算 法 研 究 中 的 问 题 是 万 万 不 行 的 ， 各 个 学 位 总 是 相 关 联 的 ， 流 形 学 习 和 矩 阵 分 析 的 发 展 同 样 也 需 要 其 它 工 具 的 辅 助 ， 如 好 的 高 效 的 代 码 实 现 编程 软 件 等 。 矩 阵 分 析 不 仅 仅 用 在 这 一 个 方 面 ， 在 许 多 学 科 都 有 着 的 广 泛的 应 用 。1,2.Uu
