《矩阵低秩近似在支持向量机中的研究》由会员分享，可在线阅读，更多相关《矩阵低秩近似在支持向量机中的研究（53页珍藏版）》请在金锄头文库上搜索。
1、密 级理 学代 号 10701 学 号 1003121849分类号 TP181 公 开题 （ 中 、 英 文 ） 目 矩 阵 低 秩 近 似 在 支 持 向 量 机 中 的 研 究The Research about Support Vector Machine with theLow Rank Approximation Method作 者 姓 名 李 恩 宁 指 导 教 师 姓 名 、 职 称 周 水 生 教 授学科门类 学 科 、 专 业 应 用 数 学提 交 论 文 日 期 二 一 三 年 三 月西 安 电 子 科 技 大 学学 位 论 文 独 创 性 (或 创 新 性 )声 明秉 承
2、 学 校 严 谨 的 学 风 和 优 良 的 科 学 道 德 ， 本 人 声 明 所 呈 交 的 论 文 是 个 人 在 导师 的 指 导 下 进 行 的 研 究 工 作 及 取 得 的 研 究 成 果 。 尽 所 知 ， 除 了 文 中 特 别 加 以 标 注和 致 谢 中 所 罗 列 的 内 容 以 外 ， 论 文 中 不 包 含 其 他 人 已 经 发 表 过 或 撰 写 过 的 研 究 成果 ； 也 不 包 含 为 获 得 西 安 电 子 科 技 大 学 或 其 他 教 育 机 构 的 学 位 或 证 书 而 使 用 过 的材 料 。 与 一 同 工 作 过 的 同 志 对 本 研 究
3、 所 作 的 任 何 贡 献 均 已 在 论 文 中 作 了 明 确 说 明并 表 示 了 谢 意 。申 请 学 位 论 文 与 资 料 若 有 不 实 之 处 ， 本 人 承 担 一 切 相 关 责 任 。本 人 签 名 ： _ 日 期 ： _西 安 电 子 科 技 大 学关 于 论 文 使 用 权 的 说 明本 人 完 全 了 解 西 安 电 子 科 技 大 学 有 关 保 留 和 使 用 学 位 论 文 的 规 定 ， 即 ： 研 究生 在 校 攻 读 学 位 期 间 论 文 工 作 的 知 识 产 权 单 位 属 西 安 电 子 科 技 大 学 。 本 人 保 证 毕业 离 校 后 ，
4、 发 表 论 文 或 使 用 论 文 工 作 成 果 时 署 名 单 位 仍 然 为 西 安 电 子 科 技 大 学 。学 校 有 权 保 留 送 交 的 论 文 的 复 印 件 ， 允 许 查 阅 和 借 阅 论 文 ； 学 校 可 以 公 布 论 文 的全 部 或 部 分 内 容 ， 可 以 允 许 采 用 影 印 、 缩 印 或 其 他 的 复 制 手 段 保 存 论 文 。 (保 密 的论 文 在 解 密 后 遵 守 此 规 定 )本 学 位 论 文 属 于 保 密 ， 在 _年 解 密 后 适 用 本 授 权 书 。本 人 签 名 ： _ 日 期 ： _导 师 签 名 ： _ 日 期
5、 ： _摘 要支 持 向 量 机 (Support Vector Machine, SVM)是 一 种 有 效 的 机 器 学 习 方 法 ， 适 用于 分 类 和 预 测 等 诸 多 领 域 。 然 而 大 规 模 数 据 形 成 的 核 在 训 练 过 程 中 往 往 难 以 存 储或 参 与 计 算 ， 使 得 算 法 本 身 不 易 于 实 现 或 复 杂 度 过 高 。 而 约 简 支 持 向 量 机 (ReducedSupport Vector Machine, RSVM)是 这 样 一 种 方 法 ， 它 预 选 取 训 练 数 据 的 子 集 作 为 支持 向 量 ， 然 后
6、解 一 个 更 小 规 模 的 问 题 ， 有 效 地 解 决 了 SVM 用 非 线 性 核 处 理 大 规 模数 据 时 的 困 难 。 关 于 约 简 集 的 选 取 方 法 ， 则 是 本 文 的 研 究 重 点 。原 始 的 约 简 集 选 取 方 法 为 完 全 随 机 抽 取 训 练 样 本 的 1% 10% ； IRSVM 方 法 是通 过 解 最 小 二 乘 问 题 逐 步 增 加 训 练 样 本 ； 系 统 采 样 RSVM（ SSRSVM） 是 从 一 个很 小 的 约 简 集 开 始 ， 通 过 训 练 得 到 分 类 器 ， 再 对 错 分 点 采 样选取来增加 更
7、多 有 用的 支 持 向 量 。 本 文 在 此 基 础 上 ， 综 合 IRSVM 与 SSRSVM 的 优 点 ， 将 SSRSVM 对错 分 点 的 采 样 选 取变为解最 小 二 乘 问 题 来 选 取 ， 这 使 得 对 点 的 选 取 更 加 严 格 ， 减少 不 必 要 的 迭 代 次 数 ， 从 而 得 到 新 的 改 进 算 法 ， 并 通 过 实 验 说 明 在 不 增 加 复 杂 度的 情 况 下 ， 改 进 算 法 能 够 达 到 更 好 的 分 类 效 果 。 另 外 ， 在 大 量 实 验 中 ， 还 发 现 训练 集 中 一 些 特 殊 的 点 对 分 类 效 果
8、 起 着 关 键 的 作 用 ， 通 过 比 较 近 似 核 与 全 核 的 特 征值 以 及 特 征 向 量 来 说 明 选 取 此 类 关 键 点 的 合 理 性 。关 键 词 ： 支 持 向 量 机 低 秩 近 似 约 简 集 核AbstractThe Support Vector Machine is an efficient machine learning methods, and appliesto classification, forecasting and many other areas. However, the kernel which formedby large-
9、scale data in the training process is often difficult to store or participate in thecalculation, which makes the algorithm itself not easy to achieve or the complex is toohigh. Reduced Support Vector Machine is such a method: pre-select a subset of thetraining data as support vectors, and then solve
10、 a smaller scale problem. It is aneffective solution compared with SVM which use nonlinear kernel processinglarge-scale data difficulties. The reduced set selection method is the focus of this study.The original reduced set selection method is selecting 1% 10% of training samplescompletely randomly;
11、 IRSVM method increases the training samples by solving a leastsquares problem gradually; Systematic sampling RSVM (SSRSVM) starts from a smallreduced set, then perform the RSVM to get a classifier, and sample those points that aremisclassed to increase more useful support vectors. This paper, based
12、 on the facts above,synthesizes the advantages of IRSVM and SSRSVM, namely select those points that aremisclassed by solving a least squares problem instead of the original one, and show thatthe improved algorithm can achieve better classification effect without any increase incomplexity through the
13、 experimental result. In addition, from a large number ofexperiments, we find an interesting result that some key points of the training set havegreat influence in the classification effect. We will illustrate the rationality of these keypoints by comparing eigenvalue and eigenvector of the approximate kernel with those ofthe full kernel.Keywords： SVM Low-rank Approximation Reduced Set Kernel目 录第 一 章 绪 论 .11.1 研 究 背 景 . 11.2 支 持 向 量 机 . 11.2.1 传 统 支 持 向 量 机 (SVM)模 型 介 绍 . 11.2.2 传 统 支 持 向 量 机 (SVM)的 问 题 . 51.3 低 秩 近 似 方 法 在 支 持 向 量 机 中 的 研 究 . 61.4 本 文 主 要 内 容 . 6第 二 章 约 简 支 持 向 量 机 .
