《线性分类器设计第六节ppt课件.ppt》由会员分享，可在线阅读，更多相关《线性分类器设计第六节ppt课件.ppt（26页珍藏版）》请在金锄头文库上搜索。
1、线性分类器的设计 1 思路 首先选定判别函数类和一定的目标 准则 利用样本集确定 出函数类中的某些未知参数 使所选的准则最好 线性分类器的设计 2 线性分类器的设计 线性判别函数形式为 g x WTX 其中 X X1 X2 Xn n维特征向量 W W1 W2 Wn Wn 1 n维权向量 通常通过特征抽取可以获得n维特征向量 因此n维 权向量是要求解的 求解权向量的过程就是分类器的训练过程 使用已 知类别的有限的学习样本来获得分类器的权向量被称为 有监督的训练 3 利用已知类别学习样本来获得权向量的训练过程如下 已知x1 1 通过检测调整权向量 最终使x1 1 已知x2 2 通过检测调整权向量
2、最终使x2 2 这样就可以通过有限的样本去决定权向量 x1 x2 xn 1 w1 w2 wn wn 1 0 x 1 检测 已知类别 W1 X1 W2 X2 Wn Xn Wn 1 0 X1dW1 X2dW2 W3 0 所以 g x WTX 0 其中W W1 W2 W3 T 为各模式增1矩阵 为N n 1 矩阵 N为样本数 n为特征数 6 训练过程就是对已知类别的样本集求解权向量w 这是一个线性联立不等式方程组求解的过程 求解时 只有对线性可分的问题 g x WTX才有解 联立方程的解是非单值 在不同条件下 有不 同的解 所以就产生了求最优解的问题 求解W的过程就是训练的过程 训练方法的共 同点是
3、 先给出准则函数 再寻找使准则函数 趋于极值的优化算法 不同的算法有不同的准 则函数 算法可以分为迭代法和非迭代法 7 一 梯度下降法 迭代法 欲对不等式方程组WTX 0求解 首先定义准则函数 目 标函数 J W 再求J W 的极值使W优化 因此求解权 向量的问题就转化为对一标量函数求极值的问题 解决 此类问题的方法是梯度下降法 方法就是从起始值W1开始 算出W1处目标函数的梯度 矢量 J W1 则下一步的w值为 W2 W1 1 J W1 W1为起始权向量 1为迭代步长 J W1 为目标函数 J W1 为W1处的目标函数的梯度矢量 8 在第K步的时候 Wk 1 Wk k J Wk k为正比例因
4、子 这就是梯度下降法的迭代公式 这样一步步迭代 就可以收敛于解矢量 k取值很重要 k太大 迭代太快 引起振荡 甚至发散 k太小 迭代太慢 应该选最佳 k 9 二 感知器法 感知器的原理结构为 10 通过对W的调整 可实现判别函数g x WTX RT 其中RT为响应阈值 定义感知准则函数 只考虑错分样本 定义 其中x0为错分样本 当分类发生错误时就有WTX 0 所以J W 总是正值 错误分类愈少 J W 就愈小 理想情况为 即求最小值的问题 11 求最小值对W求梯度 代入迭代公式中Wk 1 Wk k J 由J W 经第K 1次迭代的时候 J W 趋于0 收敛于所求的W值 12 感知器算法 1 错
5、误分类 修正wk 如wkTx 0并且x 1 wk 1 wk kx 如wk Tx 0并且x 2 wk 1 wk kx 2 正确分类 wk不修正 如wkTx 0并且x 1 如wkTx 0并且x 2 wk 1 wk H wk 1 kxwk 权值修正过程 13 例题 有两类样本 1 x1 x2 1 0 1 0 1 1 2 x3 x4 1 1 0 0 1 0 解 先求四个样本的增值模式 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 假设初始权向量 w1 1 1 1 1 k 1 第一次迭代 w1Tx1 1 1 1 1 1 0 1 1 T 3 0 所以不修正 w1T
6、x2 1 1 1 1 0 1 1 1 T 3 0 所以不修正 w1Tx3 1 1 1 1 1 1 0 1 T 3 0 所以修正w1 w2 w1 x3 0 0 1 0 w2Tx4 0 0 1 0 T 0 1 0 1 0 所以修正w2 w3 w2 x4 0 1 1 1 第一次迭代后 权向量w3 0 1 1 1 再进行第2 3 次迭代 如下表 14 直到在一个迭代过程中权向量相同 训练结束 w6 w 0 1 3 0 判别函数g x x2 3x3 感知器算法只对线性可分样本有收敛的解 对非线性可 分样本集会造成训练过程的振荡 这是它的缺点 训练样本wkTx修正式修正后的权值wk 1迭代次数 x1 1
7、0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 0 w1 w1 w1 x3 w2 x4 1 1 1 1 1 1 1 1 0 0 1 0 0 1 1 1 1 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 0 0 w3 x1 w4 w4 x3 w5 1 1 2 0 1 1 2 0 0 2 2 1 0 2 2 1 2 x1 1 0 1 1 x2 0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 w5 w5 x2 w6 w6 0 2 2 1 0 1 3 0 0 1 3 0 0 1 3 0 3 x1 1 0 1 1 x2
8、0 1 1 1 x3 1 1 0 1 x4 0 1 0 1 w6 w6 w6 w6 0 1 3 0 0 1 3 0 0 1 3 0 0 1 3 0 4 15 三 最小平方误差准则 MSE法 非迭代法 前面我们研究了线性不等式方程组g x WTX 0的解法 它们共同点是企图找一个权向量W 使错分样本最小 现在我们把不等式组变成如下形式 WTXi bi 0 则有联立方程XW b 这是矛盾方程组 方程数大于未知 数 所以没有精确解的存在 每个样本有n个特征 16 定义误差向量 e XW b 0 把平方误差作为目标函数 W的优化就是使J W 最小 求J W 的梯度并为0 解上方程得 XTXW XTb
9、这样把求解XW b的问题 转化为对XTXW XTb求解 这 一有名的方程最大好处是因XTX是方阵且通常是非奇异的 所以可以得到W的唯一解 MSE准则函数 17 只要计算出X 就可以得到W 取 MSE 解 其中N N1有N1个 N N2有N2个 18 四 韦 霍氏法 LMS法 迭代法 上节得到MSE法的W解为 W X b 在计算X 时 1 要求XTX矩阵为非奇异 2 由于计算量太大而引入比较大误差 所以要用迭代法来求 求J W 的梯度 J W 2XT XW b 代入迭代公式 W1任意设定 Wk 1 Wk kXT XWk b 此法可收敛于W值 W满足 XT XW b 0 计算量很大 19 因此下降算法不论XTX是否奇异 总能产生一个解 若训练样本无限的重复出现 则简化为 W1任意 Wk 1 Wk k bk WkTXk Xk k随迭代次数k而减少 以保证算法收敛于满意的W值 20 Fisher分类准则 现在讨论通过 映射投影来降低 维数的方法 X空间 X WTX W0 0 X 1 X WTX W00 X 1 Y WTY W0 W0 则 X 1 Y WTX W0 则X 2 分类问题就解决了 26
