《两类别LDA线性判别式分析ppt课件》由会员分享，可在线阅读，更多相关《两类别LDA线性判别式分析ppt课件（20页珍藏版）》请在金锄头文库上搜索。
1、Linear Discriminant AnalysisLDA线性判别式分析法利用线性判别函数设计两类分类器1;.问题的起源在概率密度函数P(x|wi)未知的条件下,不再设法求出P(x|wi)并转化为后验概率密度函数P(wi | x),而是采用以下方法:1)给定某个线性判别函数类g(x)2)利用样本集X X确定判别函数类g(x)中的未知参数(给定一个cost function用最优化方法使代价函数取极值)3)把未知样本x归类到具有最大的判别函数值的类别中2线性判别函数的给定一般线性判别函数一般线性判别函数:34广义线性判别函数广义线性判别函数:567结论结论:对任意判别函数作级数展开，然后取其
2、截尾部分的逼近对任意判别函数作级数展开，然后取其截尾部分的逼近,通过适当的变换，都可以化为广义线性判别通过适当的变换，都可以化为广义线性判别函数来处理函数来处理.解决由样本集设计线性分类器的主要步骤解决由样本集设计线性分类器的主要步骤:8准则函数的选取准则函数的选取I. I.感知准则函数感知准则函数感知准则函数感知准则函数(应用于线性可分的样本集)1)原理:设:样本集Y Y=y1, y2, yN为对应于X X= x x1, x x2, x xN的增广样本集.92)感知准则函数10111213解释:设:A为Tyn0的解区, B为Tynb的解区,则: 对任意B必有A,即有:A包含B.即新解区B位于
3、原解区A之中.设: A为A解区边界上的点,则A满足: ATyn=0. B为B解区边界上的点,则B满足: BTyn=b. B解区边界离开A解区边界的距离| B -A |为:BTyn -ATyn =b BT -AT=b/yn | B -A | =b/ | yn | 14II.II.最小错分样本数准则最小错分样本数准则最小错分样本数准则最小错分样本数准则1)引子:感知准则函数及其梯度下降算法只适用于线性可分情况，对于线性不可分情况，算法不收敛但在实际问题中往往无法事先知道样本集是否线性可分.因此，我们希望找到一种既适用于线性可分情况，又适用于线性不可分情况的算法。这种算法对于线性可分问题，可以得到一
4、个如感知准则函数那样的解向量，使得对两类样本集做到将全部样本正确分类；而对于线性不可分问题，则得到一个使两类样本集错分数目最少的权向量.我们把这样的准则称为最小错分样本数准则。15162)最小错分样本数准则函数I:对于式(4-47)定义准则函数I:Jq1=|(Y -b)-| Y -b | |2找满足 :min Jq1的*. (共轭梯度法)3)最小错分样本数准则函数II:对于式(4-45)定义准则函数II:Jq2=(1+sgn(yi)找满足 :max Jq2的*. (搜索法)式中: sgn(yi)= -1 if yi0 sgn(yi)= +1 if yi0 2) 17III.III.平方误差平方误差平方误差平方误差( (MSE)MSE)准则函数准则函数准则函数准则函数: :1819MSEMSE准则函数的性质准则函数的性质准则函数的性质准则函数的性质: :20
