《贝叶斯分类分类算法》由会员分享，可在线阅读，更多相关《贝叶斯分类分类算法（29页珍藏版）》请在金锄头文库上搜索。
1、实验3：贝叶斯分类分类算法实验3：贝叶斯分类分类算法 实验目的： 1.掌握贝叶斯分类算法 2.熟悉C+编程 3.数据集见下图：背景知识朴素贝叶斯分类 朴素贝叶斯分类的工作过程如下： (1) 每个数据样本用一个n维特征向量X= x1，x2，xn 表示，分别描述对n个属性A1，A2，An样本的n个度量 。 (2) 假定有m个类C1，C2，Cm，给定一个未知的数据样 本X（即没有类标号），分类器将预测X属于具有最高后验 概率（条件X下）的类。也就是说，朴素贝叶斯分类将未 知的样本分配给类Ci（1im）当且仅当P(Ci|X) P(Cj|X)， 对任意的j=1，2，m，ji。这样，最大化P(Ci|X)。
2、其 P(Ci|X)最大的类Ci称为最大后验假定。根据贝叶斯定理6朴素贝叶斯分类(续) (3) 由于P(X)对于所有类为常数，只需要 P(X|Ci)*P(Ci)最大即可。如果Ci类的先验概率 未知，则通常假定这些类是等概率的，即 P(C1)=P(C2)=P(Cm)，因此问题就转换为对 P(X|Ci)的最大化（P(X|Ci)常被称为给定Ci时 数据X的似然度，而使P(X|Ci)最大的假设Ci称 为最大似然假设）。 否则，需要最大化P(X|Ci)*P(Ci)。注意，类的 先验概率可以用P(Ci)=si/s计算，其中si是类Ci 中的训练样本数，而s是训练样本总数。7朴素贝叶斯分类(续) (4) 给定
3、具有许多属性的数据集，计算 P(X|Ci)的开销可能非常大。为降低计算 P(X|Ci)的开销，可以做类条件独立的朴素假 定。 给定样本的类标号，假定属性值相互条件独 立，即在属性间，不存在依赖关系。这样 联合概率分布*DMKD Sides By MAO8朴素贝叶斯分类(续) (5) 对未知样本X分类，也就是对每个类Ci， 计算P(X|Ci)*P(Ci)。 样本X被指派到类Ci，当且仅当P(Ci|X) P(Cj|X)，1jm，ji，换言之，X被指派到其 P(X|Ci)*P(Ci)最大的类。9贝叶斯分类Bayesian Classifiers Approach: compute the poste
4、rior probability P(C | A1, A2, , An) for all values of C using the Bayes theorem Choose value of C that maximizes P(C | A1, A2, , An) Equivalent to choosing value of C that maximizesP(A1, A2, , An|C) P(C) How to estimate P(A1, A2, , An | C )?Nave Bayes Classifier Assume independence among attributes
5、 Ai when class is given: P(A1, A2, , An |C) = P(A1| Cj) P(A2| Cj) P(An| Cj)0 Can estimate P(Ai| Cj) for all Ai and Cj. New point is classified to Cj if P(Cj) P(Ai| Cj) is maximal.对比决策树分类 整棵决策树就对应着一组析取表达式规则。知识回顾贝叶斯知识1. 样本空间的划分二、全概率公式2. 全概率公式全概率公式图示证明化整为零 各个击破说明 全概率公式的主要用途在于它可以将一个 复杂事件的概率计算问题,分解为若干个简单
6、事件 的概率计算问题,最后应用概率的可加性求出最终 结果.例1 有一批同一型号的产品,已知其中由一厂生产 的占 30% , 二厂生产的占 50% , 三厂生产的占 20%, 又知这三个厂的产品次品率分别为2% , 1%, 1%,问从这批产品中任取一件是次品的概率是多少 ?设事件 A 为“任取一件为次品”,解由全概率公式得30%20%50%2% 1%1%AB1B2B3称此为贝叶斯公式.3. 贝叶斯公式Bayes公式的意义 Bayes公式，其意义是：假设导致事件A发生 的“原因”有Bi(i=1,2,n)个。它们互不相容。 现已知事件A确已经发生了，若要估计它是 由“原因”Bi所导致的概率，则可用Bayes公式 求出.即可从结果分析原因.证明条件概率 的概念乘法定理：例2 贝叶斯公式的应用解(1) 由全概率公式得(2) 由贝叶斯公式得由以往的数据分析得到的概率, 叫做先验概率.而在得到信息之后再重新加以修正的概率 0.97叫做后验概率.先验概率与后验概率
