《人工智能实验三朴素贝叶斯分类实验[汇编]》由会员分享，可在线阅读，更多相关《人工智能实验三朴素贝叶斯分类实验[汇编]（14页珍藏版）》请在金锄头文库上搜索。
1、实验三：分类算法实验 智能 1402 201408070221 李帅玲 目录 实验三：分类算法实验 . 1 一实验目的 . 2 二实验的硬件、软件平台 . 2 三实验内容及步骤 . 2 四、思考题： . 2 五实验报告 . 3 （一）算法的基本原理. 3 （二）实验框架与结果. 4 1.汽车评估数据集 . 4 2.程序框架 . 6 3.实验结果 . 6 （三）实验分析和思考题. 7 （四）实验源代码 . 8 1 / 14 一实验目的 1. 了解朴素贝叶斯算法和决策树算法的基本原理； 2. 能够使用朴素贝叶斯算法 或者决策树算法对数据进行分类 3. 学会对于分类器的性能评估方法 二实验的硬件、软
2、件平台 硬件：计算机 软件：操作系统： WINDOWS 8.1 应用软件： Java 三实验内容及步骤 （一）实验内容： 利用贝叶斯算法或者决策树算法进行数据分类操作 数据集：汽车评估数据集 ( 见附录 ) （二）实验步骤： 1仔细阅读并了解实验数据集； 2使用任何一种熟悉的计算机语言( 比如 C,Java 或者 matlab) 实现朴素贝叶斯算法或者决策树 算法； 3利用朴素贝叶斯算法或者决策树算法在训练数据上学习分类器, 训练数据的大小分别设置为： 前100个数据，前 200个数据，前 500个数据，前 700个数据，前 1000个数据，前 1350个数据； 4利用测试数据对学习的分类器进
3、行性能评估； 5统计分析实验结果并上交实验报告； 四、思考题： 1. 两种算法在训练数据集和测试数据集上的性能一致吗？哪个比较好？ 2. 提出一种提高分类器性能的方法并通过实验验证。 2 / 14 五实验报告 （一）算法的基本原理 贝叶斯定理： 表示事件X已经发生的前提下， 事件 Y发生的概率， 叫做事件X发生下事件Y的条件概率， 其基本求解公式为： 朴素贝叶斯分类器： 朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大， 就认为此待分类项属于哪个类别。 朴素贝叶斯分类的正式定义如下： 1、设为一个待分类项，而每个a 为 x 的一个特征属性。
4、2、有类别集合。 3、计算。 4、如果，则。 那么现在的关键就是如何计算第3 步中的各个条件概率。我们可以这么做： 1、找到一个已知分类的待分类项集合，这个集合叫做训练样本集。 2、统计得到在各类别下各个特征属性的条件概率估计。即 3、如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导： 3 / 14 因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有： 整个朴素贝叶斯分类分为三个阶段： 第一阶段 :准备工作阶段， 这个阶段的任务是为朴素贝叶斯分类做必要的准备，主要工作是根据具体情况确定特征属 性，并对每个特征属性进行适当划分，然后由人工对一部
5、分待分类项进行分类，形成训练样本集合。这一阶段的输 入是所有待分类数据，输出是特征属性和训练样本。这一阶段是整个朴素贝叶斯分类中唯一需要人工完成的阶段， 其质量对整个过程将有重要影响，分类器的质量很大程度上由特征属性、特征属性划分及训练样本质量决定。 第二阶段 : 分类器训练阶段，这个阶段的任务就是生成分类器，主要工作是计算每个类别在训练样本中的出现频率 及每个特征属性划分对每个类别的条件概率估计，并将结果记录。其输入是特征属性和训练样本，输出是分类器。 这一阶段是机械性阶段，根据前面讨论的公式可以由程序自动计算完成。 第三阶段 :应用阶段。 这个阶段的任务是使用分类器对待分类项进行分类，其输
6、入是分类器和待分类项，输出是待分 类项与类别的映射关系。这一阶段也是机械性阶段，由程序完成。 决策树： 决策树是一个类似于流程图的树结构，其中每个内部结点表示在一个属性上的测试，每个分支代表一个测试输 入，而每个树叶结点代表类或类分布。数的最顶层结点是根结点。一棵典型的决策树如图所示。它表示概念 buys_computer ，它预测顾客是否可能购买计算机。内部结点用矩形表示，而树叶结点用椭圆表示。为了对未知的 样本分类，样本的属性值在决策树上测试。决策树从根到叶结点的一条路径就对应着一条合取规则，因此决策树容 易转化成分类规则。 （二）实验框架与结果 1.汽车评估数据集 汽车评估数据集包含17
7、28 个数据，其中训练数据1350，测试数据个。每 4 / 14 个数据包含 6 个属性，所有的数据分为4 类： Class Values: unacc, acc, good, vgood Attributes: buying: vhigh, high, med, low. maint: vhigh, high, med, low. doors: 2, 3, 4, 5more. persons: 2, 4, more. lug_boot: small, med, big. safety: low, med, high. 部分训练集截图： 部分测试集截图： 5 / 14 2.程序框架 1.获取训
8、练样本 2.对每个类别进行统计（Class Values: unacc, acc, good, vgood ） 3.对每个属性进行统计（buying: vhigh, high, med, low.maint: vhigh, high, med, low.doors: 2, 3, 4, 5more.persons: 2, 4, more.lug_boot: small, med, big.safety: low, med, high.） 4.计算并存储每个属性在类别中的条件概率，例如P(buing:vhigh | class value:unacc)=（ buing 中 vhigh 的数量）除以
9、 （classValue中 unacc 的数量） 5.获取测试集样本，将测试数据放入训练集 6.根据每一条测试数据的前六项，每一项在训练集的每个类别中都分别有一个概率值，将每一类别中六个概率值相 乘，可得四个评估概率。例如，对于测试数据（low,vhigh,4,2,small,low,unacc ） 评价结果V1=p(low|unacc)*p(vhigh |unacc)*p(4 |unacc)*p(2 |unacc)*p(small |unacc)*p(low,|unacc) V2=p(low|acc)*p(vhigh |acc)*p(4 |acc)*p(2 |acc)*p(small |ac
10、c)*p(low,|acc) V3=p(low|good)*p(vhigh |good)*p(4 |good)*p(2 |good)*p(small |good)*p(low,|good) V4=p(low|vgood)*p(vhigh |vgood)*p(4 |vgood)*p(2 |vgood)*p(small |vgood)*p(low,|vgood) 比较 VI、V2、V3、V4 中概率最大的评价，可得评价结果 7，对评估概率进行比价，可得最大概率，最大概率指向的类别即为测试结果 8.测试结果与测试数据最后一项进行比对，若相同表示测试正确，返回true ，反之，若不相同，则返回fals
11、e。 9.统计 true 的数量，除以测试样本数量，可得分类器的准确率。 3.实验结果 部分截图： 6 / 14 得知： 此种训练集下得到的样本测试准确率为68.78%左右。 朴素贝叶斯的测试性能与训练集有关，训练集好则 准确率高。 （三）实验分析和思考题 1. 两种算法在训练数据集和测试数据集上的性能一致吗？哪个比较好？ 决策树有比较好的准确率和相对较好的标准误差，但是在这背后，很有可能是以较大错误率作为代价，这点 可以从训练混淆矩阵中得到印证；而朴素贝叶斯分类算法的准确率相对较低，而标准误差也较高。 朴素贝叶斯算法 时间复杂度： O(n3) 决策树算法 时间复杂度： O(n*|S|*log
12、|S|) 其中 log 以 2为底， n 为属性的个数，|S| 为训练样本的个数 而且朴素贝叶斯可能存在0概率问题 存在准确度问题，朴素贝叶斯分类器是基于样本属性条件独立的假设的前提下的, 但是实际情况可能并不成立， 这样也就缺失准确性了. 解决朴素贝叶斯准确性问题提出的一种方法叫做：贝叶斯网络（Bayesian Belief Networks ） 2. 提出一种提高分类器性能的方法并通过实验验证。 Adaboost ：基于错误提升分类器的性能 Adaboost 是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器，即弱分类器，然后把这些弱 分类器集合起来，构造一个更强的最终分类器，比起弱分类器，这个“强”分类器的错误率会低很多。 Adaboost
