《数据挖掘概念与技术习题答案-第3章》由会员分享,可在线阅读,更多相关《数据挖掘概念与技术习题答案-第3章(6页珍藏版)》请在金锄头文库上搜索。
1、数据挖掘概念与技术(原书第3版)第三章课后习题及解答3.7习题3.1数据质量可以从多方面评估,包括准确性、完整性和一致性问题。对于以上每个问题,讨论数据质量的评估如何依赖于数据的应用目的,给出例子。提出数据质量的两个其他尺度。答:数据的质量依赖于数据的应用。准确性和完整性:如对于顾客的地址信息数据,有部分缺失或错误,对于市场分析部门,这部分数据有80%是可以用的,就是质量比较好的数据,而对于需要一家家拜访的销售而言,有错误地址的数据,质量就很差了。一致性:在不涉及多个数据库的数据时,商品的编码是否一致并不影响数据的质量,但涉及多个数据库时,就会影响。数据质量的另外三个尺度是时效性,可解释性,可
2、信性。3.2在现实世界的数据中,某些属性上缺失值得到元组是比较常见的。讨论处理这一问题的方法。答:对于有缺失值的元组,当前有6种处理的方法:(1) 忽略元组:当缺少类标号时通常这么做(假定挖掘任务涉及分类)。除非元组有多个属性缺少值,否则该方法不是很有效。当每个属性缺失值的百分比变化很大时,它的性能特别差。采用忽略元组,你不能使用该元组的剩余属性值。这些数据可能对手头的任务是有利的。(2) 人工填写缺失值:一般来说,该方法很费时,并且当数据集很大、缺失值很多时,该方法可能行不通。(3) 使用一个全局常量填充缺失值:将缺失的属性值用同一个常量(如“unknown”或-)替换。如果缺失值都用“un
3、known”替换,则挖掘程序可能误以为它们形成了一个有趣的概念,因为它们都具有相同的值“unknown”。因此,尽管该方法简单,但是并不十分可靠。(4) 使用属性的中心度量(如均值或中位数)填充缺失值:第2章讨论了中心趋势度量,它们指示数据分布的“中间”值。对于正常的(对称的)数据分布,可以使用均值,而倾斜分布的数据则应使用中位数。(5) 使用与给定元组属同一类的所有样本的属性均值或中位数(6) 使用最可能的值填充缺水值:可以用回归、使用贝叶斯形式化方法的基于推理的工具或决策树归纳确定。3.3在习题2.2中,属性age包括如下值(以递增序):13,15,16,16,19,20,20,21,22
4、,22,25,25,25,25,30,33,33,35,35,35,35,36,40,45,46,52,70.(a)使用深度为3的箱,用箱均值光滑以上的数据。说明你的步骤,讨论这种技术对给定数据的效果。答:首先将排好序的age数据划分到大小为3的等频的箱中,如下:13,15,16;16,19,20;20,21,22;22,25,25;25,25,30;33,33,35;35,35,35;36,40,45;46,52,70.其次用箱均值光滑数据:13,15,16;16,19,20;20,21,22;22,25,25;25,25,30;33,33,35;35,35,35;36,40,45;46,5
5、2,70.14.7,14.7,14.7;18.3,18.3,18.3;21,21,21;24,24,24;26.7,26.7,26.7;33.7,33.7,33.7;35,35,35;40.3,40.3,40.3;56,56,56箱均值光滑技术确实使给定的数据光滑了。(b)如何确定该数据中的离群点?答:可以用聚类来检测离群点。聚类将类似的值组织成群或“簇”,直观的,落在簇之外的值被视为离群点。(c)还有什么其他方法来光滑数据?答:还可以用回归来光滑数据。3.4讨论数据集成需要考虑的问题。答:1.实体识别问题;2.冗余和相关分析;3.元组重复;4.数据值冲突的检测与处理。3.5如下规范化方法的值
6、域是什么?(a)最小-最大规范化(b)z分数规范化(c)z分数规范化,使用均值绝对偏差而不是标准差(d)小数定标规范化答:(a) 最小-最大规范化:指定的最小,最大值(b) z分数规范化:(-,+)(c) z分数规范化,使用均值绝对偏差而不是标准差:(-,+)(d) 小数定标规范化:(-1,1)3.6使用如下方法规范化如下数据组:200,300,400,600,1000(a)另min=0,max=1,最小-最大规范化(b)z分数规范化(c)z分数规范化,使用均值绝对偏差而不是标准差(d)小数定标规范化答:(a)另min=0,max=1,最小-最大规范化200变为0300变为(300-200)/
7、(1000-200)*(1-0)+0=0.125400变为(400-200)/(1000-200)*(1-0)+0=0.25600变为(600-200)/(1000-200)*(1-0)+0=0.51000变为(1000-200)/(1000-200)*(1-0)+0=1规范化后的数据组为:0,0.125,0.25,0.5,1(b)z分数规范化求得数据组均值为500,标准差为316.2200变为-0.95300变为-0.63400变为-0.32600变为0.321000变为1.58规范化后的数据组为:-0.95,-0.63,-0.32,0.32,1.58(c)z分数规范化,使用均值绝对偏差而不
8、是标准差求得数据组均值为500,均值绝对差为240200变为-1.25300变为-0.83400变为-0.42600变为0.421000变为2.08规范化后的数据组为:-1.25,-0.83,-0.42,0.42,2.08(d)小数定标规范化0.02,0.03,0.04,0.06,0.13.7使用习题3.3中给出的age数据,回答以下问题:(a)使用最小-最大规范化将age值35变换到0.0,1.0区间(b)使用z分数规范化变换age值35,其中age的标准差为12.94岁(c)使用小数定标规范化变换age值35(d)指出对于给定的数据,你愿意使用哪种方法。陈述你的理由。答:(a)(35-13
9、)/(70-13)*(1-0)+0=0.39(b)(35-29.96)/12.94=0.39(c)0.35(d)对于给定的数据,我愿意使用小数定标规范化,最简单3.8使用习题2.4中给出的age和%fat数据,回答如下问题:(a)基于z分数规范化,规范化这两个属性(b)计算相关系数(pearson矩阵系数)。这两个变量是正相关还是负相关?计算他们的协方差。答:(a) 原始数据如下:Age232327273941474950%fat9.526.57.817.831.425.927.427.231.2Age525454565758586061%fat34.642.528.833.430.234.1
10、32.941.235.7规范化后的数据如下:Age0.210.210.300.300.560.600.730.770.79%fat0.010.60-0.050.300.770.580.630.620.76Age0.840.880.880.920.940.960.961.011.03%fat0.881.160.680.840.730.860.821.110.92(b) 相关系数(pearson矩阵系数)r(age,%fat)=0.82这两个变量是正相关协方差cov(A,B)=100.023.9假设12个销售记录价格已经排序,如下所示:5,10,11,13,15,35,50,55,72,92,20
11、4,215使用如下方法使它们划分成三个箱(a)等频(等深)划分(b)等宽划分(c)聚类答:(a) 箱1: 5,10,11,13箱2: 15,35,50,55箱3: 72,92,204,215(b) 箱1: 5,10,11,13,15,35,50,55箱2: 72,92箱3: 204,215(c) 使用k-means聚类,聚为三类箱1: 5,10,11,13,15,35箱2: 50,55,72,92箱3: 204,2153.10使用流程图概述如下属性子集选择过程:(a)逐步向前选择(b)逐步向后删除(c)结合逐步向前选择和逐步向后删除答:(a)逐步向前选择(b)逐步向后删除(c)结合逐步向前选择
12、和逐步向后删除初始属性集:A1,A2,A3,A4,A5,A61、初始化规约集:2、A13、A1,A24、A1,A2,A3规约后的属性集初始属性集:A1,A2,A3,A4,A5,A61、A1,A2,A3,A4,A52、A1,A2,A3,A43、A1,A2,A3规约后的属性集初始属性集:A1,A2,A3,A4,A5,A61、 初始化规约集:初始属性集A1,A2,A3,A4,A5,A62、A1UA2,A3,A4,A53、A1,A2UA3,A44、A1,A2,A3规约后的属性集3.11使用习题3.3中给出的age数据(a)画一个宽度为10的等宽的直方图(b)简要描述如下每种抽样技术的例子:SRSWOR
13、,SRSWR,簇抽样,分层抽样。使用大小为5的样本以及层“young”、“middle_aged”和“senior”答:(a) 略。横轴为age,纵轴为频次(b) SRSWOR:无放回简单随机抽样,从age中抽取5个样本,每次抽取一个,不放回age中SRSWR:有放回简单随机抽样,从age中抽取5个样本,每次抽取一个,放回age中簇抽样:用无放回简单随机抽样将age数据分为几个不相交的簇。分层抽样:将age数据对年龄层进行分层,分为“young”、“middle_aged”和“senior”,对每层数据,分别随机抽取2,2,1个3.12ChiMergeKer92是监督的、自底向上的(即基于合并
14、的)数据离散化方法。它依赖于卡方分析:具有最小卡方值的相邻区间合并在一起,直到满足确定的停止标准。(a)简略描述ChiMerge如何工作(b)取鸢尾花数据集作为待离散化的数据集合,鸢尾花数据集可以从UCI机器学习数据库得到。使用ChiMerge方法,对四个数值属性分别进行离散化。(令停止条件为:max-interval=6)。你需要写一个小程序,以避免麻烦的数值计算。提交你的简要分析和检验结果:分裂点、最终的区间以及源程序文档。答:3.13对如下问题,使用伪代码或你喜欢用的程序设计语言,给出一个算法:(a)对于标称数据,基于给定模式中属性的不同值的个数,自动产生概念分层(b)对于数值数据,基于等宽划分规则,自动产生概念分层(c)对于数值数据,基于等频划分规则,自动产生概念分层答:3.14数据库系统中鲁棒的数据加载提出了一个挑战,因为输入数据常常是脏的。在许多情况下,数据记录可能缺少多个值,某些记录可能被污染(即某些数据值不在期望的值域内或具有不同的类型)。设计一种自动数据清理和加载算法,使得有错误的数据被标记,被污染的数据在数据加载时不会错误地插入到数据库中。答: