《《数据挖掘》试题与答案》由会员分享,可在线阅读,更多相关《《数据挖掘》试题与答案(8页珍藏版)》请在金锄头文库上搜索。
1、一、解答题(满分30分,每小题5分)1. 怎样理解数据挖掘和知识发现的关系?请详细阐述之首先从数据源中抽取感兴趣的数据,并把它组织成适合挖掘的 数据组织 形式;然后,调用相应的算法生成所需的知识;最后对生成的知识模式进 行评估,并把有价值的知识集成到企业的智能系统中。知识发现是一个指出数据中有效、崭新、潜在的、有价值的、一个不可忽视的流程,其最 终目标是掌握数据的模式。流程步骤:先理解要应用的领域、熟悉相关知识,接着建立目标 数据集,并专注所选择的数据子集;再作数据预处理,剔除错误或不一致的数据;然后进行 数据简化与转换工作;再通过数据挖掘的技术程序成为模式、做回归分析或找出分类模型; 最后经
2、过解释和评价成为有用的信息。2. 时间序列数据挖掘的方法有哪些,请详细阐述之时间序列数据挖掘的方法有:1)、确定性时间序列预测方法对于平稳变化特征的时间序列来说,假设未 来行为与现在的行为有关,利用属性现在的值预测将来的值是可行的。例如, 要预测下周某种商品的销售额,可以用最近一段时间的实际销售量来建立预 测模型。2)、随机时间序列预测方法:通过建立随机模型,对随机时间序列进行分析, 可以预测未来值。若时间序列是平稳的,可以用自回归(Auto Regressive,简称 AR)模型、移动回归模型(Moving Average,简称MA)或自回归移动平均(Auto Regressive Movi
3、ng Average,简称ARMA)模型进行分析预测。3)、其他方法:可用于时间序列预测的方法很多,其中比较成功的是神经网络。 由于大量的时间序列是非平稳的,因此特征参数和数据分布随着时间的推移而变 化。假如通过对某段历史数据的训练,通过数学统计模型估计神经网络的各层权 重参数初值,就可能建立神经网络预测模型,用于时间序列的预测。3. 数据挖掘的分类方法有哪些,请详细阐述之分类方法归结为四种类型:1)、基于距离的分类方法:距离的计算方法有多种,最常用的是通过计 算每个类的中心来完成,在实际的计算中往往用距离来表征,距离越近, 相似性越大,距离越远,相似性越小。2)、决策树分类方法:决策树(De
4、cision Tree)的每个部结点表示在一个属 性上的测试,每个分枝代表一个测试输出,而每个树叶结点代表类或类分布。 树的最顶层结点是根结点。3)、贝叶斯分类方法:设X是类标号未知的数据样本。设H为某种假定, 如数据样本X属于某特定的类C。对于分类问题,我们希望确定P(H|X),即 给定观测数据样本X,假定H成立的概率。4)、规则归纳方法:规则归纳有四种策略:减法、加法,先加后减、先减 后加策略。a)减法策略:以具体例子为出发点,对例子进行推广或泛化,推广即减 除条件(属性值)或减除合取项(为了方便,我们不考虑增加析取项 的推广),使推广后的例子或规则不覆盖任何反例。b)加法策略:起始假设规
5、则的条件部分为空(永真规则),如果该规则 覆盖了反例,则不停地向规则增加条件或合取项,直到该规则不再覆 盖反例。c)先加后减策略:由于属性间存在相关性,因此可能某个条件的加入会d)导致前面加入的条件没什么作用,因此需要减除前面的条件。1先减后加策略:道理同先加后减,也是为了处理属性间的相关性。典型的规则归纳算法有AQ、CN2和FOIL等。4. 数据挖掘的聚类方法有哪些,请详细阐述之数据挖掘的聚类方法:1)、划分方法(Partitioning Methods):给定一个有n个对象的数据集,划分聚 类技术将构造数据k个划分,每一个划分就代表一个簇,k n。也就是说,它将 数据划分为k个簇,而且这k
6、个划分满足下列条件:a)每一个簇至少包含一个对象。b)每一个对象属于且仅属于一个簇。对于给定的k,算法首先给出一个初始的划分方法,以后通过反复迭代的方法改 变划分,使得每一次改进之后的划分方案都较前一次更好。1)、层次聚类:层次聚类方法对给定的数据集进行层次的分解,直到某种 条件满足为止。具体又可分为:a)凝聚的层次聚类:一种自底向上的策略,首先将每个对象作为一个簇, 然后合并这些原子簇为越来越大的簇,直到某个终结条件被满足。b)分裂的层次聚类:采用自顶向下的策略,它首先将所有对象置于一个簇 中,然后逐渐细分为越来越小的簇,直到达到了某个终结条件。层次凝聚的代表是AGNES算法。层次分裂的代表
7、是DIANA算法。2)密度聚类方法:密度聚类方法的指导思想是,只要一个区域中的点的密 度大于某个域值,就把它加到与之相近的聚类中去。代表算法有: DBSCAN、OPTICS、DENCLUE 算法等。3)其它聚类方法:STING(Statistaical Information Grid_based method)是一种 基于网格的多分辨率聚类技术,它将空间区域划分为矩形单元。STING算 法采用了一种多分辨率的方法来进行聚类分析,该聚类算法的质量取决 于网格结构最低层的粒度。如果粒度比较细,处理的代价会显著增加; 但如果粒度较粗,则聚类质量会受到影响。5. 请阐述数据挖掘的基本过程及步骤一、业
8、务理解:业务理解包括确定商业对象、了解现状、建立数据挖掘目标和制定计划书。应该是对数据挖掘的目标有一个清晰的认识,知道利润所在,其中包括数据收集、数据 分析和数据报告等步骤。二、数据理解:一旦商业对象和计划书确定完备,数据理解就考虑将所需要的数据。这一过 程包括原始数据收集、数据描述、数据探索和数据质量核查等。三、数据准备:确定可用的数据资源以后,需要对此进行筛选、清理、调整为所需要的 形式。数据整理和数据转换等数据建模的准备工作需要在这一阶段完成。更深层次的数据探 索也可以在这一阶段进行,新增模型的应用再次提供了在业务理解基础上看清楚数据模式的 机会。四、建立模型:数据模型建立是应用数据挖掘
9、软件不不同的情景下获得结果的过程。五、模型评估:数据解释阶段是至关重要的,要对建立的模型是否能够达到问题解决的目的 进行研究,即包括模型是否能够达到研究的目标;模型是否能够用合适的方法显示。六、模型发布:数据挖掘既可以应用于核实先前的假设,也可以应用于知识发现(识别未预 期的有用的关系)。6. 为什么说强关联规则不一定都是有效的,请举例说明之。并不是所有的强关联规则都是有效的。例如,一个谷类早餐的零售商对5000名 学生的调查的案例。数据表明:60%的学生打篮球,75%的学生吃这类早餐,40% 的学生即打篮球吃这类早餐。假设支持度阈值s=0.4,置信度阈值c=60%。基于 上面数据和假设我们可
10、挖掘出强关联规则“(打篮球)-(吃早餐)”,因为其(打篮球) 和(吃早餐)的支持度都大于支持度阈值,都是频繁项,而规则的置信度 c=40%/60%=66.6%也大于置信度阈值。然而,以上的关联规则很容易产生误解,因为吃早餐的比例为75%,大于66%。 也就是说,打篮球与吃早餐实际上是负关联的。二、分析题(满分20分,每小题10分)1、请分析关联规则挖掘方法中,项目集格空间理论、发展及其在数据挖掘中的 应用价值。项目集格空间理论 Agrawal等人建立了用于事务数据库挖掘的项目集格空间理论(1993, Appriori 属性)。定理(Appriori属性1).如果项目集X是频繁项目集,那么它的所
11、有 非空子集都是频繁项目集。定理(Appriori属性2).如果项目集X是非频繁项目集,那么它的所有 超集都是非频繁项目集。项目集格空间理论发展随着数据库容量的增大,重复访问数据库(外存)将导致性能低下。因此, 探索新的理论和算法来减少数据库的扫描次数和侯选集空间占用,已经成 为近年来关联规则挖掘研究的热点之一。两个典型的方法:Close算法、FP-tree算法2、请分析Web挖掘技术所采用的方法及其在数据挖掘中的应用价值。 Web挖掘依靠它所挖掘的信息来源可以分为: Web容挖掘(Web Content Mining):对站点的Web页面的各类 信息进行集成、概化、分类等,挖掘某类信息所蕴含
12、的知识模式。 Web访问信息挖掘(Web Usage Mining): Web访问信息挖掘是 对用户访问Web时在服务器方留下的访问记录进行挖掘。通过分 析日志记录中的规律,可以识别用户的忠实度、喜好、满意度,可 以发现潜在用户,增强站点的服务竞争力。 Web 结构挖掘(Web Structure Mining): Web 结构挖掘是对 Web 页面之间的结构进行挖掘。在整个Web空间里,有用的知识不仅 包含在Web页面的容之中,而且也包含在页面的结构之中。对于 给定的Web页面集合,通过结构挖掘可以发现页面之间的关联信 息,页面之间的包含、引用或者从属关系等。从大量的信息中发现用户感兴趣的信
13、息:因特网上蕴藏着大量的 信息,通过简单的浏览或关键词匹配的搜索引擎得到的是孤立而凌 乱的“表面信息”,Web挖掘可以发现潜在的、丰富的关联信息。将Web上的丰富信息转变成有用的知识:Web挖掘是面向Web 数据进行分析和知识提取的。因特网中页面部、页面间、页面、页 面访问等都包含大量对用户可用的信息,而这些信息的深层次含义 是很难被用户直接使用的,必须经过浓缩和提炼。对用户进行信息个性化:信息的个性化是将来的发展趋势。通过 Web挖掘,可以达到对用户访问行为、频度、容等的分析,可以 得到关于群体用户访问行为和方式的普遍知识,用以改进Web服 务方的设计,提供个性化的服务。三、证明题(满分16
14、分)1. 证明频繁集的所有非空子集必须也是频繁的。证明1反证法。根据定义,如果项集1满足最小支持度阈值min_sup,则I不是频繁的,即P(1) min_sup。 如果项A添加到1,则结果项集间(即1 A)不可能比1更频繁出现。因此,1 D A也不是频繁的,即 P(1 D A ) n(s),所 以规则“s n (1 - s,)的置信度不可能大于s n (1 - s)的置信度四、算法分析题(满分14分)1.描述决策树算法的主要思想。建造一个决策树,有五个主要步骤:根据已知的分类,从数据D中找到例子S。确定最佳谓词p用来分类。一般首先在较粗的层次中寻找相关谓 词,然后再在较为细化的层次。找到最佳的缓冲区大小和形状。对于取样中的每个实体,它周围的 区域被称为缓冲区。目标是选择一个能产生对测试集中的类型进行 最不同