数据挖掘考试提纲

《数据挖掘考试提纲》由会员分享，可在线阅读，更多相关《数据挖掘考试提纲（15页珍藏版）》请在金锄头文库上搜索。

1、第一章1、数据挖掘的概念。 P3数据挖掘是从大量数据中提取或“挖掘”知识。数据挖掘是个过程，目的是知识发现。数据挖掘的过程：1数据预处理：数据清理（消除重复的、不完全的、违反语义约束的数据），数据集成（多种数据源可以组合在一起），数据选择（从数据库中检索与分析任务相关的数据），数据变换（数据变换或统一成适合挖掘的形式，如通过汇总或聚集操作） 。2数据挖掘（使用智能方法提取数据模式）3 模式评估（根据某种兴趣度度量，识别表示知识的真正有趣的模式）4知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识）2、数据挖掘有哪些模式。 P3数据挖掘的模式： 1 分类模式， 2回归模式， 3时间序列模式

2、， 4聚类模式， 5关 联规则模式， 6 序列模式。3、什么是有意义的模式。1）它易于理解。 2）在某种必然程度上，对于新的或检验数据是有效的。 3） 是潜在有用的。 4）是新颖的。如果一个模式符合用户确信的某种假设，它也是 有趣的。有趣的模式就是知识。4、数据挖掘中能否挖掘出所有模式。数据挖掘可能产生数以千计的模式或规则，但并不是所有的模式或规则都是 令人感兴趣的。第二个问题 “数据挖掘系统能够产生所有有趣的模式吗 ?”涉及数据挖掘 算法的完全性。 第三个问题 “数据挖掘系统能够仅产生有趣的模式吗 ”?是 数据挖掘的优化问题。5、数据挖掘的步骤（4）,以及每一步骤的作用。P4图1* 数撼挖掘

3、视为知识发现过稈的一个步驟6数据挖掘与知识发现有什么关系。有趣的数据挖掘模式代表知识。如果一个模式符合用户确信的某种假设, 它也是有趣的。有趣的模式就是知识。7、数据挖掘的对象（11）。P6-131）数据存储库包括：关系数据库、数据仓库、事务数据库、高级数据库系统、 一般文件、数据流和万维网。2）高级数据库系统包括对象一关系数据库和面向特殊应用的数据库，如空间 数据库、时间序列数据库、文本数据库和多媒体数据库。8、数据挖掘的功能（6）。P14-18功能：1概念/类描述：特征化和区分；2挖掘频繁模式，关联和相关；3分类和预测；4聚类分析；9、数据挖掘5个相关学科、技术。P19图数据挖掘是交叉学科

4、，受多个学科影响。包括数据库系统，统计学，机器学习, 可视化和信息科学还有其他科学。1、数据挖掘的第一阶段是数据预处理。数据清理是用于去掉数据中的噪声数据，纠正不一致2、数据预处理的分类、每个分类的作用、有什么技术。 P311数据清理（可以去掉数据中的噪声，纠正不一致）：试图填充缺失的值，光 滑噪声并识别离群点，并纠正数据的不一致。主要技术：1缺失值；1忽略元 组2人工填写缺失值3使用全局常量填充缺失值4使用属性的均值填充缺失 值5使用与给定元组属同一类的所有样本的属性均值 6使用最可能得值填充 缺失值（使用推理进行预测）；2光滑技术：1分箱，2回归，3聚类2数据集成（将多个数据源合并成一致的

5、数据存储，构成一个完整的数据集， 如数据仓库或数据立方体）；3数据变换（将一种格式的数据转换为另一格式的数据 （如规范化）或统一成 合适于挖掘的形式。；主要技术：光滑（去掉数据中的噪声，如分箱技术，回归，聚类）； 聚集（对数据进行汇总或聚集）；数据泛化（分层，用高层概念代替低层）； 规范化（1最大最小规范化v v min A (new_maxA new_min A) new_minA ； maxA min An ew_mi n A,n ew_maxA是映射后的区域,min a, max a是变换前 数据的最大最小值。v是转换后的数据。2 z-score规范化v-Aa , a分别是原始A数据的平

6、均值，和标准差）；3小数定标规范化、v二）10属性构造；4数据归约（可以通过聚集、删除冗余特性或聚类等方法来压缩数据）：数据归约是保持原来数据的完整性，将数据集变小，并不影响对结果的分析。 归约的策略：1数据立方体聚集2属性子集的选择3维度归约4数值归约5 离散化和概念分层产生。3、数据清理所需要的方法（6）。P39数据清理可以分为有监督和无监督两类。主要技术：1缺失值；1忽略元组2人工填写缺失值3使用全局常量填充缺失 值4使用属性的均值填充缺失值5使用与给定元组属同一类的所有样本的属 性均值6使用最可能得值填充缺失值（使用推理进行预测）；2光滑技术：1 分箱，2回归，3聚类4、什么是噪声数据

7、。如何处理（3）。P40噪声是被测量的变量的随机误差或方差。处理：（1）分箱。（2）聚类。（3）计算机和人工检查结合.（4）回归5、数据集成的概念。用来干什么。方法有哪些。P43数据集成是将多个数据源合并成一致的数据存储，构成一个完整的数据集如数据仓库或数据立方体它需要统一原始数据中的所有矛盾之处，如字段的 ：同名异义、异名同义、单位不统一字长不一致，从而把原始数据在最低层上加以转换，提炼和集成。1模式集成，2冗余问题，3数据值冲突的检测与处理6有哪些冗余（2）,解决方法。P43-44属性冗余：常用的解决方法是 相关分析检测；卡方检验（分类或离散数据）； 元组冗余7、数据变换内容和含义（5）。

8、P45数据变换将数据转换成适合于挖掘的形式。主要是找到数据的特征表示， 对数据进行规格化处理。用维变换或转换方式减少有效变量的数目或找到数 据的不变式8、规范化有哪些方法。至少掌握 2种计算方法。P45-46最大最小规范化 v min a v （n ew_ max A n ew_mi n A） n ew_mi nA ；maxA min A _n ew_ min a , n ew_max a 是映射后的区域,min a, max a是变换前 数据的最大 最小值。v是转换后的数据。z-score规范化v -Aa , a分别是原始数据的平均值，和标准差）；A小数定标规范化、v10j9、数据规约策略（

9、47）。P47归约的策略：1数据立方体聚集2属性子集的选择3维度归约4数值归约5离散化和概念分层产生10、属性子集选择的基本启发式方法包括什么技术（4）。P48-491 逐步向前选择 2 逐步向后删除 3 向前选择和向后删除的结合 4 决策树归纳 第三章1、数据仓库的概念、目的、特点。 P67 数据仓库是一个面向主题的（围绕主题组织数据） ，集成的（由多个异构数据源 集成），时变的和非易失的数据集合，支持管理部门的决策过程。2、数据仓库的逻辑模式。 P72 星形，雪花和事实星座模式3、星型模式的事实表包括（2）。P73 事实表：包含度量值和关联维度表的码。星形事实模型： 包括维表和事实表。 维

10、表记录的是基本信息， 事实表记录业务过 程。所以星形事实模型中， 一般在维表上建立主键， 在事实表上建立外键。 事实表包 括了外键和业务过程的数据。事实表包含联系事实与维度表的数字度量值和键。 事实数据表包含描述业务 内特定事件的数据 。4、数据仓库的物理结构（ 3：MRH-SQL Server 是 H*）。 P865、OLAP 操作（ 5）。 P791上卷：就是将高维的数据压缩到低维，是个数据的累加过程。 Eg：从街道 上卷到城市。 就是把同一城市的所有街道的数据累加起来。 （维度高低是属性 的个数，维度高属性个数多） 。通过一个维德概念分层向上攀升， 或者通过维 归纳，对数据立方体进行聚集

11、。2下钻：是把数据的维度进一步分解，跟上卷相反。Eg：从城市分解到街道。上卷操作的逆操作。从高层概括到底层概括，从不详细到更加详细。3切片和切块：就是固定某一维数据，再观察其它维度的数据。Eg：固定时间维，观察不同地点的销售数量。4投影和选择。 转轴：可视化操作，从不同角度观察数据。6数据仓库的实现（3）。P88高效的立方体计算技术，存取方法和查询处理技术；7、数据立方体的有效计算（ 2）。 P88CD compute cube操作与维灾难Compute cube操作对操作指定维的所有子集计算聚集。（立方体计算的方体或 分组总数为2的N次方。如3维（3个属性）数据的立方体，分组总数：2A3=8

12、）C2 部分物化：方体的选择计算。 （数据立方体的物化：不物化、完全物化、部分物化。）8、维灾难概念。 P89 完全物化指定义数据立方体的格中所有的方体的计算。通常需要过多的存储 空间，特别是当维数和相关联的概念分层增长时，该问题称为维灾难。9、N 维有多少个顶点。2的N次方。2n10、数据仓库的查询（取）方法（ 3）。 P901 位图索引 2 连接索引 3 位图连接索引。11、OLAP 查询的有效处理步骤（ 2）。 P921 确定哪些操作应当在可利用的方体上执行2 确定相关操作应当使用哪些物化的方法。第四章1、冰山立方体的概念。 （多路数据聚集不能计算冰山立方体） 。 冰山立方体：不能满足阈

13、值的单元，这种部分物化的单元称作冰山立方体。2、BUC 计算冰山立方体。 P1091 从顶点方体向下计算冰山立方体。 2Apriori 剪枝。 3 无共享聚集计算 优点：分治策略，减少不必要计算开销。计算流程：1 扫描整个输入，计算整个度量。 2 针对方体的每一维进行划分。 3 针对每一个 划分，对它进行聚集， 为该划分创建一个元组并得到该元组的计算。 判断其分组 计算是否满足最小支持度。 4 如果满足，输出该划分的聚集元组，并在该划分上 对下一维进行递归调用，否则进行剪枝操作。3、OLAP 预计算壳片段，缺点、计算。 P116-1184、点查询、子立方体查询概念、计算。 P119-1205、

14、面向属性的归纳是用来干什么。过程有哪些。 P128 面向属性的归纳用于复杂的数据类型并依赖数据驱动的泛化过程。1 使用数据库查询收集任务相关的数据； 2 收集工作关系的统计量。 3 导出主关 系P6、类比较的过程。 P1361数据收集。 2维相关分析。 3同步泛化。 4导出比较的表示。7、类描述：特征化和比较的表示？(这里不知道考什么)第五章1、支持度、置信度、提升度概念？ P147定义N为总事务数，N(A)、N(B)分别为项集A、项集B出现的次数，N(AB)为 项集A、项集B同时出现的次数，A、B为不相交项集AH B=?，规则A-B表 示由A推到B: 支持度：对整体小一、N(AB)Suppo

15、rt(A B)置信度：对条件提升度：联合概率NxN(AB)S) xB)A (4)x N(B)2、频繁项集概念。P147项的集合称为项集。 Eg： computer， antivirus_software是 2 项集。支持度计数：项集出现的频率。满足最小支持度的阀值的项集就是频繁项集。3、 Apriori算法、如何实现、缺点、改进方法。P151。P156, P157-159Apriori算法：是为布尔关联规则挖掘频繁项集的原创性算法。性质：频繁项集的所有非空子集也必须是频繁的。缺陷：1、它可能需要产生大量候选项集。2、它可能需要重复地扫描数据库，通过模式匹配检查一个很大的候选集合改进：1、不候选产生挖掘频繁项集。2、使用垂直数据格式挖掘频繁项集。3、挖掘闭频繁项集。第六章1、分类、预测的区别、关系。P186预测分为：分类和数值预测。分类是的目标值离散数据。数值预测是的目标值是连续值或者有序值。 但是为了方便，把数值预测