《dm系统》由会员分享，可在线阅读，更多相关《dm系统（17页珍藏版）》请在金锄头文库上搜索。
1、,数据挖掘,系统介绍,什么是数据挖掘,数据挖掘是从大量数据中提取或“挖掘”知识。,许多人把数据挖掘视为另一个常用的术语“数据库中知识发现”或KDD 的同义词。而另一些人只是把数据挖掘视为数据库中知识发现过程的一个基本步骤。知识发现过程如图所示，由以 下步骤组成： 1. 数据清理（消除噪音或不一致数据） 2. 数据集成（多种数据源可以组合在一起） 3. 数据选择（从数据库中提取与分析任务相关的数据） 4. 数据变换（数据变换或统一成适合挖掘的形式；如，通过汇总或聚集操作） 5. 数据挖掘（基本步骤，使用智能方法提取数据模式） 6. 模式评估（根据某种兴趣度度量，识别提供知识的真正有趣的模式） 7
2、. 知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识）。,知识发现过程,基于这种观点，典型的数据挖掘系统具有以下主要成分：数据库、数据仓库、或其它信息库：这是一个或一组数据库、数据仓库、展开的表、或其它类型的信息库。可以在数据上进行数据清理和集成。 数据库或数据仓库服务器：根据用户的数据挖掘请求，数据库或数据仓库服务器负责提取相关数据。知识库：这是领域知识，用于指导搜索，或评估结果模式的兴趣度。这种知识可能包括概念分层，用于将属性或属性值组织成不同的抽象层。用户确信方面的知识也可以包含在内。可以使用这种知识，根据非期望性评估模式的兴趣度。领域知识的其它例子有兴趣度限制或阈值和元数据（例
3、如，描述来自多个异种数据源的数据）。数据挖掘引擎：这是数据挖掘系统基本的部分，由一组功能模块组成，用于特征、关联、分类、聚类分析、演变和偏差分析。,模式评估模块：通常，该部分使用兴趣度度量，并与挖掘模块交互，以便将搜索聚焦在有趣的模式上。它可能使用兴趣度阈值过滤发现的模式。模式评估模块也可以与挖掘模块集成在一起，这依赖于所用的数据挖掘方法的实现。对于有效的数据挖掘，建议尽可能地将模式评估推进到挖掘过程之中，以便将搜索限制在有兴趣的模式上。图形用户界面：该模块在用户和挖掘系统之间通讯，允许用户与系统交互，指定数据挖掘查询或任务，提供信息、帮助搜索聚焦，根据数据挖掘的中间结果进行探索式数据挖掘。此
4、外，该成分还允许用户浏览数据库和数据仓库模式或数据结构，评估挖掘的模式，以不同的形式对模式可视化。,第一层：数据预处理,有大量数据预处理技术。数据清理可以去掉数据中的噪音，纠正不一致。数据集成将数据由多个源合并成一致的数据存储，如数据仓库或数据方。数据变换（如规范化）也可以使用。例如，规 范化可以改进涉及距离度量的挖掘算法的精度和有效性。数据归约可以通过聚集、删除冗余特征或聚类等方法来压缩数据。这些数据处理技术在数据挖掘之前使用，可以大大提高数据挖掘模式的质量，降低实际挖掘所需要的时间。,第二层：数据仓库和数据集市,数据仓库是一个面主题的、集成的、时变的、非易失的数据集合，支持管理决策制定。,
5、面向主题的：数据仓库围绕一些主题，如顾客、供应商、产品和销售组织。数据仓库关注决策者的数据建模与分析，而不是构造组织机构的日常操作和事务处理。因此，数据仓库排除对于决策无用的数据，提供特定主题的简明视图。 集成的：通常，构造数据仓库是将多个异种数据源，如关系数据库、一般文件和联机事务处理记录，集成在一起。使用数据清理和数据集成技术，确保命名约定、编码结构、属性度量的一致性。 时变的：数据存储从历史的角度提供信息。数据仓库中的关键结构，隐式或显式地包含时间元素。 非易失的：数据仓库总是物理地分离存放数据；这些数据源于操作环境下的应用数据。由于这种分离，数据仓库不需要事务处理、恢复和并行控制机制。
6、通常，它只需要两种数据访问：数据的初始化装入和数据访问。,三层数据仓库结构系统,元数据存储,元数据是关于数据的数据。在数据仓库中，元数据是定义仓库对象的数据。 数据仓库结构的描述，包括仓库模式、视图、维、层次结构、导出数据的定义，以及数据集市的位置和内容。 操作元数据，包括数据血统（移植数据的历史和用于它的转换序列），数据流通（主动的、档案的、或净化的），和管理信息（仓库使用统计、错误报告、审计跟踪）。 汇总用的算法，包括度量和维定义算法，数据所处粒度、分割、主题领域、聚集、汇总、预定义的查询与报告。 由操作环境到数据仓库的映射，包括源数据库和它们的内容、网关描述、数据分割、数据提取、清理、转
7、换规则和缺省、数据刷新和剪裁规则、安全（用户授权 和存取控制）。 关于系统性能的数据，除刷新、更新定时和调度的规则与更新周期外，还包括索引和改善数据存取和提取性能的方法。 商务元数据，包括商务术语和定义、数据拥有者信息和收费策略。,OLAP联机分析处理,数据仓库里一般都是以数据立方体的形式存储。OLAP主要有四种操作： 上卷：通过沿概念分层向上攀升，或者通过维归约，在数据方上进行聚集。例如：street city province country。由city 层向上到country 层聚集数据。换一句话说，结果数据方按country，而不是按city 对数据分组。 下钻：下钻是上卷的逆操作，它
8、由不太详细的数据到更详细的数据。 切片和切块：切片操作在给定的数据方的一个维上进行选择，导致一个子方。 转轴：转轴（又称旋转）是一种目视操作，它转动数据的视角，提供数据的替代表示。,数据集市,根据数据来源不同，这里数据集市分为独立的和依赖的两类。在独立数据集市中，数据来自一个或多个操作系统或外部信息提供者，或者在特定的部门或地域局部产生的数据。依赖的数据集市的数据直接来自企业数据仓库。,数据汇总,汇总统计是量化的，用单个数或数的小集合捕获可能很大的值集的各种特征。频率和众数、百分位数、均值和中位数、极差和方差、多元汇总等。,可视化,使用可视化技术的首要动机是人们能够快速吸取大量可视化信息，并发
9、现其中的模式。,一般方法： 表示：将数据映射到图形元素。 安排：对于好的可视化，对象和属性的可视化表示的正确选择是基本的。在可视化的显示中，项的安排是至关重要的。 选择：即删除或不突出某些对角和属性。,技术：一般有直方图、盒状图、饼图、散布图、以及对于维数更多的有等高线图、曲面图等。,第三层：数据挖掘引擎,这一层是我们研究的重点，也是我们通常所理解的数据挖掘作用范围。这里把数据挖掘引擎、知识库、模式评估作为一层。,数据挖掘引擎是数据挖掘系统的基本部分，也就是算法，是由一组功能模块组成，主要技术有关联分析、分类、预测、聚类分析、离群点分析和演变分析等。 模式评估模块：该成分使用兴趣度度量，并与数据挖掘模块交互，以便将搜索聚焦在有趣的模式上。100个顾客，60个买可乐，70个买雪碧，同时买的30人。如果支持度和置信度分别为为30%和50%，它就都满足，但不是强规则，因为买可乐的人一般不会再买雪碧。 知识库，用于指导搜索或评估结果模式的兴趣度。,第四层：用户界面,该模块在用户和挖掘系统之间通讯，允许用户与系统交互，指定数据挖掘查询或任务，提供信息、帮助搜索聚焦，根据数据挖掘的中间结果进行探索式数据挖掘。此外，该成分还允许用户浏览数据库和数据仓库模式或数据结构，评估挖掘的模式，以不同的形式对模式可视化。,谢谢,
