《某SAS软件研究所公司SAS数据挖掘白皮书》由会员分享，可在线阅读，更多相关《某SAS软件研究所公司SAS数据挖掘白皮书（20页珍藏版）》请在金锄头文库上搜索。
1、SAS数据挖掘白皮书美国SAS软件研究所公司2000年8 月目 录第一章 总括2第二章 SAS数据挖掘方法论 SEMMA5第三章 深层统计分析与预测套件9功能10客户机/效劳器方式13浏览器/效劳器方式14第四章 数据挖掘套件15功能15客户机/效劳器方式19浏览器/效劳器方式19第一章 总括早期的计算机主要就是用来进行数据处理或称数值计算的。后来随着计算机技术及其周边设备和通讯能力的开展，计算机更多地用于了大量繁杂事务的在线处理，生产设备的实时控制等。在此过程中，计算机系统积累了越来越多的数据，数据处理的任务就更加繁重。到今天，即使是开展中的我们中国，在一个企业中有数以几十或上百GB、甚至T
2、B计的生产经营数据已不是什么希奇的事情了。企业的数据和由此而产生的信息是企业的重要财富。它最真实、具体的反映了企业运作的本质状况。但是，面对堆积如“山的数据，你可能并未看清企业运作的本质规律是什么，或者说你至少是未能全部看清楚。面对剧烈竞争的市场经济，企业的经营和管理者任何不符合客观事物规律性的决策都会给企业带来损失，甚至失败。运用有力的工具，不断地探索企业成败、得失的原委，并以此不断完善企业运作，这是每一个成功的企业家必不可少的工作任务。美国SAS软件从60年代在北卡洲立大学开创伊始就致力于计算机数据处理的研究。几十年来无数的成功事例使人们推崇SAS为国际上标准的数理统计分析软件；进而，SA
3、S的丰富数据采集、数据管理、数据分析和信息展现的能力，又使之成为决策支持的最好的工具；近几年，SAS又推出了套装的SAS/Enterprise Miner这一企业级的数据处理分析和决策支持软件包。SAS系统的软件和这些软件运用的无数成功经验，一定能帮你从企业堆积如“山的数据中“挖掘出隐藏着的规律性，以支持你正确的经营决策。SAS的数据挖掘软件集成了一系列有效的技术手段全面地支持你的工作。首先是支持你的数据重组工作。在你的企业或组织中或许已经有了成功的各种业务系统，其中的数据体系对应着一项项事务处理和一个又一个控制环节，它们定能完美的支持其原有的工作。但当你从企业级的角度去审视，并想进一步分析处
4、理时，你会感到这些数据过于分散，数量越来越大，并难以整合。美国数据挖掘技术开拓者Gregory Piatetsky-Shapiro曾戏言说：“原来曾希望计算机系统成为我们智慧的源泉，但从中涌出的却是洪水般的数据！其实不必埋怨数据太多，也不必埋怨原来的数据结构不好，它们是适应原有工作任务的，只是不适合你现在的要求而已。要支持你的企业级的决策，就是需要“洪水般的数据量，但是要面向企业级的工作任务对其进行重组。数据仓库系统支持你进行数据重组，并以全新的数据、信息的结构形式支持你的全新的工作方式。这在前面五篇连载文章中已作了详尽的介绍。建立数据仓库，这是进一步能有成效的进行数据挖掘的根底工作。要看清企
5、业或组织运作的状况，第一步就是能查询到反映你所关心事情的相应数据、信息。以SAS的多维数据库产品MDDB构造的数据仓库从物理结构上保证了你查询的迅速、方便。在提出在线分析处理OLAP概念时，多维数据结构是实现其任务的第一项要求。一些简单的决策支持所需要的就是有针对性的数据。在数据重组后的数据仓库中还建立了所谓数据市场Data Marts，它就可以更针对决策支持的需要而设计，其中还可综合不同层次的汇总数据和跨数据仓库主题的数据。 SAS软件研究所对数据挖掘所下的定义是：数据挖掘是按照既定的业务目标，对大量的企业数据进行探索、揭示隐藏其中的规律性并进一步将之模型化的先进、有效的方法。对数据的探索、
6、挖掘首先要有一个明确的业务目标。一组生产数据可作生产能力的分析；可作生产本钱核算的分析；亦可作影响产品质量诸因素的分析。目标决定了此后数据挖掘过程的各种运作，并导引了运作的方向。虽然说数据挖掘的业务目标在过程中不是不可修正的，也应当在工作进程中不断的进一步明确化，但其根本原那么内容要保持稳定不变，否那么数据挖掘工作是难以有效的进行的。这里所指的大量企业数据最好是按照数据仓库的概念重组过的，在数据仓库中的数据、信息才能最有效的支持数据挖掘。假设所取用的数据并缺乏以反映企业的真实情况，当然也不可能挖掘出有用的规律。数据仓库的数据重组，首先是从企业正在运行的计算机系统中完整地将数据取出来。所谓完整，
7、就是决策支持目标所涉及的各个环节不能有遗漏；其次各个环节的数据要按一定的规那么有机、准确地衔接起来。从决策支持的主题来看，这重新组织过的数据，以极易取用的数据结构方式，全面的描述了该主题。有了反映业务主题全貌的数据后，在进行数据的分析、探索时，对于不同的人，可能会采用不同的方式方法。Gartner Group在评价数据挖掘工具时，也特别提到了面对各种不同类型人员的可伸缩性和完整性。SAS支持各层次用户： 业务水平和数学水平可能比拟一般，对这样的用户提供方便的数据查询是非常重要的。实际上早期的决策支持主要就是数据查询的支持。可能也要做一些简单的数理统计分析。假设统计分析的要求是较明确的，可以事先
8、做好，向他们提供统计分析的结果。这可做成SAS数据仓库中的信息市场Information Mart。对应他们随机的需求，应当提供菜单式选择的方便工具。 业务水平较高，但数学水平一般，且没有时间和兴趣再钻研数学方法的人，除了以上资源外，还应提供能简便的实现各种常用的数理统计的工具。让他们不必受累于繁杂的过程，通过简单的需求设定，即可执行他们需要的操作。 有计算机和数学知识，但对业务的熟悉程度一般的人员。对他们要提供较全面的数据处理工具，如：数理统计；聚类分析；决策树；人工神经元网络；等。 对有很深计算机和数学造诣的数据分析专家不仅要提供上述环境，而且还要提供实现各种算法的工具和开发平台。SAS系
9、统提供了适合各类人员使用的既完整，又有伸缩性的模块化的工具。通过探索和模型化所得的结果可分成两种类型：一种是描述型的；另一种是预测型的。描述型的结果是指通过数据挖掘量化的搞清了业务目标的现状。通过数据挖掘还可以建立起企业或某个过程的各种不同类型模型。这些模型不仅能描述当前的现状和规律性，而且利用它还可以预测当条件变化后可能发生的状况。这就为企业开发新产品、定位客户群体、甚至于为企业业务重组提供决策支持依据。在世界走向信息化的今天，充分利用企业的信息资源，挖掘企业和所对应市场的运作规律性，以不断提高企业的经济效益是先进企业的必由之路。SAS数据挖掘软件广泛应用于客户关系管理、金融风险防范、供给关
10、系管理、数据库营销、企业均衡记分卡、e-智能化及竞争优势分析等方面。SAS新近推出了专用于网络流量分析的最新软件产品e-Discovery和webHound，可对优化网站的结构和客户关系管理起到非常有效的作用。正象是你拿个镐在山上挖几下不能算是开采矿山一样，用数理统计方法或人工神经元网络作个数据分析，也不能说就是在进行数据挖掘了。要开采矿山，首先要按照人类总结千百年来经验所形成的理论规律去找矿；发现矿藏后还要根据其实际地质情况，有针对性的采用相应的方法最有效的挖掘才能获得有价值的宝藏。同样，要想有效地进行数据挖掘也必须要有好的工具和一整套妥善的方法论。可以说在数据挖掘中你采用的工具、使用工具的
11、能力、以及数据挖掘过程中的方法论在很大程度上决定了你能开拓的成果。SAS研究所不仅有丰富的工具供你选用，而且在多年的数据处理研究工作中积累了一套行之有效的数据挖掘方法论SEMMA，通过使用SAS技术进行数据挖掘，我们愿意和你分享这些经验。根据客户的不同层次的业务需求，SAS公司把数据挖掘等深层次分析分为两个层次，同时提供两种产品及方案套件供用户选择。这两种方案分别为：一、深层统计分析与预测套件；二、数据挖掘套件。在下面几节中会一一加以介绍。第二章 SAS数据挖掘方法论 SEMMASAS研究所不仅有丰富的工具供你选用，而且在多年的数据处理研究工作中积累了一套行之有效的数据挖掘方法论SEMMA，通
12、过使用SAS技术进行数据挖掘，我们愿意和你分享这些经验： Sample数据取样 Explore数据特征探索、分析和予处理 Modify问题明确化、数据调整和技术选择 Model模型的研发、知识的发现 Assess模型和知识的综合解释和评价Sample数据取样当进行数据挖掘时，首先要从企业大量数据中取出一个与你要探索问题相关的样板数据子集，而不是动用全部企业数据。这就象在对开采出来矿石首先要进行选矿一样。通过数据样本的精选，不仅能减少数据处理量，节省系统资源，而且能通过数据的筛选，使你想要它反映的规律性更加凸现出来。通过数据取样，要把好数据的质量关。在任何时候都不要无视数据的质量，即使你是从一个
13、数据仓库中进行数据取样，也不要忘记检查其质量如何。因为通过数据挖掘是要探索企业运作的规律性的，原始数据有误，还谈什么从中探索规律性。假设你真的从中还探索出来了什么“规律性，再依此去指导工作，那么很可能是在进行误导。假设你是从正在运行着的系统中进行数据取样，那么更要注意数据的完整性和有效性。再次提醒你在任何时候都不要无视数据的质量，慎之又慎！从巨大的企业数据母体中取出哪些数据作为样本数据呢？这要依你所要到达的目标来区分采用不同的方法：如果你是要进行过程的观察、控制，这时你可进行随机取样，然后根据样本数据对企业或其中某个过程的状况作出估计。SAS不仅支持这一取样过程，而且可对所取出的样本数据进行各
14、种例行的检验。假设你想通过数据挖掘得出企业或其某个过程的全面规律性时，必须获得在足够广泛范围变化的数据，以使其有代表性。你还应当从实验设计的要求来考察所取样数据的代表性。唯此，才能通过此后的分析研究得出反映本质规律性的结果。利用它支持你进行决策才是真正有效的，并能使企业进一步获得技术、经济效益。Explore数据特征探索、分析和予处理前面所表达的数据取样，多少是带着人们对如何到达数据挖掘目的的先验的认识进行操作的。当我们拿到了一个样本数据集后，它是否到达我们原来设想的要求；其中有没有什么明显的规律和趋势；有没有出现你所从未设想过的数据状态；因素之间有什么相关性；它们可区分成怎样一些类别这都是要
15、首先探索的内容。进行数据特征的探索、分析，最好是能进行可视化的操作。SAS有：SAS/INSIGHT和SAS/SPECTRAVIEW两个产品给你提供了可视化数据操作的最强有力的工具、方法和图形。它们不仅能做各种不同类型统计分析显示，而且可做多维、动态、甚至旋转的显示。这里的数据探索，就是我们通常所进行的深入调查的过程。你最终要到达的目的可能是要搞清多因素相互影响的，十分复杂的关系。但是，这种复杂的关系不可能一下子建立起来。一开始，可以先观察众多因素之间的相关性；再按其相关的程度，以了解它们之间相互作用的情况。这些探索、分析，并没有一成不变操作规律性；相反，是要有耐心的反复的试探，仔细的观察。在此过程中，你原来的专业技术知识是非常有用的，它会帮助你进行有效的观察。但是，你也要注意，不要让你的专业知识束缚了你对数据特征观察的敏锐性。可能实际存在着你的先验知识认为不存在的关系。假设你的数据是真实可靠的话，那末你绝对不要轻易地否认数据呈现给你的新关系。很可能这里就是发现的新知识！有了它，也许会导引你在此后的分析中，得出比你原有的认识更加符合实际的规律性知识。假设在你的操作中出现了这种情况，应当说，你的数据挖掘已挖到了有效的矿脉。在这里要提醒你的是要有耐心，做几种分析，就发现重大成果是不大可能的。所幸的是SAS向你提供了强有力的工具，它可跟随你的思维，可视化、快速的作出反响。免除
