《数据挖掘基础知识》由会员分享，可在线阅读，更多相关《数据挖掘基础知识（31页珍藏版）》请在金锄头文库上搜索。
1、数据挖掘原理与SPSS Clementine应用宝典元昌安 主编 邓 松 李文敬 刘海涛 编著电子工业出版社11数据挖掘的社会需求现实情况：人类积累的数据量以每月高于15%的速度增 加，如果不借助强有力的挖掘工具，仅依靠人的能力来 理解这些数据是不可能的。现在人们已经评估出世界上 信息的数量每二十个月翻一番，并且数据库的数量与大 小正在以更快的速度增长。11数据挖掘的社会需求著名的“啤酒尿布”案例：美国加州某个超级卖场通过数据 挖掘发现，下班后前来购买婴儿尿布的男顾客大都购买 啤酒。于是经理当机立断，重新布置货架，把啤酒类商 品布置在婴儿尿布货架附近，并在二者之间放置佐酒食 品，同时还把男士日
2、常用品就近布置。这样，上述几种 商品的销量大增。1.2 数据挖掘的定义技术定义数据挖掘（Data Mining）就是从大量的、不完 全的、有噪声的、模糊的、随机的实际应用数据 中，提取隐含在其中的、人们事先不知道的、但 又是潜在有用的信息和知识的过程。1.2 数据挖掘的定义技术定义数据挖掘和信息检索：信息检索和数据挖掘的相同点是从档案文件 或数据库中抽取感兴趣的数据和信息。区别 在于数据检索对信息的抽取规则是事先定义 好的，抽取的是外在信息。据挖掘于挖掘寻 找现象之间事先未知的关系和关联 。1.2数据挖掘的定义商业定义按企业既定业务目标，对大量的企业数据进 行探索和分析，揭示隐藏的、未知的或验
3、证 已知的规律性，并进一步将其模型化的先进 有效的方法。数据挖掘是从海量数据中提取 隐含在其中的有用信息和知识的过程。它可 以帮助企业对数据进行微观、中观乃至宏观 的统计、分析、综合和推理，从而利用已有 数据预测未来，帮助企业赢得竞争优势。 1.2数据挖掘的定义商业定义应用实例：某经营公司对多年来的客户资料 进行挖掘后发现，大多数购买电脑的客户具 有下面的特点：1、年轻（2045岁之间） ；2、收入高；3、居住地：城市；4、学历 高；基于此，此经营公司可以根据这些客户 的特点有目的的做一些广告或者促销。1.3数据挖掘的发展历史历史发展v1989 IJCAI会议： 数据库中的知识发现讨论专题Kn
4、owledge Discovery in Databases (G. Piatetsky-Shapiro and W. Frawley, 1991)v1991-1994 KDD讨论专题Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy, 1996)v1995-1998 KDD国际会议 (KDD95-98)Journal of Data Mining and Knowledge Discovery (1997)v1998 ACM
5、SIGKDD, SIGKDD1999-2002 会议,以及SIGKDD Explorationsv数据挖掘方面更多的国际会议PAKDD, PKDD, SIAM-Data Mining, (IEEE) ICDM, DaWaK, SPIE-DM, etc.1.3数据挖掘的发展历史国内现状v大部分处于科研阶段各大学和科研机构从事数据挖掘算法的研究国内著作的数据挖掘方面的书较少（翻译的有）数据挖掘讨论组（）v有一些公司在国外产品基础上开发的特定的应用IBM Intelligent MinerSAS Enterprise Minerv自主知识产权的数据挖掘软件复旦德门（）等1.3数据挖掘的发展历史未来发
6、展v数据库v人工智能v统计学 上述学科的发展决定着数据挖掘的发展未来 和方向1.4数据挖掘的系统分类数据挖掘是一个交叉学科领域，受多个学科 影响，包括数据库系统、统计学、机器学习 、可视化和信息科学 。图1-2 数据挖掘受多门学科影响的示意图1.4数据挖掘的系统分类v技术分类预言（Predication）：用历史预测未来描述（Description）：了解数据中潜在的规律v数据挖掘技术关联分析序列发现分类（预预言）聚集异常检测汇总回归时间序列分析1.5数据挖掘的应用领域v金融领域v营销领域v电子政务v电信领域v工业生产v生物和医学1.5数据挖掘的应用领域应用调查1.5数据挖掘的应用领域金融v信
7、用卡分析业务模型客户信用等级评估客户透支分析客户利润分析客户消费行为分析 客户消费异常行为分析1.5数据挖掘的应用领域金融数据挖掘在反洗钱系统中的应用1.5数据挖掘的应用领域营销v关联分析-市场篮子分析，用于了解顾客的购买 习惯和偏好，有助于决定市场商品的摆放和产品 的捆绑销售策略；v序列模式与市场篮子分析相似，不过是用某时间 点发现的产品购买或其他行为模式来预测将来购 买产品或服务类别的概率；v聚类用于市场细分，将顾客按其行为或特征模式 的相似性划分为若干细分市场，以采取有针对性 的营销策略；v分类用于预测哪些人会对邮寄广告和产品目录、 赠券等促销手段有反应,还可用于顾客定级、破 产预测等。
8、 1.5数据挖掘的应用领域营销数据挖掘在营销中的应用流程1.5数据挖掘的应用领域营销v应用实例1：美国运通公司(American Express)有一个用于记录信用卡业务的数据 库，通过对这些数据进行挖掘，制定了“关 联结算(Relationship Billing)优惠”的促销策 略，即如果一个顾客在一个商店用运通卡购 买一套时装，那么在同一个商店再买一双鞋 ,就可以得到比较大的折扣，既增加了商店 的销售量，也可以增加运通卡在该商店的使 用率。1.5数据挖掘的应用领域营销v应用实例2：美国的读者文摘(Reader s Digest)出版公司运行着一个积累了40年的 业务数据库,其中容纳有遍布
9、全球的一亿多 个订户的资料，并保证数据不断得到实时的 更新，基于对客户资料数据库进行数据挖掘 的优势，使读者文摘出版公司能够从通俗杂 志扩展到专业杂志、书刊和声像制品的出版 和发行业务，极大地扩展了自己的业务范围 。1.5数据挖掘的应用领域电子政务v电子政务数据挖掘是把数据挖掘及时折射到政府部 门，使政府部门的内部信息与外部信息进行有效地 整合，以便政府部门可以更好、更有效地将信息发 布给最希望得到它们的公众，从而使政府部分更好 地服务与公众。另外,由于政府各部门自动化的实 现,产生了大量的数据，对这些数据进行收集和分 析，可以获得影响政府部门工作的关键因素，从而 为政府部门决策提供依据，帮助
10、政府部门提高政府 信息化水平，促进整个社会的信息化。1.5数据挖掘的应用领域电信v目前,数据挖掘技术在电信CRM系中的应用 有以下几个方面:v客户获得v交叉销售(Cross_selling)v客户保持 v一对一营销 1.5数据挖掘的应用领域工业生产v在生产工业领域，大部分工厂都积累了大量的实际 生产数据，这些数据大多以数据库、数据文件、生 产记录等形式存在，它们蕴涵了与生产设备、生产 过程相关的许多规律性知识和生产决策、操作人员 的操作决策和控制经验。 v应用方法：(1)建立过程输入输出模型，以此模型 为指导寻求最优的操作和控制条件；(2)构造数据 样本后，根据某种评估分类方法选出优选样本，根
11、 据优选样本的分布确定可探最优区，确定优化方向 。 1.5数据挖掘的应用领域工业生产数据挖掘在工业生产中的应用示意图1.5数据挖掘的应用领域生物医学v海量的生物信息学信息，如基因；v远程数据库的出现；v万维网上涌现出大量的生物学数据库 ；v美国国立生物技术信息中心网站 （NCBI）1.6数据挖掘规范和标准v产生的模式种类的多少v解决复杂问题的能力 多种模式 多种算法 数据选择 可视化 扩展性 v易操作性 v数据存取能力 v与其他产品的接口 1.7数据挖掘面临的挑战和局限性v处理不同种类的数据 v数据挖掘算法的效率及扩展性 v数据挖掘结果的可用性、确定性及可表达性v 各种数据挖掘结果的表达 v多
12、抽象层交互挖掘知识 v从不同的数据源中挖掘信息 v 隐私保护及数据安全 1.8数据挖掘的发展趋势WEB挖掘vWeb 数据的收集，结构转换等预处理技术 的研究；v现有的数据挖掘方法在适应性和时效性方面 的研究v基于Web 挖掘和信息检索的智能搜索引擎 及相关技术的研究；vWeb 挖掘在特定领域如电子商务领域的应 用研究；v半结构化文档挖掘。1.8 数据挖掘发展趋势v数据源十分丰富，数据量非常庞大，数据类 型多，存取方法复杂；v应用领域十分广泛，只要与空间位置相关的 数据，都可对其进行挖掘；v挖掘方法和算法非常，而且大多数算法比较 复杂，难度大；v知识的表达方式多样，对知识的理解和评价 依赖于对人对客观世界的认知程度。-空间数据挖掘（SDM）的特点1.8 数据挖掘发展趋势v数据清理vDNA 序列相似搜索和比对v 基因组特征及基因序列的分析v路径分析v生物数据可视化和数据挖掘v生物文献的挖掘v基于隐私保护的数据挖掘-生物信息或基因的挖掘谢谢大家
