《LHSMDSS系统中数据挖掘模块的设计与实现》由会员分享，可在线阅读，更多相关《LHSMDSS系统中数据挖掘模块的设计与实现（52页珍藏版）》请在金锄头文库上搜索。
1、摘要数据挖掘是从海量数据中提取隐含在其中的、事先未知的、但又是潜在有用的信息和知识的非平凡过程， 是一门新兴的边缘学科。 它汇集了来自 机器学习、 模式识别、数据库、统计学、人工智能以及管理信息系统等多学科的成果。本文的 主要I作是 基于L H S M D S S ( L i a n H u a S u p e r m a r k e t D e c i s i o nS u p p o r t S y s t e m ， 联华 超市决策支持 系统) 系统中 的 数据 挖掘 模块的设计和实现所展开的。 L H S M D S S 系统中的数据挖掘模块是建立在数据仓库技术和O L A P 技术的
2、基础上， 运用关联分析、 分类、 聚类分析和预测分析等数据挖掘方法，从海量的交易数据中发掘有价值的知识，为超市的决策者提供科学的决策信息和依据。本文的工作主要包括:L H S MD S S 系统数据挖掘模块的设计和实现， 包括运用基于F P - g r o w th 算法实 现商品 关联交易 规则的 发现、 动态聚类的方法实现商品聚类、C 4 . 5算法构造决策树实现客户分类和预测、多元线性回归和最小二乘法实现销售趋势的预测; 最后， 借助数据挖掘模块对超市中的历史数据进行了分析， 得出了许多重要的知识， 这些重要知识为超市的客户关系管理、 市场营销和战略决策提供了重要的信息，并带来了较大的经
3、济效益。关键字:数据挖掘，决策支持，C R M，关联规则，动态聚类决策树，趋势预测Ab s t r a c tD a t a Mi n i n g h a s b e e n a r i s i n g m a r g i n s u b j e c t i n t h e w o r l d w i d e n o w a d a y s . I t s a n e x t r a o r d i n a ry p r o c e s s w h i c h a b s t r a c t s i n t e r e s t i n g i n f o r m a t i o n ( n o
4、 n - t r i v i a l , i m p l i c i t , p r e v i o u s l y u n k n o w n a n d p o t e n t i a l l y u s e f u l ) a n d k n o w l e d g e f r o m e n o r m o u s d a t a i n d a t a b a s e s . D a t a Mi n i n g h a s a b s o r b e d t h e fr u it s fr o m m a n y o t h e r s u b j e c t s , s u c
5、 h a s Ma c h i n e L e a rn i n g , P a t t e rn R e c o g n i t i o n , D a t a b a s e , S t a t i s t i c s , A r t i f i c i a l I n t e l l i g e n c e a n d Ma n a g e m e n t I n f o r m a t i o n S y s t e m s e t c .T h e m a i n t a s k o f t h i s p a p e r i s c a r r i e d o u t a c c
6、o r d i n g t o t h e d e s i g n a n d i m p l e m e n t a t i o n o f D a t a Mi n i n g Mo d u l e i n t h e L H S MD S S ( L i a n H u a S u p e r m a r k e t D e c i s i o n S u p p o r t S y s t e m ) . T h i s D a t a Mi n i n g m o d u l e i s b a s e d o n D a t a Wa r e h o u s e a n d C L
7、 A P t e c h n o l o g y , w h i c h i n c l u d e A s s o c i a t i o n r u l e s , C l a s s i f i c a t i o n a n d C l u s t e r i n g t e c h n i q u e s a n d P r e d i c t i o n a n a l y s i s t o d i s c o v e r v a l u a b l e k n o w l e d g e fr o m a g r e a t a m o u n t o f t r a n s
8、a c t i o n d a t a . T h e a i m o f t h i s p a p e r i s t o a ff o r d s c i e n t i f i c i n f o r m a t i o n a n d e v i d e n c e t o h e l p m a r k e t m a n a g e r m a k e p r o p e r d e c i s i o n s .T h e p a p e r i n c l u d e s ( 1 ) t h e d e s i g n a n d i m p l e m e n t a t
9、i o n o f D a t a Mi n i n g Mo d u l e i n L H S MD S S ; ( 2 ) T h e i m p l e m e n t a t i o n o f t h e m o d u l e c a n b e e x p r e s s e d a s f o l l o w i n g : t h e u s e r c a n d i s c o v e r t h e r u l e o f A s s o c i a t i o n t r a n s a c t i o n s b y u s i n g F P - g r o w
10、 t h a l g o r i t h m , i m p l e m e n t t h e p r o d u c t s c l u s t e r i n g b y u s i n g D y n a m i c a l C l u s t e r i n g t e c h n i q u e s , r e a l i z e c u s t o m e r c l a s s i f i c a t i o n a n d p r e d i c t i o n a c c o r d i n g t o D e c i s i o n T r e e s b a s e d
11、 o n C 4 . 5 a l g o r i t h m , p r e d i c t t r a n s a c t i o n t r e n d b y Mu l t i p l e R e g r e s s i o n a n d L e a s t S q u a r e s Me t h o d ; ( 3 ) f i n a l l y , b y a n a ly z i n g t h i s l a r g e a m o u n t o f h i s t o r i c a l d a t a w i t h t h e h e l p o f D a t a
12、Mi n i n g M o d u l e , w e c a n o b t a i n m u c h i m p o r t a n t k n o w l e d g e w h i c h p l a y s a n i m p o r t a n t r o l e i n m a r k e t d e v e l o p i n g a n d b u s i n e s s e x p a n d i n g , e s p e c i a l l y i n C R M ( C u s t o m e r R e l a t i o n s h i p Ma n a g
13、e m e n t ) , Ma r k e t i n g a n d s t r a t e g i c d e c i s i o n s a s w e l l . I t a l s o b r i n g s c o n s i d e r a b l e p r o f i t s t o t h e s u p e r m a r k e t .K e y w o r d s : D a t a Mi n i n g , D e c i s i o n R u l e s , D y n a m i c a l C l u s t e r i n g , D e c i s i
14、 o nS u p p o r t , C R M，A s s o c i a t i o nT r e e s , T r e n d P r e d i c t i o n第一章绪论1 . 1 引言随着数据库技术和计算机网络的广泛应用， 加上使用先进的自 动数据生成和采集工具， 人们所拥有的数据量急剧增大， 海量数据层出不穷。 如超级市场每天都要存储上万笔的销售数据。 激增的数据背后隐藏着许多重要的信息， 人们希望能够对其进行更高层次的分析， 以便更好地利用这些数据。 数据的迅速增加与数据分析方法的滞后之间的矛盾越来越突出， 人们也希望能够在对已有的大量数据分析的基础上进行科学研究、 商业
15、决策或者企业管理，目前的数据库系统可以高效地实现数据的录入、 查询、 统计等功能， 但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段， 导致了“ 数据爆炸但知识贫乏” 的现象。 所以数据挖掘技术的应用越来越成为必然。数据仓库 ( D W, D a t a Wa r e h o u s e )系统是为数据分析和决策提供服务的，它为商务运作提供结构与工具， 以便系统的组织、 理解和使用数据进行战略决策。 数据仓 库提供的O L A P 工 具I l l ， 用于各 种粒度的多 维数 据分析， 可以 用不同 的 格式组织和提供数据，以便满足不同
16、用户的需求，同时 O L A P工具有利于有效的数据挖掘。而数据挖掘是一个新兴的边缘学科， 它是数据库研究、 开发和应用最活跃的分支之一;同时它汇集了来自 机器学习、 模式识别、 数据库、统计学、 人工智能以及管理信息系统等各学科的成果。 多学科的相互交融和相互促进， 使得数据挖 掘这 一新学 科得以 蓬勃发 展， 而且己 初具 规模1 1 1本文的主要工作是基于大型连锁超市企业决策支持系统中数据挖掘模块的设计和实现而展开的，同时简单的介绍了数据仓库的构建及 O L A P运用;在此基础之上进行数据挖掘的具体实践， 并对得到的结果进行分析和评价， 从而得出能支持企业进行有效决策的信息。1 . 2 数据挖掘概念数 据挖掘( D M , D a t a M i n i n g ) 就是从大 量的、 不完全的、 有噪声的、 模糊 的、随机的实际应用数据中， 提取隐含在其中的、事先未知的、但又是潜在有用 的 信息和知识的非平凡过程IZ I 。 非平凡是指它不但超越了 一般封闭形式的数量计算， 而且还包括了 对结构、 模式和参数的挖掘。 除了 数据挖掘， 人们也经常提到 K D
