《模糊关联规则挖掘及其研究应用》由会员分享,可在线阅读,更多相关《模糊关联规则挖掘及其研究应用(54页珍藏版)》请在金锄头文库上搜索。
1、西华大学硕士学位论文模糊关联规则挖掘及其研究应用姓名:唐红霞申请学位级别:硕士专业:指导教师:伊良忠;裴峥西华大学硕士学位论文 I 摘 要 随着信息技术的发展,数据挖掘技术得到了广泛的关注。在很多研究领域中,关联规则挖掘是数据挖掘中比较重要和活跃的研究方法之一, 对它进行深入研究不仅有重要的理论意义,而且有着重要的应用价值。关联规则数据挖掘最早于 1993 年由 Agrawal等人提出,最初是针对购物篮分析问题提出的,以分析事务数据库中项与项之间联系为目标,后来的研究者们对问题原型进行多方面的改进和扩充。目前,关联规则挖掘技术已经被应用到商业、电信、金融、农业、医疗等领域,并取得了良好的效果。
2、 本文的主要工作是: 1、 在对模糊关联规则挖掘问题研究和总结的基础上,对现有的关联规则挖掘模型进行了分类, 深入地分析和探讨了一些典型的模糊关联规则挖掘模型。并指出了模糊关联规则挖掘问题存在的不足之处。 2、 针对模糊关联规则数量问题,提出了一种新的支持度定义形式(引入调控因子),建立了规则兴趣性度量框架,构造了一个新的模糊关联规则挖掘模型。 3、 结合布尔型关联规则的生成算法,在此基础上提出了一种新的模糊关联规则挖掘算法。 4、 结合民航机场建设之前对若干预选站址所要进行的电磁环境评价这一实际案例,提出一种基于模糊关联规则理论的评价电磁环境的新方法。 关键词:数据挖掘;关联规则;模糊关联规
3、则;电磁兼容;电磁环境评价 西华大学硕士学位论文 II Abstract With the development of information technology, Data Mining has been paid attention extensively. As we know, Data Mining has a large research scope, Association rules mining is one of the important research and the most active research methods subject in it. Deep
4、ly researching into the subject has the most important values not only in theory ,but also in applications. Association rule mining is put forward by Agrawal and the others in1993, Firstly be proposed for market basket analysis problem and the purpose is analyzing the relation of items in transactio
5、n database, later, researchers improved and extended the prototype of the question. At present, association rules technology has been applied in business, telecommunication, finance, agriculture, medical treatment and so on. It has brought a good effect. The main work of the thesis is: 1. On the bas
6、ic of the research and summary about fuzzy association rule problem, To classify the existing association rule mining model , In-depth analysis and discussion of some typical fuzzy association rules mining model. I pointed out the problem of mining fuzzy association rules existing deficiencies. 2. A
7、gainst quantity of fuzzy association rules, I propose a new form of the definition of support ( the introduction of regulatory factor ), construct a new fuzzy association rule mining model. 3. Combined with Boolean association rules generation algorithm, on this basis, a new algorithm for mining fuz
8、zy association rules is proposed. 4. we combine with the practical case of evaluation on electromagnetic environment for a few pre-selection stations before constructing civil aviation airport, improve original methods, excavate the attribute information which infects evaluation on electromagnetic e
9、nvironment of airport, and propose a method based on fuzzy association rule. Key Words:Data Mining; Association Rule; Fuzzy Association Rule; Electromagnetic Compatibility; Evaluation on Electromagnetic Environment 西华大学硕士学位论文 11 绪论 1.1 课题研究背景和意义 数据挖掘是一个多学科交叉研究领域, 它融合了数据库技术、 人工智能、 机器学习、统计学、知识工程、面向对象方
10、法、高性能计算以及数据可视化等最新技术的研究。数据挖掘是在大型数据存储库中,自动发现有用信息的过程,数据挖掘用来探查大型数据库,发现先前未知的有用模式,数据挖掘还具有预测未来观测结果的能力。随着信息时代的发展,在我们生活中,数据量的迅猛增长,企业集团的人事管理、零售行业的销售业绩、银行客户的资料管理、网络数据的捕捉等等方面都显示出数据量的迅猛增长。如此巨大的数据量能给我们带来什么?我们可以从这些大量的数据中得到多少有用的知识?我们如何从这些数据中获取信息?这些问题已经成为人们讨论和研究的方向。 数据挖掘就是在这样的背景中发展起来,并且数据挖掘一经产生,便迅速发展。目前数据挖掘技术仍然是一门新兴
11、的技术,但在短短十几年里,其应用涉及各个领域,包括银行、零售业、客户管理、web 搜索和网络安全等方面。 关联规则挖掘是数据挖掘的一种比较常用的方法, 利用关联规则挖掘可以从拥有大量数据的数据库中提取置信度高的、有意义的规则,从而达到数据挖掘、信息获取的目的。根据属性取值的不同,关联规则分为布尔型关联规则和多值属性关联规则,在多值属性关联规则挖掘的过程中,将属性值划分到某个区间内,而区间的精确划分将导致区间边界比较尖锐, 从而有可能导致区间边界附近的信息丢失。 为此, 引入模糊集合理论,将多值属性转换为模糊区间,从而使得区间的过渡比较平滑,减少区间边界信息丢失的现象。因此,对属性为多值的数据库
12、可以利用对属性进行模糊化的方法来获取更多、更有意义的规则。 当前研究的重点大都是基于清晰型关联规则上展开的,但在实际的应用中,数据之间的关系通常表现为模糊关系,而普通关联规则将焦点集中在确定和准确的概念上,对于一些含有模糊意义的规则挖掘,则往往不能够准确表达出有意义的关联模式。因此将模糊概念1引入到关联规则挖掘算法中,可有效地发现数据之间的模糊关系,使关联规则的挖掘功能得到进一步增强。 随着无线电技术的不断发展,各种无线电业务层出不穷,台站数量急剧增加,无线电频谱资源日趋紧张, 电磁环境日益复杂, 研究和评价电磁环境的变化趋势也日益重要。电磁环境的状况牵涉众多因素,如各类通信设备的设计研制、通
13、信组网、频率分配、台站设置审批等。为了了解和掌握现有频谱资源的使用情况,规范无线电台(站)的管理,模糊关联规则挖掘及其研究应用 2保护电磁环境,及时把握电磁辐射污染情况,有关电磁环境自动监测和评估分析的工作急待开展。 近几年来, 航空频段通信导航业务受干扰现象时有发生, 影响正常飞行安全。虽然无线电管理机构已投人大量人力 、物力对多起航空频段通信导航业务受干扰事件进行查处,取得了明显成效。但千扰事件仍呈上升趋势,没有得到根本的遏制,事故隐患依然存在。因此,很有必要调查、了解机场电磁环境,在适当的时候进行评估。以达到改善机场电磁环境的 目的。改善机场、航路电磁环境是一项系统工程,国家、政府各部门
14、极为重视。 本文所讨论的就是将基于模糊集的关联规则挖掘技术运用到无线电信号监测的项目中去,首先对所实地采集到的属性信息进行模糊区间划分,再进行关联规则挖掘,得出影响电磁环境的属性之间的关系, 最终也可以根据此关系判断出该地区电磁环境的情况。 1.2 国内外研究现状 关联规则挖掘的研究越来越受到人们的关注, 现已成为数据挖掘领域的一个新的研究热点。用于发现大量数据中项集之间有趣的相关联系,许多文献都研究讨论了挖掘布尔型关联规则问题2-5。 1993 年 R.Agrawal 等人首先提出了最为著名的关联规则3发现方法是挖掘顾客事务数据库中项集间的关联规则问题,并提出了一种挖掘算法,即 Aprior
15、i算法。该算法的核心是基于频集理论的递归方法,是挖掘单维布尔关联规则的一种重要方法,但具有一定的局限性,该算法的基本思想是将关联规则挖掘算法的设计分解为两步: (1)找到所有支持度大于最小支持度的项集,即频繁项集。 (2)使用第(1)步找到的频繁项集产生所期望的规则。 在这些规则中,只有那些可信度大于用户给定的最小可信度的规则才被留下来。 R.Agrawal 和 R.Srikant 提出了可以集中于处理产生频繁集的快速 Apriori 算法6;1995年,一部分(Park J S, Sarasere A 等)学者提出了很多对 Apriori 算法78的改进算法,但是多数是针对布尔型数据的关联规
16、则的挖掘;1996 年,Agrawal 和 Srikant 对当进行数值型关联规则挖掘时如何划分子区间以及规则合并等问题进行详细的研究9, 但是在区域划分时,容易忽略或者过分的强调区分临界值附近点在分区中所起的作用,即锐利临界值问题;其次,在处理高偏度数据时,区间划分的方法很难有效地体现数据的实际分布情况;1997 年,Chan M.K,Fu A 等用模糊集软化划分边界,并提出模糊关联规则的概念10 ,但文中没有讨论如何将数量型属性划分成模糊集,也没有系统地提出挖掘模糊关联规则的具体算法;1998 年程继华提出了一种挖掘模糊关联规则的算法11 ;西华大学硕士学位论文 32000 年,李德毅、邸凯昌和李德仁等,用语言云模型软化划分边界12,并研究了数量型属性关联规则的挖掘算法;2001 年,陆建江、宋自林和钱祖平用模糊聚类算法将数量型属性划分成若干个模糊集,并提出了语言值关联规则的挖掘算法13,但文中的算法只适用于含有少量属性的数据库;2001 年,Ish