《（毕业设计论文）《基于贝叶斯算法的垃圾邮件过滤相关技术研究》》由会员分享，可在线阅读，更多相关《（毕业设计论文）《基于贝叶斯算法的垃圾邮件过滤相关技术研究》（71页珍藏版）》请在金锄头文库上搜索。
1、基于贝叶斯算法的垃圾邮件过滤相关技术 研究 摘要 电子邮件系统目前互联网上最普及的应用之一。然而，电子邮件在给人们提供便 捷通信手段的同时，也遭到了一些人为的滥用。当今垃圾邮件问题已经愈演愈烈，对 互联网造成了很大危害。利用技术方法来阻挡垃圾邮件，是目前为止对付垃圾邮件问 题最有效的手段。各种过滤技术中，贝叶斯过滤技术，借鉴了在文本挖掘问题中获得 成功的机器学习算法，是目前研究较多的一种过滤技术。贝叶斯过滤方法在分类的效 果上以及在不需要太多人工干预上都有很大优势，因此逐渐被广泛接受。 我们分析了目前的垃圾邮件内容过滤技术，认识到垃圾邮件过滤技术与普通的文 本分类和挖掘问题存在着很多不同。我们
2、总结和分析了目前基于贝叶斯垃圾邮件过滤 技术的现状，包括文本表 示、特征选择、分类算法、评价体系，以及垃圾邮件过滤 领域中常用的公共语料库，对基于贝叶斯的过滤方法提出了一系列改进。论文的具体 内容包括： （1）对朴素贝叶斯算法进行了详细的研究，并且提出了三个方面的改进思路。在 文本表示方面，提出采用指纹特征的表示方法；在特征选择方面，提出了基于类条件 分布的特征选择；第三个方面，根据学习的不断深入性，提出了阈值动态调整算法。 基于这些改进，实现了改进的朴素贝叶斯过滤器。 （2）分析邮件结构特点，从邮件结构不同于普通文本出发，提出集成加权模型， 以充分利用邮件的结构信息。基于集成加权模型对邮件头
3、和邮件正文分别建立模型， 最后通过加权方法集成二者结果，对垃圾邮件进行过滤。 （3）研究了最小风险贝叶斯和主动学习贝叶斯两种贝叶斯的扩展模型。最小风险 贝叶斯能够减少正常邮件判为垃圾邮件的风险，而主动学习贝叶斯主动训练样本集， 能够降低样本顺序对过滤精度的影响。根据实验结果对比，得到两种扩展模型的最佳 应用条件，并提出了改进后的邮件过滤算法。 综合以上改进和扩展而设计的贝叶斯过滤器在最新的标准数据集上的测试结果表明， 与经典的贝叶斯过滤器 Bogo 相比，过滤效果有较大的提高。 关键词： 集成加权贝叶斯 ； 最小风险贝叶斯 ； 主动学习贝叶斯 ； 特征选择 ； 阈值调整 ABSTRACT El
4、ectronic mail (e-mail) is a big success of Internet; it is becoming one of the fastest and most economical ways of communication available. At the same time,the growing problem of junk mail (also refered to as “spam”) has generated a need for e-mail filtering. There have been a lot of methods to bea
5、t spam, and the approach of using automated text categorization and information filtering to filter spam is become a most efficient one. We analyzed the current technology of content-based spam filtering, and found lots of differences between the traditional text categorization Problem and the one o
6、f spam filtering. Depend on this analysis, develop some methods to improve the performance of the spam filtering algorithm. The contents of this article are as following: (1) A summary about the state of the content-based spam filtering. We investigating anti-spam problem from the text categorizatio
7、n perspective, introducing the approaches of feature selection, classifiers and e-mail corpus in this task. (2) We study the bayes algorithm in details and propose the improvings in four aspects.The first aspect is the showing of text.We proposes a new method which is fingerprint feature. The second
8、 aspect is feature selecting. We propose a new method which is class condition distribute. The e-mail corpus and text corpus are very different in structure. We analyzed the structure of email, and purposed a email header and email body integrated model. In the fourth aspect, we propose threshold ad
9、justing algorithm. In the end ,we combine four aspects, and realize the improving bayes percolator. (3) From the shortcomings of ordinary bayes,Bayes proposed minimum risk Bayes model and initiative studying Bayes model. Minimum risk Bayes model reduced the risk to judge the normal mail as spam emai
10、l And the initiative studying Bayes model can reduce the impact of the order of corpus in the email filtering accuracy. Keywords: Minimum risk bayes ; Active learning bayes ; Integration weighted bayes ; Feature selection ; Threshold adjustment 目录 摘要I ABSTRACT.II 目录III 第一章 绪 论1 1.1 引言1 1.1.1 课题研究背景1
11、 1.1.2 贝叶斯研究简介.1 1.1.3 贝叶斯垃圾邮件过滤发展史2 1.1.4 国内外贝叶斯垃圾邮件过滤发展现状.2 1.2 垃圾邮件的危害及当前状况5 1.2.1.垃圾邮件的定义5 1.2.2 我国垃圾邮件的当前状况6 1.3 垃圾邮件过滤常用技术6 1.3.1 黑白名单技术7 1.3.2 反向域名验证7 1.3.3 关键词过滤7 1.3.4 基于规则评分的过滤技术8 1.3.5 贝叶斯过滤法8 1.4 本文研究的内容8 1.5 论文组织结构9 第二章 贝叶斯算法及邮件评测相关技术简介10 2.1 贝叶斯定理10 2.2 朴素贝叶斯的原理10 2.3 贝叶斯过滤器12 2.4 朴素贝叶
12、斯算法在邮件过滤应用上的优缺点12 2.5 朴素贝叶斯邮件过滤器的扩展13 2.5.1 最小风险贝叶斯13 2.5.2 主动学习贝叶斯13 2.6 邮件评测14 2.6.1 邮件过滤语料库14 2.6.2 邮件过滤模式.15 2.6.3 评价体系17 2.7 本章小结20 第三章 朴素贝叶斯过滤器的改进.21 3.1 贝叶斯分类流程21 3.2 贝叶斯邮件过滤器的改进方面21 3.3 文本表示22 3.3.1 词语特征项.22 3.3.2 指纹散列特征项22 3.3.3 一种指纹算法.23 3.4 特征选择23 3.4.1 信息增益.24 3.4.2 期望交叉熵.24 4.4.3 互信息25
13、3.4.4 基于类条件分布的特征选择.25 3.4.5 三种特征选择方法邮件过滤精度比较26 3.5 阈值动态调整30 3.5.1 阈值对过滤精度的影响30 3.5.2 阈值调整自适应算法31 3.5.3 阈值动态调整的实验结果分析.31 3.6 改进的朴素贝叶斯邮件过滤流程33 3.7 本章小节33 第四章 邮件头邮件正文集成加权分类模型35 4.1 邮件消息格式35 4.2 邮件头邮件正文独立训练37 4.3 特征 CCD 值在邮件头和邮件正文中的分布37 4.4 将权重应用到朴素贝叶斯分类42 4.5 邮件头邮件正文集成加权模型流程43 4.5 邮件头邮件正文集成加权模型与普通模型实验结
14、果对比44 4.6 本章小结45 第五章 贝叶斯过滤器的扩展46 5.1 基于最小风险的贝叶斯过滤算法46 5.1.1 过滤规则.46 5.1.2 邮件过滤算法.48 5.1.3 最小风险贝叶斯算法实现机制及实现代码49 5.1.4 基于最小风险贝叶斯与朴素贝叶斯的实验对比.50 5.2 主动学习贝叶斯52 5.2.1 主动学习的一般原理52 5.2.2 主动贝叶斯分类模型54 5.2.3 主动学习策略.54 5.2.4 基于最大最小熵主动学习55 5.2.5 最大最小熵主动学习的实现机制及实现代码55 5.2.5 加入主动学习的朴素贝叶斯与未加入主动学习的朴素贝叶斯实验对比.57 5.4 本
15、章小结58 第六章 实验与性能分析59 6.1 过滤器设计59 6.2 朴素贝叶斯过滤器与 bogo 过滤器的比较60 6.2.1 离线过滤模式下朴素贝叶斯过滤器与 bogo 过滤器的比较.60 6.2.2 在线过滤模式下朴素贝叶斯过滤器与 bogo 过滤器的比较.61 6.3 本章小结61 结论及展望.62 参考文献.63 攻读硕士学位期间取得的研究成果65 致谢.66 第一章 绪 论 1.1 引言 1.1.11.1.1 课题研究背景课题研究背景 Internet 的迅速发展，人与人的交往更加方便，电子邮件以其快捷低廉的特性逐渐 成为人们信息交互的重要工具。人们用它来交流思想，传输文件，发表
16、意见等，逐渐 成为日常生活中不可缺少的通信工具。但是电子邮件在其给人们带来极大便利的同时 也带来了一些负面影响，那就是我们每天收到的邮件有很大一部分是不请自来的。它 们有些是商业广告，有些是政治宣传，有些是色情广告，还有一些甚至是病毒，这就 是我们俗称的垃圾邮件。 根据美国 nucleus research 公司公布的数据，全球每天大约有 140 亿封垃圾邮件 在网上传播，相当于地球上每个人每天都要收到两封以上的垃圾邮件。 垃圾邮件给网民造成的经济损失是相当惊人的：据统计仅下载它们所花费的上网 费和电话费用等费用，每年就会花掉全球网民 94 美元。作为垃圾邮件的发送方，价格 是及其低廉的，通常是通过各种方式群发。而对于电子邮件服务提供商和用户来说， 垃圾邮件却给他们带来了很大的危害和损失，而且如色情，电脑病毒，以及荷重欺诈 信等造成的损失更是造成难以评估。 1.1.21.1.2 贝叶斯研究简介贝叶斯研究简介 贝叶斯的论文“关于几率性问题求解的理论”奠定了贝叶斯学派的基础。而后著名 数学家 laplace 用贝叶斯理论导出的”相继律”使得贝叶斯理论受到人们的关注。但是 由于当时贝叶
