《反垃圾邮件技术分析与中文垃圾邮件过滤规则研究》由会员分享，可在线阅读，更多相关《反垃圾邮件技术分析与中文垃圾邮件过滤规则研究（75页珍藏版）》请在金锄头文库上搜索。
1、反垃圾邮件技术分析与中文垃圾反垃圾邮件技术分析与中文垃圾邮件过滤规则研究邮件过滤规则研究孙东红陈光英中国教育和科研计算机网紧急响应组（Computer Emergency Response Team of China Education and Research Network)清华大学信息网络工程研究中心(Network Research Center of Tsinghua Univ.)主要内容 垃圾邮件的情况垃圾邮件的情况 反垃圾邮件技术分析反垃圾邮件技术分析垃圾邮件的定义垃圾邮件的定义垃圾邮件历史垃圾邮件历史现状分析现状分析 中文垃圾邮件过滤规则研究中文垃圾邮件过滤规则研究CCERTC
2、CERT开展的反垃圾邮件工作开展的反垃圾邮件工作垃圾邮件的定义垃垃圾圾邮邮件件：普普通通意意义义上上的的垃垃圾圾邮邮件件指指的的是是未未经经主主动动请请求求的的大大量量的的电电子子邮邮件件, SPAM, UBE(UnsolicitedBulkEmail),UCE(UnsolicitedCommercialEmail)v收收件件人人事事先先没没有有提提出出要要求求或或者者同同意意接接收收的的广广告告、电电子子刊刊物物、各种形式的宣传品等宣传性的电子邮件各种形式的宣传品等宣传性的电子邮件;v收件人无法拒收的电子邮件；收件人无法拒收的电子邮件；v隐藏发件人身份、地址、标题等信息的电子邮件；隐藏发件人
3、身份、地址、标题等信息的电子邮件；v含有虚假的信息源、发件人、路由等信息的电子邮件。含有虚假的信息源、发件人、路由等信息的电子邮件。主要内容 垃圾邮件的情况垃圾邮件的情况 反垃圾邮件技术分析反垃圾邮件技术分析垃圾邮件的定义垃圾邮件的定义垃圾邮件历史垃圾邮件历史现状分析现状分析 中文垃圾邮件过滤规则研究中文垃圾邮件过滤规则研究CCERTCCERT开展的反垃圾邮件工作开展的反垃圾邮件工作1985年年8月一封通过电子邮件发送的链锁信，一直持月一封通过电子邮件发送的链锁信，一直持续到续到1993年，这是首次关于垃圾邮件的记录。年，这是首次关于垃圾邮件的记录。1993年年6月份，在月份，在Interne
4、t上出现了名为上出现了名为“MakeMoneyFast”的电子邮件。的电子邮件。1994年年4月份，月份，Canter&Siegel的法律事务所把一封的法律事务所把一封移民顾问服务广告邮件发到移民顾问服务广告邮件发到6000多个新闻组，一时间多个新闻组，一时间群情激奋。群情激奋。-首次用首次用spam称呼垃圾邮件。称呼垃圾邮件。1995年年5月出现第一个专门的垃圾邮件群发软件月出现第一个专门的垃圾邮件群发软件Floodgate。vv分析分析分析分析：简单邮件传输协议：简单邮件传输协议：简单邮件传输协议：简单邮件传输协议(SMTP)(SMTP)(SMTP)(SMTP)协议安全性存在不足协议安全性
5、存在不足协议安全性存在不足协议安全性存在不足： SMTPSMTP基于基于RFC 524RFC 524发展而来，发展而来，RFC524RFC524是在是在19731973年提出的，它不是一个安年提出的，它不是一个安全的命令集。这使得全的命令集。这使得SMTPSMTP缺乏安全性保障。缺乏安全性保障。发展历史主要内容 垃圾邮件的情况垃圾邮件的情况 反垃圾邮件技术分析反垃圾邮件技术分析垃圾邮件的定义垃圾邮件的定义垃圾邮件历史垃圾邮件历史现状分析现状分析 中文垃圾邮件过滤规则研究中文垃圾邮件过滤规则研究CCERTCCERT开展的反垃圾邮件工作开展的反垃圾邮件工作现状分析-数据统计v全全球球范范围围统统计
6、计，20012001年年垃垃圾圾邮邮件件仅仅占占电电邮邮总总量量的的7%7%，到到20022002年年即即达达到到29%29%，至至20032003年年7 7月月就就超超过过了了51%51%，20042004年年1 1月高达月高达60%60%v垃垃圾圾邮邮件件的的数数量量已已经经超超过过了了合法电子邮件的数量合法电子邮件的数量 。现状分析现状分析- -我国垃圾邮件形势严峻我国垃圾邮件形势严峻v20032003年年终终统统计计显显示示：中中国国邮邮件件服服务务器器总总计计接接收收到到的的垃垃圾圾邮邮件件为为15001500亿亿封封，用用户户实实际际共共计计收收到到垃垃圾圾邮邮件件470470亿亿
7、封，经济损失封，经济损失4848亿亿。v第第十十四四次次中中国国互互联联网网络络发发展展状状况况统统计计报报告告显显示示，我我国国网网民民在在20042004年年7 7月月份份每每周周收收到到13.813.8封封电电子子邮邮件件，其其中正常电子邮件为中正常电子邮件为4.64.6封封，垃圾邮件数却达到，垃圾邮件数却达到9.29.2封。封。v网网民民每每周周收收到到的的垃垃圾圾邮邮件件数数是是非非垃垃圾圾邮邮件件数数的的两两倍倍！商业宣传邮件商业宣传邮件政治宣传邮件政治宣传邮件色情宣传色情宣传邮件邮件病毒邮件病毒邮件现状分析现状分析-常见垃圾邮件类常见垃圾邮件类型型vv 爱虫（爱虫（ 2000-2
8、-142000-2-14）、）、vv nimdanimda（2001-9-192001-9-19）、）、vv 求职信（求职信（2001-10-262001-10-26）、）、vv 中文版求职信（中文版求职信（2002-2002-年年5-105-10）、）、vv 怪物（怪物（2002-10-022002-10-02）、）、vv sobigsobig（2003-1-112003-1-11）、）、vv 爱情后门（爱情后门（2003-2-252003-2-25）、）、vv 小邮差（小邮差（2003-8-042003-8-04）、）、vv 斯文（斯文（2003-9-192003-9-19）、）、vv M
9、yDoomMyDoom (SCO (SCO炸弹炸弹) )（2004-1-2004-1-2727）vv NetskyNetsky及其变种（及其变种（2003-2003-今）今）发件人地址随机变化发件人地址随机变化邮件主题随机变化邮件主题随机变化伪造邮件头干扰信息伪造邮件头干扰信息信体内容随机变化内容信体内容随机变化内容正文以图片方式显示，难以识别正文以图片方式显示，难以识别对垃圾邮件的定义和分类因人而异对垃圾邮件的定义和分类因人而异垃圾邮件在不同时段内的传播内容不一样垃圾邮件在不同时段内的传播内容不一样垃圾邮件在不同范围内的传播内容不一样垃圾邮件在不同范围内的传播内容不一样现状分析垃圾邮件的特点
10、宽带网络的快速发展宽带网络的快速发展网络通信成本的下降网络通信成本的下降硬件性能的提高并且成本不断降低硬件性能的提高并且成本不断降低成本与产出的巨大反差成本与产出的巨大反差邮件的易伪造邮件的易伪造缺乏法律与规范的约束缺乏法律与规范的约束现状分析-泛滥原因现状分析危害国家层面：国家层面：政治、经济、文化政治、经济、文化用户层面：学习、工作、生活用户层面：学习、工作、生活对于对于CERNET内的高校而言内的高校而言： 网络安全性、稳定性、高效性；网络安全性、稳定性、高效性； 占用带宽、存储空间；占用带宽、存储空间； 被列入各种黑名单；被列入各种黑名单； 被投诉；被投诉；声誉、国际影响；声誉、国际影
11、响；现状分析现状分析-Spammers的手段v获取目标地址获取目标地址扫描、猜测、购买扫描、猜测、购买利用病毒从本地邮箱获取联络人利用病毒从本地邮箱获取联络人EmailEmail地址地址v逃避检测、追踪和过滤的技术逃避检测、追踪和过滤的技术Open-Relay Open-Relay 自自架设架设 MTAMTA服务服务采用动态采用动态IPIP地址地址伪造或隐藏信源地址伪造或隐藏信源地址逃避内容过滤：逃避内容过滤： Graphics , URL, Graphics , URL, mismis-spelling, etc. -spelling, etc. v欺骗（欺骗（PhishingPhishin
12、g）技术技术Ifthemessagewillnotdisplayedautomatically,followthelinktoreadthedeliveredmessage.Receivedmessageisavailableat: 垃圾邮件的情况垃圾邮件的情况 反垃圾邮件技术分析反垃圾邮件技术分析技术概览技术概览垃圾邮件的响应环节及措施垃圾邮件的响应环节及措施邮件的传输过程及对垃圾邮件的控制邮件的传输过程及对垃圾邮件的控制 中文垃圾邮件过滤规则研究中文垃圾邮件过滤规则研究CCERTCCERT开展的反垃圾邮件工作开展的反垃圾邮件工作技术概览vv邮件服务系统的安全加固邮件服务系统的安全加固邮件服
13、务系统的安全加固邮件服务系统的安全加固vv垃圾邮件过滤技术垃圾邮件过滤技术垃圾邮件过滤技术垃圾邮件过滤技术vv热点讨论技术热点讨论技术热点讨论技术热点讨论技术增强邮件服务器的安全性，防止漏洞及时补丁提高系统防病毒能力提供邮件服务安全身份认证添加反垃圾邮件的专用设备或插件IP、域名、邮件地址的黑白名单及BBL方式SMTP通信链接速率、频度的设定反向域名验证基于信头、信体、附件的内容关键词基于贝叶斯算法的统计分析基于匹配判定规则的方式电子邮票Challenge-ResponseDomainkeys、SenderIDSPF (sender policy framework)主要内容 垃圾邮件的情况垃
14、圾邮件的情况 反垃圾邮件技术分析反垃圾邮件技术分析技术概览技术概览垃圾邮件的响应环节及措施垃圾邮件的响应环节及措施邮件的传输过程及对垃圾邮件的控制邮件的传输过程及对垃圾邮件的控制 中文垃圾邮件过滤规则研究中文垃圾邮件过滤规则研究CCERTCCERT开展的反垃圾邮件工作开展的反垃圾邮件工作反垃圾邮件的技术环节vv 预防预防预防预防增强邮件服务器的安全性，防止漏洞及时补丁提高系统防病毒能力提供邮件服务安全身份认证添加反垃圾邮件的专用设备或插件IP、域名、邮件地址的黑白名单及BBL方式SMTP通信链接速率、频度的设定反向域名验证法基于信头、信体、附件的内容关键词基于贝叶斯算法的统计分析基于垃圾邮件判
15、定规则电子邮票Challenge-ResponseDomainkeys、SenderIDSPF (sender policy framework)vv 检测检测检测检测vv 响应响应响应响应丢弃(Drop)标记（Lable）隔离（Quarantine主要内容 垃圾邮件的情况垃圾邮件的情况 反垃圾邮件技术分析反垃圾邮件技术分析技术概览技术概览垃圾邮件的响应环节及措施垃圾邮件的响应环节及措施邮件的传输过程及对垃圾邮件的控制邮件的传输过程及对垃圾邮件的控制 中文垃圾邮件过滤规则研究中文垃圾邮件过滤规则研究CCERTCCERT开展的反垃圾邮件工作开展的反垃圾邮件工作邮件的传输过程OriginatorR
16、eceiverExternal-Relay布控点及相关措施（一）vvOriginatorOriginator端端端端：q 在发送邮件的服务器上采取措施：在发送邮件的服务器上采取措施：限制服务器发送邮件的速率、频率限制服务器发送邮件的速率、频率规定邮件服务器开放服务的端口，关闭不必要的服务规定邮件服务器开放服务的端口，关闭不必要的服务使用经过认证的使用经过认证的MTAMTA转发邮件转发邮件设定邮件用户身份认证方式设定邮件用户身份认证方式q 与邮件用户间互签安全协议与邮件用户间互签安全协议vv对转发邮件过程中的对转发邮件过程中的对转发邮件过程中的对转发邮件过程中的Relay Relay Relay
17、 Relay 服务器身份认证：服务器身份认证：服务器身份认证：服务器身份认证：布控点及相关技术（二）q：可信任的信道，即每次中转都采用可信赖的实体：可信任的信道，即每次中转都采用可信赖的实体SSL/TLSSSL/TLSPPP LogicPPP LogicSSHSSHq：合法的对象源，对邮件信息可以做确认：合法的对象源，对邮件信息可以做确认S/MIMES/MIMEPGPPGPq设置不同方式的过滤措施设置不同方式的过滤措施 vv ReceiverReceiver端：端：端：端：布控点及相关技术（三）q基于流量的入侵检测基于流量的入侵检测q基于基于honeypothoneypot或或miningfi
18、eldminingfield 的的检测检测IPIP、域名、邮件地址的域名、邮件地址的黑白名单黑白名单、RBLRBLBBL(Benefit BBL(Benefit BlackholeBlackhole List) List)基于链接速率、基于链接速率、频度频度的动态规则的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容基于信头、信体、附件的内容关键词关键词过滤过滤基于基于贝叶斯贝叶斯的内容统计分析的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassin邮件病毒扫描邮件病毒扫描正在讨论中的正在讨论中的:SPF:SPF、
19、 DMPDMP、 RMXRMXDomain keysDomain keysq订制第三方服务订制第三方服务 例如例如:DSBL、DCC、Razor、APFChallenge-response黑名单不占用计算机资源，易于实施 。需要手动维护的IP地址清单。垃圾邮件发送者经常修改他们的IP地址，并采用一个广泛的IP地址区间以逃避反垃圾邮件手段的检测，因此该方案在总体的垃圾邮件解决方案中仅起补充作用。黑名单、白名单、灰名单q设置不同方式的过滤措施设置不同方式的过滤措施 vv ReceiverReceiver端：端：端：端：布控点及相关技术（三）q基于流量的入侵检测基于流量的入侵检测q基于基于honey
20、pothoneypot或或miningfieldminingfield 的的检测检测IPIP、域名、邮件地址的域名、邮件地址的黑白名单黑白名单、RBLRBLBBL(Benefit BBL(Benefit BlackholeBlackhole List) List)基于链接速率、基于链接速率、频度频度的动态规则的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容基于信头、信体、附件的内容关键词关键词过滤过滤基于基于贝叶斯贝叶斯的内容统计分析的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassin邮件病毒扫描邮件病毒扫描
21、正在讨论中的正在讨论中的:SPF:SPF、 DMPDMP、 RMXRMXDomain keysDomain keysq订制第三方服务订制第三方服务 例如例如:DSBL、DCC、Razor、APFChallenge-responseRBLs(实时黑名单)也被称为DNS-RBLs,检查所有收到邮件的IP地址，与在RBL中的IP地址核对来阻断与spammer的连接。RBL服务运营商维护公共RBLs,使用单位仅需订阅实时黑名单服务。RBLs的计算开销非常低，同时它们通常采用一个类似与DNS的协议实施，所以它们的网络开销也非常低。RBLs缺点易于产生误报，须谨慎。RBL工作原理SMTP服务器接收到链接请
22、求对链接地址进行DNS反向查询与RBL服务器建立查询查询得到肯定的结果，则拒绝该连接查询无结果，继续进行连接q设置不同方式的过滤措施设置不同方式的过滤措施 vv ReceiverReceiver端：端：端：端：布控点及相关技术（三）q基于流量的入侵检测基于流量的入侵检测q基于基于honeypothoneypot或或miningfieldminingfield 的的检测检测IPIP、域名、邮件地址的域名、邮件地址的黑白名单黑白名单、RBLRBLBBL(Benefit BBL(Benefit BlackholeBlackhole List) List)基于链接速率、基于链接速率、频度频度的动态规则
23、的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容基于信头、信体、附件的内容关键词关键词过滤过滤基于基于贝叶斯贝叶斯的内容统计分析的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassin邮件病毒扫描邮件病毒扫描正在讨论中的正在讨论中的:SPF:SPF、 DMPDMP、 RMXRMXDomain keysDomain keysq订制第三方服务订制第三方服务 例如例如:DSBL、DCC、Razor、APFChallenge-responsev检查邮件内容中含有的URL链接v定义受益黑名单基于基于BBL过滤过滤q设置不同
24、方式的过滤措施设置不同方式的过滤措施 vv ReceiverReceiver端：端：端：端：布控点及相关技术（三）q基于流量的入侵检测基于流量的入侵检测q基于基于honeypothoneypot或或miningfieldminingfield 的的检测检测IPIP、域名、邮件地址的域名、邮件地址的黑白名单黑白名单、RBLRBLBBL(Benefit BBL(Benefit BlackholeBlackhole List) List)基于链接速率、基于链接速率、频度频度的动态规则的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容基于信头、信体、附件的内容关键词关键词过滤过滤基于基于贝叶
25、斯贝叶斯的内容统计分析的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassin邮件病毒扫描邮件病毒扫描正在讨论中的正在讨论中的:SPF:SPF、 DMPDMP、 RMXRMXDomain keysDomain keysq订制第三方服务订制第三方服务 例如例如:DSBL、DCC、Razor、APFChallenge-responseDOS(拒绝服务)攻击-垃圾邮件发送者经常试图通过在很短一段时间发送大量邮件阻塞邮件服务器。速率控制允许在一段时间内从相同IP试图的联接数量控制在设置的范围内。链接频度控制q设置不同方式的过滤措施设
26、置不同方式的过滤措施 vv ReceiverReceiver端：端：端：端：布控点及相关技术（三）q基于流量的入侵检测基于流量的入侵检测q基于基于honeypothoneypot或或miningfieldminingfield 的的检测检测IPIP、域名、邮件地址的域名、邮件地址的黑白名单黑白名单、RBLRBLBBL(Benefit BBL(Benefit BlackholeBlackhole List) List)基于链接速率、基于链接速率、频度频度的动态规则的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容基于信头、信体、附件的内容关键词关键词过滤过滤基于基于贝叶斯贝叶斯的内容统
27、计分析的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassin邮件病毒扫描邮件病毒扫描正在讨论中的正在讨论中的:SPF:SPF、 DMPDMP、 RMXRMXDomain keysDomain keysq订制第三方服务订制第三方服务 例如例如:DSBL、DCC、Razor、APFChallenge-response反向域名验证对收到邮件的来源IP地址采用反向DNS查找验证真实性 如果反向DNS查找提供的域与邮件上的来源IP地址相符合，该邮件被接受。如果不符合，该邮件被拒绝。由于很多反向DNS目录未被有效建立 ，或无法正常建立
28、，比如，任何”vanity”域名决大多数情况下没有一个正确的反向DNS查找。在这种情况下，由这些域发送的邮件将被阻断，造成不可接受的高误报告率。简单有效、可以阻断绝大多数垃圾邮件；词语过滤识别包含特定关键字的所有邮件，比如“免费”、“色情”等在垃圾邮件中经常发现的词语；例如在MUA可以自定义过滤关键词关键词过滤集能够持续升级vQ：垃圾邮件发送者经常将一些单词拼错，以图饶过词语过滤器，所以词语过滤器需要经常升级，加入关键字的变更。关键词过滤法q设置不同方式的过滤措施设置不同方式的过滤措施 vv ReceiverReceiver端：端：端：端：布控点及相关技术（三）q基于流量的入侵检测基于流量的入
29、侵检测q基于基于honeypothoneypot或或miningfieldminingfield 的的检测检测IPIP、域名、邮件地址的域名、邮件地址的黑白名单黑白名单、RBLRBLBBL(Benefit BBL(Benefit BlackholeBlackhole List) List)基于链接速率、基于链接速率、频度频度的动态规则的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容基于信头、信体、附件的内容关键词关键词过滤过滤基于基于贝叶斯贝叶斯的内容统计分析的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassi
30、n邮件病毒扫描邮件病毒扫描正在讨论中的正在讨论中的:SPF:SPF、 DMPDMP、 RMXRMXDomain keysDomain keysq订制第三方服务订制第三方服务 例如例如:DSBL、DCC、Razor、APFChallenge-response贝叶斯过滤法贝叶斯算法：以著名数学家托马斯贝叶斯（1702-1761)命名，一种基于概率分析的可能性推论理论。 分析过去事件的知识，预测未来事件 。贝叶斯过滤器与以前收到的垃圾邮件和合法邮件的中相同词语及短语出现的概率对比来确定垃圾邮件的可能性。贝叶斯过滤法强大，是阻断垃圾邮件最为精确的技术过滤准确率可达到99%过滤准确性依赖大量的历史数据。
31、q设置不同方式的过滤措施设置不同方式的过滤措施 vv ReceiverReceiver端：端：端：端：布控点及相关技术（三）q基于流量的入侵检测基于流量的入侵检测q基于基于honeypothoneypot或或miningfieldminingfield 的的检测检测IPIP、域名、邮件地址的域名、邮件地址的黑白名单黑白名单、RBLRBLBBL(Benefit BBL(Benefit BlackholeBlackhole List) List)基于链接速率、基于链接速率、频度频度的动态规则的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容基于信头、信体、附件的内容关键词关键词过滤过滤基
32、于基于贝叶斯贝叶斯的内容统计分析的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassin邮件病毒扫描邮件病毒扫描正在讨论中的正在讨论中的:SPF:SPF、 DMPDMP、 RMXRMXDomain keysDomain keysq订制第三方服务订制第三方服务 例如例如:DSBL、DCC、Razor、APFChallenge-response基于规则评分的过滤系统系统代表SpamAssassin；集合人工智能技术的应用系统；对发现的每一个关键词赋予分数，分数越高，该邮件是垃圾邮件的可能性就越高 ；得分超过一定值时，该邮件将被分
33、类为垃圾邮件。可以清除90%的收到邮件中的垃圾邮件。局限性：和词语过滤面临同样的挑战，为使评分有效，规则必须经常更新。 q设置不同方式的过滤措施设置不同方式的过滤措施 vv ReceiverReceiver端：端：端：端：布控点及相关技术（三）q基于流量的入侵检测基于流量的入侵检测q基于基于honeypothoneypot或或miningfieldminingfield 的的检测检测IPIP、域名、邮件地址的域名、邮件地址的黑白名单黑白名单、RBLRBLBBL(Benefit BBL(Benefit BlackholeBlackhole List) List)基于链接速率、基于链接速率、频度频
34、度的动态规则的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容基于信头、信体、附件的内容关键词关键词过滤过滤基于基于贝叶斯贝叶斯的内容统计分析的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassin邮件病毒扫描邮件病毒扫描正在讨论中的正在讨论中的:SPF:SPF、 DMPDMP、 RMXRMXDomain keysDomain keysq订制第三方服务订制第三方服务 例如例如:DSBL、DCC、Razor、APFChallenge-responsev对于垃圾邮件的伪造域地址或伪造回复地址的有效阻断技术SPF (Se
35、nder Policy Framework / Sender Permitted From ) 这是对SMTP协议的一个补充，防止发件人假冒,开放的标准，免费。域(Domain)通过DNS发布反向MX记录，告诉Internet哪些计算机可以从该域发送电子邮件。接收方收到邮件后，通过DNS查询邮件来源是否符合源域的邮件发送策略。DMP (目标发件人协议)、 RMX (反向邮件交换)SPF、DMP、RMX-1SPF、RMX、DMP分别定义各自的反向MX记录，以确定一封从某一特定域发送的邮件是否允许从特定的IP地址发出。不是从正确MX/SPF/DMP 地址区间产生的邮件地址被识别为伪造，邮件自身被标
36、记为垃圾邮件。 标识：“RMX” for RMX, “SPF” for SPF, and “DMP” for DMP例如，可以定义SPF 记录：v=spf2.0/praptrmx:202.112.57.8mx:mxallSPF、DMP、RMX-2q设置不同方式的过滤措施设置不同方式的过滤措施 vv ReceiverReceiver端：端：端：端：布控点及相关技术（三）q基于流量的入侵检测基于流量的入侵检测q基于基于honeypothoneypot或或miningfieldminingfield 的的检测检测IPIP、域名、邮件地址的域名、邮件地址的黑白名单黑白名单、RBLRBLBBL(Bene
37、fit BBL(Benefit BlackholeBlackhole List) List)基于链接速率、基于链接速率、频度频度的动态规则的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容基于信头、信体、附件的内容关键词关键词过滤过滤基于基于贝叶斯贝叶斯的内容统计分析的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassin邮件病毒扫描邮件病毒扫描正在讨论中的正在讨论中的:SPF:SPF、 DMPDMP、 RMXRMXDomain keysDomain keysq订制第三方服务订制第三方服务 例如例如:DSBL、DC
38、C、Razor、APFChallenge-responseDomainKeyssendersender域的所有者生成公钥/私钥对，私钥用于所有发出邮件的签名。公钥通过DNS系统发布。当授权用户发送邮件时，邮件服务器自动产生邮件的数字签名，作为邮件头的一部分发送给接收方。receiverreceiver接收服务器从邮件中提取签名，从DNS系统中获得发送域的公钥，验证发送方的数字签名。如果没有签名或签名验证失败，接收方可以拒绝、标记或隔离该邮件。Yahoo！公司提出q设置不同方式的过滤措施设置不同方式的过滤措施 vv ReceiverReceiver端：端：端：端：布控点及相关技术（三）q基于流量
39、的入侵检测基于流量的入侵检测q基于基于honeypothoneypot或或miningfieldminingfield 的的检测检测IPIP、域名、邮件地址的域名、邮件地址的黑白名单黑白名单、RBLRBLBBL(Benefit BBL(Benefit BlackholeBlackhole List) List)基于链接速率、基于链接速率、频度频度的动态规则的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容基于信头、信体、附件的内容关键词关键词过滤过滤基于基于贝叶斯贝叶斯的内容统计分析的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassin
40、SpamAssassin邮件病毒扫描邮件病毒扫描正在讨论中的正在讨论中的:SPF:SPF、 DMPDMP、 RMXRMXDomain keysDomain keysq订制第三方服务订制第三方服务 例如例如:DSBL、DCC、Razor、APFChallenge-responseChallenge-Response对付那些邮件自动发送程序 该系统维护了一个允许发件人清单 ，新发件人邮件在发送前被暂时保留 ，challenge-response系统发送给邮件发件人一个测试 ，如果发件人成功完成“测试”，测试/回复系统将他加入到允许发件人的清单中，该邮件被发送到目标地址。 测试信息通常要求发件人在回
41、复邮件中复制一个数字到数字框中要求信息,或者包括一个URL链接。采用虚假发件人邮件地址将不可能收到测试信息 v大量的非法邮件是由病毒程序产生的。病毒扫描是减少垃圾邮件数量的一个重要手段。病毒扫描主要内容 垃圾邮件的情况垃圾邮件的情况 反垃圾邮件技术分析反垃圾邮件技术分析CCERTCCERT开展的反垃圾邮件工作开展的反垃圾邮件工作 中文垃圾邮件过滤规则研究中文垃圾邮件过滤规则研究CCERT反垃圾邮件工作历史vCERNET是国内首先开展反垃圾邮件工作的组织之一1996年开始跟踪国际反垃圾邮件组织的工作，开始处理国际相关组织对国内Open-Relay服务器的投诉，通知用户；1998年建立正式受理国际
42、的投诉1999年成立CCERT，专人负责垃圾邮件相关工作，通过 受理国内的投诉2002年CCERT召开CERNET范围内的垃圾邮件处理协调会议，全国10个地区网络中心参加2002年 全国电子邮件服务器系统调查2002年制定了CERNET关于制止垃圾邮件的管理规定CCERT反垃圾邮件工作历史2002年组内研究生完成了反垃圾邮件硕士论文2002年接受南方周末、中央电视台东方时空、北京晨报等媒体采访，引发了媒体对垃圾邮件的广泛关注；2003年出版国内第一本关于反垃圾邮件方面的专著垃圾邮件与反垃圾邮件技术2003年参加互联网协会反垃圾邮件协调小组活动，担任技术工作组负责单位2004年10月主办中国反垃
43、圾邮件技术会议CCAS20042004年9月发布国际第一套中文反垃圾邮件规则集合、并提供公益服务。CCERT反垃圾邮件技术组主页CCERT反垃圾邮件体系Monitoring and detectionActive controlInternetSMTPEmailgatewayRoutersSpam reportEndusersCcert-BLanalysis and StatisticFilteringplug-inSecurity configuration主要内容 垃圾邮件的情况垃圾邮件的情况 反垃圾邮件技术分析反垃圾邮件技术分析CCERTCCERT开展的反垃圾邮件工作开展的反垃圾邮件工作
44、 中文垃圾邮件过滤规则研究中文垃圾邮件过滤规则研究垃圾邮件内容过滤方法基于规则方法（1999）基于统计方法（19992004）统计规则方法（2004）概念基于规则方法寻找“垃圾邮件的特殊模式”，例如：主题包含“免费”。基于统计方法文本自动分类，根据垃圾/正常样本训练分类机概念图正常邮件垃圾邮件基于规则分类面基于统计分类面统计学习理论风险经验风险实际风险hVC置信度过学习欠学习基于规则基于统计准确性基于规则检测垃圾邮件的准确率高不能检测新的垃圾邮件，即漏检率高基于统计检测垃圾邮件的准确率不高能检测新的垃圾邮件，即漏检率低我可以容忍垃圾邮件，但绝不忍受正常邮件被丢掉！垃圾邮件查全率正常邮件误判率目
45、标90%85%5%参考值Return-Path:Received:(61.141.240.168)(MIMEDefang)withESMTPidNOQUEUEfor;Thu,23Dec200410:40:21+0800(CST)Message-ID:From:iflkgjSubject:=?GB2312?B?08W73bT6v6q3osax?=To:Content-Type:text/plain;charset=GB2312Reply-To:Date:Thu,23Dec200410:54:34+0800X-Priority:2X-Mailer:MicrosoftOutlookExpress6.
46、00.2800.1158贵公司负责人(经理/财务)您好：我公司是深圳市如意广告有限公司，我公司实力雄厚，有着良好的社会关系。因我公司是定额税额，每月有一部分普通广告发票和其他服务发票（地税）（2%）.检测对象基于统计基于规则应用范围客户端客户端服务器服务器基于规则（SpamAssassin）基于统计(贝叶斯)推广性和时效性基于规则推广性强时效性差基于统计时效性强推广性差时效性推广性基于规则基于统计？语义问题？CCERT的新方法统计规则方法规则由统计方法自动生成推广性时效性基于规则好差基于统计差好统计规则好好CCERT的新方法和传统方法比较SpamAssassin(SA)免费垃圾邮件过滤系统公开
47、源代码支持sendmail、qmail、Postfix、EximMTA、MUA、POP3基于规则，用户自定义规则查准率高，速度快广泛使用SA规则例子bodyDEAR_FRIEND/s*DearFriendb/idescribeDEAR_FRIENDDearFriend?Thatsnotverydear!scoreDEAR_FRIEND0.542正则表达式名字分值说明应用范围（信头、信体、原始信体、原始邮件、URI）垃圾邮件判别方法总分值6.3，阈值5.0ptsrulenamedescription-0.5DEAR_FRIENDDearFriend?Thatsnotverydear!0.1NOR
48、MAL_HTTP_TO_IPURI:Usesadotted-decimalIPaddressinURL0.0HTTP_ESCAPED_HOSTURI:Uses%-escapesinsideaURLshostname0.5HTML_60_70BODY:Messageis60%to70%HTML0.0HTML_MESSAGEBODY:HTMLincludedinmessage2.9HTML_IMAGE_ONLY_08BODY:HTML:imageswith400-800bytesofwords1.0HTML_FONT_LOW_CONTRASTBODY:HTMLfontcolorsimilartobackground1.2MIME_HTML_ONLYBODY:Messageonlyhastext/htmlMIMEparts所有规则都检查计算总分值：匹配的规则的分值之和总分值大于阈值则是垃圾邮件SA对中文的支持SA主要针对英文垃圾邮件缺乏中文规则英文规则对中文邮件的影响CCERT的中文垃圾邮件过滤规则集Chinese_rules.cf(http:/ service: 86-10-62784301 Email:Tel:86-10-62795818-6222Address:MainBuildingRoom310,TsinghuaUniv.Beijing,China100084
