《反垃圾邮件技术分析与中文垃圾邮件过滤规则研究_5ppt课件》由会员分享，可在线阅读，更多相关《反垃圾邮件技术分析与中文垃圾邮件过滤规则研究_5ppt课件（77页珍藏版）》请在金锄头文库上搜索。
1、反垃圾邮件技术分析与中文垃圾邮件过滤规则研究,孙东红 陈光英中国教育和科研计算机网紧急响应组 （Computer Emergency Response Team of China Education and Research Network) 清华大学信息网络工程研究中心 (Network Research Center of Tsinghua Univ.),主要内容,垃圾邮件的情况,反垃圾邮件技术分析,垃圾邮件的定义 垃圾邮件历史 现状分析,中文垃圾邮件过滤规则研究,CCERT开展的反垃圾邮件工作,垃圾邮件的定义,垃圾邮件：普通意义上的垃圾邮件指的是未经主动请求的大量的电子邮件, SPAM,
2、 UBE(Unsolicited Bulk Email), UCE (Unsolicited Commercial Email) 收件人事先没有提出要求或者同意接收的广告、电子刊物、各种形式的宣传品等宣传性的电子邮件; 收件人无法拒收的电子邮件； 隐藏发件人身份、地址、标题等信息的电子邮件； 含有虚假的信息源、发件人、路由等信息的电子邮件。,主要内容,垃圾邮件的情况,反垃圾邮件技术分析,垃圾邮件的定义 垃圾邮件历史 现状分析,中文垃圾邮件过滤规则研究,CCERT开展的反垃圾邮件工作,1985 年8 月一封通过电子邮件发送的链锁信，一直持续到1993 年，这是首次关于垃圾邮件的记录。 1993
3、年6 月份，在Internet 上出现了名为“Make Money Fast”的电子邮件。 1994 年4 月份，Canter &Siegel 的法律事务所把一封移民顾问服务广告邮件发到6000 多个新闻组，一时间群情激奋。-首次用spam称呼垃圾邮件。 1995 年5 月出现第一个专门的垃圾邮件群发软件Floodgate。 分析：简单邮件传输协议(SMTP)协议安全性存在不足： SMTP基于RFC 524发展而来，RFC524是在1973年提出的，它不是一个安全的命令集。这使得SMTP缺乏安全性保障。,发展历史,主要内容,垃圾邮件的情况,反垃圾邮件技术分析,垃圾邮件的定义 垃圾邮件历史 现状
4、分析,中文垃圾邮件过滤规则研究,CCERT开展的反垃圾邮件工作,现状分析-数据统计,全球范围统计，2001年垃圾邮件仅占电邮总量的7%，到2002年即达到29%，至2003年7月就超过了51%，2004年1月高达60% 垃圾邮件的数量已经超过了合法电子邮件的数量 。,现状分析-我国垃圾邮件形势严峻,2003年终统计显示：中国邮件服务器总计接收到的垃圾邮件为1500亿封，用户实际共计收到垃圾邮件470亿封，经济损失48亿。 第十四次中国互联网络发展状况统计报告显示，我国网民在2004年7月份每周收到13.8封电子邮件，其中正常电子邮件为4.6封，垃圾邮件数却达到9.2封。 网民每周收到的垃圾邮件
5、数是非垃圾邮件数的两倍！,商业宣传邮件 政治宣传邮件 色情宣传邮件 病毒邮件,现状分析-常见垃圾邮件类型,爱虫（ 2000-2-14）、nimda（2001-9-19）、求职信（2001-10-26）、中文版求职信（2002-年5-10）、怪物（2002-10-02）、sobig（2003-1-11）、爱情后门（2003-2-25）、小邮差（2003-8-04）、斯文（2003-9-19）、MyDoom (SCO炸弹)（2004-1-27）Netsky及其变种（2003-今）,发件人地址随机变化 邮件主题随机变化 伪造邮件头干扰信息 信体内容随机变化内容 正文以图片方式显示，难以识别 对垃圾邮
6、件的定义和分类因人而异 垃圾邮件在不同时段内的传播内容不一样 垃圾邮件在不同范围内的传播内容不一样,现状分析垃圾邮件的特点,宽带网络的快速发展 网络通信成本的下降 硬件性能的提高并且成本不断降低 成本与产出的巨大反差 邮件的易伪造 缺乏法律与规范的约束,现状分析-泛滥原因,现状分析危害,国家层面：政治、经济、文化 用户层面：学习、工作、生活 对于CERNET 内的高校而言：,网络安全性、稳定性、高效性；占用带宽、存储空间； 被列入各种黑名单；被投诉； 声誉、国际影响；,现状分析- Spammers 的手段,获取目标地址 扫描、猜测、购买 利用病毒从本地邮箱获取联络人Email地址 逃避检测、追
7、踪和过滤的技术 Open-Relay 自架设 MTA服务 采用动态IP地址 伪造或隐藏信源地址 逃避内容过滤：Graphics , URL, mis-spelling, etc. 欺骗（Phishing）技术, If the message will not displayed automatically, follow the link to read the delivered message. Received message is available at: ,邮件欺诈技术,欺诈伪造的网页,主要内容,垃圾邮件的情况,反垃圾邮件技术分析,技术概览 垃圾邮件的响应环节及措施 邮件的传输过
8、程及对垃圾邮件的控制,中文垃圾邮件过滤规则研究,CCERT开展的反垃圾邮件工作,技术概览,邮件服务系统的安全加固,垃圾邮件过滤技术,热点讨论技术,增强邮件服务器的安全性，防止漏洞及时补丁 提高系统防病毒能力 提供邮件服务安全身份认证 添加反垃圾邮件的专用设备或插件,IP、域名、邮件地址的黑白名单及BBL方式 SMTP通信链接速率、频度的设定 反向域名验证 基于信头、信体、附件的内容关键词 基于贝叶斯算法的统计分析 基于匹配判定规则的方式,电子邮票 Challenge-Response Domainkeys、SenderID SPF (sender policy framework),主要内容,
9、垃圾邮件的情况,反垃圾邮件技术分析,技术概览 垃圾邮件的响应环节及措施 邮件的传输过程及对垃圾邮件的控制,中文垃圾邮件过滤规则研究,CCERT开展的反垃圾邮件工作,反垃圾邮件的技术环节,预防,增强邮件服务器的安全性，防止漏洞及时补丁 提高系统防病毒能力 提供邮件服务安全身份认证 添加反垃圾邮件的专用设备或插件,IP、域名、邮件地址的黑白名单及BBL方式 SMTP通信链接速率、频度的设定 反向域名验证法 基于信头、信体、附件的内容关键词 基于贝叶斯算法的统计分析 基于垃圾邮件判定规则,电子邮票 Challenge-Response Domainkeys、SenderID SPF (sender
10、policy framework),检测,响应,丢弃(Drop) 标记（Lable） 隔离（Quarantine,主要内容,垃圾邮件的情况,反垃圾邮件技术分析,技术概览 垃圾邮件的响应环节及措施 邮件的传输过程及对垃圾邮件的控制,中文垃圾邮件过滤规则研究,CCERT开展的反垃圾邮件工作,邮件的传输过程,Originator,Receiver,External-Relay,布控点及相关措施（一）,Originator端：,在发送邮件的服务器上采取措施： 限制服务器发送邮件的速率、频率 规定邮件服务器开放服务的端口，关闭不必要的服务 使用经过认证的MTA转发邮件 设定邮件用户身份认证方式,与邮件用
11、户间互签安全协议,对转发邮件过程中的Relay 服务器身份认证：,布控点及相关技术（二）,：可信任的信道，即每次中转都采用可信赖的实体 SSL/TLS PPP Logic SSH,：合法的对象源，对邮件信息可以做确认 S/MIME PGP,设置不同方式的过滤措施,Receiver 端：,布控点及相关技术（三）,基于流量的入侵检测,基于honeypot或miningfield 的检测,订制第三方服务,例如:DSBL、DCC、Razor、APF Challenge-response,黑名单,不占用计算机资源，易于实施 。 需要手动维护的IP地址清单。 垃圾邮件发送者经常修改他们的IP地址，并采用一
12、个广泛的IP地址区间以逃避反垃圾邮件手段的检测，因此该方案在总体的垃圾邮件解决方案中仅起补充作用。 黑名单、白名单、灰名单,设置不同方式的过滤措施,Receiver 端：,布控点及相关技术（三）,基于流量的入侵检测,基于honeypot或miningfield 的检测,订制第三方服务,例如:DSBL、DCC、Razor、APF Challenge-response,RBLs (实时黑名单),也被称为DNS-RBLs, 检查所有收到邮件的IP地址，与在RBL中的IP地址核对来阻断与spammer 的连接。 RBL服务运营商维护公共RBLs, 使用单位仅需订阅实时黑名单服务。 RBLs的计算开销非
13、常低，同时它们通常采用一个类似与DNS的协议实施，所以它们的网络开销也非常低。 RBLs缺点易于产生误报，须谨慎。,RBL工作原理,SMTP服务器接收到链接请求对链接地址进行DNS反向查询与RBL服务器建立查询查询得到肯定的结果，则拒绝该连接查询无结果，继续进行连接,设置不同方式的过滤措施,Receiver 端：,布控点及相关技术（三）,基于流量的入侵检测,基于honeypot或miningfield 的检测,订制第三方服务,例如:DSBL、DCC、Razor、APF Challenge-response,检查邮件内容中含有的URL链接 定义受益黑名单,基于BBL过滤,设置不同方式的过滤措施,
14、Receiver 端：,布控点及相关技术（三）,基于流量的入侵检测,基于honeypot或miningfield 的检测,订制第三方服务,例如:DSBL、DCC、Razor、APF Challenge-response,DOS(拒绝服务)攻击-垃圾邮件发送者经常试图通过在很短一段时间发送大量邮件阻塞邮件服务器 。速率控制允许在一段时间内从相同IP试图的联接数量控制在设置的范围内 。,链接频度控制,设置不同方式的过滤措施,Receiver 端：,布控点及相关技术（三）,基于流量的入侵检测,基于honeypot或miningfield 的检测,订制第三方服务,例如:DSBL、DCC、Razor、A
15、PF Challenge-response,反向域名验证,对收到邮件的来源IP地址采用反向DNS查找验证真实性 如果反向DNS查找提供的域与邮件上的来源IP地址相符合，该邮件被接受。如果不符合，该邮件被拒绝。 由于很多反向DNS目录未被有效建立 ，或无法正常建立，比如，任何”vanity”域名决大多数情况下没有一个正确的反向DNS查找。在这种情况下，由这些域发送的邮件将被阻断，造成不可接受的高误报告率。,简单有效、可以阻断绝大多数垃圾邮件； 词语过滤识别包含特定关键字的所有邮件，比如“免费”、“色情”等在垃圾邮件中经常发现的词语；例如在MUA可以自定义过滤关键词 关键词过滤集能够持续升级Q：垃
16、圾邮件发送者经常将一些单词拼错，以图饶过词语过滤器，所以词语过滤器需要经常升级，加入关键字的变更。,关键词过滤法,设置不同方式的过滤措施,Receiver 端：,布控点及相关技术（三）,基于流量的入侵检测,基于honeypot或miningfield 的检测,订制第三方服务,例如:DSBL、DCC、Razor、APF Challenge-response,贝叶斯过滤法,贝叶斯算法：以著名数学家托马斯贝叶斯（1702-1761)命名，一种基于概率分析的可能性推论理论。 分析过去事件的知识，预测未来事件 。 贝叶斯过滤器与以前收到的垃圾邮件和合法邮件的中相同词语及短语出现的概率对比来确定垃圾邮件的可能性。 贝叶斯过滤法强大，是阻断垃圾邮件最为精确的技术过滤准确率可达到99% 过滤准确性依赖大量的历史数据。,设置不同方式的过滤措施,Receiver 端：,布控点及相关技术（三）,
