《无痛式垃圾邮件过滤系统》由会员分享，可在线阅读，更多相关《无痛式垃圾邮件过滤系统（49页珍藏版）》请在金锄头文库上搜索。
1、N O P A M 無痛式垃圾郵件過濾系統Nopam, no spams Nopam, stop the spams with no painpresentedby 吳昇Date1NOPAM卡司v中正電算中心主任 李新林 計畫總召 v中正網際網路研究中心 吳昇 計畫執行 v清華網際網路實驗室博士生 劉培欣 chief architect v其他卡司: 陳思翰, 許廷兆, 林政和,郭文曲, 張賢宗, 蔡秉諺, 潘善均, 蔡耀仁, 陳宏輝,許百欣, 吳旻珊, 黃月美 中正電算中心相關同仁Date2NOPAM好久以前1972 年 電子郵件誕生了1994 年 網際網路資訊革命席捲全球, 電子郵件逐漸成
2、為網路時代最重要的應用之一在幾年以前 email 世界是個幸福快樂的世界, “you got an email“ 裡沒有垃圾信 :-)Date3NOPAM但好景不常在一些貪婪逐利的驅動下, 逐漸的 垃圾信襲捲氾濫整個網路, 幾乎每個人的郵箱 都充斥著各式各樣的垃圾信, 而這不止帶來處理的困擾與時間的浪費, 還帶來不當過濾而誤殺信件的問題!於是電子郵件的黑暗痛苦年代來臨了Date4NOPAM痛痛痛v信箱充滿了垃圾信 - 令人頭痛 v重要的信件被誤殺 - 令人心痛 v垃圾過濾軟體粉貴 - 荷包很痛有些痛是會要命的Date5NOPAM“ 痛苦為創作之母 “Date6NOPAM網路版 魂斷藍橋 的故事
3、Subject: 很重要, 請聽我說親愛的阿花: 我對你的愛如 Yahoo 一樣堅固 如 Google 一樣巨大 如 ebay 一樣寬廣 既然得不到親人的祝福, 只好讓我們私奔共建幸福快樂的國度. 明天七點入夜時藍橋見, 不見不散.雖然阿花每天看信, 但沒有檢查垃圾桶, 於是 發生了魂斷藍橋的悲劇 .太扯了嗎? 讓我們看看一些實際的例子 Date7NOPAM嚴重信件誤殺的親身體驗v 重要通知 Domain Name 到期 信用卡帳單 網路購物繳費通知, 得標通知, 面試通知 v 重要的通訊內容 請假, 約定 繳交作業, 進度報告 情書, 告白, 解釋 久沒聯絡的老友來信 v 重要的商業合約,
4、或業務洽談 v 任何很重要的信件都可能被誤殺Date8NOPAMFrom: HiNet網域名稱服務小組 mailto: Sent: Wednesday, July 06, 2005 12:46 PM To: htchanggais.cs.ccu.edu.tw Cc: HiNet 寄件備份 Subject: *SPAM* ?oz,?ZiA?e3N60?N中正資工 / 吳昇 您好：您所申請的網域名稱: gais.org.tw 有效期限即將於2005/09/04到 期, 如貴公司欲繼續使用該網域名稱, 煩請貴單位於到期日前儘速繳費,Date9NOPAM來源: Mail Delivery System
5、 收信: .tw 日期: Sun, 7 Aug 2005 20:46:22 -0700 (PDT) 標題: Undelivered Mail Returned to Sender This is the Postfix program at host mx.XXXXX.com.Im sorry to have to inform you that the message returned below could not be delivered to one or more destinations.The Postfix program: host mx2.XXXXX.com64.208.8
6、.4 said: 553 sorry, yourenvelope sender is in my badmailfrom list (#5.7.1) (in reply to RCPT TOcommand)Date10NOPAMSpam 發送常見型態v發信大戶, 我發故我賺. vDIY, 散戶打帶跑. v自家厚著臉皮發v大眾播送 亂槍打鳥 v小眾播送 對象名單Date11NOPAMDo you YG today? Although great effort has been made, the major mail service providers still have spam probl
7、ems, especially in falsedrop rate. Date12NOPAMSpam filters 常用技術v白名單, 黑名單, 工人智慧, rule based vBayesian Filter (Content filter), . vOpenRelay Block List vGreyList vDCC, 檢舉連線 vSpam hooking vSendback - ChallengeDate13NOPAMFilters 雙峰困境ScoreNumberDate14NOPAMBayesian filter 等Content filter 的困難v足夠大又精確的樣本空間並不
8、容易建立 vScoring 不容易掌握 v誤殺情形較難控制 vContent overlap between hams and spamsDate15NOPAMSpam filter 軟體常見問題v偵測率不夠高 v誤判率過高 v速度效能或穩定度不夠好, 影響正常郵件 甚至於掉信 v不當阻擋或封鎖造成使用麻煩 v系統需要調教, 需要經過錯誤學習的陣痛 期 v使用不易Date16NOPAM常見垃圾信v 色情廣告信 v 貸款理財 v Drugs Sun, 8 May 2005 21:34:33 +0800 (CST)M(envelope-from )M Message-Id: M From: “Re
9、: 怎麼還沒有回我信呢?“ Subject: Re: 回函確認您的郵件空間已滿 M Date: Sun, 08 May 2005 21:34:39 +0800MDate21NOPAMSpam mails sample - 2From Thu Aug 4 23:43:49 2005 Received: from ccu.edu.tw (61-230-1- 61.230.1.110)Mby mail02.ccu.edu.tw (8.13.3/8.13.3) with ESMTP id j74FhBKH037965Mfor ; Thu, 4 Aug 2005 23:43:12 +0800 (CST)
10、M(envelope-from administratorccu.edu.tw)M Message-Id: M From: administratorccu.edu.tw To: maryccu.edu.tw Subject: *DETECTED* Online User ViolationM Date: Thu, 4 Aug 2005 23:43:09 +0800MAttatch-1: account-details.zip f775f1b247dec629a177cad7c59b145bDate22NOPAMSpam mails sample - 3From Thu Aug 4 23:57
11、:50 2005 Received: from ccu.edu.tw (61-59-250-.tw +61.59.250.197)Mby mail01.ccu.edu.tw (8.13.3/8.13.3) with ESMTP id j74FvVik046124Mfor ; Thu, 4 Aug 2005 23:57:31 +0800 (CST)M(envelope-from infoccu.edu.tw)M Message-Id: M From: infoccu.edu.tw To: bobccu.edu.tw Subject: *WARNING* Account ViolationMDat
12、e23NOPAMSpam mails sample - 4I am sorry I have not learnt to play at cards. It is very useful in life: it generates kindness, and consolidates society. Beware the hobby that eats. Faith is a reasoning trust, a trust which reckons thoughtfully and confidently upon the trustworthiness of God. Hope is
13、the dream of a waking man.Well well!Who can resist a 28kt. white goldRol/ex watch surroundedin stainlesss steal? The high profile Date24NOPAMSpammers high tech - 1vAll That Fakes! vpretends to be your friends ( virus uses a lot) vfaked From: vfaked To: Cc: vfaked Helo, MessageID: vfaked Received Pat
14、h: vfaked Subject: adding noises in the subject adding noises to the sensitive keywords: for example, v1agra, ciliaas, r0lex, Date25NOPAMSpammers high tech - 2vfaked Content for example, adding normal content in the context, such as bible, news twisting some sensitive keywords vOpenRelayDate26NOPAMS
15、pammers high tech - 3vA spam mail can be sent in millions of copies from different IPs, with different Subjects, different Senders, vHacking to spam. Date27NOPAM我們的設計理念 - 1v垃圾信的偵測率要夠高。正常信件的誤 殺率必須極低。而且縱使萬一發生誤殺 ，其誤殺的代價必須是低的! v系統的執行效率必須非常快速，必須做 到隱型效果，讓信件的收發絲毫不受到 影響，沒有任何的延遲。Date28NOPAM我們的設計理念 - 2v系統的穩定性與可靠度必須非常高，務 必做到傳送過程滴水不漏，並有嚴密的 保護機制來保證系統不掉信。 v系統的使用必須是極易安裝，無須設定 (例如白名單/黑名單)，無須調教，一旦 安裝系統就會自動的發揮功效。Date29NOPAM我們的設計理念 - 3v為了讓我們的系統未來能不分地域。語 系的運用於不同地方，我們思考著要如 何設計出一種不需正常與垃圾信件樣本 的訓練，不需要經過學習痛苦，就能夠 適用於各種語系與國家的系統。而要達 到此目的的前提是，必須要設計出一種 技術，能夠掌握垃圾信關鍵的特徵，而 此特徵是無關乎信件內容，語系與地域 的。Date30NOPAMKey Ideas垃圾郵件與正常郵件
