《信用贷款违约与选股系统应用.ppt》由会员分享，可在线阅读，更多相关《信用贷款违约与选股系统应用.ppt（54页珍藏版）》请在金锄头文库上搜索。
1、資料採礦分類分析系統之建構與應用 -信用貸款違約與選股系統應用,指導教授：姜林杰祐 博士,學生：陳冠名,摘要,本研究以資料採礦的分類方法為核心，嘗試建構一開放式的分類分析系統，其內含的分類演算法包括ID3、C4.5、貝氏分類法與記憶基礎推論法等。 為驗證本系統的有效性，本研究以銀行信用貸款資料庫為例，分類正常戶與違約戶；並將此分類工具應用於股市的分析、預測，期能以此系統發展資料趨導式的選股模型,,Company Logo,報告大綱,第一章、研究目的與動機。 第二章、文獻探討。 第三章、資料採礦分類分析系統開發。 第四章、實例應用一。 第五章、實例應用二。 第六章、結論與未來研究。,,Compa
2、ny Logo,研究動機與目的,近年來資料氾濫，如何在過度氾濫的資料中去蕪存菁，將無用的資料過濾，進而獲得有用的資訊、知識是相當重要的議題，而資料採礦即是對資料進行分析，以求在大量資料中獲取資訊的有效方法。,,Company Logo,資料採礦方法在財金領域應用現況,Philip Joos 等(1998) 將Logit Model以及決策樹用於比利時某大型銀行資料庫進行信用分類，獲得80%以上之的準確度。 Nazli Ikizler等(2000)使用決策樹C4.5演算法對銀行放款資料進行分析，試圖找出令人感興趣的分類規則，此研究結果發現數條有用之分類規則，可供決策運用。 Muh-Cherng
3、Wu等(2006)以決策樹結合濾嘴法則，應用於股市交易，獲得13%的報酬率。,,Company Logo,資料採礦於金融業之應用,資料來源：吳振晃(2003),,Company Logo,資料採礦方法,分群。分群是針對樣本進行劃分，與分類不同的是，進行分類時使用者必須明確知道要以何種準則來對樣本進行劃分，而分群屬於非監督式學習法，使用者不需知道樣本要依何種準則進行劃分(有時也無法得知)，分群演算法會自動對樣本進行劃分，在圖形辨識、市場區隔等領域都有優異的表現，主要演算法有K-平均法、K-物件法等。 關聯。此演算法主要是要探究，當某一事件發生時，是否會帶動另一事件跟著發生，是一種探究因果關係的方
4、法，最著名的應用為購物籃分析，用以發現消費者的購買行為，以Apriori演算法最為經典。 分類。為一監督式學習方法，主要用於對樣本進行類別的劃分，如對銀行客戶進行信用分級、預測違約戶等都是其主要應用領域，分類包含了眾多演算法可供使用，如決策樹、類神經網路、支援向量機(SVM)、貝氏分類法、記憶基礎推論法(MBR)等都是知名的分類演算法。,,Company Logo,決策樹,ID3：以資訊理論作為屬性選擇之依據,C4.5：改良自ID3,,Company Logo,貝氏分類法,貝氏定理：,現實中，類別C中出現X客戶的機率無法求得,再假設各屬性值相互獨立,由上述可得,,Company Logo,記憶
5、基礎推論法,步驟1 選取訓練樣本集 步驟2 計算屬性距離 絕對差： 平方差： 標準差： 步驟3 計算資料距離，將上述求得各屬性距離加以組合成一個值，用以代表兩資料間的距離，常用合成方式如下 總和： 標準化總和： 歐基里徳距離：,,Company Logo,記憶基礎推論法(續),步驟4 選取k筆鄰近資料進行表決，為了避免表決時有平手的情況，k應取單數為佳。 步驟5 表決方式選擇，判定方式以選出之k個鄰近資料進行多數決，多者即為該預測樣本歸屬之類別，常用判定方式如下： 民主選舉法：所選之k個鄰近樣本具有相同權重，以多者為勝。 加權選舉法：依據所選之k個鄰近樣本與預測樣本的距離給予權重，距離預測樣本
6、愈近，則權重愈大。,,Company Logo,系統架構,,Company Logo,決策樹流程,,Company Logo,貝氏分類法流程,,Company Logo,記憶基礎推論法流程,,Company Logo,銀行信用貸款違約分析,,Company Logo,實驗流程,資料獲取：將欲進行分析之資料載入資料表 資料前置處理：共有雜訊處理、資料離散化、訓練/測試樣本選取三部份 雜訊處理：將兩標準差以外之資料視為雜訊。 資料離散化：以等寬裝箱法將連續型資料分為五類。 訓練/測試樣本選取：隨機挑選151筆資料進行訓練，75筆資料用於測試。 探勘方法選取：依使用者需求選取合適之探勘方法，系統提供
7、方法有決策樹、貝氏分類法、記憶基礎推論法。,,Company Logo,決策樹分析,實驗設定,,Company Logo,決策樹分析(續),實驗結果 ID3 實驗結果 C4.5 實驗結果,,Company Logo,決策樹分析(續),分類規則,,Company Logo,決策樹分析(續),樹狀圖,,Company Logo,貝式分類法分析,實驗設定 實驗結果,,Company Logo,記憶基礎推論法分析,實驗設定,,Company Logo,記憶基礎推論法分析(續),實驗結果,,Company Logo,實例一總結,決策樹因為有一條條的分類規則輸出，較易解釋獲得之分類結果，在實務上較受歡迎，
8、且輸出之規則可做為未來決策判斷之用。 貝氏分類法以貝氏定理為基礎簡單易用，且只需知道各類別所包含的資料個數，即可計算出機率，因此此方法具漸增性當資料增加時不必從頭計算，只需將新舊資料各類別之資料數加總即可 。 記憶基礎推論法之預測效果最優，對於小樣本也可獲得不錯的準確度，然而卻也是此方法之缺點，此法因為計算量太過龐大，不適於大樣本之預測。,,Company Logo,資料導向的選股模型建構,,Company Logo,台灣上市公司個股應用,此部份將資料探勘技術應用於股票市場，分析上市公司的財務資料，用以預測下一季的股票平均季報酬，進而使用這些規則來協助投資者建立選股模型。 本實驗採決策樹以及貝
9、氏分類法進行測試，詳細如下,,Company Logo,決策樹,實驗設定,,Company Logo,決策樹(續),實驗結果 季平均報酬0% 實驗結果 季平均報酬3% 實驗結果 季平均報酬5% 實驗結果,,Company Logo,決策樹(續),分類規則 由圖中規則可知，營收成長率、股東權益報酬率、資產週轉率等屬性較為重要，投資者在分析公司財務狀況時，可以多留意這些屬性，例如，由圖15之規則我們可知營收成長率介於1612.85 3437.00，且資產週轉率介於0.14 0.34則平均季報酬大於5%，因此在進行股票選擇時，投資者可優先考量符合此條件之公司。,,Company Logo,貝氏分類法
10、,實驗設定,,Company Logo,貝氏分類法(續),實驗結果,,Company Logo,台灣上市公司個股應用總結,以季平均報酬5%所得預測效果不管終止條件為何皆較其他為好。 實驗最佳準確度約為70%，表現並不優異，可就參與屬性多做調整，已達到更理想的目標。,,Company Logo,台灣大盤指數應用,本案例使用技術指標，結合決策樹C4.5演算法，用以預測台灣大盤趨勢，先利用系統求得分類規則，再挑選出具代表性之規則，利用所挑選之規則進行回測，以測試投資績效。,,Company Logo,資料區間,資料為1968年1月至2007年12月每日之TES指數，本實驗以移動視窗法將資料進行分段，
11、每段十五年，共分六段，每段中以前八年為訓練樣本，次兩年為測試樣本，最後五年之資料進行回測，每段移動幅度為五年，如下圖：,,Company Logo,資料數值說明,,Company Logo,實驗設定,,Company Logo,實驗結果,最大深度3層實驗準確度 最大深度5層實驗準確度,,Company Logo,有效規則篩選,,Company Logo,有效規則篩選 (續),,Company Logo,回測,系統所獲得之分類規則，無非想建立一選股模型，以運用於股票市場，期能對投資者有所幫助，此處說明將先前獲得之分類規則做適當處理，再利用程式交易軟體”TradeStation”對選股規則進行回測
12、，驗證選股模型對投資者是否有所幫助。 報酬率,,Company Logo,交易資訊以及報酬曲線,期間一(19781982)交易資訊 期間一(19781982)報酬曲線,,Company Logo,交易資訊以及報酬曲線(續),期間二(19831987)交易資訊 期間二(19831987)報酬曲線,,Company Logo,交易資訊以及報酬曲線(續),期間三(19881992)交易資訊 期間三(19881992)報酬曲線,,Company Logo,交易資訊以及報酬曲線(續),期間四(19931997)交易資訊 期間四(19931997)報酬曲線,,Company Logo,交易資訊以及報酬曲線
13、(續),期間五(19982002)交易資訊 期間五(19982002)報酬曲線,,Company Logo,交易資訊以及報酬曲線(續),期間六(20032007)交易資訊 期間六(20032007)報酬曲線,,Company Logo,台灣大盤指數應用總結,由實驗結果看出，第二及第五段訓練期間所得之規則，使用移動平均作為判斷依據，在TradeStation回測下所得之報酬皆為負報酬，且由報酬曲線可看出，隨著交易次數增多，投資報酬率漸漸趨向於負，曲線呈負斜率，投資者在做投資時可稍加留意。 由第三、第四以及第六訓練期間所得之規則，同時使用乖離率、趨向指標以及威廉指標作為選股依據，可獲得良好之報酬率，再觀察報酬曲線，可發現使用此三項指標作為策略依據之報酬曲線，期間雖小有震盪，但大致趨勢呈正斜率，此三指標應可作為投資者參考之用。,,Company Logo,結論與未來研究,此篇論文簡單說明了資料採礦方法及其應用，並以自建系統操作兩個實例
