《{决策管理}决策树的重要性》由会员分享，可在线阅读，更多相关《{决策管理}决策树的重要性（29页珍藏版）》请在金锄头文库上搜索。
1、決 策 樹 分類法,中原 資管所 李維平 老師,決策樹的重要性,在商業界最常用的方法之一,Decision Tree 之意義,Decision Tree 之意義,If We have much money ANDWe are buying a gift for an adult THEN Buy a car If We have much money ANDWe re buying a gift for a child THEN Buy a computer,Yes,Yes,Yes,Yes,Yes,Yes,Yes,Yes,Yes,Yes,Yes,Yes,Yes,Yes,Yes,Yes,No,N
2、o,No,No,No,No,No,No,No,No,No,No,No,No,No,No,No,No,Yes,有弦？,用吹的？,彎如弓的？,演奏時要用下巴夾的？,用彈的？,有鍵盤的？,木管樂器？,有簧片？,有雙簧片？,銅管樂器？,常用於通俗樂器中？,比演奏者高？,常用於通俗樂器中？,有十根弦以上？,打擊樂器？,有弦？,鼓棒？,有音鎚的？,曲型的？,筆直的？,彈奏？,小提琴,中提琴,低音提琴,大提琴,不知道,豎琴,詩琴,揚琴,不知道,電子樂器,風琴,Yes,撥弦古鋼琴,鋼琴,Yes,No,Yes,No,名詞解釋,根節點 葉節點 內部節點,決策樹本質：是一個分類器,收入 年齡 職業 ,分類器,好 普
3、通 差,銀行客戶: 信用分類,“信用”為 目標屬性：,決策樹,決策樹優點：可以萃取分類規則 例如：銀行新客戶的信用分類問題,決策樹例子,1:信用好, 2:信用差,單純資料,混亂資料,例子: 舊客戶購買之歷史資料,新客戶:女生、商學院，請問她最可能購買的產品？,決策樹例子,1:電腦, 2:手機,學院,性別,1 2,1 2,男,女,學院,2 2,1 1,商,人文,單純資料,男,女,商,人文,電腦,電腦,手機,手機,性別,混亂資料,(混亂度高),(混亂度低),決策樹,目標屬性：購買產品類別 輸入屬性：性別、學院、年級,混亂度,定義:一群物件的 目標屬性 混亂的程度 三種計算方式: P1 * P2 0
4、1/4 P1 :這群物件目標屬性值為 1的機率 P2 :這群物件目標屬性值為 2的機率 Min (P1 , P2) 01/2 Entropy: - P1log2 P1 - P2log2 P2 01,練習: 計算混亂度,1, 1, 1, 1,1, 1, 1, 2,1, 1, 2, 2,Min (P1 , P2),P1 * P2,決策樹精神,挑選一輸入屬性，能將目標屬性的混亂度降到最低,決策樹演算法,(Step1) 選擇一輸入屬性，將所有objects作分類 (Step2) 計算分類後之 平均混亂度 (Step3) 選擇能使混亂度降得最低的屬性，作為節點之判別屬性 (Step4) 反覆(Step1
5、3) ，直到停止條件,停止條件,當葉節點滿足下列條件 即停止 1. 所有物件的目標屬性，皆為同一類 2. 沒有輸入屬性可以降低混亂度,決策樹模型: 三階段模式,訓練階段 將決策樹訓練出來 測試階段 測試決策樹的準確性 運用階段 可對一未知資料作分類,Decision Tree 之準確率,利用 ”測試資料” 作測試,練習,age?,income?,credit rating?,fair,excellent,=30,40,no,no,yes,yes,yes,3040,Root Node,Child Node,Leaf Node,h,m,l,no,決策樹相關演算法,ID3 : (前面所教) Quin
6、lan 1979 輸入屬性為離散 C4.5 : (IBM Mining 軟體所採用) Breiman 1984 輸入屬性可為連續,決策樹 mining 過程,A 決定想解決的問題 B 決定目標屬性與輸入屬性 C 決定資料範圍 D 資料前處理 或許需要將連續變數改為”離散”變數 E 建構決策樹，並解釋結果 F 若無法解釋，應回到 A 或 B 再思考,決策樹專案 注意事項 (1/2),目標變數應為 ”離散(類別)” 變數 值不能太多 輸入變數 關聯性太高不適合使用 預測所得高低: 輸入變數為 年齡， 職業， 繳稅高低 預測打擊率高低: 輸入變數為 年齡， 守備位置， 長打率， 月薪,決策樹專案 注意事項 (2/2),目標屬性與輸入屬性關聯性太低 例如:樂透獎 輸入：年，月，週，日 輸出：樂透號碼,作業 (碩專),時間：2 週 請於 3 / 24 (一)前，將報告 mail 給老師與上課成員 報告請用Word檔撰寫，約36頁 應說明每位組員的貢獻 若有問題詢問，每位組員皆可回答,附錄,下週報告(大學部),時間：8分鐘 討論：5分鐘 請於 4 / 8 (日)前 mail 老師與上課成員 應說明每位組員的貢獻 若有問題詢問，每位組員皆可回答,報告(大學部),下週: 請報告關聯規則實作作業 外系同學如何上機練習,
