《数据挖掘软件clementine中文教程》由会员分享，可在线阅读，更多相关《数据挖掘软件clementine中文教程（103页珍藏版）》请在金锄头文库上搜索。
1、数据挖掘软件数据挖掘软件clementine中文教程中文教程資料採礦在CRM的應用SPSS Clementine 中文版研討會內容 一 資料採礦的秘辛資料採礦觀念資料採礦到底是什麼？為什麼要做資料採礦？Data Mining 和統計及OLAP有什麼不同？Data Mining 和 Data Warehousing 的關係Data Mining 的方法與特徵怎麼做好Data Mining？何謂CRISP-DM及其重要性研討會內容二 Clementine中文版功能說明Clementine的工作環境及其方便容易的操作能力完全中文化的介面和CRISP-DM的結合協助整理串流跟輸出的管理員用串流方式做資
2、料採礦超級節點研討會內容二 Clementine中文版功能說明對應CRISP-DM，Clementine有哪些功能(一) Clementine 在商業理解階段提供的功能(二) Clementine 在資料理解階段提供的功能(三) Clementine 在資料預備階段提供的功能(四) Clementine 在塑模階段提供的功能(五) Clementine 在評估階段提供的功能(六) Clementine 在部署階段提供的功能資料採礦的秘辛Data Mining 是什麼？Data Mining是從資料中找出有用珍貴知識的一個過程何謂珍貴？何謂過程？Why WhoWhat WhenWhere How
3、何謂過程？n 增加銷售n 交叉銷售n 減少流失n 降低成本n 忠誠的客戶n 警察找出罪犯n 醫學找出疾病n 國稅局找逃稅 何謂珍貴？許多技術知識的融合（統計、人工智慧、未來的基因演算法等），並非一個演算法就可以解決全部問題資料資料資訊資訊知識知識將沈睡的資料中的資訊轉變為活的知識，進而成為決策的智慧為什麼要做 Data Mining？競爭日益劇烈，了解客戶需求才能佔有優勢過去及現在和客戶互動方式的改變過去n互動單純n直接了解客戶個人化需求現在n互動複雜n難直接了解客戶個人化需求n電子化Data Mining 和統計不同？Data Mining沒有事先假設多數狀況下母體參數已知資料量越大越好，小
4、資料也可以挖只是較不可靠融合各種知識，包括統計、Machine Learning、人工智慧、基因等統計先假設再檢定母體參數未知資料量不可太大Data Mining 和 OLAP 不同？Data Mining包括對手邊資料的呈現，以及OLAP無法呈現的隱藏行為模式除了分析過去資料，也可以預測未來OLAPOn-Line Analytical Process對手邊資料的多維度呈現，無法呈現隱藏行為模式對現有資料的分析Data Mining 和資料倉儲的關係何謂資料倉儲 (Data Warehousing)？將現有資料、歷史資料、外部資料等經過有系統的整合，把資料選取、分類、轉換達到最佳化後，融入一個
5、設計好的關連式資料庫中，以利資料分析者存取，大量改進效率。Data Mining 及 OLAP 都是由資料倉儲中取出資料分析Data mining 為何要從資料倉儲開始？也可以從檔案、資料庫中存取資料資料倉儲提供的資料量更足夠從多種資料檔或資料庫中取出檔案可能遭遇格式不符不一致的問題，要多花時間在整合上，若有資料倉儲，可以省去不少麻煩。資料採礦的定位Business ValueTimeQuery &ReportingOLAPData MiningReal-timePersonalizationMeasurement (historical)Prediction (future)我們流失了多少客
6、戶?這些流失客戶是位於哪個地區?哪些是高風險客戶以及原因是?我們應該即時提供這位客戶什麼服務?From SPSS White PaperData Mining 的方法ClassificationClusteringEstimationPredictionMarket Basket AnalysisDescription預測和分類推估類似，不同在於是預測未來，將新資料帶入既有資料建立的模型預測結果銀行新申請信用卡的客戶要給多少額度推估和分類的不同在於目標變數為連續值，常和分類配合用分類判斷為會貸款客戶後，再推估會貸款的金額群集非監督式，未知有幾類，將性質類似的資料加以區隔把顧客資料分群對不同群體
7、採用不同推銷手法分類目標變數（依變數、反應變數）為類別的狀況信用卡公司將既有資料分為偽卡非偽卡找出偽卡的模式購物籃分析找出哪些事件會一起發生超級市場發現男性客戶會一起購買啤酒跟尿布描述增進對於資料的認識，圖形視覺化呈現，或規則、決策樹等相關技術類神經決策樹 (C5.0 C&RT)Logistic 迴歸等等相關技術K-Means兩步驟Kohonen等等相關技術迴歸C&RT等等相關技術分類跟估計的所有方法相關技術AprioriGRI等等相關技術決策樹規則各類圖表等等Data Mining 的其他特徵Interactive 互動性Automation 電腦自動化Continuing 連續性，是動態的
8、團隊分工合作具有決策功能，使企業組織創新、再造目標：一對一個人化（Personalize）怎樣才能做好 Data MiningProcess符合 Data Mining 的程序，如 CRISP-DMEnvironment企業組織內部要有共識從管理階層、資訊部門、行銷企劃單位、基層執行單位等都要能分工合作Tools好的 Data Mining 工具才能讓Data Mining發揮功效配合資料倉儲CRISP-DM 標準流程Cross-Industry Standard Process for Data MiningSPSS 和 NCR 在 1996 年為克萊斯勒做資料採礦時訂出的一套標準程序，並參
9、加了專家意見修訂，目前版本為1.01.商業理解 (Business Understanding)2.資料理解 (Data Understanding)3.資料預備 (Data Preparation)4.塑模 (Modeling)5.評估 (Evaluation)6.部署(或佈署) (Deployment)1. Business Understanding了解企業方針及要解決的問題何在訂定 Data Mining 計畫2. Data Understanding收集初步資料簡單了解資料確認資料品質3. Data Preparation資料清理、整合格式設定，為下一步建立模型做準備4. Model
10、ing選定要建立的模型用上一步驟的資料建立模型並測試5. Evaluation評估模型及回顧整個過程決定是否進入下一階段6. Deployment計畫要怎麼部署監控部署過程產出報告並檢討CRISP-DM 流程圖以資料為中心不斷循環不是從頭做到尾，有需要時可以往回ClementineClementine 中文版中文版現代淘金者的最佳資料採礦工具功能介紹功能介紹工作環境完全中文化工作環境介面介紹操作管理區：管理操作時期產生的stream, 輸出, 模型串流工作區：實際上用來建構DM流程的所有的動作、設定的區域節點調色版：不同的node代表不同功能的工具，不同的活頁代表不同的DM 流程的工具集合專案
11、管理區：以DM專案的角度來管理stream, 輸出, 模型工作環境專案管理一個專案可以包括多個串流、圖表、各種外部檔案，全部可以利用右下角的專案管理員整理起來。優點：不用每次都去找要用的檔案跟相關串流，直接開啟專案，所有相關物件都會出現在專案管理員中。工作環境配合CRISP-DM流程可將各種檔案及流程圖分門別類整理在六個CRISP-DM步驟的資料夾中，方便任何使用人員隨時存取。很清楚所做過的流程，有架構不紊亂。即使非原始的建立者也可以迅速進入狀況。也可依自己需求增減資料夾工作環境管理員Clementine會自動將所有流程放在串列區，跑出的圖表放在輸出區，建立的模型則放在模型區，隨時可以點選不用
12、重跑一遍。且這些結果都可儲存保留。工作環境用串流方式呈現上使用者在工作區自由發揮，利用豐富的工具，設計出最符合實際需要的流程。彈性大、自由度高。工作環境 Windows 作業環境配合基本的windows功能如剪貼、滑鼠拖曳、右鍵功能表、鍵盤快速鍵直接操作等，讓熟悉windows的使用者可以馬上上手。基本功能自動配置基本功能加入節點註解加入註解，滑鼠游標移過去就可以看到註解。基本功能超級節點基本功能超級節點CRISP-DM 中的Clementine功能Clementine中文版在商業理解(I)提供的功能把計畫、專業術語相關檔案直接存放在專案中，任何使用 Clementine 7.2 中文版的人員
13、都可以隨時輕鬆查閱。商業理解(I)外部檔案把術語對照表、計畫專案文件等放入專案中，任何計畫參與者都可以隨時隨地開啟這些檔案查詢閱覽。CRISP-DM 中的Clementine功能Clementine中文版在資料理解(II)提供的功能各式各樣的前端資料輸入統計敘述、表格、標記、檢查遺漏狀況豐富的圖形種類圖形多變化，依照所需呈現資料資料理解(II)讀取資料資料理解(II)檢視資料利用表格節點，可以隨時看見資料在串流中任何步驟的狀況。資料理解(II)檢視資料資料理解(II)檢視資料資料理解(II)檢視資料資料理解(II)檢視資料資料理解(II)直方圖連續變數的分佈。資料理解(II)散佈圖兩個連續變數
14、的分佈。資料理解(II)散佈圖也可以用散佈圖畫類別變數資料理解(II)分佈圖類別變數的分佈狀況資料理解(II)關聯網類別變數間的關聯CRISP-DM 中的Clementine功能Clementine中文版在資料預備(III)提供的功能列處理功能行處理功能設定全域變數供其他節點使用透過圖形產生衍生變數，省去自己撰寫的時間資料預備(III)列處理(選取)資料預備(III)列處理(抽樣)資料預備(III)列處理(平衡)資料預備(III)列處理(整合)資料預備(III)列處理(合併)資料預備(III)行處理(類型)資料預備(III)行處理(過濾器)資料預備(III)行處理(導出)資料預備(III)行處
15、理(填入器)資料預備(III)行處理(設成旗標)資料預備(III)自動產生複雜節點資料預備(III)其他功能此外，資料預備階段還有提供以下功能：合併- 將這個月與下個月記錄合併排序- 將資料根據某些欄位排序整體- 將某個變數的值（最大值、平均數等）設定為global變數。歷史- 用於時間序列資料等等CRISP-DM 中的Clementine功能Clementine中文版在塑模(IV)提供的功能多種群集、分類、預測、關聯規則模型分類樹一覽無遺的瀏覽器詳盡的統計報表將預測結果隨心所欲呈現混合式模型一點也不難塑模(IV)關聯規則塑模(IV)Kohonen塑模(IV)K-Means塑模(IV)類神經網
16、路塑模(IV)C5.0塑模(IV)Logistic 迴歸塑模(IV)主成分/因子塑模(IV)混合式模型CRISP-DM 中的Clementine功能Clementine中文版在評估(V)提供的功能多樣化的評估圖形同時將多個模型的結果做比較評估(V)比較預測準確度評估(V)評估圖形CRISP-DM 中的Clementine功能Clementine中文版在部署(VI)提供的功能各種格式的檔案輸出自動化產生設計好的報告格式和 Solution Publisher 結合部署(VI)自動產生報告部署(VI)各種檔案輸出內建應用範例說明 CATClementine Application Template
17、Telco(針對電信業所做的範本)建立churn與cross-selling 模型CRM(針對百貨零售業所做的範本)建立顧客價值區隔與特性、郵寄行銷的模型、顧客在不同區隔間變化的模型Web-Mining(針對電子商務網站所做的範本)以瀏覽者與顧客不同層級的資料並結合多個web log的資料處理方法建立多個模組Take a breakTake a breakClementineClementine中文版中文版在Data Mining的應用案例研討會內容三 Clementine 中文版在Data Mining的應用案例Data Mining的應用範疇Clementine中文版如何應用於CRM?CR
18、M 的成長趨勢為什麼要進行CRM?何謂CRM?Clementine 對於CRM的機會點在哪裡?Clementine 在CRM中的應用有哪些?各產業的應用層面配合CRISP-DM之應用案例展示Clementine豐富的部署應用Data Mining 應用於CRM中產生的無形效益Data Mining的應用範疇客戶關係管理(CRM)犯罪(Criminal)教育(Education)醫療(Health Care)科學研究(Research)製程管理(Process Management)Clementine中文版如何應用於CRM?CRM 的成長趨勢Asia/Pacific CRM Market ($
19、M)02040608010012014016018020020012007Source: IDC. 2003為什麼要進行CRM?過去購物以必要性為基準現在心理因素逐漸影響顧客的消費行為顧客的接觸管道多元化何謂CRM?發現需求 OLTP = 企業/組織的眼與耳記憶偏好 Database = 企業/組織的腦學習 Data Mining = 企業/組織的智慧行動 Marketing = 企業/組織的手與腳Clementine 對CRM的機會在哪裡?CRM 了解客戶(Client)操作型操作型CRM (Operational CRM)分析型分析型CRM (Analytical CRM)(分析測量, 預
20、測並最佳化客戶關係)具有智慧型判斷能力了解客户Data mining 是CRM的核心Clementine 在CRM中的應用有哪些 ?潛在客戶分析 (Customer acquisition)顧客區隔 (Customer segmentation)交叉銷售再銷售 (Cross-selling/Up-selling)詐欺分析 (Fraud detection)風險評估 (Risk analysis)顧客挽留 (Customer retention).各產業的應用層面電信業客戶流失管理 顧客終身價值及利潤價值 行銷回應預測交叉銷售/再銷售 電子商務顧客終身價值 交叉銷售/再銷售 瀏覽行為分析政府機構
21、員工流失管理犯罪偵測零售業 忠誠度及通路忠誠度行銷回應預測客戶產品偏好分析與鑑別 交叉銷售/再銷售 製造業良率分析製程改善需求預測醫療業 病人流失管理 潛在新病人分析 病人屬性區隔各產業的應用層面生命科學 基因抗藥反應分析 基因序列分析 藥物區隔分析 藥物市場風險評估娛樂業 客戶流失管理 目標客戶分析 客戶區隔 需求預測分析銀行風險管理 行銷回應預測維持顧客模型 顧客終身價值及利潤價值 多通路行為管理 信用卡冒用偵測 保險業交叉通路銷售 顧客終身價值及利潤價值 維持顧客模型 詐欺理賠分析配合配合CRISP-DMCRISP-DM之應用案例展示之應用案例展示ClementineClementine
22、中文版與中文版與CRISP-DMCRISP-DM結合結合CRISP-DM(CRoss-Industry Standard Process for DM)專案目標檔資料理解Exploring streams資料預備Preparing streams塑模、評估Modeling streams部署應用Deploying streams案例展示：CRISP-DM中的資料採礦工作Clementine中文版在商業理解(I)階段：將專案的目標、資料的定義等外部檔案存放於此專案夾中原始購買資料分佈狀況，協助了解專案目標案例展示CRISP-DM中的資料採礦工作Clementine中文版在資料理解(II)階段：欄
23、位敘述、資料量、類型定義、檢查遺漏狀況各角度資料的圖形分佈檢視各變數資料圖表分佈，了解購買行為案例展示CRISP-DM中的資料採礦工作Clementine中文版在資料預備(III)階段：產生衍生性變數並檢視其分佈狀況整合總結、排序資料並修改欄名稱篩選、切割並平衡資料以提供模型建置使用案例展示CRISP-DM中的資料採礦工作Clementine中文版在塑模(IV)階段：定義輸入/輸出模型之變數使用決策樹、類神經演算法進行預測設計混合式模型，提昇模型效果隱藏規則一覽無遺案例展示CRISP-DM中的資料採礦工作Clementine中文版在評估(V)階段：產生收益計算之衍生性變數選擇測試組資料進行評估
24、利用評估圖衡量模型效益案例展示CRISP-DM中的資料採礦工作Clementine中文版在部署(VI)階段：合併新資料以進行預測篩選符合預測之記錄結合Clementine Solution Publisher發佈解決方案Data Mining 應用於CRM中產生的無形效益客戶透過Web即可獲得產品建議滿意度提昇企業/組織掌握目標客戶(Profit account)加強客戶忠誠度提高荷包佔有率(wallet share)改善消費產品結構降低通路成本最佳資料採礦工具 SPSS ClementineMay, 2003 KDnuggets : Polls : Data mining tools you regularly use符合CRISP-DM所訂定的標準化流程 Windows為使用者介面與具有中文處理能力 強大的資料整合能力 處理大量資料的執行效能 具有豐富、可靠的modeling techniques 建立混合式模型內建資料採礦應用樣板CEMI擴展建置模型的使用彈性完整的模型評估能力良好的部署應用http:/.tw/spssThank youThank you 交易資訊：數量價格時間地點顧客資料資料轉換整理OLTP交易資料上網購物營運資料庫營運資料庫 資料倉儲資料倉儲 (Data Warehouse)資料採礦資料採礦Server更深入的見解行銷人員OLAPServer
