數(shù)據(jù)挖掘軟件clementine中文教程

1、 資料採(cǎi)礦在crm的應(yīng)用spss clementine 中文版中文版研討會(huì)內(nèi)容研討會(huì)內(nèi)容 一一 資料採(cǎi)礦的秘辛資料採(cǎi)礦的秘辛資料採(cǎi)礦觀念資料採(cǎi)礦到底是什麼？為什麼要做資料採(cǎi)礦？data mining 和統(tǒng)計(jì)及olap有什麼不同？data mining 和 data warehousing 的關(guān)係data mining 的方法與特徵怎麼做好data mining？何謂crisp-dm及其重要性研討會(huì)內(nèi)容研討會(huì)內(nèi)容二二 clementine中文版功能說(shuō)明中文版功能說(shuō)明clementine的工作環(huán)境及其方便容易的操作能力完全中文化的介面和crisp-dm的結(jié)合協(xié)助整理串流跟輸出的管理員用串流方式做資

2、料採(cǎi)礦超級(jí)節(jié)點(diǎn)研討會(huì)內(nèi)容研討會(huì)內(nèi)容二二 clementine中文版功能說(shuō)明中文版功能說(shuō)明對(duì)應(yīng)crisp-dm，clementine有哪些功能(一) clementine 在商業(yè)理解階段提供的功能(二) clementine 在資料理解階段提供的功能(三) clementine 在資料預(yù)備階段提供的功能(四) clementine 在塑模階段提供的功能(五) clementine 在評(píng)估階段提供的功能(六) clementine 在部署階段提供的功能資料採(cǎi)礦的秘辛data mining 是什麼？是什麼？data mining是從資料中找出有用珍貴知識(shí)的一個(gè)過(guò)程何謂珍貴？何謂過(guò)程？why whow

3、hat whenwhere how何謂過(guò)程？n 增加銷售n 交叉銷售n 減少流失n 降低成本n 忠誠(chéng)的客戶n 警察找出罪犯n 醫(yī)學(xué)找出疾病n 國(guó)稅局找逃稅 何謂珍貴？許多技術(shù)知識(shí)的融合（統(tǒng)計(jì)、人工智慧、未來(lái)的基因演算法等），並非一個(gè)演算法就可以解決全部問(wèn)題資料資料資訊資訊知識(shí)知識(shí)將沈睡的資料中的資訊轉(zhuǎn)變?yōu)榛畹闹R(shí) ，進(jìn)而成為決策的智慧為什麼要做為什麼要做 data mining？競(jìng)爭(zhēng)日益劇烈，了解客戶需求才能佔(zhàn)有優(yōu)勢(shì)過(guò)去及現(xiàn)在和客戶互動(dòng)方式的改變過(guò)去過(guò)去n互動(dòng)單純n直接了解客戶個(gè)人化需求現(xiàn)在現(xiàn)在n互動(dòng)複雜n難直接了解客戶個(gè)人化需求n電子化data mining 和統(tǒng)計(jì)不同？和統(tǒng)計(jì)不同？data

4、 mining沒(méi)有事先假設(shè)多數(shù)狀況下母體參數(shù)已知資料量越大越好，小資料也可以挖只是較不可靠融合各種知識(shí)，包括統(tǒng)計(jì)、machine learning、人工智慧、基因等統(tǒng)計(jì)統(tǒng)計(jì)先假設(shè)再檢定母體參數(shù)未知資料量不可太大data mining 和和 olap 不同？不同？data mining包括對(duì)手邊資料的呈現(xiàn)，以及olap無(wú)法呈現(xiàn)的隱藏行為模式除了分析過(guò)去資料，也可以預(yù)測(cè)未來(lái)olapon-line analytical process對(duì)手邊資料的多維度呈現(xiàn)，無(wú)法呈現(xiàn)隱藏行為模式對(duì)現(xiàn)有資料的分析data mining 和資料倉(cāng)儲(chǔ)的關(guān)係和資料倉(cāng)儲(chǔ)的關(guān)係何謂資料倉(cāng)儲(chǔ) (data warehousing)？

5、將現(xiàn)有資料、歷史資料、外部資料等經(jīng)過(guò)有系統(tǒng)的整合，把資料選取、分類、轉(zhuǎn)換達(dá)到最佳化後，融入一個(gè)設(shè)計(jì)好的關(guān)連式資料庫(kù)中，以利資料分析者存取，大量改進(jìn)效率。data mining 及 olap 都是由資料倉(cāng)儲(chǔ)中取出資料分析data mining 為何要從資料倉(cāng)儲(chǔ)開(kāi)始？也可以從檔案、資料庫(kù)中存取資料資料倉(cāng)儲(chǔ)提供的資料量更足夠從多種資料檔或資料庫(kù)中取出檔案可能遭遇格式不符不一致的問(wèn)題，要多花時(shí)間在整合上，若有資料倉(cāng)儲(chǔ)，可以省去不少麻煩。資料採(cǎi)礦的定位資料採(cǎi)礦的定位business valuetimequery &reportingolapdata miningreal-timepersonal

6、izationmeasurement (historical)prediction (future)我們流失了多少客戶?這些流失客戶是位於哪個(gè)地區(qū)?哪些是高風(fēng)險(xiǎn)客戶以及原因是?我們應(yīng)該即時(shí)提供這位客戶什麼服務(wù)?from spss white paperdata mining 的方法的方法classificationclusteringestimationpredictionmarket basket analysisdescription預(yù)測(cè)和分類推估類似，不同在於是預(yù)測(cè)未來(lái)，將新資料帶入既有資料建立的模型預(yù)測(cè)結(jié)果銀行新申請(qǐng)信用卡的客戶要給多少額度推估和分類的不同在於目標(biāo)變數(shù)為連續(xù)值，常和分類

7、配合用分類判斷為會(huì)貸款客戶後，再推估會(huì)貸款的金額群集非監(jiān)督式，未知有幾類，將性質(zhì)類似的資料加以區(qū)隔把顧客資料分群對(duì)不同群體採(cǎi)用不同推銷手法分類目標(biāo)變數(shù)（依變數(shù)、反應(yīng)變數(shù)）為類別的狀況信用卡公司將既有資料分為偽卡非偽卡找出偽卡的模式購(gòu)物籃分析找出哪些事件會(huì)一起發(fā)生超級(jí)市場(chǎng)發(fā)現(xiàn)男性客戶會(huì)一起購(gòu)買啤酒跟尿布描述增進(jìn)對(duì)於資料的認(rèn)識(shí)，圖形視覺(jué)化呈現(xiàn)，或規(guī)則、決策樹(shù)等相關(guān)技術(shù)相關(guān)技術(shù)類神經(jīng)決策樹(shù) (c5.0 c&rt)logistic 迴歸等等相關(guān)技術(shù)相關(guān)技術(shù)k-means兩步驟kohonen等等相關(guān)技術(shù)相關(guān)技術(shù)迴歸c&rt等等相關(guān)技術(shù)相關(guān)技術(shù)分類跟估計(jì)的所有方法相關(guān)技術(shù)相關(guān)技術(shù)aprio

8、rigri等等相關(guān)技術(shù)相關(guān)技術(shù)決策樹(shù)規(guī)則各類圖表等等data mining 的其他特徵的其他特徵interactive 互動(dòng)性automation 電腦自動(dòng)化continuing 連續(xù)性，是動(dòng)態(tài)的團(tuán)隊(duì)分工合作具有決策功能，使企業(yè)組織創(chuàng)新、再造目標(biāo)：一對(duì)一個(gè)人化（personalize）怎樣才能做好怎樣才能做好 data miningprocess符合 data mining 的程序，如 crisp-dmenvironment企業(yè)組織內(nèi)部要有共識(shí)從管理階層、資訊部門、行銷企劃單位、基層執(zhí)行單位等都要能分工合作tools好的 data mining 工具才能讓data mining發(fā)揮功效配合資料

9、倉(cāng)儲(chǔ)crisp-dm 標(biāo)準(zhǔn)流程標(biāo)準(zhǔn)流程cross-industry standard process for data miningspss 和 ncr 在 1996 年為克萊斯勒做資料採(cǎi)礦時(shí)訂出的一套標(biāo)準(zhǔn)程序，並參加了專家意見(jiàn)修訂，目前版本為1.01.商業(yè)理解 (business understanding)2.資料理解 (data understanding)3.資料預(yù)備 (data preparation)4.塑模 (modeling)5.評(píng)估 (evaluation)6.部署(或佈署) (deployment)1. business understanding了解企業(yè)方針及要解決的問(wèn)題

10、何在訂定 data mining 計(jì)畫2. data understanding收集初步資料簡(jiǎn)單了解資料確認(rèn)資料品質(zhì)3. data preparation資料清理、整合格式設(shè)定，為下一步建立模型做準(zhǔn)備4. modeling選定要建立的模型用上一步驟的資料建立模型並測(cè)試5. evaluation評(píng)估模型及回顧整個(gè)過(guò)程決定是否進(jìn)入下一階段6. deployment計(jì)畫要怎麼部署監(jiān)控部署過(guò)程產(chǎn)出報(bào)告並檢討crisp-dm 流程圖流程圖以資料為中心不斷循環(huán)不是從頭做到尾，有需要時(shí)可以往回clementine 中文版中文版現(xiàn)代淘金者的最佳資料採(cǎi)礦工具功能介紹功能介紹工作環(huán)境工作環(huán)境完全中文化完全中文化工

11、作環(huán)境工作環(huán)境介面介紹介面介紹操作管理區(qū)：管理操作時(shí)期產(chǎn)生的stream, 輸出, 模型串流工作區(qū)：實(shí)際上用來(lái)建構(gòu)dm流程的所有的動(dòng)作、設(shè)定的區(qū)域節(jié)點(diǎn)調(diào)色版：不同的node代表不同功能的工具，不同的活頁(yè)代表不同的dm 流程的工具集合專案管理區(qū)：以dm專案的角度來(lái)管理stream, 輸出, 模型工作環(huán)境工作環(huán)境專案管理專案管理一個(gè)專案可以包括多個(gè)串流、圖表、各種外部檔案，全部可以利用右下角的專案管理員整理起來(lái)。優(yōu)點(diǎn)：不用每次都去找要用的檔案跟相關(guān)串流，直接開(kāi)啟專案，所有相關(guān)物件都會(huì)出現(xiàn)在專案管理員中。工作環(huán)境工作環(huán)境配合配合crisp-dm流程流程可將各種檔案及流程圖分門別類整理在六個(gè)crisp

12、-dm步驟的資料夾中，方便任何使用人員隨時(shí)存取。很清楚所做過(guò)的流程，有架構(gòu)不紊亂。即使非原始的建立者也可以迅速進(jìn)入狀況。也可依自己需求增減資料夾工作環(huán)境工作環(huán)境管理員管理員clementine會(huì)自動(dòng)將所有流程放在串列區(qū)，跑出的圖表放在輸出區(qū)，建立的模型則放在模型區(qū)，隨時(shí)可以點(diǎn)選不用重跑一遍。且這些結(jié)果都可儲(chǔ)存保留。工作環(huán)境工作環(huán)境用串流方式呈現(xiàn)用串流方式呈現(xiàn)上使用者在工作區(qū)自由發(fā)揮，利用豐富的工具，設(shè)計(jì)出最符合實(shí)際需要的流程。彈性大、自由度高。工作環(huán)境工作環(huán)境 windows 作業(yè)環(huán)境作業(yè)環(huán)境配合基本的windows功能如剪貼、滑鼠拖曳、右鍵功能表、鍵盤快速鍵直接操作等，讓熟悉windows的

13、使用者可以馬上上手?；竟δ芑竟δ茏詣?dòng)配置自動(dòng)配置基本功能基本功能加入節(jié)點(diǎn)註解加入節(jié)點(diǎn)註解加入註解，滑鼠游標(biāo)移過(guò)去就可以看到註解?；竟δ芑竟δ艹?jí)節(jié)點(diǎn)超級(jí)節(jié)點(diǎn)基本功能基本功能超級(jí)節(jié)點(diǎn)超級(jí)節(jié)點(diǎn)crisp-dm 中的中的clementine功能功能clementine中文版在中文版在商業(yè)理解商業(yè)理解(i)提供的提供的功能功能把計(jì)畫、專業(yè)術(shù)語(yǔ)相關(guān)檔案直接存放在專案中，任何使用 clementine 7.2 中文版的人員都可以隨時(shí)輕鬆查閱。商業(yè)理解商業(yè)理解(i)外部檔案外部檔案把術(shù)語(yǔ)對(duì)照表、計(jì)畫專案文件等放入專案中，任何計(jì)畫參與者都可以隨時(shí)隨地開(kāi)啟這些檔案查詢閱覽。crisp-dm 中的中的cl

14、ementine功能功能clementine中文版在中文版在資料理解資料理解(ii)提供提供的功能的功能各式各樣的前端資料輸入統(tǒng)計(jì)敘述、表格、標(biāo)記、檢查遺漏狀況豐富的圖形種類圖形多變化，依照所需呈現(xiàn)資料資料理解資料理解(ii)讀取資料讀取資料資料理解資料理解(ii)檢視資料檢視資料利用表格節(jié)點(diǎn)，可以隨時(shí)看見(jiàn)資料在串流中任何步驟的狀況。資料理解資料理解(ii)檢視資料檢視資料資料理解資料理解(ii)檢視資料檢視資料資料理解資料理解(ii)檢視資料檢視資料資料理解資料理解(ii)檢視資料檢視資料資料理解資料理解(ii)直方圖直方圖連續(xù)變數(shù)的分佈。資料理解資料理解(ii)散佈圖散佈圖兩個(gè)連續(xù)變數(shù)的分

15、佈。資料理解資料理解(ii)散佈圖散佈圖也可以用散佈圖畫類別變數(shù)資料理解資料理解(ii)分佈圖分佈圖資料理解資料理解(ii)關(guān)聯(lián)網(wǎng)關(guān)聯(lián)網(wǎng)類別變數(shù)間的關(guān)聯(lián)crisp-dm 中的中的clementine功能功能clementine中文版在中文版在資料預(yù)備資料預(yù)備(iii)提供提供的功能的功能列處理功能行處理功能設(shè)定全域變數(shù)供其他節(jié)點(diǎn)使用透過(guò)圖形產(chǎn)生衍生變數(shù)，省去自己撰寫的時(shí)間資料預(yù)備資料預(yù)備(iii)列處理列處理(選取選取)資料預(yù)備資料預(yù)備(iii)列處理列處理(抽樣抽樣)資料預(yù)備資料預(yù)備(iii)列處理列處理(平衡平衡)資料預(yù)備資料預(yù)備(iii)列處理列處理(整合整合)資料預(yù)備資料預(yù)備(iii)

16、列處理列處理(合併合併)資料預(yù)備資料預(yù)備(iii)行處理行處理(類型類型)資料預(yù)備資料預(yù)備(iii)行處理行處理(過(guò)濾器過(guò)濾器)資料預(yù)備資料預(yù)備(iii)行處理行處理(導(dǎo)出導(dǎo)出)資料預(yù)備資料預(yù)備(iii)行處理行處理(填入器填入器)資料預(yù)備資料預(yù)備(iii)行處理行處理(設(shè)成旗標(biāo)設(shè)成旗標(biāo))資料預(yù)備資料預(yù)備(iii)自動(dòng)產(chǎn)生複雜節(jié)點(diǎn)自動(dòng)產(chǎn)生複雜節(jié)點(diǎn)資料預(yù)備資料預(yù)備(iii)其他功能其他功能此外，資料預(yù)備階段還有提供以下功能：合併- 將這個(gè)月與下個(gè)月記錄合併排序- 將資料根據(jù)某些欄位排序整體- 將某個(gè)變數(shù)的值（最大值、平均數(shù)等）設(shè)定為global變數(shù)。歷史- 用於時(shí)間序列資料等等crisp-dm

17、中的中的clementine功能功能clementine中文版在中文版在塑模塑模(iv)提供的功能提供的功能多種群集、分類、預(yù)測(cè)、關(guān)聯(lián)規(guī)則模型分類樹(shù)一覽無(wú)遺的瀏覽器詳盡的統(tǒng)計(jì)報(bào)表將預(yù)測(cè)結(jié)果隨心所欲呈現(xiàn)混合式模型一點(diǎn)也不難塑模塑模(iv)關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則塑模塑模(iv)kohonen塑模塑模(iv)k-means塑模塑模(iv)類神經(jīng)網(wǎng)路類神經(jīng)網(wǎng)路塑模塑模(iv)c5.0塑模塑模(iv)logistic 迴歸迴歸塑模塑模(iv)主成分主成分/因子因子塑模塑模(iv)混合式模型混合式模型crisp-dm 中的中的clementine功能功能clementine中文版在中文版在評(píng)估評(píng)估(v)提供的功

18、提供的功能能多樣化的評(píng)估圖形同時(shí)將多個(gè)模型的結(jié)果做比較評(píng)估評(píng)估(v)比較預(yù)測(cè)準(zhǔn)確度比較預(yù)測(cè)準(zhǔn)確度評(píng)估評(píng)估(v)評(píng)估圖形評(píng)估圖形crisp-dm 中的中的clementine功能功能clementine中文版在中文版在部署部署(vi)提供的功能提供的功能各種格式的檔案輸出自動(dòng)化產(chǎn)生設(shè)計(jì)好的報(bào)告格式和 solution publisher 結(jié)合部署(vi)自動(dòng)產(chǎn)生報(bào)告自動(dòng)產(chǎn)生報(bào)告部署部署(vi)各種檔案輸出各種檔案輸出內(nèi)建應(yīng)用範(fàn)例說(shuō)明內(nèi)建應(yīng)用範(fàn)例說(shuō)明 catclementine application templatetelco(針對(duì)電信業(yè)所做的範(fàn)本)建立churn與cross-selling 模

19、型crm(針對(duì)百貨零售業(yè)所做的範(fàn)本)建立顧客價(jià)值區(qū)隔與特性、郵寄行銷的模型、顧客在不同區(qū)隔間變化的模型web-mining(針對(duì)電子商務(wù)網(wǎng)站所做的範(fàn)本)以瀏覽者與顧客不同層級(jí)的資料並結(jié)合多個(gè)web log的資料處理方法建立多個(gè)模組take a breakclementine中文版中文版在在data mining的應(yīng)用案例的應(yīng)用案例研討會(huì)內(nèi)容研討會(huì)內(nèi)容三三 clementine 中文版在中文版在data mining的應(yīng)用案例的應(yīng)用案例data mining的應(yīng)用範(fàn)疇clementine中文版如何應(yīng)用於crm?crm 的成長(zhǎng)趨勢(shì)為什麼要進(jìn)行crm?何謂crm?clementine 對(duì)於crm的機(jī)

20、會(huì)點(diǎn)在哪裡?clementine 在crm中的應(yīng)用有哪些?各產(chǎn)業(yè)的應(yīng)用層面配合crisp-dm之應(yīng)用案例展示clementine豐富的部署應(yīng)用data mining 應(yīng)用於crm中產(chǎn)生的無(wú)形效益data mining的應(yīng)用範(fàn)疇的應(yīng)用範(fàn)疇客戶關(guān)係管理(crm)犯罪(criminal)教育(education)醫(yī)療(health care)科學(xué)研究(research)製程管理(process management)clementine中文版如何應(yīng)用於crm?crm 的成長(zhǎng)趨勢(shì)的成長(zhǎng)趨勢(shì)asia/pacific crm market ($m)02040608010012014016018020020

21、012007source: idc. 2003為什麼要進(jìn)行為什麼要進(jìn)行crm? ?過(guò)去購(gòu)物以必要性為基準(zhǔn)現(xiàn)在心理因素逐漸影響顧客的消費(fèi)行為顧客的接觸管道多元化何謂何謂crm?發(fā)現(xiàn)需求 oltp = 企業(yè)/組織的眼與耳記憶偏好 database = 企業(yè)/組織的腦學(xué)習(xí) data mining = 企業(yè)/組織的智慧行動(dòng) marketing = 企業(yè)/組織的手與腳clementine 對(duì)對(duì)crm的機(jī)會(huì)在哪裡的機(jī)會(huì)在哪裡?crm 了解客戶(client)操作型操作型crm (operational crm)分析型分析型crm (analytical crm)( (分析測(cè)量分析測(cè)量, , 預(yù)測(cè)並最佳化客

22、戶關(guān)係預(yù)測(cè)並最佳化客戶關(guān)係) )具有智慧型判斷能力 了解客戶data mining 是crm的核心clementine 在在crm中的應(yīng)用有哪些中的應(yīng)用有哪些 ?潛在客戶分析 (customer acquisition)顧客區(qū)隔 (customer segmentation)交叉銷售再銷售 (cross-selling/up-selling)詐欺分析 (fraud detection)風(fēng)險(xiǎn)評(píng)估 (risk analysis)顧客挽留 (customer retention).各產(chǎn)業(yè)的應(yīng)用層面各產(chǎn)業(yè)的應(yīng)用層面電信業(yè)電信業(yè)客戶流失管理 顧客終身價(jià)值及利潤(rùn)價(jià)值 行銷回應(yīng)預(yù)測(cè)交叉銷售/再銷售 電子商務(wù)

23、電子商務(wù)顧客終身價(jià)值 交叉銷售/再銷售 瀏覽行為分析政府機(jī)構(gòu)政府機(jī)構(gòu)員工流失管理犯罪偵測(cè)零售業(yè)零售業(yè) 忠誠(chéng)度及通路忠誠(chéng)度行銷回應(yīng)預(yù)測(cè)客戶產(chǎn)品偏好分析與鑑別 交叉銷售/再銷售 製造業(yè)製造業(yè)良率分析製程改善需求預(yù)測(cè)醫(yī)療業(yè)醫(yī)療業(yè) 病人流失管理 潛在新病人分析 病人屬性區(qū)隔各產(chǎn)業(yè)的應(yīng)用層面各產(chǎn)業(yè)的應(yīng)用層面生命科學(xué)生命科學(xué) 基因抗藥反應(yīng)分析 基因序列分析 藥物區(qū)隔分析 藥物市場(chǎng)風(fēng)險(xiǎn)評(píng)估娛樂(lè)業(yè)娛樂(lè)業(yè) 客戶流失管理 目標(biāo)客戶分析 客戶區(qū)隔 需求預(yù)測(cè)分析銀行銀行風(fēng)險(xiǎn)管理 行銷回應(yīng)預(yù)測(cè)維持顧客模型 顧客終身價(jià)值及利潤(rùn)價(jià)值 多通路行為管理 信用卡冒用偵測(cè) 保險(xiǎn)業(yè)保險(xiǎn)業(yè)交叉通路銷售 顧客終身價(jià)值及利潤(rùn)價(jià)值 維持顧客

24、模型 詐欺理賠分析配合配合crisp-dm之應(yīng)用案例展示之應(yīng)用案例展示clementine中文版與中文版與crisp-dm結(jié)合結(jié)合crisp-dm(cross-industry standard process for dm)專案目標(biāo)檔專案目標(biāo)檔資料理資料理解解exploring streams資料預(yù)備資料預(yù)備preparing streams塑塑模模、評(píng)估評(píng)估m(xù)odeling streams部署部署應(yīng)用應(yīng)用deploying streams案例展示：案例展示：crisp-dm中的資料採(cǎi)礦工作中的資料採(cǎi)礦工作clementine中文版在中文版在商業(yè)理解商業(yè)理解(i)階段：階段：將專案的目標(biāo)、資料 的定義等外部檔案存 放於此專案夾中原始購(gòu)買資料分佈狀 況，協(xié)助了解專案目標(biāo)案例展示案例展示crisp-dm中的資料採(cǎi)礦工作中的資料採(cǎi)礦工作clementine中文版在中文版在資料理解資料理解(ii)階段：階段：欄位敘述、資料量、 類型定義、檢查遺漏 狀況各角度資料的圖 形分佈檢視各變數(shù)資料圖表分 佈，了解購(gòu)買行為案例展示案例展示crisp-dm中的資料採(cǎi)礦工作中的資料採(cǎi)礦工作clementine中文版在中文版在資料預(yù)備資料預(yù)備(iii)階段：階段：產(chǎn)生衍生性變數(shù)並檢 視其分佈狀況整合總結(jié)、排序資料 並修改欄名稱篩選、切割並平衡資 料以提供模型建置使用