構(gòu)建一個有指導(dǎo)的數(shù)據(jù)挖掘模型

1、構(gòu)建一個有指導(dǎo)的數(shù)據(jù)挖掘模型2014-10-08 11:26 link inpark 36 大數(shù)據(jù) 字號：t i t|收藏什么是冇指導(dǎo)的數(shù)據(jù)挖掘方法模型，以及數(shù)據(jù)挖掘如何構(gòu)建模型。在構(gòu)建一個冇指導(dǎo)的數(shù)據(jù) 挖掘模型，首先要理解和定義一些模型試圖估計的目標變量。-個典型的案例，二元響應(yīng)模 型，如為直接郵寄和電子郵件營銷活動選擇客戶的模型ad： 2014wot全球軟件技術(shù)蜂會北京站課程視頻發(fā)布11月21 h-22 h與wot技術(shù)大會相約深圳 現(xiàn)在搶票數(shù)據(jù)挖掘的冃的，就是從數(shù)據(jù)中找到更多的優(yōu)質(zhì)用戶。接著上篇繼續(xù)探討有指導(dǎo)數(shù)據(jù)挖掘方法模型。什么 是有指導(dǎo)的數(shù)抓挖掘方法模型，以及數(shù)抓挖掘如何構(gòu)建模型。在構(gòu)

2、建一個有指導(dǎo)的數(shù)抓挖掘模型，首先要 理解和定義-些模型試圖估計的h標變量。一個典型的案例，二元響應(yīng)模型，如為直接郵寄和電子郵件營 銷活動選擇客戶的模型。模型的構(gòu)建選擇防史客戶數(shù)據(jù)，這些客戶響應(yīng)了以前類似的活動。有指導(dǎo)數(shù)據(jù)挖 掘的目的就是找到更多類似的客戶，以捉高未來活動的響應(yīng)。這構(gòu)造冇指導(dǎo)的數(shù)據(jù)挖掘模型的過程中，首先要定義模型的結(jié)構(gòu)和目標。二、增加響應(yīng)建模。三、考慮模 型的穩(wěn)定性。四、通過預(yù)測模型、剖析模型來討論模型的穩(wěn)定性。下面我們將從具體的步驟談起，如何構(gòu) 造一個冇指導(dǎo)的數(shù)據(jù)挖掘模型。有指導(dǎo)數(shù)據(jù)挖掘方法: 把業(yè)務(wù)問題轉(zhuǎn)換為數(shù)據(jù)挖掘問題 選擇合適的數(shù)據(jù) 認識數(shù)據(jù) 創(chuàng)建一個模型集 修復(fù)問題數(shù)據(jù)

3、 轉(zhuǎn)換數(shù)據(jù)以揭示信息 構(gòu)建模型 評估模型 部署模型 評估結(jié)果 重新開始（有指導(dǎo)數(shù)據(jù)挖掘方法模型）步驟:1、把業(yè)務(wù)問題轉(zhuǎn)換為數(shù)據(jù)挖掘問題愛麗絲夢游仙境中,愛麗絲說“我不關(guān)心去哪兒”。貓說:“那么,你處哪條路都沒什么問題”。愛 麗絲乂補充到:只要我能到達某個地方。貓:“哦,你一定能做到這一點,只要你能走足夠t的時間?！必埧赡苡辛硗庖粋€意思，如果沒有確定的目的地，就不能確定你是否已經(jīng)走了足夠長的時間。有指導(dǎo)數(shù)擁挖掘項h的冃標就是找到定義明確的業(yè)務(wù)問題的解決方案。一個特定項h的數(shù)擁挖掘h標不應(yīng) 該是廣泛的、通用的條例。應(yīng)該把那些廣泛的目標，具體化，細化，深入觀察客八行為可能變成具體的目 標： 確定誰是

4、不大可能續(xù)訂的客戶 為以家庭為基礎(chǔ)的企業(yè)客戶設(shè)定一 個撥打計劃，該計劃將減少客戶的退出率 確定那些網(wǎng)絡(luò)交易可能是欺詐 如果簡萄酒和啤酒已停止銷偉，列出處于銷偉風(fēng)險的產(chǎn)品 根據(jù)當前市場營銷策略，預(yù)測未來三年的客戶數(shù)屋有指導(dǎo)數(shù)據(jù)挖掘往往作為一個技術(shù)問題，即找到一個模型以解釋一組輸入變量與目標變量的關(guān)系。這往往 是數(shù)據(jù)挖掘的屮心，但如果目標變最沒冇正確的定義以及沒冇確定適當?shù)妮斎胱冏?。反過來，這些任務(wù)又 取決于對要解決的業(yè)務(wù)問題的理解程度。沒冇正確的理解業(yè)務(wù)問題就沒辦法把數(shù)據(jù)轉(zhuǎn)化為挖掘任務(wù)。在技 術(shù)開始z前，必須認識兩個問題:如何使用結(jié)果？以何種方式交付結(jié)果？上述兩個問題，都是建立在客戶的真正需求是

5、什么？而不是作為數(shù)據(jù)挖掘工程師認為的什么是有用的數(shù)據(jù)， 什么對客戶最好的數(shù)抓。這些結(jié)果看似有利于客戶提薛銷偉額，但是我們交付的結(jié)果是什么，我們有理解 客戶的需求嗎？所有前提，不耍著急急著動手，先理解真正需求，不可盲目主斷。1.1如何使用結(jié)果？例如：許多數(shù)據(jù)挖掘工作旨在捉高客戶保留 主動向高風(fēng)險或高價值的客戶提供一個優(yōu)惠，挽留他們 改變獲取渠道的組合，以利于那些能帶來最忠實客戶的渠道 預(yù)測未來兒個月的客戶數(shù)量 改變會影響乳戶的滿運度的產(chǎn)品的缺陷這些目標都會對數(shù)據(jù)挖掘過程產(chǎn)生影。響。通過電話或玄接郵寄的營銷活動接觸現(xiàn)冇客戶，意味著除了確 定客戶風(fēng)險z外，你要了解為什么他們處于風(fēng)險中，從而可以構(gòu)造一

6、個冇吸引力的優(yōu)惠。電話，不能過早 或過遲。預(yù)測意味著除了確定那些客戶可能離開，確定冇多少新客戶加入，以及他們會停留多久。而新客 戶的加入，不只是意味著預(yù)測模型耍解決的問題，還是被納入到業(yè)務(wù)h標和預(yù)算z中。1.2如何交付結(jié)果？有指導(dǎo)的數(shù)據(jù)挖掘項目可能會產(chǎn)生兒個不同類型的交付形式。交付形式往往是一個報表或充滿圖標和圖形 的簡報。交付形式會影響數(shù)據(jù)挖掘的結(jié)果。當我們的目的是提醒銷售驚雷時，產(chǎn)生一個營銷測試的乳戶列 表是不夠的。所謂的如何交付結(jié)果，就是在挖掘結(jié)果產(chǎn)生之后，我們耍如何給川戶提供這個結(jié)果，目的是 好的，但實際的過程中會遇到，會遇到我們沒有辦法去交付這個結(jié)果。因為，你交付的結(jié)果，可能會導(dǎo)致

7、一些木不該流失的客戶，卻流失了。這也是在具體工作之前，我們要考慮的問題。數(shù)據(jù)挖掘人員的作用是確保業(yè)務(wù)問題的放厲表述可以被轉(zhuǎn)換成一個技術(shù)問題。前提是止確的業(yè)務(wù)問題。2、擇合適的數(shù)據(jù)2.1什么數(shù)據(jù)可用？ 尋找客戶數(shù)據(jù)的首要地方就是企業(yè)數(shù)據(jù)倉庫。倉庫中的數(shù)據(jù)已經(jīng)被清洗和核實過，并且多個數(shù)據(jù)源被整合 到一起。一個單一的數(shù)據(jù)模型冇望確保命名相似的字段在整個數(shù)據(jù)庫和兼容的數(shù)據(jù)類型中都冇相同的含義。 企業(yè)數(shù)據(jù)庫是一個歷史數(shù)據(jù)庫，新數(shù)據(jù)不斷的被追加，但歷史數(shù)據(jù)一貢不變。從這一點更冇利于做決策支 持。問題在于，在許多企業(yè)組織中，這樣的數(shù)據(jù)倉庫實際上并不存在，或者存在一個或多個數(shù)據(jù)倉庫，不符合 直接作為規(guī)范的數(shù)據(jù)

8、用來挖掘。在這種悄況下，挖掘人員，必須尋求來h不同的部門的數(shù)據(jù)庫和業(yè)務(wù)系統(tǒng) 內(nèi)的數(shù)據(jù)。業(yè)務(wù)系統(tǒng)數(shù)據(jù)是指執(zhí)行一個特定的任務(wù)，如網(wǎng)站運行，索賠處理，完成呼叫或賬單處理。它們 的目標是快速、準確的處理事務(wù)，數(shù)據(jù)可以保存成任何格式。而這些對于沒冇數(shù)據(jù)倉庫的一些企業(yè)來說， 這些數(shù)據(jù)往往是隱藏的很深，需要大量的企業(yè)調(diào)度和規(guī)劃來整理這些數(shù)據(jù)。這也就談到了一個問題：就是 數(shù)據(jù)倉庫對一家企業(yè)的重要性，而建立企業(yè)級數(shù)據(jù)倉庫，需要的決策不是一個經(jīng)理就可以完成的，這可能 需要企業(yè)級最高領(lǐng)導(dǎo)下令，下面的所有部門全部配介。在企業(yè)總確定哪些數(shù)據(jù)可川是相當因難的。因為許多的文檔會丟失或過時。通常情況下，沒有一個人可以 提供所

9、有答案。確定什么數(shù)據(jù)可用，需要遍歷數(shù)據(jù)字典，了解具體的業(yè)務(wù)，溝通毎個部門，訪問川戶和dba, 審查現(xiàn)有的報告以及查找數(shù)據(jù)本身是否有川。還有些問題，不僅需耍有關(guān)*戶的數(shù)據(jù),還需耍潛在的乳戶 的數(shù)據(jù)。當需耍這些數(shù)據(jù)的時候，外部資源和業(yè)務(wù)系統(tǒng)，ill web h志、呼叫詳細記錄、呼叫中心系統(tǒng)、有 時其至是郵件或電子表格，這些都是數(shù)據(jù)信息的來源。數(shù)據(jù)挖掘工作的方式并不是一直等到完美和干凈的數(shù)據(jù)才進行下一步工作。雖然需要額外干凈的數(shù)據(jù)，但 是受挖掘必須能夠使用h前的數(shù)據(jù)，提前入手，開始工作。2. 2多少數(shù)據(jù)才足夠？一、數(shù)據(jù)越多越好，更多意味若更好。在建模期間，必須對模塑集進行平衡，使得每個結(jié)果的數(shù)目都相

10、等。 如果在一個大規(guī)模的樣本中有一個比例很小的稀有數(shù)據(jù)，則一個較小的、均衡的樣本會更受歡迎。二、當模型集足以建立良好的、穩(wěn)定的模型時，使它更大將會產(chǎn)生相反的作用，因為這時需要更t時間在 更大的模型上去運行，由于數(shù)據(jù)挖掘是一個反復(fù)的過程，這就導(dǎo)致時間的浪費。如果一次建模例程的運行 都需耍數(shù)小時而不是數(shù)分鐘,這個時間的消耗就耗不起的。這就導(dǎo)致，在模型確定后，數(shù)據(jù)并不是越多越 好。2. 3需要多久的歷史? 數(shù)據(jù)挖掘使用過去的數(shù)據(jù)預(yù)測未來。但是，數(shù)據(jù)需要來h多久的過去？這個沒冇定性的i川答，這要考慮很 多的因素。另一方面，歷史上太久的數(shù)據(jù)未必對數(shù)據(jù)挖掘冇用，因為市場環(huán)境在變化，特別是當一些外部 事件（

11、如監(jiān)管制度的變化）進行了干預(yù)時尤其如此。對于許多以客戶為中心的應(yīng)用，2-3年的歷史是合適 的。然而，在這種悄況下，客戶關(guān)系確實存在冇效才被證明是冇價值的，那么重要的是什么：最初的渠道 是什么？放初的報價是什么？客戶繪初怎么支付的等。多少變量：不熟練數(shù)據(jù)挖掘的人員有時太急于拋岀不太可能有懣義的變量，且只保存了他們認為重耍的兒個粘心挑選 的變量。數(shù)據(jù)挖掘方法要求數(shù)據(jù)木身能揭示它重要或不重要。通常悄況下當與其他變量結(jié)合使用時，原先被忽視的變量會具冇預(yù)測價值。例如：一個信用卡者從未把把 現(xiàn)金刷沒乂繼續(xù)刷，通過數(shù)據(jù)挖掘發(fā)現(xiàn)他們僅在11月和12月才會使用用信用卡墊付。據(jù)推測，這些人非 常謹慎，大部分時間他

12、們都避免因多刷而產(chǎn)生的高利息，謹慎也推斷出一個結(jié)論（他們比習(xí)慣使用現(xiàn)金墊 款的人更加不太可能選擇拖欠欠款），但在假期，他們需要一些額外的現(xiàn)金，并愿意為此付出較高的利息。2. 4數(shù)據(jù)必須包含什么？最低限度，數(shù)據(jù)必須包含有可能有懣義的結(jié)果的例子。有指導(dǎo)數(shù)據(jù)挖掘的目的是預(yù)測一個特定目標變量的 值，但在有指導(dǎo)的數(shù)據(jù)挖掘中，模型集必須由分類好的數(shù)據(jù)組成。耍區(qū)分哪些人拖欠貸款哪些人不可能拖 欠，模型集的每個類都需耍有成千上萬的例子。當一個新的申請產(chǎn)生時，他的申請會與過去的客戶的申請 進行對比，可以直接把新的申請歸類。這其中隱含的懣思：數(shù)據(jù)可川來形容過去發(fā)生了什么事情，從錯誤 總吸取教訓(xùn)，首先我們必須識別我

13、們已經(jīng)犯了什么錯。3、認識數(shù)據(jù)在數(shù)據(jù)用于構(gòu)建模型z前，在探索數(shù)抓上花費時間的重要性通常沒有得到足夠的重視。后而我們會抽出絕 對的篇幅來說明這個問題。優(yōu)秀的數(shù)抓挖掘工程師似乎非常依賴直覺一一例如，某種程度上能夠猜測將要 派生的變量結(jié)果如何。要在陌生的數(shù)據(jù)集中利用直覺來感應(yīng)發(fā)生了什么事情，唯一辦法就是陷入數(shù)據(jù)z中， 你會發(fā)現(xiàn)許多數(shù)據(jù)質(zhì)屋的問題，并能夠得到啟發(fā)捉出在其他情況下不容易被發(fā)現(xiàn)的問題。3. 1檢查分布在數(shù)據(jù)庫的初步探索階段，數(shù)據(jù)可視化工貝非常有益，如：散列圖、條形圖、地理地圖、excel等可視化 工具對觀察數(shù)據(jù)提供了強大的支持。當你開始著手一個新數(shù)據(jù)源中的數(shù)據(jù)文件，就應(yīng)該剖析數(shù)據(jù)了解到底發(fā)

14、生了什么，包括計數(shù)和每個字段的 匯總統(tǒng)計，分類變量不同值的數(shù)屋，并在適當?shù)那臎r下，需要基于產(chǎn)品和區(qū)域的交義統(tǒng)計表。除了捉供對 數(shù)據(jù)的了解，剖析工作可能會產(chǎn)生不一致問題或定義問題的警告，這些問題可能會對厲而的分析造成麻煩。3. 2值與描述的比較觀察毎個變量的值，并把它們與現(xiàn)有文件中的變量描述進行比較。這項工作可以發(fā)現(xiàn)不準確或不完整的數(shù) 據(jù)描述。其實是，你記錄的數(shù)據(jù)，是否和你要描述的數(shù)據(jù)一致，這個耍先確定。ii的是什么？在實際的數(shù) 據(jù)挖掘過程中，你耍去揣測這個字段的數(shù)據(jù)到底是什么懣思？如果業(yè)務(wù)人員知道，那是最好的了。如果業(yè) 務(wù)人員都不知道，這個時候，可能就需要憑借經(jīng)驗去揣測了，而且這種情況經(jīng)常發(fā)生

15、，字段定義不明確。3. 3詢問大問題如果數(shù)據(jù)看上去似乎不明智或者不如所愿，記錄下來。數(shù)據(jù)探索過程的一個重要輸出是對提供該數(shù)據(jù)的人 給出一個問題列表。通常，這些問題將需要進一步研究，因為很少冇用戶像數(shù)據(jù)挖掘工程師一樣仔細地觀 察數(shù)據(jù)。對數(shù)據(jù)的探索的前期工作，判斷字段，含義，是否冇用，是否缺失，是否冇問題等一系列問題， 需要大量的工作，同時也是一件心細的過程。4、創(chuàng)建一個模型集模型集包含建模過程中使用的所有數(shù)抓。模型集中的一些數(shù)據(jù)被用來尋找模式，對于一些技術(shù)，模型集中 的一些數(shù)據(jù)被用來驗證該模型是否穩(wěn)定。模型集也可用來評估模型的性能。創(chuàng)建一個模型集船要從多個數(shù) 據(jù)源聚合數(shù)據(jù)以形成乳戶簽名，然后準備

16、數(shù)據(jù)進行分析。4.1聚合客戶簽名模型集是一個表或一系列表,每一行表示一個要研究的項目，而字段表示該項目有利于建模的一切。當數(shù) 據(jù)描述客戶時，模型集的行通常稱為客戶簽名?？蛻艉灻?，毎個客戶都山他離開的蹤跡唯一確定，你可以 利用蹤跡充分的了解每個客戶。從關(guān)系型數(shù)擁庫中聚合客戶簽名旺旺需要復(fù)雜的杳詢，這些査詢往往需要關(guān)聯(lián)很多的農(nóng)去杳詢的數(shù)據(jù),然 后利用其他來源的數(shù)據(jù)增強結(jié)果。聚合數(shù)據(jù)的一部分過程是使數(shù)擁位于正確的匯總層次，然后每一行都包 含先關(guān)乳戶的所有信息。4. 2創(chuàng)建一個平衡的樣本 在標準的統(tǒng)計分析中，-種常見的做法是拋棄離群點遠遠超出正常范圍的觀測值。然而在數(shù)據(jù)挖掘的 過程中，這些利群點可能正

17、是你要找的?；蛟S他們帶冇欺詐行為，可能是你的業(yè)務(wù)中的一些錯誤，或一些 利潤驚人的市場商機。在這種情況下，我們不希塑拋岀離群點，認識和了解他們。知識發(fā)現(xiàn)算法需通過實例來進行學(xué)習(xí)。如果沒冇足夠數(shù)屋的關(guān)于某個特定類或行為模型的例子，數(shù)據(jù)挖掘 工具無法得出一個預(yù)測該類或模式的模型。在這種情況下，利用罕見事件的例子豐富該模型集，提高建模 中該事件的概率。如果比較罕見，有兩種方法可以平衡樣木：一、分層抽樣。二、權(quán)重。例如：銀行耍建立一個模型，以確定哪些客戶是私人銀行計劃的潛在客戶。這些計劃只針對非常富有的空 戶，他們在一個相當大的銀行客戶樣木中也是非常稀少的。如何構(gòu)建一個能發(fā)現(xiàn)這類川戶的模型，該模型 集可

18、能需耍有50%的私人銀行的客戶，即使他們代表所有支票份額中還不到1%。另外私人銀行客戶可能被 賦予一個值為1的權(quán)重，其他客戶的權(quán)重為0.01,所以浙西專有客戶的總權(quán)重等于其余客戶的總權(quán)重。通 過增加一些孤立點客戶的權(quán)重，從而達到模型對數(shù)據(jù)的合理梳理。4. 3時間幀基于一個時間段內(nèi)的數(shù)據(jù)建立模型會増加風(fēng)險，即學(xué)習(xí)的知識不真實。結(jié)合模型集中的多個時間幀可以消 除季節(jié)性因素的影響。由于季節(jié)性影響如此重要，因此應(yīng)該把它們明確地添加到客戶簽名中。還有假日購 物模式也非常重要。把客戶的信息按照時間細分，或是在相應(yīng)的數(shù)據(jù)上打上標簽。4. 4創(chuàng)建一個預(yù)測模型當模型集用來預(yù)測時，另一個問題，模型集應(yīng)包含多長時間

19、，時間段該如何劃分。任何客戶標簽在預(yù)測變 量和目標變量z間都應(yīng)該有一個時間差。時間可分為，過去、現(xiàn)在、將來。當然所有數(shù)據(jù)都來自過去，過 去又分為三個時期：遙遠的過去、不太遙遠的過去和最近。預(yù)測模型就是要發(fā)現(xiàn)遙遠的過去的模盤，用來 解釋故近的輸出。當部署模型時，它能夠使用故近的數(shù)據(jù)預(yù)測未來。如果構(gòu)建一個模型來利用6月份（不 太遙遠的過去）的數(shù)據(jù)對7月份（故近）進行預(yù)測，那么在8月份z前的數(shù)據(jù)是町用的，但它不能用來對 9月份進行預(yù)測。但是8月份的數(shù)據(jù)是可用的嗎？肯定不是，因為這時，數(shù)據(jù)仍在產(chǎn)生數(shù)據(jù)。也不會是9 月份的第一周，因為這些數(shù)據(jù)需要被收集、清洗、加載、測試和認可。8月份的數(shù)據(jù)可能要懂啊9月

20、份中 旬或10月才能用，到這個時候，沒人會扒心9月份的預(yù)測了。解決的辦法是在模型集中跳過1個月。4. 5創(chuàng)建一個剖析模型集剖析模型集與測試模型相似，但有一點：忖標的時間幀與輸入的時間幀巫疊?？次⑿〉牟顒e對建模工作的 影響卻很人。因為輸入可能會“污染” h標模式。例如：銀行，擁有投資賬戶的客戶在儲蓄賬戶中往往有 非常低的結(jié)余一一因為他們能從投資賬戶中得到更好的冋報。這是否意味著銀行要為了投資賬戶而識別低 存儲賬戶余額的客戶呢？可能不需耍，因為這些客戶的資產(chǎn)很少。解決這個問題的一種方法是非常仔細得選擇剖析模型的輸入。把所冇賬戶余額組合到“儲蓄”，“貸款” 兩組。儲蓄組包括所冇類型的儲蓄和投資。這種方法非常冇效，事實證明模型是穩(wěn)定的。一個更好的辦法： 開通投資賬戶z前對賬戶產(chǎn)生一個模型。一個并發(fā)的問題是：由于每一個客戶的時間幀都取決于客戶開通 賬戶的時間，建立這樣一個模型集面臨更多的閑難。當目標變量的時間幀與輸入變量的時間幀相同時，那么該模型是一個剖析模型，并且這個輸入可能會引入 一些似是而菲的模式，而這些模式可能會混淆數(shù)據(jù)挖掘技術(shù)。你需耍非常小心地選樣輸入或者重建模型集 來產(chǎn)生預(yù)測模型。4. 6劃分模型集當你從適當?shù)臅r間幀中獲得預(yù)分好的數(shù)據(jù)后，冇指導(dǎo)數(shù)據(jù)挖掘房峰輝把它分為三個部分。一、訓(xùn)練集，用 戶建立初始模型。二、驗證集，用于調(diào)整