決策樹(shù)方法在數(shù)據(jù)挖掘中的應(yīng)用

1、 KnowledgeSEEKER是一個(gè)由Angoss公司開(kāi)發(fā)的基于決策樹(shù)的數(shù)據(jù)分析程序。該程序具有相當(dāng)完整的分類樹(shù)分析功能。 KnowledgeSEEKER采用了兩種著名的決策樹(shù)分析算法：CHAID和CART算法。CHAID算法可以用來(lái)對(duì)于分類性數(shù)據(jù)進(jìn)行挖掘。CART算法則可以對(duì)連續(xù)型因變量進(jìn)行處理。Angoss公司在增強(qiáng)這些算法的用戶友好性方面作了大量的工作。優(yōu)點(diǎn)：響應(yīng)快，模型，文檔易于理解，決策樹(shù)分析直觀，性能良好缺點(diǎn)：決策樹(shù)不能編輯打印，缺乏數(shù)據(jù)預(yù)處理階段的函數(shù)，沒(méi)有示例代碼應(yīng)用行業(yè)案例：lFrost National銀行CRM收益率、客戶滿意度、產(chǎn)品功效lSASI公司利用其開(kāi)發(fā)行業(yè)數(shù)據(jù)

2、挖掘應(yīng)用軟件（零售行業(yè)）lMontreal銀行客戶分片、越區(qū)銷售模型、市場(chǎng)站的準(zhǔn)備、抵押支付的預(yù)測(cè)、信用風(fēng)險(xiǎn)的分析 使用的樣例數(shù)據(jù)集是從一個(gè)團(tuán)體健康檢查中有關(guān)高血壓的研究項(xiàng)目中得到的。Angoss公司已將這一數(shù)據(jù)集包括在產(chǎn)品演示中。 有關(guān)高血壓研究方面的數(shù)據(jù)（表中給出數(shù)據(jù)集中各個(gè)數(shù)據(jù)列的取值范圍及其含義說(shuō)明）數(shù)據(jù)預(yù)處理：需要標(biāo)注的區(qū)域：lHypertension域中可以出現(xiàn)整數(shù)值1，2，3，這幾個(gè)值將分別被標(biāo)注為低，正常，高。lTypeOfMilk域中包含整數(shù)值15，將分別標(biāo)注為純牛奶、2%，脫脂牛奶，奶粉及根本不喝牛奶處理導(dǎo)出型的數(shù)據(jù)域 字段Age中包含的值1，2，3分別表示3250歲、51

3、62歲及6373歲。然而，字段Age中通常包含的都是某個(gè)人的實(shí)際年齡而非整數(shù)值1，2，3，因此，字段Age中的值是在數(shù)據(jù)挖掘開(kāi)始之前就已經(jīng)導(dǎo)出了，即按照實(shí)際年齡的范圍3250歲、5162歲及6373歲對(duì)該字段選擇適當(dāng)?shù)闹怠?、定義挖掘目標(biāo) 在開(kāi)始使用KnowledgeSEEKER之前，有必要定義出挖掘的目標(biāo)。在給定的數(shù)據(jù)集的例子中展示了哪些飲食因素會(huì)對(duì)人的血壓高低有關(guān)鍵性的影響。其挖掘的目標(biāo)可以明確地描述為：分析出飲食因素對(duì)血壓偏低、正常及偏高所產(chǎn)生的影響。2、啟動(dòng)3、設(shè)置因變量 一開(kāi)始，字段Hypertension就已經(jīng)被自動(dòng)設(shè)置為因變量。稍后，還將改變因變量的設(shè)置。打開(kāi)bpress數(shù)據(jù)集之

4、后將出現(xiàn)如圖所示的屏幕 圖中的根結(jié)點(diǎn)對(duì)應(yīng)的是因變量。在根節(jié)點(diǎn)中血壓已經(jīng)分別被分為3類：偏低、正常和偏高。我們現(xiàn)在要了解的是血壓偏低、正常和偏高的人都分別具有哪些特征。從圖中可以看出：l研究對(duì)象中有18%的人（即66個(gè)人）血壓偏低l研究對(duì)象中有60%的人（即217個(gè)人）血壓正常l研究對(duì)象中有21%的人（即77個(gè)人）血壓偏高 目前KnowledgeSEEKER已經(jīng)構(gòu)造出模型樹(shù)的下一層分支。當(dāng)然，模型樹(shù)還可以自動(dòng)生成出多層分支。 圖中的模型樹(shù)的下一層分支表明上一層的雙親節(jié)點(diǎn)是按年齡（age）進(jìn)行分叉的。年齡只是影響血壓的一個(gè)變量，但是在目前這個(gè)例子中，年齡似乎是導(dǎo)致一個(gè)人的血壓是否偏高的最重要因素。

5、 如圖所示，研究對(duì)象按年齡分為以下3組： 3250歲，5162歲，6373歲 它們分別對(duì)應(yīng)于模型樹(shù)的三個(gè)葉節(jié)點(diǎn)。 此外，還可以用除Age以外的其他字段為模型樹(shù)創(chuàng)建新的葉節(jié)點(diǎn)。在模型樹(shù)上通過(guò)指定其它字段以創(chuàng)建新的葉節(jié)點(diǎn)稱為分叉。對(duì)于當(dāng)前這個(gè)數(shù)據(jù)集，系統(tǒng)會(huì)自動(dòng)發(fā)現(xiàn)12個(gè)分叉。1、觀察其分叉 觀察其分叉將使我們可以看到除年齡以外對(duì)血壓還有影響的其他重要變量的作用。KnowledgeSEEKER可以計(jì)算出所有變量對(duì)血壓影響的大小并將使它們按順序排列起來(lái)。用另一個(gè)變量直接在根節(jié)點(diǎn)下面構(gòu)造葉節(jié)點(diǎn)即可進(jìn)入模型樹(shù)的另一個(gè)分叉。這樣，我們就可以很容易地觀察到其他數(shù)據(jù)元素對(duì)血壓的影響。 對(duì)于自動(dòng)生成的每一個(gè)分叉所

6、作的概述將為我們考慮下一步的研究方向提供有益的線索。很明顯，上面所獲得的信息中有一些符合我們的預(yù)先估計(jì)。例如，一個(gè)人年齡越大，患高血壓的可能性也就越高；一個(gè)人參加體育活動(dòng)越多，換高血壓的可能性也就越低。這些都是我們預(yù)先估計(jì)到的。然而，我們從數(shù)據(jù)集中也發(fā)現(xiàn)了一些預(yù)先沒(méi)有估計(jì)到的結(jié)果，如人的身高與其高血壓之間的關(guān)系就是我們預(yù)先沒(méi)有估計(jì)到的。2、進(jìn)入特定分叉3、擴(kuò)展模型樹(shù) 以smoking為分叉變量構(gòu)造的模型樹(shù)目前還只有一層。我們可以對(duì)這棵模型樹(shù)作進(jìn)一步擴(kuò)展。在模型樹(shù)的第二層中選擇經(jīng)常吸煙者相對(duì)應(yīng)的節(jié)點(diǎn)，然后，在Grow下拉菜單中選擇Find Split，既可以看到如圖所示的屏幕。 Knowledg

7、eSEEKER發(fā)現(xiàn)對(duì)于描述經(jīng)常吸煙者特征最為有效的分組變量就是年齡。也就是說(shuō)，對(duì)于經(jīng)常吸煙的人而言，年齡將是確定其是否患高血壓的最關(guān)鍵的指標(biāo)，數(shù)據(jù)表明年齡在6373歲之間經(jīng)常吸煙的人當(dāng)中有56.7%患有高血壓，而年齡在3251歲之間且經(jīng)常吸煙的人當(dāng)中患有高血壓的比例僅為4.8%。 為進(jìn)一步描述經(jīng)常吸煙者的特征，KnowledgeSEEKER總共發(fā)現(xiàn)了6個(gè)分叉變量，分別是Age，Height，PorkLastWeek，DrinkPattern，Gender以及SaltConsumption。其中以年齡最為有效。4、強(qiáng)制分叉 有時(shí)我們還想觀察一下那些沒(méi)有自動(dòng)發(fā)現(xiàn)的變量的作用。例如，我們可能想知道P

8、oultryLastWeek對(duì)人們患有高血壓有什么影響。為此，我們可以在模型樹(shù)上作強(qiáng)制分叉。5、對(duì)模型進(jìn)行驗(yàn)證 當(dāng)我們從一個(gè)數(shù)據(jù)集中發(fā)現(xiàn)某些結(jié)果之后，總是希望能夠用另外一個(gè)數(shù)據(jù)計(jì)再對(duì)其進(jìn)行驗(yàn)證。Angoss將那些用于驗(yàn)證的數(shù)據(jù)集又稱為測(cè)試分區(qū)（Test Partition）。 KnowledgeSEEKER允許我們用另一個(gè)數(shù)據(jù)集（即測(cè)試分區(qū)）對(duì)新發(fā)現(xiàn)的結(jié)果進(jìn)行驗(yàn)證。6、重新定義挖掘?qū)ο?前面所作的演示都是有關(guān)“高血壓”這一研究對(duì)象的，即都是以Hypertension為模型樹(shù)的因變量。假如我們想要改變所研究的內(nèi)容（例如，想要研究飲酒數(shù)量不同的人之間的差別），那么就需要重新定義研究對(duì)象。 改變模型

9、樹(shù)的根節(jié)點(diǎn)為DrinkPattern，即新的模型樹(shù)的根節(jié)點(diǎn)對(duì)應(yīng)的因變量為DrinkPattern，其中可以含有下列值：lRegular（經(jīng)常飲酒）lOccasional（偶然飲酒）lFormer（以前曾經(jīng)飲酒）lNever（從不飲酒） 同前面一樣，可以對(duì)這棵以DrinkPattern為因變量的模型樹(shù)作進(jìn)一步的擴(kuò)展。雖然這期間使用KnowledgeSEEKER的工作方式與前面是一樣的，但所要研究的內(nèi)容與前面完全不同了。即現(xiàn)在要研究的是人們的飲酒方式及其影響，而前面的研究對(duì)象是高血壓。7、模型樹(shù)的自動(dòng)擴(kuò)展 前面所演示的都是如何一個(gè)一個(gè)節(jié)點(diǎn)地?cái)U(kuò)展模型樹(shù)。此外，還可以讓系統(tǒng)對(duì)模型樹(shù)作自動(dòng)擴(kuò)展。8、數(shù)據(jù)分布 KnowledgeSEEKER提供了若干種方法以便我們能夠?qū)φ谕诰虻臄?shù)據(jù)的狀態(tài)進(jìn)行觀察。首先，我們能夠通過(guò)KnowledgeSEEKER對(duì)正在挖掘的原始數(shù)據(jù)進(jìn)行詳細(xì)觀察。 另外，還可以通過(guò)KnowledgeSEEKER對(duì)數(shù)據(jù)幾種不同數(shù)據(jù)項(xiàng)的