Clementine決策樹CHAID算法

1、CHAID算法（Chi-SquareAutomaticInteractionDetection）CHAID提供了一種在多個自變量中自動搜索能產(chǎn)生最大差異的變量方案。不同于C&R樹和QUEST節(jié)點(diǎn)，CHAID分析可以生成非二進(jìn)制樹，即有些分割有兩個以上的分支。CHAID模型需要一個單一的目標(biāo)和一個或多個輸入字段。還可以指定重量和頻率領(lǐng)域。CHAID分析，卡方自動交互檢測，是一種用卡方統(tǒng)計，以確定最佳的分割，建立決策樹的分類方法。1. CHAID方法（卡方自動交叉檢驗(yàn)）CHAID根據(jù)細(xì)分變量區(qū)分群體差異的顯著性程度（卡方值）的大小順序，將消費(fèi)者分為不同的細(xì)分群體，最終的細(xì)分群體是由多個變量

2、屬性共同描述的，因此屬于多變量分析。在形式上，CHAID非常直觀，它輸出的是一個樹狀的圖形。1 .它以因變量為根結(jié)點(diǎn)，對每個自變量（只能是分類或有序變量，也就是離散性的，如果是連續(xù)變量，如年齡，收入要定義成分類或有序變量）進(jìn)行分類，計算分類的卡方值（Chi-Square-Test）o如果幾個變量的分類均顯著，則比較這些分類的顯著程度（P值的大?。缓筮x擇最顯著的分類法作為子節(jié)點(diǎn)。2 .CHIAD可以自動歸并自變量中類別，使之顯著性達(dá)到最大。3 .最后的每個葉結(jié)點(diǎn)就是一個細(xì)分市場CHAID自動地把數(shù)據(jù)分成互斥的、無遺漏的組群，但只適用于類別型資料。當(dāng)預(yù)測變量較多且都是分類變量時，CHAID分類

3、最適宜。2. CHAID分層的標(biāo)準(zhǔn)：卡方值最顯著的變量3. CHAID過程：建立細(xì)分模型，根據(jù)卡方值最顯著的細(xì)分變量將群體分出兩個或多個群體，對于這些群體再根據(jù)其它的卡方值相對最顯著的細(xì)分變量繼續(xù)分出子群體，直到?jīng)]有統(tǒng)計意義上顯著的細(xì)分變量可以將這些子群體再繼續(xù)分開為止。4. CHAID的一般步驟- 屬性變量的預(yù)處理- 確定當(dāng)前分支變量和分隔值屬性變量的預(yù)處理：-對定類的屬性變量，在其多個分類水平中找到對目標(biāo)變量取值影響不顯著的分類，并合并它們；- 對定距型屬性變量，先按分位點(diǎn)分組，然后再合并具有同質(zhì)性的組；- 如果目標(biāo)變量是定類變量，則采用卡方檢驗(yàn)- 如果目標(biāo)變量為定距變量，則采用F檢驗(yàn)（統(tǒng)

4、計學(xué)依據(jù)數(shù)據(jù)的計量尺度將數(shù)據(jù)劃分為三大類，即定距型數(shù)據(jù)（Scale）、定序型數(shù)據(jù)（Ordinal）和定類型數(shù)據(jù)（Nominal）。定距型數(shù)據(jù)通常指諸如身高、體重、血壓等的連續(xù)性數(shù)據(jù)，也包括諸如人數(shù)、商品件數(shù)等離散型數(shù)據(jù)；定序型數(shù)據(jù)具有內(nèi)在固有大小或高低順序，但它又不同于定距型數(shù)據(jù)，一般可以數(shù)值或字符表示。如職稱變量可以有低級、中級和高級三個取值，可以分別用1、2、3等表示，年齡段變量可以有老、中、青三個取值，分別用A、BC表示等。這里無論是數(shù)值型的1、2、3還是字符型的A、B、C,都是有大小或高低順序的，但數(shù)據(jù)之間卻是不等距的。因?yàn)榈图壓椭屑壜毞Q之間的差距與中級和高級職稱之間的差距是不相等的；

5、定類型數(shù)據(jù)是指沒有內(nèi)在固定大小或高低順序，一般以數(shù)值或字符表示的分類數(shù)據(jù)。）2sF檢驗(yàn)：比較兩組數(shù)據(jù)的方差s2,F=一,假設(shè)檢驗(yàn)兩組數(shù)據(jù)沒有顯著差異，F(xiàn)<F表，則接受原假設(shè)，兩組數(shù)據(jù)沒有顯著差異；F>F表，拒絕原假設(shè)，兩組數(shù)據(jù)存在顯著差異。屬性變量預(yù)處理的具體策略-如果僅有一個或兩個分組，則不做合并處理- 根據(jù)卡方統(tǒng)計量（或似然比卡方）的P-值決定合并哪些組（P值口merge）- 如果用戶指定在合并同時還考慮組拆分（Allowsplittingmergedcategories）,則新近合并的組中如果包括三個以上的原始分組，應(yīng)根據(jù)檢驗(yàn)結(jié)果判斷是否需再拆分成兩組（P-值組split-m

6、erge）確定當(dāng)前分支變量和分隔值- 計算經(jīng)預(yù)處理后的各屬性變量與目標(biāo)變量的卡方檢驗(yàn)統(tǒng)計量和P-值。P-值最小的變量（與目標(biāo)變量聯(lián)系最緊密）作為當(dāng)前的最佳分支變量，該變量的所有分組形成該分支下的子節(jié)點(diǎn)對每個子節(jié)點(diǎn)重復(fù)上述處理，直到滿足收斂條件為止5. CHAID的適用范圍當(dāng)預(yù)測變量是分類變量時，CHAID方法最適宜。對于連續(xù)型變量，CHAID在缺省狀態(tài)下將連續(xù)變量自動分為10段處理，但是可能有遺漏。當(dāng)預(yù)測變量是人口統(tǒng)計變量時，研究者可以很快找出不同細(xì)分市場特征，免去對交叉分析表歸并與檢查之苦。6. CHAID的預(yù)剪枝基本參數(shù)：1 .決策樹最大深度：如果決策樹的層數(shù)已經(jīng)達(dá)到指定深度，則停止生長。

7、2 .樹中父節(jié)點(diǎn)和子節(jié)點(diǎn)所包含的最少樣本量或比例：對父節(jié)點(diǎn)是指，如果節(jié)點(diǎn)的樣本量已低于最少樣本量或比例，則不再分組；對于子節(jié)點(diǎn)是指，如果分組后生成的子節(jié)點(diǎn)中的樣本量低于最小樣本或比例，則不必進(jìn)行分組。3 .當(dāng)輸入變量與輸出變量的相關(guān)性小于一個指定值，則不必進(jìn)行分組。7. CHAID模塊的優(yōu)點(diǎn)：- 不像CARTWQUEST1塊，CHAID可產(chǎn)生多分枝的決策樹- 目標(biāo)變量可以定距或定類的- 從統(tǒng)計顯著性角度確定分支變量和分隔值，進(jìn)而優(yōu)化樹的分枝過程- CHAID是建立在因果關(guān)系的探討中的，依據(jù)目標(biāo)變量實(shí)現(xiàn)對輸入變量眾多水平的劃分例：心臟數(shù)據(jù)綜合診斷數(shù)據(jù)現(xiàn)有數(shù)據(jù)OVERALL_DIAGNOSI跺合診

8、斷）本案例是一個醫(yī)學(xué)心臟病綜合診斷報告案例，目的通過已知的22個變量F1F22來預(yù)測每個病人是否正常。0-正常，1-異常AErDIFCHIJKOVEF.ALLFlF3FlF5F6F7FEF9Fl11i0Q11000121iQQ1L0o0Q31QU01O-1004101i0d1Q151:0L0C01061:01I01D0171100L001LJS1100L0c00J910Q00Qc0：01011n011J00111.1100niQ001二21100011cQ0U110100Q0c。C11q:gu01151100110101161100100101711100111101B1100QOi11001

9、51100t1c:cQ201110101102L1100010c0022110J111LLJ2310IJJ11001J241L101111002511一01101002611L0011100271101L1<1D02811111011LQ291110r11j003010000。00Q3L111ftQ1fl013211L0001I00S3100000口1I0S111Q001QDI0克100110C0-1卡方檢驗(yàn):計數(shù)項(xiàng):3E1H30OVERALL01（空白）總計04S7551ST125212（空白）息計13513Z267P(KA2k)0.500,400.250150.10k0.455D.7

10、0S1.3232.0722.70aP(Km2mK)0.05D.0Z5D.01000050.001K38415,024津6357,8791C.82B（1） 零假設(shè)H0:心臟病檢驗(yàn)結(jié)果與F13變量無關(guān)。（F13變量對輸出變量無影響）卡方值越大，說明兩者有關(guān)系可能性越大。（2） 確定自由度：（行數(shù)-1）*（列數(shù)-1）=1選擇顯著水平a=0.05,對應(yīng)的卡方值K為3.841（3） 卡方值=（48*125-87*7）2*267/（55*212*135*132）=37.35>10.828>3.481拒絕原假設(shè)。故心臟病檢驗(yàn)結(jié)果與F13有關(guān)。（卡方值為37.35時，對應(yīng)的P值已趨于0,即“心臟病

11、檢驗(yàn)結(jié)果與F13有關(guān)”成立的概率趨于1-0=100%）建立CHAID模型-在“建?！敝羞x擇CHAID節(jié)點(diǎn)，將其加入數(shù)據(jù)流中totalxls分區(qū)類型OVERALL_DIAGhOSIS“TYPE節(jié)點(diǎn)-"Ranged范圍：用來描述數(shù)值，如0-100或0.75-1.25范圍。一個范圍值可以是一個整數(shù)，實(shí)數(shù)，日期/時間。- "Discrete離散：用于不同的字符串?dāng)?shù)值的確切數(shù)目是未知的。這是一個未初始化的數(shù)據(jù)類型，即對數(shù)據(jù)的存儲和使用的所有可能的信息尚不清楚。一旦數(shù)據(jù)被讀取，類型標(biāo)志，集，或無類型的，取決于最大集大小屬性對話框中指定的流。- “Flag標(biāo)志：用于具有兩個不同值的數(shù)據(jù)，

12、如Yes和No或1和2的數(shù)據(jù)?？赡苁俏谋?，整數(shù)，實(shí)數(shù)，日期/時間數(shù)據(jù)。注：日期/時間是指三種類型的存儲時間，日期或時間戳- “Set”集：用來描述具有多個不同的值的數(shù)據(jù)，每個被視為一個集的成員，如小型/中型/大型數(shù)據(jù)。在這個版本的Clementine,一套可以有任何存儲數(shù)值-字符串或日期/時間。請注意，設(shè)置類型設(shè)置不會自動改變字符串的值。- "OrderedSet”有序集合：用來描述具有多個不同的值的數(shù)據(jù)，有一種內(nèi)在的秩序。例如，工資類別或滿意度排名可以分為一組有序。有序集的順序是指通過其元素的自然排序順序。例如，1,3,5,是一組整數(shù)的默認(rèn)排序順序，而高，低，師范大學(xué)（升序按字母順

13、序排列）是一組字符串的順序。有序的集合類型，可讓您定義一組有序數(shù)據(jù)的可視化，建立模型（C5.0,C&RTree,TwoStep）,并擴(kuò)展到其他應(yīng)用程序，如SPSS,承認(rèn)有序數(shù)據(jù)作為一個獨(dú)特的類型。此外，任何存儲類型（真實(shí)的，整數(shù)，字符串，日期，時間，等等）的領(lǐng)域都可以被定義為一個有序的集合。- "TypelesS無類型：用于數(shù)據(jù)不符合任何上述類型的集合類型或包含太多值的集合類型。它是有用于一個集合包含太多值（如帳號）。CHAID“字段”選項(xiàng)目標(biāo)。對于需要一個或多個目標(biāo)字段的模型，請選擇目標(biāo)字段。此操作與在類型節(jié)點(diǎn)中將字段的方向設(shè)置為輸出類似。輸入。選擇輸入字段。此操作與在類型

14、節(jié)點(diǎn)中將字段的方向設(shè)置為輸入類似。分區(qū)字段。該字段允許使用指定字段將數(shù)據(jù)分割為幾個不同的樣本，分別用于模型構(gòu)建過程中的訓(xùn)練、檢驗(yàn)和驗(yàn)證階段。通過用某個樣本生成模型并用另一個樣本對模型進(jìn)行檢驗(yàn)，可以預(yù)判出此模型對類似于當(dāng)前數(shù)據(jù)的大型數(shù)據(jù)集的擬合優(yōu)劣。如果已使用類型或分區(qū)節(jié)點(diǎn)定義了多個分區(qū)字段，則必須在每個用于分區(qū)的建模節(jié)點(diǎn)的字段”選項(xiàng)卡中選擇一個分區(qū)字段。（如果僅有一個分區(qū)字段，則將在啟用分區(qū)后自動引入此字段。）同時請注意，要在分析時應(yīng)用選定分區(qū)，同樣必須啟用節(jié)點(diǎn)模型選項(xiàng)”選項(xiàng)卡中的分區(qū)功能。（取消此選項(xiàng)，則可以在不更改字段設(shè)置的條件下禁用分區(qū)功能。）使用頻數(shù)字段。此選項(xiàng)允許選擇某個字段作為頻數(shù)

15、權(quán)重。如果訓(xùn)練數(shù)據(jù)中的每條記錄代表多個單元（例如，正在使用聚合的數(shù)據(jù)），則可采用此項(xiàng)。字段值應(yīng)為代表每條記錄的單元數(shù)。使用加權(quán)字段。此選項(xiàng)允許選擇某個字段作為案例權(quán)重。案例權(quán)重將作為對輸出字段各個水平上方差的差異的一種考量。CHAID“模型”選項(xiàng)- 模型名稱指定要產(chǎn)生模型的名稱- 使用分區(qū)數(shù)據(jù)若用戶定義了此選項(xiàng)，則模型會選擇訓(xùn)練集作為建模數(shù)據(jù)集，并利用測試集對模型評價。利用訓(xùn)練集建立模型，用測試集剪枝。- 方法該節(jié)點(diǎn)提供了CHAID和ExhaustiveCHAIDW種方法，后者會花更多時間，但會得到更為可靠的結(jié)果ExhaustiveCHAID算法是CHAID的改進(jìn)算法。它的改進(jìn)主要集中在如何避

16、免自由度的影響上。在選擇最佳分組變量時采用了“將分組進(jìn)行到底“的策略。也就是說，仍然保留輸入變量預(yù)處理的結(jié)果，并將各分組作為決策樹的各分枝。但在計算檢驗(yàn)統(tǒng)計量的概率P值時，將繼續(xù)合并輸入變量的分組，直到最終形成兩個組或兩個“超類”為止，進(jìn)而確保所有輸入變量的檢驗(yàn)統(tǒng)計量的自由度都相同。最后，再比較概率P值,取概率P值最小的輸入變量為當(dāng)前最佳分組變量。- 模式生成模型：計算機(jī)直接給出最終模型，自動建立和剪枝決策樹。啟動交互回話：可以逐層建立，修改和刪除節(jié)點(diǎn)。若同時勾選“使用樹指令”，則可以指定任意層節(jié)點(diǎn)的分割方式或字節(jié)點(diǎn)數(shù)，所做設(shè)定也可以保存，以供下次建樹使用。- 最大樹狀圖深度：用戶可以自定義C

17、HAID樹的最大層數(shù)，避免過度擬合問題。（完整的決策樹能夠準(zhǔn)確反映訓(xùn)練樣本集中數(shù)據(jù)的特征，但可能因其失去一般代表性而無法用于對新數(shù)據(jù)的分類預(yù)測，這種現(xiàn)象稱為“過度擬合”現(xiàn)象）CHAID“專家”選項(xiàng)楔式該節(jié)點(diǎn)提供簡單和專家模式-Alpha用于合并：指定合并的顯著水平。若要避免合并，該值應(yīng)設(shè)為1。該選項(xiàng)對于ExhaustiveCHAID無效。默認(rèn)值為0.05,表示當(dāng)P值>0.05時，認(rèn)為輸入變量目前的分組水平對輸出變量取值沒有顯著影響，可以合并；否則不能合并。（該值越大，合并的可能性越不容易，樹就會越龐大）-Alpha用于分割：設(shè)定分割標(biāo)準(zhǔn)。顯著水平越低，則樹的分叉越少。默認(rèn)值為0.05,表

18、示當(dāng)P彳1<0.05時，認(rèn)為輸入變量目前的分組水平對輸出變量取值有顯著影響，可以分割；否則不能分割。- 卡方用于類別目標(biāo)：當(dāng)目標(biāo)變量時分類變量時，CHAID模型可利用Pearson卡方值或者似然比方法來進(jìn)行分類。但小樣本下不應(yīng)該使用Pearson卡方值，似然比更為通用和穩(wěn)健。似然比檢驗(yàn)LRTLR=2*(lnL1-lnL2),似然函數(shù)L(6)=L(x1,x2,.,xn;0)二口P(不日)節(jié)點(diǎn)終止選項(xiàng)。這些選項(xiàng)控制樹的構(gòu)造,設(shè)置最小分支數(shù)目以避免分割出過小的子群-正在停止使用絕對值，允許用絕對記錄數(shù)來指定大小/使用百分比，允許按照整個訓(xùn)練集的百分比來指定大小- 父分支（）中的最小記錄數(shù)：表示

19、當(dāng)父節(jié)點(diǎn)中的樣本百分比（占總樣本量的百分比）低于指定值（默認(rèn)2%）時則不進(jìn)行分組。- 子分支（）中的最小記錄數(shù)：表示當(dāng)分組后產(chǎn)生的子節(jié)點(diǎn)中的樣本百分比低于指定值（默認(rèn)1%）時則不進(jìn)行分組。- Epsilon（8）用于收斂：當(dāng)卡方值大于Epsilon值時，需進(jìn)一步迭代；否則停止迭代- 收斂的最大迭代次數(shù)：指定收斂的最大迭代次數(shù)。當(dāng)實(shí)際迭代次數(shù)超過設(shè)定值時，終止計算。- 允許分割合并的類別：選中表示，新近合并的組中如果包括三個以上的原始分組，允許將它再拆分成兩個組。例如，可以將1,2,3組拆分成1,2和3或是1,2,3。- 使用Bonferroni調(diào)整:對策略變量組合進(jìn)行分類時，根據(jù)檢驗(yàn)次數(shù)調(diào)整顯

20、著水平，以獲得較穩(wěn)健的分類樹CHAID“成本”選項(xiàng)-誤判成本值，調(diào)整誤判（clementine決策樹之調(diào)整誤判成本來優(yōu)化模型）- 在某些情況下，特定類型的錯誤比其他類錯誤所引起的損失更大。成本選項(xiàng)卡允許指定不同類型預(yù)測錯誤之間的相對重要性- 錯誤歸類損失矩陣顯示預(yù)測類和實(shí)際類每一種可能組合的損失。所有錯誤歸類都預(yù)設(shè)為1,要輸入自定義損失值，選擇“使用誤分類損失”，然后把自定義值輸入到損失矩陣中。模型執(zhí)行結(jié)果飛=乩1_.口小口取口印與ll£Pt-Itill卡內(nèi)1oou旱日工亮蜃立了ID0Q$皿71ncs斤E'jJ1k總計附4弟1普FMMPift-ajuu.E5srmitK-ff

21、l-OOin,kti.i與第瓦dfeiLDO月KPRJg亦H,flfei080il«07NQCiiXi211仙Mw城電另口力叩口8。模型的收益評價目怖莖國一OVERALL_jl義日HOSIS目有生品.0-0調(diào)班揮市麗祥布節(jié)苴中占n節(jié)3煩做矩n的掛隔Put知箱制陶II節(jié)百書占n書由惦小筐n片拈冏向應(yīng)聞佶就常?4Mb210S2SJJ065h5751：299.®-|724R02924HDDOOlOO50X102,2.5092JUD5OD217A113.LMP|y5.DU5BBDDDU口口000U.OU437.002DJ8GOO17141S2284,32422.00-OOD3000

22、2727116.01口11iDDE041DD工口日gag<T.3Tk1DD1口口口non652.002£,57D.I：iO0.000.000.0062£,0034,121.DD5.003.5H.B&1019口口1044DDOaoaaaanon|id400口巴1OD50Q8口口106.25醐.實(shí)際031JJ-TotalU.D12,n1?020!530561節(jié)點(diǎn)：節(jié)點(diǎn)編號，與決策樹圖形展示中的節(jié)點(diǎn)編號相對應(yīng)。這個號碼是CLEMENTIN由動分配的，每次運(yùn)行時會不同。節(jié)點(diǎn)：n:節(jié)點(diǎn)包含的樣本個數(shù)。例如：7號測試節(jié)點(diǎn)，總個數(shù)為：24.節(jié)點(diǎn)（）:節(jié)點(diǎn)包含的樣本個數(shù)占總樣

23、本的百分比。例如：7號測試節(jié)點(diǎn)，24/85=28.24%收益：n:節(jié)點(diǎn)包含指定類別（這里為0類）樣本的個數(shù)。高收益的節(jié)點(diǎn)應(yīng)包含盡可能多的指定類別的樣本。例如：7號測試節(jié)點(diǎn)，“0“類個數(shù)為：12收益（）:節(jié)點(diǎn)包含指定類別（這里為0類）的樣本占相應(yīng)類別總樣本數(shù)的百分比。同樣，高收益的節(jié)點(diǎn)值應(yīng)越高。（匹配項(xiàng)）例如：7號測試節(jié)點(diǎn)，12/20=60%.響應(yīng)（）:節(jié)點(diǎn)包含指定類別（這里為0類）樣本占本節(jié)點(diǎn)樣本的比例。例如：7號測試節(jié)點(diǎn),12/24=50%指數(shù)（）:節(jié)點(diǎn)包含指定類別（這里為0類）樣本的比例（響應(yīng)）是所有同類別樣本占總樣本比例的百分比，這個值也稱為提升度（lift）.或：收益（%）是本節(jié)點(diǎn)樣本

24、占總樣本比例的百分比。例如：7號測試節(jié)點(diǎn)，50%/（20/85）=212.50%提升度是數(shù)據(jù)挖掘中最重要且應(yīng)用最廣的模型評價指標(biāo)，其定義為lift=P（classt/sample）/P（classt/population）其中，P（clasts/samp）l表示在模型所限定的特定樣本空間內(nèi)輸出變量值為t類的概率;P（clas（s/populat）表示在所有樣本空間內(nèi)輸出變量值為t類的概率?？梢?，提升度本質(zhì)是收益（）和響應(yīng)（%）綜合的反應(yīng)。該值越大說明模型對t類樣本所應(yīng)具備的特征和“捕捉”能力越強(qiáng)，模型的收益越好。制作模型評價圖通常按提升度（指數(shù)）降序重新排列，然后按百分比點(diǎn)的樣本所在節(jié)點(diǎn)的累計

25、收益評價數(shù)據(jù)。片印第.OVER*LL_DIAGIMOSIS利域別:口0節(jié)點(diǎn)n1處如回應(yīng)再1陵叫7wooladd1DIDD2957575D2990?3000丸DO2100r750帶i*or"nr75nj24B23噂40007JDO1000NE3和5Ban.aogioc第DO9?97357BUSS95*目GDODmdo”DD4胃49Ji9416g11陰7000127DD3EDD100.QD27501031BOtiDD1«.DO15looon3397IXS66JU9000IMDO1土加10CI.DD2134110.9810IM00192DO3500100.DIW2310000胞武柯事1百廿匕鼓:百日dq玷inJ他CM硒妝行數(shù)網(wǎng)71DODeloi口5口口22,505EJ.0D2T2.5CI720100什JOO9j1042jS050.002(1507.9.30002ft12006000«J51例.15Q/400033口110066J6239.30167.U545000心miaoa70.0938港1M.344sornosum口口!dUiQD351g