大數(shù)據(jù)挖掘技術(shù)之DM經(jīng)典模型(下)(共21頁)

1、大數(shù)據(jù)挖掘技術(shù)(jsh)之DM經(jīng)典模型（下）數(shù)據(jù)分析微信公眾(gngzhng)號(hào)datadw關(guān)注你想了解的，分享(fn xin)你需要的。接著上篇大數(shù)據(jù)挖掘技術(shù)之DM經(jīng)典模型（上）文章，接下來我們將探討樸素貝葉斯模型、線性回歸、多元回歸、邏輯回歸分析等模型。4、樸素貝葉斯模型表查詢模型簡單有效，但是存在一個(gè)問題。隨著輸入數(shù)量的額增加，每個(gè)單元格中訓(xùn)練樣本的數(shù)量會(huì)迅速減少。如果維度為2，且每一維有10個(gè)不同的變量，那么就需要100個(gè)單元格，而當(dāng)有3個(gè)維度時(shí)，就需要1000個(gè)單元格，4個(gè)維度就是10000.這樣成指數(shù)級(jí)的增長，哪怕的傳統(tǒng)數(shù)據(jù)挖掘中都會(huì)遇到明顯瓶頸。當(dāng)試圖預(yù)測某一個(gè)概率值時(shí)，樸素貝葉

2、斯模型就提供這一辦法。基本思想：每個(gè)輸入變量本身就包含一些預(yù)測需要的信息。比如目標(biāo)變量是取消業(yè)務(wù)的概率，解釋變量是市場、獲取渠道、初始信用評(píng)分、利率計(jì)劃、電話號(hào)碼類型、手機(jī)號(hào)以及客戶年齡。這些變量都具有預(yù)測能力。根據(jù)取消率的顯著差異性，可將每個(gè)變量劃分在不同的范圍中。簡單理解：條件(tiojin)概率是指給定B的條件下A的概率以及給定A的條件下B的概率(gil)。解釋：給定B的條件下A發(fā)生(fshng)的概率，等于給定A的條件下B發(fā)生的概率乘以A和B發(fā)生的概率的比例。如果A代表停止續(xù)簽，B代表使用黑莓手機(jī)，然后給定使用黑莓手機(jī)的條件下停止續(xù)簽的概率，就是給定停止續(xù)簽的條件下使用黑莓手機(jī)的概率乘

3、以總體停止續(xù)簽的概率與總體使用黑莓手機(jī)的概率之比。4.1、概率、幾率和釋然概率：0到1之間的一個(gè)數(shù)字，表示一個(gè)特定結(jié)果發(fā)生的可能性。一種估計(jì)結(jié)果概率的方法是計(jì)算樣本數(shù)據(jù)中出現(xiàn)結(jié)果次數(shù)的百分比。幾率：某一特定結(jié)果發(fā)生于不發(fā)生的概率比。如果一個(gè)事件發(fā)生的概率是0.2，那么不發(fā)生的概率是0.8。那么其發(fā)生的幾率就是1/4。幾率的取值是0到無窮。似然：兩個(gè)相關(guān)的條件概率比。即給定B發(fā)生的情況下，某一特定結(jié)果A發(fā)生的概率和給定B不發(fā)生的情況下A發(fā)生的概率之比。4.2、樸素(p s)貝葉斯計(jì)算對(duì)任意數(shù)量屬性中的每一個(gè)屬性，樸素貝葉斯公式都將目標(biāo)事件的幾率與該事件的似然聯(lián)系起來。回到基于營銷市場、渠道獲取、

4、最初信用評(píng)分、費(fèi)率計(jì)算、電話號(hào)碼類型、手機(jī)型號(hào)以及客戶年齡來預(yù)測客戶流失的例子。例如上面談到的黑莓手機(jī)續(xù)簽的案例，我們關(guān)注(gunzh)的是。1、停止續(xù)簽的總體幾率。2、黑莓手機(jī)用戶停止的似然。3、在整個(gè)州市場停止續(xù)簽的似然。之所以定義為“樸素”，是基于所有似然相乘都基于輸入變量(binling)相互獨(dú)立的假設(shè)。在這個(gè)案例中，假設(shè)的是使用黑莓手機(jī)的似然與市場獨(dú)立（并且存在于該州的似然與手機(jī)類型獨(dú)立）。而在實(shí)際中，這種真正相互獨(dú)立的情況很少見。樸素貝葉斯模型最吸引人的點(diǎn)：對(duì)于待評(píng)分的觀測，如果缺失某些輸入值，可以簡單地將缺失的似然從模型中去掉。意味著，包含那些并不是對(duì)所有有用都可用的輸入（用戶年

5、齡），但如果知道這些變量，它們就有用。給定不同輸入的概率，且這些輸入與停止續(xù)簽相關(guān)，樸素貝葉斯公式就可以計(jì)算停止續(xù)簽的幾率，而公司對(duì)這種停止續(xù)簽的用戶更感興趣。4.3、樸素與表查詢模型的比較對(duì)于概率型目標(biāo)來說，樸素貝葉斯模型和表查詢模型密切相關(guān)。兩者之間的主要區(qū)別就在于如何使用維度。在表查詢模型中，使用所有維度依次定義單元格，然后計(jì)算每一個(gè)單元格的目標(biāo)概率。因此，表查詢模型可以獲取變量之間的相互作用。在樸素中，需要為每一個(gè)維度單獨(dú)計(jì)算似然，之后組合這些似然，從而計(jì)算出目標(biāo)概率。似然的組合有一個(gè)假設(shè)：各維度關(guān)于目標(biāo)彼此獨(dú)立。表查詢沒有說明這樣一類屬性的組合關(guān)系，即由于在訓(xùn)練數(shù)據(jù)中出現(xiàn)的頻率很低，

6、導(dǎo)致這些概率很低的屬性就不會(huì)出現(xiàn)。在樸素模型中可以預(yù)測(yc)任何從未出現(xiàn)過的組合，但要這樣做，就必須假設(shè)這些輸入所造成的影響彼此獨(dú)立。表查詢模型沒有這樣的假設(shè)，所以當(dāng)數(shù)據(jù)多到可以支持一個(gè)可信的估計(jì)模型時(shí)，表查詢模型也許會(huì)做的更好。5、線性回歸(hugu)回歸模型也是一種預(yù)測建模技術(shù)。在Excel中就可以使用線性回歸?；貧w模型也很復(fù)雜，這里談到最佳擬合曲線。輸入變量和目標(biāo)變量必須(bx)都是數(shù)值變量，回歸方程描述了兩者之間的一種算術(shù)關(guān)系。“最佳的”關(guān)系是指最大限度地減少了從數(shù)據(jù)點(diǎn)到擬合曲線的垂直距離的平方和。5.1最佳擬合曲線如下圖，顯示了一個(gè)知名博主發(fā)表的一篇文章日瀏覽率隨著時(shí)間和被關(guān)注度之

7、間的關(guān)系。圖中使用描點(diǎn)的符號(hào)是空心圓，它有助于清楚的顯示各點(diǎn)之間的聚集情況。例如，在較短時(shí)間內(nèi)用戶的關(guān)注度分布非常密集。當(dāng)使用不同的顏色比較不同的客戶組時(shí)，這種散點(diǎn)圖尤其有用。隨著時(shí)間的增加，博客的日訪問量會(huì)越來越低，最后維持到一個(gè)水平。畫出來的曲線更像是一個(gè)雙曲線。根據(jù)X軸，時(shí)間的遞增。Y軸，日訪問量的增加。我們可以模擬出這個(gè)博主的訪問量隨時(shí)間變化的曲線。如果在保證博客質(zhì)量的同時(shí)，我們就可以預(yù)測博主的一篇博客的訪問量大致在什么范圍。可能(knng)這里有很多的誤差或不精確的地方。但是通過擬合曲線，我們更能從直觀上看到，曲線的走勢。如果曲線更精確的化，我們甚至可以模擬出曲線的函數(shù)表達(dá)式。如果用

8、作數(shù)據(jù)點(diǎn)的標(biāo)記并沒有完全擬合，散點(diǎn)圖可以傳遞出更多的信息。最佳(zu ji)擬合曲線的性質(zhì)：在所有可能的曲線中，最佳擬合曲線指的是從觀察點(diǎn)到曲線垂直距離的平方最下的那條曲線，散點(diǎn)圖顯示了每個(gè)點(diǎn)到曲線之間的距離。最佳擬合曲線的定義就是最小二乘法的定義。歐式距離公式對(duì)該值進(jìn)行了開方，在沒有計(jì)算機(jī)的年代，計(jì)算歐式距離非常(fichng)困難。當(dāng)時(shí)，高斯提出這一觀點(diǎn)，就是利用計(jì)算平方和，代替計(jì)算距離之和。這樣做的目的，就使最佳擬合曲線系數(shù)很容易計(jì)算。這里談到的是線性回歸，其實(shí)(qsh)回歸模型是一個(gè)直線方程，這里只是來描述一個(gè)擬合曲線，其實(shí)算不上一個(gè)回歸曲線。在現(xiàn)實(shí)之中，更多線性回歸的模型很少見，更多

9、的是曲線擬合。5.2擬合(n h)的優(yōu)點(diǎn)對(duì)于一個(gè)給定的數(shù)據(jù)集，總是可以找到一條最佳的擬合曲線。但是，存在很多條曲線，哪條才是最佳的。這里引入“殘差”，就是度量預(yù)測值與實(shí)際值之差。還有一個(gè)標(biāo)準(zhǔn)方法，成為，用來衡量(hng ling)描述曲線對(duì)觀測數(shù)據(jù)的擬合程度。（1）殘差如圖，身高(shn o)與體重模型的殘差。一個(gè)無偏模型在丟失高值點(diǎn)方面應(yīng)與丟失低值點(diǎn)類似。在殘差圖中，最重要的一點(diǎn)就是，這些值是位于擬合曲線之上的可能性與之下的可能性是否一樣。從圖中我們也可以(ky)看到在曲線上與在曲線下的樣本點(diǎn)是不一樣的。一個(gè)良好的模型所產(chǎn)生的估計(jì)值應(yīng)該接近(jijn)真實(shí)值，所以殘差應(yīng)該集中于曲線軸附近。如

10、圖中也是可以看到拋離曲線的一些孤立點(diǎn)。這些點(diǎn)出現(xiàn)的原因，可能是由于一些人為記錄的原因造成的。在統(tǒng)計(jì)學(xué)中，殘差在回歸方程中要考慮誤差項(xiàng)。最佳擬合曲線(qxin)的方程是：Y=aX+b但該曲線，不是完整的模型。統(tǒng)計(jì)人員會(huì)將模型方程表示為：代表誤差項(xiàng)，因?yàn)閄并不能完美(wnmi)的展示Y。誤差項(xiàng)表示模型無法解釋的Y的部分。Y=aX +b+（2）R(R這里(zhl)代表是R的平方)對(duì)于最佳擬合曲線，R的取值始終在01之間。當(dāng)該值接近1時(shí)，說明該曲線在捕獲輸入和目標(biāo)之間的關(guān)系方面表現(xiàn)很好。若接近于0，則說明最佳擬合曲線的表現(xiàn)很差。在01的范圍內(nèi)，值越大表明兩者之間存在很強(qiáng)的關(guān)系，越下其關(guān)系越下。相比于隨

11、機(jī)猜測的平均值，模型的估計(jì)值有多好。定義簡單，但計(jì)算起來復(fù)雜。R要比較最佳擬合曲線與y平均值的水平線。1減去兩個(gè)誤差的比值可以計(jì)算出R。分子式最佳擬合曲線殘差的平方和。分母是水平線的殘差平方和。R度量了最佳擬合曲線優(yōu)于均值作為估計(jì)的程度。R度量了數(shù)據(jù)的穩(wěn)定性。同一數(shù)據(jù)集中不同的樣本(yngbn)是否會(huì)生成相似的模型。當(dāng)R值較低時(shí)，不同的樣本可能會(huì)表現(xiàn)出非常不同的行為?；蛘?，在此基礎(chǔ)上，再加入少量觀察值可能會(huì)極大地改變模型的系數(shù)。當(dāng)R值較高時(shí)，再加入少量觀察值就不會(huì)有上述的改變。5.3全局(qunj)效應(yīng)回歸方程能發(fā)現(xiàn)數(shù)據(jù)中的全局模式。即，方程系數(shù)應(yīng)該對(duì)范圍內(nèi)的所有輸入變量都起作用。這表明回歸模

12、型(mxng)善于捕獲那些總是正確的模式，不是產(chǎn)于處理局部模式。例如，考慮不同年齡的汽車保險(xiǎn)購買人的風(fēng)險(xiǎn)。年輕司機(jī)的風(fēng)險(xiǎn)較高。隨著駕駛?cè)藛T經(jīng)驗(yàn)的不斷增加，風(fēng)險(xiǎn)會(huì)逐步降低。而對(duì)年齡很大的駕駛者，風(fēng)險(xiǎn)又會(huì)增加。因?yàn)槟挲g很難作為回歸方程的輸入。因?yàn)闆]有全局模式，對(duì)于不同的年齡組，年齡的影響變化又會(huì)不同。在很多程度上，這個(gè)需要根據(jù)建模人員的熟悉程度，可以使用那些在不同取值范圍的變量作為輸入?yún)?shù)。但是，回歸方程本身不會(huì)發(fā)現(xiàn)局部模式。6、多元回歸引入線性回歸的那個(gè)例子使用了單一的輸入(shr)持續(xù)期來解釋日訪問量隨時(shí)間(shjin)的變化。當(dāng)一個(gè)回歸模型有多個(gè)輸入時(shí)，就稱其為多元回歸。6.1、等式(dng

13、sh)線性回歸模型的一般形式（沒有誤差項(xiàng)）是：Y=a+a1x1+a2x2+a3x3+.+anxn。這個(gè)方程通過添加更多變量，并為每個(gè)變量選定系數(shù)，對(duì)最佳曲線方程進(jìn)行了擴(kuò)展。盡管通過引入更多維度，可以將線性回歸的幾何解釋擴(kuò)展到多元回歸曲線變?yōu)槠矫嬖僮兊匠矫?。考慮到每個(gè)字變量對(duì)因變量估計(jì)值的貢獻(xiàn)會(huì)更容易些，即可以由系數(shù)決定自變量貢獻(xiàn)的大小和方向。6.2、目標(biāo)變量的范圍一個(gè)回歸方程可以產(chǎn)生任何值。如果對(duì)X沒有限制，那么Y也是沒有限制的。對(duì) Y=aX+b 就可以說明這一點(diǎn)，該方程是一條簡單的直線，取值隨之X的取值而邊變化，從負(fù)無窮到正無窮。但實(shí)際情況非如此。許多目標(biāo)變量的范圍并不是無窮的，甚至不是連

14、續(xù)的。對(duì)于這些情況，統(tǒng)計(jì)學(xué)家引入了一個(gè)鏈接函數(shù)將回歸方程產(chǎn)生的Y值映射到目標(biāo)變量的一個(gè)適合的范圍。當(dāng)目標(biāo)遵循某一已知的分布時(shí)，就可以選擇一個(gè)鏈接函數(shù)，它產(chǎn)生的值與目標(biāo)的平均值相同，同時(shí)也會(huì)產(chǎn)生一個(gè)類似的分布。即使不知道確切的分布，也可以引入鏈接函數(shù)將估計(jì)映射到目標(biāo)的一個(gè)適當(dāng)?shù)姆秶?。后面我?w men)會(huì)介紹邏輯回歸分析，那里使用一個(gè)鏈接函數(shù)將線性回歸的無窮范圍映射到01的區(qū)間，該區(qū)間等價(jià)于概率估計(jì)。6.3、使用(shyng)多元回歸的其他注意事項(xiàng)回歸模型中有多個(gè)輸入變量(binling)時(shí)，會(huì)產(chǎn)生一些在單一輸入中不存在的問題。理想情況下，所有輸入之間應(yīng)該線性無關(guān)。被模型顯示地包含的輸入之間可

15、能存在相互。添加一個(gè)新輸入將會(huì)改變所有原輸入的系值取值。（1）線性無關(guān)與樸素貝葉斯類似，多元模型的輸入之間應(yīng)該線性無關(guān)。這一位置改變其中一個(gè)輸入值應(yīng)該對(duì)其他輸入值沒有影響。實(shí)際情況很難實(shí)現(xiàn)真正獨(dú)立性。一般情況，注意不要包含彼此密切相關(guān)的自變量就可以。如果包含這些變量，往往會(huì)導(dǎo)致模型的一個(gè)輸入變量有較大的正系數(shù)而另一個(gè)輸入變量有較大的負(fù)系數(shù)。兩個(gè)變量本質(zhì)上相互抵消，因此這兩個(gè)系數(shù)的取值并不會(huì)對(duì)任何變量有真正意義上的影響。（2）交互(jioh)即使兩個(gè)變量是完全獨(dú)立的，它們對(duì)目標(biāo)的影響(yngxing)也可能是相關(guān)的。一個(gè)冰淇淋的吸引力可能依賴于價(jià)格和天氣尤其是某天的炎熱程度。這些變量可以認(rèn)為是獨(dú)

16、立的（當(dāng)然，冰淇淋的價(jià)格并不取決于溫度，溫度可能會(huì)影響冰淇淋的價(jià)格，但是這里假設(shè)不會(huì)）。盡管這些變量相互獨(dú)立，價(jià)格對(duì)目標(biāo)的影響扔可能受溫度的影響。當(dāng)天氣炎熱的時(shí)候，人民不是在意冰淇淋的價(jià)額都會(huì)購買。當(dāng)天氣寒冷的時(shí)候，只有真正物美價(jià)廉才可能會(huì)吸引人民購買。類似的，價(jià)格(jig)的變化對(duì)住戶率的影響可能會(huì)隨著距離市中心的遠(yuǎn)近不同而不同。這就是交互的例子。當(dāng)認(rèn)為交互很重要時(shí)，一般情況下，可以通過添加新變量引入這些交互，而這些新變量是標(biāo)準(zhǔn)化交互中涉及變量值的產(chǎn)物。（3）添加變量可以改變模型中的原有變量的取值一種很自然的模型開發(fā)方法從一個(gè)僅有一個(gè)輸入的簡單模型開始，然后通過增加變量逐步提高其復(fù)雜性。如果

17、所有輸入變量都是完全獨(dú)立的，那么添加或刪除其中一個(gè)變量不會(huì)更改模型中的其他變量的系數(shù)。但是輸入變量幾乎不可能完全獨(dú)立，所有包含另一個(gè)變量會(huì)改變系數(shù)的大小，甚至可能改變模型中其他原有變量系數(shù)的正負(fù)值。6.4、多元回歸的變量(binling)選擇多元回歸模型在有大量(dling)輸入時(shí)，它的表現(xiàn)并不理想。選擇正確的輸入變量對(duì)任何建模而言都是最重要的部分。這里談到“領(lǐng)域知識(shí)”，就是首先要考慮的是對(duì)該問題所知道的一些先驗(yàn)知識(shí)以及以往人民解決此類問題的額方法。有的時(shí)候領(lǐng)域知識(shí)對(duì)一時(shí)模型的預(yù)測可以提供一個(gè)很好的指標(biāo)指向。當(dāng)使用領(lǐng)域知識(shí)和常識(shí)創(chuàng)建了一張候選變量列表后，用于創(chuàng)建回歸模型(mxng)的軟件通?？?/p>

18、以幫助使用者選擇出模型所需的最好變量。使用的方法：（1）前向選擇前向現(xiàn)在開始使用一組輸入變量，其中一些變量或全部變量都可以出現(xiàn)在最終模型里。第一步是為每一個(gè)輸入變量創(chuàng)建一個(gè)單獨(dú)的回歸模型；如果有n個(gè)輸入變量，那么第一步會(huì)考慮具有一個(gè)輸入變量的n個(gè)不同的回歸模型。選擇測試得分最高的模型所對(duì)應(yīng)的變量作為前向選擇模型中的第一個(gè)變量。選擇最佳模型的一種方法是選擇R值最低的模型。另一種方法是使用統(tǒng)計(jì)檢驗(yàn)中F-檢驗(yàn)的方法。最好的模型是在驗(yàn)證集上的誤差最小的模型。這看上去更像是數(shù)據(jù)挖掘，因?yàn)樗褂昧蓑?yàn)證集，并沒有對(duì)輸入或目標(biāo)值做出任何假設(shè)。選定了第一個(gè)變量后，這以過程會(huì)在此重復(fù)進(jìn)行。第二次通過將每個(gè)剩余(s

19、hngy)變量與第一步已選定的變量組合以創(chuàng)建包含有兩個(gè)輸入變量的n-1個(gè)回歸模型。這些模型中最好的模型將會(huì)是下一次迭代的基礎(chǔ)，下次(xi c)迭代會(huì)測試帶有三個(gè)變量的多元回歸模型。持續(xù)這一過程直到滿足某些停止條件為止。終止條件可以是到達(dá)最大的選擇變量個(gè)數(shù)，或者繼續(xù)增加變量不能在繼續(xù)提高模型的某個(gè)閾值。（2）逐步(zhb)選擇逐步選擇與前向選擇非常類似，只有一點(diǎn)不同。在每個(gè)步驟中除了增加一個(gè)變量外，還可以刪除一個(gè)變量，較早進(jìn)入模型的一個(gè)變量可能由于后續(xù)變量的聯(lián)合作用而不再是有效變量。（3）后向消去后向消去選擇變量的方法首先使用所有的n個(gè)輸入變量創(chuàng)建了一個(gè)多元回歸模型。使用統(tǒng)計(jì)檢驗(yàn)，消去較糟糕的變

20、量，然后重置該模型。持續(xù)該過程直到滿足某些停止條件，比如到達(dá)理想變量的最小數(shù)目。7、邏輯(lu j)回歸分析線性回歸模型有一種特殊的形式。該形式對(duì)任意數(shù)量的輸入變量(binling)都可用，但當(dāng)只有一個(gè)輸入變量時(shí)，效果最明顯。回歸公式是一條直線方程。直線的一個(gè)屬性是它可以向兩端無限延伸。除與X軸平行的直線外，回歸模型沒有最大值和最小值。這些屬性使得線性回歸模型適用于估計(jì)那些取值范圍可能很廣的連續(xù)變量。相同的屬性使得線性回歸模型適用于建模無界的、連續(xù)的目標(biāo)，而不適于建模二元結(jié)果，比如是否(sh fu)或好壞。因?yàn)槎獑栴}是極其常見的，這就邏輯回歸分析模型。7.1建模二元輸出建模二元輸出似乎不像是

21、一個(gè)評(píng)估任務(wù)。有兩個(gè)類別的，任務(wù)是將每條記錄分配到其中的一個(gè)類。這就是一個(gè)分類任務(wù)。然而，該任務(wù)可以重述為“某個(gè)記錄屬于其中一個(gè)類的概率是多少？”，因?yàn)楦怕适菙?shù)字，這個(gè)問題就轉(zhuǎn)化為一項(xiàng)評(píng)估任務(wù)。（1）使用線性回歸評(píng)估概率在談到基于客戶的持續(xù)期估計(jì)訂閱在報(bào)紙上的支付額度模型上。呼叫中心通過與用戶取得聯(lián)系，其中一些客戶同意簽訂訂閱協(xié)議。簽訂合約不久后他們便開始接收?qǐng)?bào)紙，隨后他們要支付一筆賬單。一些新用戶不會(huì)抽時(shí)間來支付這第一張訂單，從而消減了報(bào)紙的收入。一段時(shí)間后，沒有支付訂單的客戶被停止收到報(bào)紙，其中一些支付賬單的新客戶并有可能(knng)在很長時(shí)間后成為良好的客戶。不過在前面幾個(gè)星期，客戶不愿

22、意付款的可能性非常大。目標(biāo)值為0可以表示為從未付款的客戶，為1的表示付過款的客戶，所有這里會(huì)存在一條最佳擬合曲線。但不能保證這是一個(gè)好的模型。因?yàn)樵诔^一定天后，這一概率軌跡值大于1，而且這一估計(jì)值會(huì)隨著(su zhe)持續(xù)期的增加而無限的增加。這就是直線的性質(zhì)：顯然存在弊端，沒有最大值或最小值。（2）將回歸(hugu)直線彎成曲線顯然，直線不是一個(gè)估計(jì)概率的合適形狀。邏輯回歸分析通過將回歸直線彎成一個(gè)更合適的形狀來解決這一問題。我們要獲得一個(gè)取值范圍在01之間的函數(shù)。這就是邏輯函數(shù)。7.2、邏輯函數(shù)樸素貝葉斯模型是乘以一串似然來估計(jì)幾率，然后將其轉(zhuǎn)換成概率。把線性回歸轉(zhuǎn)換成邏輯回歸也使用了這

23、類技巧。第一步：通過P與1-P之間將概率P轉(zhuǎn)換為幾率。幾率和概率表示同一件事情(sh qing)。不同點(diǎn)在于，概率取值范圍01，幾率是0到正無窮。在去幾率的對(duì)數(shù)值以生成一個(gè)從負(fù)無窮到正無窮的函數(shù)。從這一點(diǎn)來看，概率被轉(zhuǎn)換為一個(gè)從負(fù)無窮(wqing)到正無窮的連續(xù)函數(shù)這正式線性回歸的優(yōu)勢。把幾率的對(duì)數(shù)值作為目標(biāo)變量而建立回歸方程。盡管邏輯回歸看起來比直線更“彎曲”，但它只能發(fā)現(xiàn)全局模式，而不是局部模式。局部模式的獲取需要顯示的體現(xiàn)在變量確定其影響。為線性回歸找出最佳擬合曲線所使用的普通最小二乘法并不適用與邏輯回歸分析(fnx)，它使用最大似然的方法，通過最大似然法擬合模型。最大似然法擬合(n h

24、)模型擬合任何類型的參數(shù)模型對(duì)意味著要使用數(shù)據(jù)來找出最佳參數(shù)，利用這些最佳參數(shù)計(jì)算的預(yù)測值與實(shí)際值盡可能相符。這與模型評(píng)分的情況恰恰相反。在評(píng)分過程中，給定一組參數(shù)值模型，模型為某些輸入(shr)產(chǎn)生最佳的估計(jì)值。給定一個(gè)(y )待定的參數(shù)值和一組觀察值，這一函數(shù)返回該參數(shù)值正確的概率。雖然一般不存在這樣的函數(shù)，但在給定參數(shù)的情況下，訓(xùn)練集中出現(xiàn)目標(biāo)值的概率和參數(shù)的似然之間存在一個(gè)有用的關(guān)系成正比。似然是不確定性相關(guān)的一種度量，這與概率是一種絕對(duì)度量的情況不同，但使用似然相比較與候選參數(shù)優(yōu)勢已經(jīng)明顯。似然函數(shù)的實(shí)際計(jì)算公式取決于對(duì)數(shù)據(jù)的各種假設(shè)，這又反過來取決于使用特定的參數(shù)模型。對(duì)于邏輯回歸，似然函數(shù)有一個(gè)精確的最佳值?？梢允褂脭?shù)值優(yōu)化的方法來最大化似然值，并可以保證找到最大點(diǎn)。總結(jié)：概率統(tǒng)計(jì)的思想是所有數(shù)據(jù)挖掘技術(shù)的基礎(chǔ)。給定一個(gè)理想目標(biāo)統(tǒng)計(jì)描述，就可以用相似度來度量候選值與原型或理想對(duì)象的距離來對(duì)候選進(jìn)行評(píng)