logistic回歸與線性回歸得比較

1、logistic回歸與線性回歸得比擬1摘要本報告是在學(xué)習(xí)斯坦福大學(xué)機器學(xué)習(xí)課程前四節(jié)加上配套的講義后的總結(jié)與認識。前四節(jié)主要講述了回歸問題，回歸屬于有監(jiān)督學(xué)習(xí)中的一種方法。該方法的核心思想是從連續(xù)型統(tǒng)計數(shù)據(jù)中得到數(shù)學(xué)模型，然后將該數(shù)學(xué)模型用于預(yù)測或者分類。該方法處理的數(shù)據(jù)可以是多維的。講義最初介紹了一個根本問題，然后引出了線性回歸的解決方法，然后針對誤差問題做了概率解釋。之后介紹了logistic回歸。最后上升到理論層次，提出了一般回歸。2問題引入假設(shè)有一個房屋銷售的數(shù)據(jù)如下:面積(mA2)銷售價錢(萬元)123250150320871601022201 這個表類似于北京5環(huán)左右的房屋價錢，我

2、們可以做出一個圖，x軸是房屋的面積。y軸是房屋的售價，如下：如果來了一個新的面積，假設(shè)在銷售價錢的記錄中沒有的，我們怎么辦呢？我們可以用一條曲線去盡量準(zhǔn)的擬合這些數(shù)據(jù)，然后如果有新的輸入過來，我們可以在將曲線上這個點對應(yīng)的值返回。如果用一條直線去擬合，可能是下面的樣子：JrK綠色的點就是我們想要預(yù)測的點。首先給出一些概念和常用的符號。房屋銷售記錄表：訓(xùn)練集(training set)或者訓(xùn)練數(shù)據(jù)(trainingdata),是我們流程中的輸入數(shù)據(jù)，一般稱為x房屋銷售價錢：輸出數(shù)據(jù)，一般稱為y擬合的函數(shù)(或者稱為假設(shè)或者模型)：一般寫做y = h(x)訓(xùn)練數(shù)據(jù)的條目數(shù)倂 training set

3、),: 一條訓(xùn)練數(shù)據(jù)是由一對輸入 數(shù)據(jù)和輸出數(shù)據(jù)組成的輸入數(shù)據(jù)的維度 n (特 征的個數(shù)，#features)這個例子的特征是兩維的，結(jié)果是一維的。然而回歸方法能夠解決特征多維，結(jié)果是一維多離散值或一維連續(xù)值的問題。3學(xué)習(xí)過程下面是一個典型的機器學(xué)習(xí)的過程，首先給出一個輸入數(shù)據(jù)，我們的算法會通過一系列的過程得到一個估計的函數(shù)，這個函數(shù)有能力對沒有見過的新數(shù)據(jù)給出一個新的估計，也被稱為構(gòu)建一個模型。就如同上面的線性回歸函數(shù)。|機尋學(xué)王方注|X耀八i応計鑾耘h 詩苗-14線性回歸線性回歸假設(shè)特征和結(jié)果滿足線性關(guān)系。其實線性關(guān)系的表達能力非常強大，每個特征對結(jié)果的影響強弱可以由前面的參數(shù)表達，而且每

4、個特征變量可以首先映射到一個函數(shù)，然后再參與線性計算。這樣就可以表達特征與結(jié)果之間的非線性關(guān)系。我們用X1, X2.Xn去描述feature里面的分量，比方x仁房間的面 積，x2= 房間的朝向，等等，我們可以做出一個估計函數(shù)：h(x)=爲(wèi)(X)=仇+伉工I +八2B 在這兒稱為參數(shù)，在這的意思是調(diào)整 feature 中每個分量的影響力， 就是到底是房屋的面積更重要還是房屋的地段更重要。為了如果我們令 X0 =1， 就可以用向量的方式來表示了：罰 X我們程序也需要一個機制去評估我們 B 是否比擬好，所以說需要對我 們做出的 h 函數(shù)進行評估，一般這個函數(shù)稱為損失函數(shù) (loss function

5、 ) 或者 錯誤函數(shù) (error function) ，描述 h 函數(shù)不好的程度，在下面，我們稱這個函 數(shù)為 J 函數(shù)在這兒我們可以認為錯誤函數(shù)如下：I 陽丿訂工 (加嚴(yán) )一艸尸2 min這個錯誤估計函數(shù)是去對x(i)的估計值與真實值y(i)差的平方和作 為錯誤估計函數(shù)，前面乘上的 1/2 是為了在求導(dǎo)的時候，這個系數(shù)就不見了。至于為何選擇平方和作為錯誤估計函數(shù)，講義后面從概率分布的角度講解了該公式的來源。如何調(diào)整 B 以使得 J( 9 )取得最小值有很多方法，其中有最小二乘法(minsquare) ，是一種完全是數(shù)學(xué)描述的方法，和梯度下降法。5 梯度下降法在選定線性回歸模型后，只需要確定

6、參數(shù)9,就可以將模型用來預(yù)測。然而 9 需要在 J( 9 )最小的情況下才能確定。因此問題歸結(jié)為求極小值問題，使用梯度下降法。梯度下降法最大的問題是求得有可能是全局極小值，這與初 始點的選取有關(guān)。梯度下降法是按下面的流程進行的：1 ) 首先對 9 賦值，這個值可以是隨機的，也可以讓 9 是一個全零的 向量。2 ) 改變 9的值，使得 J( 9 )按梯度下降的方向進行減少。梯度方向由 J( 9 )對 9 的偏導(dǎo)數(shù)確定，由于求的是極小值，因此梯度 方向是偏導(dǎo)數(shù)的反方向。結(jié)果為:=孫+。(0 -越(*') 晞典迭代更新的方式有兩種，一種是批梯度下降，也就是對全部的訓(xùn)練數(shù)據(jù)求得誤差后再對B進行

7、更新，另外一種是增量梯度下降，每掃描一步都要對B進行更新。前一種方法能夠不斷收斂，后一種方法結(jié)果可能不斷在收斂處徘 徊。一般來說，梯度下降法收斂速度還是比擬慢的。另一種直接計算結(jié)果的方法是最小二乘法。6最小二乘法將訓(xùn)練特征表示為X矩陣，結(jié)果表示成y向量，仍然是線性回歸模型,誤差函 數(shù)不變。那么B可以直接由下面公式得出d = (XTX)-'XTy.但此方法要求X是列滿秩的，而且求矩陣的逆比擬慢。7選用誤差函數(shù)為平方和的概率解釋假設(shè)根據(jù)特征的預(yù)測結(jié)果與實際結(jié)果有誤差E閏，那么預(yù)測結(jié)果 滬曲和真實結(jié)果再滿足下式:般來講，誤差滿足平均值為0的高斯分布，也就是正態(tài)分布。那么條件概率也就是部樣本上

8、這樣就估計了一條樣本的結(jié)果概率，然而我們期待的是模型能夠在全連續(xù)函數(shù)的概率密預(yù)測最準(zhǔn)，也就是概率積最大。注意這里的概率積是概率密度函數(shù)積，度函數(shù)與離散值的概率函數(shù)不同。這個概率積成為最大似然估計。我們希望在最大似然估 計得到最大值時確定 B。那么需要對最大似然估 計公式求導(dǎo)，求導(dǎo)結(jié)果既是這就解釋了為何誤差函數(shù)要使用平方和。當(dāng)然推導(dǎo)過程中也做了一些假定，但這個假定符合客觀規(guī)律。8帶權(quán)重的線性回歸上面提到的線性回歸的誤差函數(shù)里系統(tǒng)都是1,沒有權(quán)重。帶權(quán)重的 線性回歸參加了權(quán)重信息。根本假設(shè)是1. r it 0 to miiiiiiiizi?工嚴(yán)？"一 fl 7 Jj?j i'.2

9、. Output 3其中假設(shè).符合公式Ur11' CXp其中x是要預(yù)測的特征，這樣假設(shè)的道理是離x越近的樣本權(quán)重越大,越遠的影響越小。這個公式與高斯分布類似，但不一樣，因為諷咼不是隨機變此方法成為非參數(shù)學(xué)習(xí)算法，因為誤差函數(shù)隨著預(yù)測值的不同而不同，這樣B無法事先確定，預(yù)測一次需要臨時計算，感覺類似KNN9分類和logistic回歸一般來說，回歸不用在分類問題上，因為回歸是連續(xù)型模型，而且受噪聲影響比擬大。如果非要應(yīng)用進入，可以使用logistic回歸。logistic回歸本質(zhì)上是線性回歸，只是在特征到結(jié)果的映射中參加了一層函數(shù)映射，即先把特征線性求和，然后使用函數(shù)gz將最為假設(shè)函數(shù)來預(yù)

10、測。gz可以將連續(xù)值映射到0和1上。logistic回歸的假設(shè)函數(shù)如下，線性回歸假設(shè)函數(shù)只是疔咒。logistic回歸用來分類0/1問題，也就是預(yù)測結(jié)果屬于0或者1的二值分類問題。這里假設(shè)了二值滿足伯努利分布，也就是P y''二 1 工；=屁工二 0 工;。一屁反當(dāng)然假設(shè)它滿足泊松分布、指數(shù)分布等等也可以，只是比擬復(fù)雜，后面會提到線性回歸的一般形式。與第7節(jié)一樣，仍然求的是最大似然估計，然后求導(dǎo)，得到迭代公式結(jié)果為可以看到與線性回歸類似，只是曲扁換成了現(xiàn)禺妙，而濁爐呦實際 上就是廠經(jīng)過gz映射過來的。10牛頓法來解最大似然估計第7和第9節(jié)使用的解最大似然估計的方法都是求導(dǎo)迭代的

11、方法，這里介紹了牛頓下降法，使結(jié)果能夠快速的收斂。當(dāng)要求解匸時，如果f可導(dǎo)，那么可以通過迭代公式來迭代求解最小值。導(dǎo)數(shù)曠當(dāng)應(yīng)用于求解最大似然估計的最大值時，變成求解最大似然估計概率C的問題。那么迭代公式寫作當(dāng)B是向量時，牛頓法可以使用下面式子表示S i -刖.其中是nx n的Hessian矩陣。牛頓法收斂速度雖然很快，但求Hessian矩陣的逆的時候比擬消耗時間。當(dāng)初始點X0靠近極小值X時，牛頓法的收斂速度是最快的。但是當(dāng) X0遠離 極小值時，牛頓法可能不收斂，甚至連下降都保證不了。原因是迭代點Xk+1不一定是目標(biāo)函數(shù)f在牛頓方向上的極小點。11 一般線性模型之所以在logistic回歸時使用

12、的公式是由一套理論作支持的。這個理論便是一般線性模型。首先，如果一個概率分布可以表示成Py;expTy- 亠G時，那么這個概率分布可以稱作是指數(shù)分布。伯努利分布，高斯分布，泊松分布，貝塔分布，狄特里特分布都屬于指數(shù)分布。在logistic回歸時采用的是伯努利分布，伯努利分布的概率可以表示成護(1-expCt/lot? + (1I k 回 1 - l>)1y + log(l")其中7? = log(0/(l 0)?得到1百1亠回這就解釋了 logistic 回歸時為了要用這個函數(shù)。一般線性模型的要點是1 )' 討燼匸滿足一個以 ?為參數(shù)的指數(shù)分布，那么可以求得?的表達式。

13、2 )給定X,我們的目標(biāo)是要確定，大多數(shù)情況下"d :那么我們實際上要確定的是，而 畤沖。(在logistic回歸中期望值是;因此h是二；在線 性回歸中期望值是 - ，而高斯分布中，因此線性回歸中h"，)。3)12 Softmax 回歸最后舉了一個利用一般線性模型的例子。假設(shè)預(yù)測值y有k種可能，即y? 1,2, - ,k比方 k=3 時，可以看作是要將一封未知郵件分為垃圾郵件、個人郵件 還是工作 郵件這三類。定義山=p(y二切那么zLi s = i、亠丄¥這樣p如二k神)二即式子左邊可以有其他的概率表示，因此可以當(dāng)作是k-1 維的問題。為了表示多項式分布表述成指數(shù)

14、分布，我們引入T(y)，它是一組k-1維的向量，這里的T(y)不是y, T(y)i表示T(y)的第i個分量。丁=b 1100r(a)=壬 r>I D,T2)=001+心一i)=farTk)='0 ' n0(J-j應(yīng)用于一般線性模型，結(jié)果 y必然是k中的一種。1y=k表示當(dāng)y=k的時候，1y=k=1。那么p(y)可以表示為卩陽)=0嚴(yán)科T0: T二掉尸1農(nóng)心即就乞血中制=護沖鈿嚴(yán)加就-£潟盹h-exp0(?)l I g(Al°+(釗)+ (1 - 1 匕(丁 5) J 噸觸)=oxp(T(t/)ilog(Ai/A)+ (T(y)3 log 他/如 + 卜(T(t/)fc_i log 觸_i/氐)+ log(如) =&(y)?xp(7/TT(y)-其實很好理解，就是當(dāng)y是一個值m( m從1到k)的時候，p(y)=二，然后形 式化了一下。那么log(伽？)Q 習(xí)=log(Ofc-lM)log(je)刀加嚴(yán)呦=最后求得而y=i時p(y i|乙 0)族求得期望值-ET?)k；'ih = i ih = 2 1T|=Earr;fly - k-19k-l匚打磁口 0；工e