logistic回歸與線性回歸得比較

1logisticlogistic回歸與線性回歸得比較本報告是在學習斯坦福大學機器學習課程前四節(jié)加上配套的講義后的總結(jié)與認識。前四節(jié)主要講述了回歸問題，回歸屬于有監(jiān)督學習中的一種方法。該方法的核心思想是從連續(xù)型統(tǒng)計數(shù)據(jù)中得到數(shù)學模型，然后將該數(shù)學模型用于講義最初介紹了一個基本問題，然后引出了線性回歸的解決方法，然后針對ogistic2問題引入假設(shè)有一個房屋銷售的數(shù)據(jù)如下：…銷售價錢(萬元)…2我們可以用一條曲線去盡量準的擬合這些數(shù)據(jù)，然后如果有新的輸入過來，我們可以在將曲線上這個點對應(yīng)的值返回。如果用一條直線去擬合，可能是下面的樣子：練集(trainingset)或者訓練數(shù)據(jù)(trainingdata),是我擬合的函數(shù)(或者稱為假設(shè)或者模型)：一般寫做y=h(x)訓練數(shù)據(jù)的條目數(shù)(#trainingset),：一條訓練數(shù)據(jù)是由一對輸入數(shù)據(jù)和輸3這個例子的特征是兩維的，結(jié)果是一維的。然而回歸方法能夠解決特征多維，下面是一個典型的機器學習的過程，首先給出一個輸入數(shù)據(jù)，我們的算法會通過一系列的過程得到一個估計的函數(shù)，這個函數(shù)有能力對沒有見過的新數(shù)據(jù)4線性回歸線性回歸假設(shè)特征和結(jié)果滿足線性關(guān)系。其實線性關(guān)系的表達能力非常強大，每個特征對結(jié)果的影響強弱可以由前面的參數(shù)體現(xiàn)，而且每個特征變量可以首先映射到一個函數(shù)，然后再參與線性計算。這樣就可以表達特征與結(jié)果之間的4可以用向量的方式來表示了：我們程序也需要一個機制去評估我們θ是否比較好，所以說需要對我們做出的h函數(shù)進行評估，一般這個函數(shù)稱為損失函數(shù)(lossfunction)或者錯誤函數(shù)在這兒我們可以認為錯誤函數(shù)如下：至于為何選擇平方和作為錯誤估計函數(shù)，講義后面從概率分布的角度講解了5在選定線性回歸模型后，只需要確定參數(shù)θ，就可以將模型用來預(yù)測。然而θ需要在J(θ)最小的情況下才能確定。因此問題歸結(jié)為求極小值問題，使用梯度下降法。梯度下降法最大的問題是求得有可能是全局極小值，這與初始點的選梯度下降法是按下面的流程進行的：1)首先對θ賦值，這個值可以是隨機的，也可以讓θ是一個全零的向量。2)改變θ的值，使得J(θ)按梯度下降的方向進行減少。梯度方向由J(θ)對θ的偏導數(shù)確定，由于求的是極小值，因此梯度方向是偏導數(shù)的反方向。結(jié)果為迭代更新的方式有兩種，一種是批梯度下降，也就是對全部的訓練數(shù)據(jù)求得誤差后再對θ進行更新，另外一種是增量梯度下降，每掃描一步都要對θ進行更最小二乘法67選用誤差函數(shù)為平方和的概率解釋實際結(jié)果有誤差，那么預(yù)測結(jié)果和真實結(jié)果滿足下式：一般來講，誤差滿足平均值為0的高斯分布，也就是正態(tài)分布。那么x和y這樣就估計了一條樣本的結(jié)果概率，然而我們期待的是模型能夠在全部樣本上預(yù)測最準，也就是概率積最大。注意這里的概率積是概率密度函數(shù)積，連續(xù)函數(shù)的概率密度函數(shù)與離散值的概率函數(shù)不同。這個概率積成為最大似然估計。我們希望在最大似然估計得到最大值時確定θ。那么需要對最大似然估計公式求導，求導結(jié)果既是也做了一些假定，但這個假定符合客觀規(guī)律。7其中假設(shè)符合公式其中假設(shè)符合公式的影響越小。這個公式與高斯分布類似，但不一樣，因為不是隨機變量。設(shè)是此方法成為非參數(shù)學習算法，因為誤差函數(shù)隨著預(yù)測值的不同而不同，這樣9分類和logistic回歸一般來說，回歸不用在分類問題上，因為回歸是連續(xù)型模型，而且受噪聲影8logistic分類是它滿足泊松分布、指數(shù)分布等等也可以，只是比較復(fù)雜，后面會提導，得到迭代公式結(jié)果為最大似然估計時，如果f可導，那么可以通過迭代公式9求解最大似然估計的最大值時，變成求解最大似然估計概率導數(shù)迭代公式寫作可以使用下面式子表示X0靠近極小值X時，牛頓法的收斂速度是最快的。但是當X0遠離極小值時，牛頓法可能不收斂，甚至連下降都保證不了。原因是迭代點11一般線性模型表示成。(在logistic回歸中期望值是，因此h)。伯努利分布，高斯分布，泊松分布，貝塔分布，狄特里特分布都屬于指數(shù)分logistic以表示成是以求得的表達式。112Softmax回歸其實很好理解，就是當y是一個值m(m從1到k)的時候，p(y)=，得那么就建立了假設(shè)函數(shù)，最后就獲得了最大似然估計該講義組織結(jié)構(gòu)清晰，思路獨特，講原因，也講推導。可貴的是講出了問題的基本解決思