第6章-多項(xiàng)式回歸

MACHINELEARNING機(jī)器學(xué)習(xí)第6章多項(xiàng)式回歸6.1多項(xiàng)式回歸介紹6.2過擬合和欠擬合6.3訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)6.4模型正則化-Regularization第6章多項(xiàng)式回歸下面的數(shù)據(jù)，雖然我們可以使用線性回歸來擬合這些數(shù)據(jù)，但是這些數(shù)據(jù)更像是一條二次曲線，相應(yīng)的方程是y=ax2+bx+c：如果將x2理解為一個特征，將x理解為另外一個特征，本來我們的樣本只有一個特征x，現(xiàn)在我們把他看成有兩個特征的一個數(shù)據(jù)集。我們?yōu)闃颖径嗵砑恿艘恍┨卣?，這些特征是原來樣本的多項(xiàng)式項(xiàng)，增加了這些特征之后，我們可以使用線性回歸的思路更好的擬合數(shù)據(jù)，這就是所謂的多項(xiàng)式回歸。6.1多項(xiàng)式回歸介紹第6章多項(xiàng)式回歸我們用一跟直線來擬合一根有弧度的曲線，效果不好。解決方案：原來所有的數(shù)據(jù)都在X中，現(xiàn)在對X中每一個數(shù)據(jù)都進(jìn)行平方，再將得到的數(shù)據(jù)集與原數(shù)據(jù)集進(jìn)行拼接，在用新的數(shù)據(jù)集進(jìn)行線性回歸。當(dāng)我們添加了一個特征（原來特征的平方）之后，再從x的維度來看，就形成了一條曲線，顯然這個曲線對原來數(shù)據(jù)集的擬合程度是更好的6.1多項(xiàng)式回歸介紹第6章多項(xiàng)式回歸多項(xiàng)式線性回歸在機(jī)器學(xué)習(xí)算法上并沒有新的地方，完全是使用線性回歸的思路。他的關(guān)鍵在于為原來的樣本，添加新的特征。而我們得到新的特征的方式是原有特征的多項(xiàng)式的組合。采用這樣的方式，我們就可以解決一些非線性的問題。PCA是對數(shù)據(jù)進(jìn)行降維處理，而多項(xiàng)式回歸是對數(shù)據(jù)升維，在升維之后算法可以更好的擬合高緯度的數(shù)據(jù)。6.1多項(xiàng)式回歸介紹第6章多項(xiàng)式回歸兩項(xiàng)均方誤差：1.0987392142417856十項(xiàng)均方誤差：1.0508466763764164百項(xiàng)均方誤差：0.687435778343369446.2過擬合和欠擬合擬合評價指標(biāo)：均方誤差第6章多項(xiàng)式回歸總有一條曲線，他能擬合所有的樣本點(diǎn)，使得均方誤差的值為0。degree從2到10到100的過程中，雖然均方誤差是越來越小的，從均方誤差的角度來看是更加小的。但是他真的能更好的預(yù)測我們數(shù)據(jù)的走勢嗎，例如我們選擇2.5到3的一個x，使用上圖預(yù)測出來的y的大?。?或者-1之間）顯然不符合我們的數(shù)據(jù)。我們使用了一個非常高的維度擬合樣本數(shù)據(jù)，雖然誤差更小，但是得到的曲線完全不是我們想要的樣子。曲線為了擬合所有的樣本點(diǎn)，變的太過復(fù)雜了，這種情況就是過擬合【over-fitting】。我們直接使用一根直線來擬合我們的數(shù)據(jù)，也沒有很好的擬合我們的樣本特征，太過簡單了，這種情況，我們成為欠擬合-【under-fitting】。對于上面特征數(shù)據(jù)，低于2項(xiàng)就是欠擬合；高于2項(xiàng)就是過擬合。6.2過擬合和欠擬合過擬合與欠擬合第6章多項(xiàng)式回歸過擬合結(jié)果，可以得知，雖然訓(xùn)練出的曲線將原來的樣本點(diǎn)擬合的非常好，總體的誤差非常的小，但是一旦來了新的樣本點(diǎn)，他就不能很好的預(yù)測了，在這種情況下，我們就稱我們得到的這條彎彎曲曲的曲線的泛化能力（由此及彼的能力）非常弱。6.3訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集模型的泛化能力第6章多項(xiàng)式回歸訓(xùn)練的模型目的是為了使得預(yù)測的數(shù)據(jù)能夠盡肯能的準(zhǔn)確。在這種情況下，我們觀察訓(xùn)練數(shù)據(jù)集的擬合程度是沒有意義的，我們真正需要的是，模型的泛化能力更高。解決這個問題的方法也就是使用訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集。6.3訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集的意義第6章多項(xiàng)式回歸測試數(shù)據(jù)對于我們的模型是全新的數(shù)據(jù)，如果使用訓(xùn)練數(shù)據(jù)獲得的模型面對測試數(shù)據(jù)也能獲得很好的結(jié)果，那么我們就說我們的模型泛化能力是很強(qiáng)的。如果我們的模型面對測試數(shù)據(jù)結(jié)果很差的話，那么他的泛化能力就很弱。對于多項(xiàng)式模型來說，我們回歸的階數(shù)越高，我們的模型會越復(fù)雜，在這種情況下對于我們的機(jī)器學(xué)習(xí)算法來說，通常是有下面一張圖的。橫軸是模型復(fù)雜度（對于不同的算法來說，代表的是不同的意思，比如對于多項(xiàng)式回歸來說，是階數(shù)越高，越復(fù)雜；對于KNN來說，是K越小，模型越復(fù)雜，k越大，模型最簡單，當(dāng)k=n的時候，模型就簡化成了看整個樣本里，哪種樣本最多，當(dāng)k=1來說，對于每一個點(diǎn)，都要找到離他最近的那個點(diǎn)），另一個維度是模型準(zhǔn)確率（也就是他能夠多好的預(yù)測我們的曲線）6.3訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集的意義第6章多項(xiàng)式回歸6.3訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集的意義第6章多項(xiàng)式回歸通常對于這樣一個圖，會有兩根曲線：一個是對于訓(xùn)練數(shù)據(jù)集來說的，模型越復(fù)雜，模型準(zhǔn)確率越高，因?yàn)槟Ｐ驮綇?fù)雜，對訓(xùn)練數(shù)據(jù)集的擬合就越好，相應(yīng)的模型準(zhǔn)確率就越高對于測試數(shù)據(jù)集來說，在模型很簡單的時候，模型的準(zhǔn)確率也比較低，隨著模型逐漸變復(fù)雜，對測試數(shù)據(jù)集的準(zhǔn)確率在逐漸的提升，提升到一定程度后，如果模型繼續(xù)變復(fù)雜，那么我們的模型準(zhǔn)確率將會進(jìn)行下降（欠擬合->正合適->過擬合）欠擬合：算法所訓(xùn)練的模型不能完整表述數(shù)據(jù)關(guān)系。過擬合：算法所訓(xùn)練的模型過多的表達(dá)了數(shù)據(jù)間的噪音關(guān)系。6.3訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集的意義第6章多項(xiàng)式回歸隨著訓(xùn)練樣本的逐漸增多，算法訓(xùn)練出的模型的表現(xiàn)能力下圖觀察線性回歸的學(xué)習(xí)曲線：觀察線性回歸模型，隨著訓(xùn)練數(shù)據(jù)集增加，性能的變化橫軸代表用于訓(xùn)練的數(shù)據(jù)，縱軸表示誤差6.3訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集學(xué)習(xí)曲線第6章多項(xiàng)式回歸從趨勢上看：在訓(xùn)練數(shù)據(jù)集上，誤差是逐漸升高的。這是因?yàn)槲覀兊挠?xùn)練數(shù)據(jù)越來越多，我們的數(shù)據(jù)點(diǎn)越難得到全部的累積，不過整體而言，在剛開始的時候誤差變化的比較快，后來就幾乎不變了。在測試數(shù)據(jù)集上，在使用非常少的樣本進(jìn)行訓(xùn)練的時候，剛開始我們的測試誤差非常的大，當(dāng)訓(xùn)練樣本大到一定程度以后，我們的測試誤差就會逐漸減小，減小到一定程度后，也不會小太多，達(dá)到一種相對穩(wěn)定的情況。在最終，測試誤差和訓(xùn)練誤差趨于相等，不過測試誤差還是高于訓(xùn)練誤差一些，這是因?yàn)?，?xùn)練數(shù)據(jù)在數(shù)據(jù)非常多的情況下，可以將數(shù)據(jù)擬合的比較好，誤差小一些，但是泛化到測試數(shù)據(jù)集的時候，還是有可能多一些誤差。6.3訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集學(xué)習(xí)曲線第6章多項(xiàng)式回歸線性回歸、2階多項(xiàng)式、20階多項(xiàng)式學(xué)習(xí)曲線比較2階多項(xiàng)式和線性回歸的學(xué)習(xí)曲線是類似的，不同在于線性回歸的學(xué)習(xí)曲線誤差在1.5至1.8左右；2階多項(xiàng)式回歸學(xué)習(xí)曲線誤差穩(wěn)定在了1.0，0.9左右；2階多項(xiàng)式穩(wěn)定的誤差比較低，說明使用二階線性回歸的性能是比較好的。20階多項(xiàng)式在數(shù)據(jù)量偏多的時候，訓(xùn)練數(shù)據(jù)集擬合的是比較好的，但是測試數(shù)據(jù)集的誤差增大了很多。這就是過擬合的結(jié)果，他的泛化能力是不夠的。6.3訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集學(xué)習(xí)曲線第6章多項(xiàng)式回歸對于欠擬合比最佳的情況趨于穩(wěn)定的那個位置要高一些，說明無論對于訓(xùn)練數(shù)據(jù)集還是測試數(shù)據(jù)集來說，誤差都比較大。這是因?yàn)槲覀儽旧砟Ｐ瓦x的就不對，所以即使在訓(xùn)練數(shù)據(jù)集上，他的誤差也是大的，所以才會呈現(xiàn)出這樣的一種形態(tài)。6.3訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集過擬合與欠擬合總結(jié)第6章多項(xiàng)式回歸對于過擬合的情況，在訓(xùn)練數(shù)據(jù)集上，他的誤差不大，和最佳的情況是差不多的，甚至在極端情況，如果degree取更高的話，那么訓(xùn)練數(shù)據(jù)集的誤差會更低，但是問題在于，測試數(shù)據(jù)集的誤差相對是比較大的，并且訓(xùn)練數(shù)據(jù)集的誤差和測試數(shù)據(jù)集的誤差相差比較大（表現(xiàn)在圖上相差比較遠(yuǎn)），這就說明了此時我們的模型的泛化能力不夠好，他的泛化能力是不夠的6.3訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集過擬合與欠擬合總結(jié)第6章多項(xiàng)式回歸使用分割訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集來判斷我們的機(jī)器學(xué)習(xí)模型性能的好壞，雖然是一個非常好的方案，但是會產(chǎn)生一個問題：針對特定測試數(shù)據(jù)集過擬合。我們每次使用測試數(shù)據(jù)來分析性能的好壞。一旦發(fā)現(xiàn)結(jié)果不好，我們就換一個參數(shù)（可能是degree也可能是其他超參數(shù)）重新進(jìn)行訓(xùn)練。這種情況下，我們的模型在一定程度上圍繞著測試數(shù)據(jù)集打轉(zhuǎn)。也就是說我們在尋找一組參數(shù)，使得這組參數(shù)訓(xùn)練出來的模型在測試結(jié)果集上表現(xiàn)的最好。但是由于這組測試數(shù)據(jù)集是已知的，我們相當(dāng)于在針對這組測試數(shù)據(jù)集進(jìn)行調(diào)參，那么他也有可能產(chǎn)生過擬合的情況，也就是我們得到的模型針對測試數(shù)據(jù)集過擬合了6.3訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集驗(yàn)證數(shù)據(jù)集與交叉驗(yàn)證第6章多項(xiàng)式回歸那么怎么解決這個問題呢？解決的方式其實(shí)就是：我們需要將我們的問題分為三部分，這三部分分別是訓(xùn)練數(shù)據(jù)集，驗(yàn)證數(shù)據(jù)集，測試數(shù)據(jù)集。我們使用訓(xùn)練數(shù)據(jù)集訓(xùn)練好模型之后，將驗(yàn)證數(shù)據(jù)集送給這個模型，看看這個訓(xùn)練數(shù)據(jù)集訓(xùn)練的效果是怎么樣的，如果效果不好的話，我們重新?lián)Q參數(shù)，重新訓(xùn)練模型。直到我們的模型針對驗(yàn)證數(shù)據(jù)來說已經(jīng)達(dá)到最優(yōu)了。這樣我們的模型達(dá)到最優(yōu)以后，再將測試數(shù)據(jù)集送給模型，這樣才能作為衡量模型最終的性能。換句話說，我們的測試數(shù)據(jù)集是不參與模型的創(chuàng)建的，而其他兩個數(shù)據(jù)集都參與了訓(xùn)練。但是我們的測試數(shù)據(jù)集對于模型是完全不可知的，相當(dāng)于我們在使用這個模型完全不知道的數(shù)據(jù)。6.3訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集驗(yàn)證數(shù)據(jù)集與交叉驗(yàn)證第6章多項(xiàng)式回歸6.3訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集驗(yàn)證數(shù)據(jù)集與交叉驗(yàn)證這種方法還會有一個問題。由于我們的模型可能會針對驗(yàn)證數(shù)據(jù)集過擬合，而我們只有一份驗(yàn)證數(shù)據(jù)集，一旦我們的數(shù)據(jù)集里有比較極端的情況，那么模型的性能就會下降很多，那么為了解決這個問題，就有了交叉驗(yàn)證。第6章多項(xiàng)式回歸交叉驗(yàn)證相對來說是比較正規(guī)的、比較標(biāo)準(zhǔn)的。在我們調(diào)整我們的模型超參數(shù)的時候評價我們的性能的方式。交叉驗(yàn)證：在訓(xùn)練模型的時候，通常把數(shù)據(jù)分成k份，例如分成3份（ABC）（分成k分，k屬于超參數(shù)），這三份分別作為驗(yàn)證數(shù)據(jù)集和訓(xùn)練數(shù)據(jù)集。這樣組合后可以分別產(chǎn)生三個模型，這三個模型，每個模型在測試數(shù)據(jù)集上都會產(chǎn)生一個性能的指標(biāo)，這三個指標(biāo)的平均值作為當(dāng)前這個算法訓(xùn)練出的模型衡量的標(biāo)準(zhǔn)。由于我們有一個求平均的過程，所以不會因?yàn)橐环蒡?yàn)證數(shù)據(jù)集中有比較極端的數(shù)據(jù)而導(dǎo)致模型有過大的偏差，這比我們只分成訓(xùn)練、驗(yàn)證、測試數(shù)據(jù)集要更加準(zhǔn)確。6.3訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集交叉驗(yàn)證CrossValidation第6章多項(xiàng)式回歸6.3訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集交叉驗(yàn)證CrossValidation第6章多項(xiàng)式回歸之前使用多項(xiàng)式回歸過擬合一個樣本的例子，可以看到這條模型曲線非常的彎曲，而且非常的陡峭，可以想象這條曲線的一些θ系數(shù)會非常的大。模型正則化需要做的事情就是限制這些系數(shù)的大小。6.4模型正則化-Regularization第6章多項(xiàng)式回歸6.4模型正則化-Regularization模型正則化基本原理第6章多項(xiàng)式回歸對于θ的求和i是從1到n,沒有將θ0加進(jìn)去，因?yàn)樗皇侨我庖豁?xiàng)的系數(shù)，他只是一個截距，決定了整個曲線的高低，但是不決定曲線每一部分的陡峭和緩和。θ求和的系數(shù)二分之一是一個慣例，加不加都可以，加上的原因是因?yàn)?，將來對?求導(dǎo)的時候可以抵消系數(shù)2，方便計算。不要也是可以的。α實(shí)際上是一個超參數(shù)，代表在我們模型正則化下新的損失函數(shù)中，我們要讓每一個θ盡可能的小，小的程度占我們整個損失函數(shù)的多少，如果α等于0，相當(dāng)于沒有正則化；如果α是正無窮的話，那么我們主要的優(yōu)化任務(wù)就是讓每一個θ盡可能的小。6.4模型正則化-Regularization模型正則化基本原理第6章多項(xiàng)式回歸選擇不同α的嶺回歸20階多項(xiàng)式回歸6.4模型正則化-Regularization嶺回歸RidgeRegression第6章多項(xiàng)式回歸嶺回歸（α=0.0001，degree=20；）通過使用嶺回歸，使得我們的均方誤差小了非常多,曲線也緩和了非常多6.4模型正則化-Regularization嶺回歸RidgeRegression第6章多項(xiàng)式回歸嶺回歸（α=1，degree=20；）α值等于1，均差誤差更加的縮小，并且曲線越來越趨近于一根傾斜的直線6.4模型正則化-Regularization嶺回歸RidgeRegression第6章多項(xiàng)式回歸嶺回歸（α=100，degree=20；）α值等于100，得到的誤差依然是比較小，但是比之前（α=1）大了些，說明正則化做的有些過頭了6.4模型正則化-Regularization嶺回歸RidgeRegression第6章多項(xiàng)式回歸嶺回歸（α=10000000，degree=20；）α值等于10000000，我們的模型實(shí)際上相當(dāng)于就是在優(yōu)化θ的平方和這一項(xiàng)，使得其最?。ㄒ?yàn)镸SE的部分相對非常?。６沟忙鹊钠椒胶妥钚?，就是使得每一個θ都趨近于0，這個時候曲線就趨近于一根直線了6.4模型正則化-Regularization嶺回歸RidgeRegression第6章多項(xiàng)式回歸使用|θ|代替θ2來標(biāo)