機器學(xué)習(xí)模型選擇與正則化

1、機器學(xué)習(xí)之模型評估與模型選擇重慶大學(xué) 余俊良摘要損失函數(shù)與風(fēng)險函數(shù)經(jīng)驗風(fēng)險最小化和結(jié)構(gòu)風(fēng)險最小化模型評估與模型選擇正則化與交叉驗證損失函數(shù)與風(fēng)險函數(shù)損失函數(shù)與風(fēng)險函數(shù)損失函數(shù)與風(fēng)險函數(shù)損失函數(shù)與風(fēng)險函數(shù)經(jīng)驗風(fēng)險最小化和結(jié)構(gòu)風(fēng)險最小化經(jīng)驗風(fēng)險最小化和結(jié)構(gòu)風(fēng)險最小化經(jīng)驗風(fēng)險最小化和結(jié)構(gòu)風(fēng)險最小化模型評估與模型選擇 訓(xùn)練誤差與測試誤差模型評估與模型選擇 訓(xùn)練誤差與測試誤差模型評估與模型選擇 過擬合與模型選擇模型評估與模型選擇 過擬合與模型選擇模型評估與模型選擇 過擬合與模型選擇模型評估與模型選擇 過擬合與模型選擇模型評估與模型選擇 過擬合與模型選擇模型評估與模型選擇 過擬合與模型選擇正則化與交叉驗證

2、正則化與交叉驗證正則化與交叉驗證 舉例上圖紅色小叉代表給出的樣本數(shù)據(jù)，我們看到了如果用一個二次函數(shù)來擬合這些數(shù)據(jù)，那么它給了我們一個對數(shù)據(jù)很好的擬合。然而，如果我們用一個更高次的多項式去擬合，最終我們可能會得到一個曲線，它能很好地擬合訓(xùn)練集，但卻并不是一個好的結(jié)果，因為它過度擬合了數(shù)據(jù)，因此，一般性并不是很好。讓我們考慮下面的假設(shè)，我們想要加上懲罰項，從而使參數(shù) 3和 4足夠的小。正則化與交叉驗證 舉例上圖的式子是我們的優(yōu)化目標(biāo)，也就是說我們需要盡量減少代價函數(shù)的均方誤差。對于這個函數(shù)我們對它添加一些項，加上 1000 乘以 3的平方，再加上 1000 乘以 4的平方，1000 只是我隨便寫的

3、某個較大的數(shù)字而已。現(xiàn)在，如果我們要最小化這個函數(shù)，那么為了最小化這個新的代價函數(shù)，我們要讓 3和 4盡可能小。因為，如果你在原有代價函數(shù)的基礎(chǔ)上加上 1000 乘以 3這一項 ，那么這個新的代價函數(shù)將變得很大，所以，當(dāng)我們最小化這個新的代價函數(shù)時， 我們將使 3的值接近于 0，同樣 4的值也接近于 0，就像我們忽略了這兩個值一樣。如果我們做到這一點（ 3和 4接近 0 ），那么我們將得到一個近似的二次函數(shù)。正則化與交叉驗證 舉例因此，我們最終恰當(dāng)?shù)財M合了數(shù)據(jù)，我們所使用的正是二次函數(shù)加上一些非常小，貢獻很小項（因為這些項的 3、 4非常接近于0）。顯然，這是一個更好的假設(shè)。正則化與交叉驗證更

4、一般地，這里給出了正規(guī)化背后的思路。這種思路就是，如果我們的參數(shù)值對應(yīng)一個較小值的話（參數(shù)值比較?。敲赐覀儠玫揭粋€形式更簡單的假設(shè)。在我們上面的例子中，我們懲罰的只是 3和 4 ，使這兩個值均接近于零，從而我們得到了一個更簡單的假設(shè)，實際上這個假設(shè)大抵上是一個二次函數(shù)。但更一般地說，如果我們像懲罰 3和 4這樣懲罰其它參數(shù)，那么我們往往可以得到一個相對較為簡單的假設(shè)。實際上，這些參數(shù)的值越小，通常對應(yīng)于越光滑的函數(shù)，也就是更加簡單的函數(shù)。因此 就不易發(fā)生過擬合的問題。我知道，為什么越小的參數(shù)對應(yīng)于一個相對較為簡單的假設(shè)，對你來說現(xiàn)在不一定完全理解，但是在上面的例子中使 3和 4很小，

5、并且這樣做能給我們一個更加簡單的假設(shè)，這個例子至少給了我們一些直觀感受。正則化與交叉驗證來讓我們看看具體的例子，對于房屋價格預(yù)測我們可能有上百種特征，與剛剛所講的多項式例子不同，我們并不知道 3和 4是高階多項式的項。所以，如果我們有一百個特征，我們并不知道如何選擇關(guān)聯(lián)度更好的參數(shù)，如何縮小參數(shù)的數(shù)目等等。因此在正則化里，我們要做的事情，就是把減小我們的代價函數(shù)（例子中是線性回歸的代價函數(shù)）所有的參數(shù)值，因為我們并不知道是哪一個或哪幾個要去縮小。因此，我們需要修改代價函數(shù)，在這后面添加一項，就像我們在方括號里的這項。當(dāng)我們添加一個額外的正則化項的時候，我們收縮了每個參數(shù)。正則化與交叉驗證下面的

6、這項就是一個正則化項并且 在這里我們稱做正則化參數(shù)。 要做的就是控制在兩個不同的目標(biāo)中的平衡關(guān)系。第一個目標(biāo)就是我們想要使假設(shè)更好地擬合訓(xùn)練數(shù)據(jù)。我們希望假設(shè)能夠很好的適應(yīng)訓(xùn)練集。第二個目標(biāo)是我們想要保持參數(shù)值較小。（通過正則化項）而 這個正則化參數(shù)需要控制的是這兩者之間的平衡，即平衡擬合訓(xùn)練的目標(biāo)和保持參數(shù)值較小的目標(biāo)。從而來保持假設(shè)的形式相對簡單，來避免過度的擬合。對于我們的房屋價格預(yù)測來說，我們之前所用的非常高的高階多項式來擬合，我們將會得到一個非常彎曲和復(fù)雜的曲線函數(shù)，現(xiàn)在我們只需要使用正則化目標(biāo)的方法，那么你就可以得到一個更加合適的曲線，但這個曲線不是一個真正的二次函數(shù)，而是更加的流

7、暢和簡單的一個曲線。這樣就得到了對于這個數(shù)據(jù)更好的假設(shè)。正則化與交叉驗證在正則化線性回歸中，如果正則化參數(shù)值 被設(shè)定為非常大，那么將會發(fā)生什么呢？我們將會非常大地懲罰參數(shù)1234 也就是說，我們最終懲罰1234 在一個非常大的程度，那么我們會使所有這些參數(shù)接近于零。正則化與交叉驗證如果我們這么做，那么就是我們的假設(shè)中相當(dāng)于去掉了這些項，并且使我們只是留下了一個簡單的假設(shè)，這個假設(shè)只能表明房屋價格等于 0的值，那就是類似于擬合了一條水平直線，對于數(shù)據(jù)來說這就是一個欠擬合 (underfitting)。這種情況下這一假設(shè)它是條失敗的直線，對于訓(xùn)練集來說這只是一條平滑直線，它沒有任何趨勢，它不會去趨向大部分訓(xùn)練樣本的任何值。因此，為了使正則化運作良好，我們應(yīng)當(dāng)注意一些方面，應(yīng)該去選擇一個不錯的正則化參數(shù) 。當(dāng)我們以后講到多重選擇時我們將討論一種方法來自動選擇正則化參數(shù) ，為了使用正則化，接下來我們將把這些概念應(yīng)用到到線性回歸和邏輯回歸中去，那么我們就可以讓他們避免過度擬合了。正則化與交叉驗證為什么過擬合的時候系數(shù)會很大？正則化與交叉驗證如下圖所示，過擬合，就是擬合函數(shù)需要顧忌