正則化代價(jià)函數(shù)

在這段視頻中傳達(dá)給你一個(gè)直觀的感受告訴你正規(guī)化是如何進(jìn)行的而且我們還要寫出我們使用正規(guī)化時(shí)需要使用的代價(jià)函數(shù)根據(jù)我們幻燈片上的這些例子我想我可以給你一個(gè)直觀的感受但是一個(gè)更好的讓你自己去理解正規(guī)化如何工作的方法是你自己親自去實(shí)現(xiàn)它并且看看它是如何工作的如果在這節(jié)課后你進(jìn)行一些適當(dāng)?shù)木毩?xí)你就有機(jī)會(huì)親自體驗(yàn)一下正規(guī)化到底是怎么工作的那么這里就是一些直觀解釋伽4-M+一T=1 伽4-M+一T=1 一—~Supposewepenalizeandmiike^3,04reallysmall.j77^T唧】M?（加-舟尸七Eg日；在前面的視頻中我們看到了如果說我們要用一個(gè)二次函數(shù)來擬合這些數(shù)據(jù)它給了我們一個(gè)對數(shù)據(jù)很好的擬合然而如果我們用一個(gè)更高次的多項(xiàng)式去擬合我們最終可能得到一個(gè)曲線能非常好地?cái)M合訓(xùn)練集但是這真的不是一個(gè)好的結(jié)果它過度擬合了數(shù)據(jù)因此一般性并不是很好讓我們考慮下面的假設(shè)我們想要加上懲罰項(xiàng)從而使參數(shù)。3和。4足夠的小這里我的意思就是這是我們的優(yōu)化目標(biāo)或者客觀的說使參數(shù)。3和。4足夠的小這就是我們需要優(yōu)化的問題我們需要盡量減少代價(jià)函數(shù)的均方誤差對于這個(gè)函數(shù)我們對它進(jìn)行添加一些項(xiàng)加上1000乘以。3的平方再加上1000乘以。4的平方1000只是我隨便寫的某個(gè)較大的數(shù)字而已現(xiàn)在如果我們要最小化這個(gè)函數(shù)為了使這個(gè)新的代價(jià)函數(shù)最小化我們要讓。3和。4盡可能小對吧？因?yàn)槿绻阌?000乘以。3這個(gè)新的代價(jià)函數(shù)將會(huì)是很大的所以當(dāng)我們最小化這個(gè)新的函數(shù)時(shí)

我們將使。3的值接近于004的值也接近于0就像我們忽略了這兩個(gè)值一樣如果我們做到這一點(diǎn)如果03和04接近0那么我們將得到一個(gè)近似的二次函數(shù)所以我們最終恰當(dāng)?shù)財(cái)M合了數(shù)據(jù)你知道二次函數(shù)加上一些項(xiàng)這些很小的項(xiàng)貢獻(xiàn)很小因?yàn)?304它們是非常接近于0的所以我們最終得到了實(shí)際上很好的一個(gè)二次函數(shù)因?yàn)檫@是一個(gè)更好的假設(shè)在這個(gè)具體的例子中我們看到了懲罰這兩個(gè)大的參數(shù)值的效果Regul-ariz-ation.更一般地這里給出了正規(guī)化背后的思路Smallvaluesforparameterspo,們.一一，。折更一般地這里給出了正規(guī)化背后的思路—frSiirpler；Thypothesis＜一1—Lesspronetooveirfitting—Housing:—Features: ....^ioo—Paramet&rs：這種思路就是如果我們的參數(shù)值對應(yīng)一個(gè)較小值的話就是說參數(shù)值比較小那么往往我們會(huì)得到一個(gè)形式更簡單的假設(shè)所以我們最后一個(gè)例子中我們懲罰的只是03和04使這兩個(gè)值均接近于零我們得到了一個(gè)更簡單的假設(shè)也即這個(gè)假設(shè)大抵上是一個(gè)二次函數(shù)但更一般地說如果我們就像這樣懲罰的其它參數(shù)通常我們可以把它們都想成是得到一個(gè)更簡單的假設(shè)因?yàn)槟阒喇?dāng)這些參數(shù)越接近這個(gè)例子時(shí)假設(shè)的結(jié)果越接近一個(gè)二次函數(shù)但更一般地可以表明這些參數(shù)的值越小通常對應(yīng)于越光滑的函數(shù)也就是更加簡單的函數(shù)因此就不易發(fā)生過擬合的問題我知道為什么要所有的部分參數(shù)變小的這些原因?yàn)槭裁丛叫〉膮?shù)對應(yīng)于一個(gè)簡單的假設(shè)我知道這些原因?qū)δ銇碚f現(xiàn)在不一定完全理解但現(xiàn)在解釋起來確實(shí)比較困難除非你自己實(shí)現(xiàn)一下自己親自運(yùn)行了這部分但是我希望這個(gè)例子中使。3和。4很小并且這樣做能給我們一個(gè)更加簡單的假設(shè)我希望這個(gè)例子有助于解釋原因至少給了我們一些直觀感受為什么這應(yīng)該是這樣的來讓我們看看具體的例子對于房屋價(jià)格預(yù)測我們可能有上百種特征我們談到了一些可能的特征比如說x1是房屋的尺寸x2是臥室的數(shù)目x3是房屋的層數(shù)等等那么我們可能就有一百個(gè)特征跟前面的多項(xiàng)式例子不同我們是不知道的我們不知道。304是高階多項(xiàng)式的項(xiàng)所以如果我們有一個(gè)袋子如果我們有一百個(gè)特征在這個(gè)袋子里我們是很難提前選出那些關(guān)聯(lián)度更小的特征的也就是說如果我們有一百或一百零一個(gè)參數(shù)我們不知道挑選哪一個(gè)我們并不知道如何選擇參數(shù)如何縮小參數(shù)的數(shù)目因此在正規(guī)化里我們要做的事情就是把我們的代價(jià)函數(shù)這里就是線性回歸的代價(jià)函數(shù)接下來我度量來修改這個(gè)代價(jià)函數(shù)從而縮小我所有的參數(shù)值因?yàn)槟阒牢也恢朗悄膫€(gè)哪一個(gè)或兩個(gè)要去縮小所以我就修改我的代價(jià)函數(shù)在這后面添加一項(xiàng)就像我們在方括號里的這項(xiàng)當(dāng)我添加一個(gè)額外的正則化項(xiàng)的時(shí)候我們收縮了每個(gè)參數(shù)并且因此我們會(huì)使我們所有的參數(shù)010203直到0100的值變小順便說一下按照慣例來講我們從第一個(gè)這里開始所以我實(shí)際上沒有去懲罰00因此00的值是大的這就是一個(gè)約定從1到n的求和而不是從0到n的求和但其實(shí)在實(shí)踐中這只會(huì)有非常小的差異無論你是否包括這項(xiàng)就是00這項(xiàng)實(shí)際上結(jié)果只有非常小的差異但是按照慣例通常情況下我們還是只從01至吟100進(jìn)行正規(guī)化10Regulariz-ation.Sl2eofhousencnfJ例10Regulariz-ation.Sl2eofhousencnfJ例=志rri. 時(shí)￡0亦㈤)-照尸+2E膂^=1. k”?這里我們寫下來我們的正規(guī)化優(yōu)化目標(biāo)我們的正規(guī)化后的代價(jià)函數(shù)就是這樣的j（。）這個(gè)項(xiàng)右邊的這項(xiàng)就是一個(gè)正則化項(xiàng)并且入在這里我們稱做正規(guī)化參數(shù)入要做的就是控制在兩個(gè)不同的目標(biāo)中的一個(gè)平衡關(guān)系第一個(gè)目標(biāo)第一個(gè)需要抓住的目標(biāo)就是我們想要訓(xùn)練使假設(shè)更好地?cái)M合訓(xùn)練數(shù)據(jù)我們希望假設(shè)能夠很好的適應(yīng)訓(xùn)練集而第二個(gè)目標(biāo)是我們想要保持參數(shù)值較小這就是第二項(xiàng)的目標(biāo)通過正則化目標(biāo)函數(shù)這就為這個(gè)正則化參數(shù)需要控制的它會(huì)這兩者之間的平衡目標(biāo)就是平衡擬合訓(xùn)練的目的和保持參數(shù)值較小的目的從而來保持假設(shè)的形式相對簡單來避免過度的擬合對于我們的房屋價(jià)格預(yù)測來說這個(gè)例子盡管我們之前有我們已經(jīng)用非常高的高階多項(xiàng)式來擬合我們將會(huì)得到一個(gè)非常彎曲和復(fù)雜的曲線函數(shù)就像這個(gè)如果你還是用高階多項(xiàng)式擬合就是用這里所有的多項(xiàng)式特征來擬合的話但現(xiàn)在我們不這樣了你只需要確保使用了正規(guī)化目標(biāo)的方法那么你就可以得到實(shí)際上是一個(gè)曲線但這個(gè)曲線不是一個(gè)真正的二次函數(shù)而是更加的流暢和簡單也許就像這條紫紅色的曲線一樣那么你知道的這樣就得到了對于這個(gè)數(shù)據(jù)更好的假設(shè)再一次說明下我了解這部分有點(diǎn)難以明白為什么加上參數(shù)的影響可以具有這種效果但如果你親自實(shí)現(xiàn)了正規(guī)化你將能夠看到這種影響的最直觀的感受11-12

Inreeulansedlinearregrewian?wechoose狀tominimiserti- 檢川）=土￡（頑」罰）一舟叩+曹￡=1 j=lWhaiifAis.settoanextremelylargevalue（perhapsfortoolargeforouirproblem』sayA=l（Jl°J?Algorithmworksfine;settingAtobeverylarge匚己n'thurtitAlgortihmfailstoeliminate￡iverfitting.Algorithmresultsinunderfitting.（Failstofiteventrainingdatawell）.GradientdecentwiHfai^toconverge.M^drwvhlInregularizedlinearregression；wechoose tominimise皿）=矗君膈（把）一城乎+土■1WhatifAissetloanextremelylargevalue（perhapsfortoolarge&i%為j也&i%為j也t?舊;I%。t株。W>dRrA-h|在正規(guī)化線性回歸中如果正規(guī)化參數(shù)值被設(shè)定為非常大那么將會(huì)發(fā)生什么呢？我們將會(huì)非常大地懲罰參數(shù)。ie2e3e4也就是說如果我們的假設(shè)是底下的這個(gè)如果我們最終懲罰eie2e3e4在一個(gè)非常大的程度那么我們會(huì)使所有這些參數(shù)接近于零的對不對？ei將接近零e2將接近零e3和e4最終也會(huì)接近于零如果我們這么做那么就是我們的假設(shè)中相當(dāng)于去掉了這些項(xiàng)并且使我們只是留下了一個(gè)簡單的假設(shè)這個(gè)假設(shè)只能表明那就是房屋價(jià)格就等于e0的值那就是類似于擬合了一條水平直線對于數(shù)據(jù)來說這就是一個(gè)欠擬合(underfitting)這種情況下這一假設(shè)它是條失敗的直線對于訓(xùn)練集來說這只是一條平滑直線它沒有任何趨勢它不會(huì)去趨向大部分訓(xùn)練樣本的任何值這句話的另一種方式來表達(dá)就是這種假設(shè)有過于強(qiáng)烈的"偏見"或者過高的偏差(bais)認(rèn)為預(yù)測的價(jià)格只是等于。0并且盡管我們的數(shù)據(jù)集選擇去擬合一條扁平的直線僅僅是一條扁