線性回歸的求解過(guò)程

1、Linear Regression (線性I歸）方法：線性回歸屬于監(jiān)督學(xué)習(xí)，先給定一個(gè)訓(xùn)練集，根據(jù)這個(gè)訓(xùn)練集學(xué)習(xí)出 一個(gè)線性函數(shù)，然后測(cè)試這個(gè)函數(shù)訓(xùn)練的好不好（即此函數(shù)是否足夠擬合訓(xùn)練集 數(shù)據(jù)），挑選出最好的函數(shù)（cost function最小）即可。Nd注意：（1）因?yàn)槭蔷€性回歸，所以學(xué)習(xí)到的函數(shù)為線性函數(shù)，即直線函數(shù)；（2）因?yàn)槭菃巫兞?，因此只有一個(gè)x；我們能夠給出單變量線性回歸的模型：hg（x） =+。成我們常稱x為feature （特征），h（x）為hypothesis （假設(shè)函數(shù)）；那么，怎么樣能夠看出線性函數(shù)擬合的好不好呢？我們需要使用到Cost Function （代價(jià)函數(shù)），代

2、價(jià)函數(shù)越小，說(shuō)明線性回歸 地越好（和訓(xùn)練集擬合地越好），當(dāng)然最小就是0，即完全擬合；舉個(gè)實(shí)際的例子：我們想要根據(jù)房子的大小，預(yù)測(cè)房子的價(jià)格，給定如下數(shù)據(jù)集Size in feet2 (x)Price () in 1000s (y)210446014162321534315852178I- 根據(jù)以上的數(shù)據(jù)集畫在圖上，如下圖所示:carl Housing Prices （Portland, OR） 伽Price(in 1000sof dollars)050010001500200025003000我們需要根據(jù)這些點(diǎn)擬合出一條直線，使得cost Function最小；雖然我們現(xiàn)在還不知道Cost F

3、unction內(nèi)部到底是什么樣的，但是我們的 目標(biāo)是：給定輸入向量x，輸出向量y和theta，輸出Cost值；Cost Function (代價(jià)函Cost Function的用途：對(duì)假設(shè)的函數(shù)進(jìn)行評(píng)價(jià)，cost function越小的函 數(shù)，說(shuō)明擬合訓(xùn)練數(shù)據(jù)擬合的越好；下圖詳細(xì)說(shuō)明了當(dāng)cost function為黑盒的時(shí)候，cost function的作用；(11 vector x(11 vector x vector y ectci th&ta比如存在瞄集任以 g (3,3 r jayx=l;2;3, y =山華 如果侵設(shè)預(yù)刪了函裁為y - x，則發(fā)現(xiàn)cost vdue - 0 ;如果假設(shè)預(yù)

4、陶了函鼓為y = 2x ,則發(fā)cosLvalue = 1;如果假設(shè)預(yù)刪了函數(shù)為y -獨(dú)則發(fā)現(xiàn)cost value二2 ;則我現(xiàn)y-x的仰I眼最小,因此選擇yr作為璐門的 hypothesiscost Function的內(nèi)部構(gòu)造是什么？因此我們下面給出公式：IJ(0qWi)=總支(扃(需)g)其中：hg(x) = 0。+ 0： T* 表示向量x中的第i個(gè)元素；表示向量y中的第i個(gè)元素；盤”：表示已知的假設(shè)函數(shù)；m為訓(xùn)練集的數(shù)量；Gradient Descent (梯度下降)雖然給定一個(gè)函數(shù)，我們能夠根據(jù)cost function知道這個(gè)函數(shù)擬合的好 不好，但是畢竟函數(shù)有這么多，總不可能一個(gè)一個(gè)試

5、吧？因此我們引出了梯度 下降：能夠找出cost function函數(shù)的最小值；梯度下降原理：將函數(shù)比作一座山，我們站在某個(gè)山坡上，往四周看，從哪個(gè) 方向向下走一小步，能夠下降的最快；方法：確定向下一步的步伐大小(Learning rate)，任意給定一個(gè)初始值：甘；確定一個(gè)向下的方向，并向下走預(yù)先規(guī)定的步伐，并更新七;當(dāng)下降的高度小于某個(gè)定義的值，則停止下降；算法:終止耕repeat uiitilGoiivergenc回J （仇終止耕repeat uiitilGoiivergenc回J （仇.S）亂口eously iipd絲tempo二仇templ= %Learning rate決定了下降的步

6、伐大 小9g * temp。：= tempi1特點(diǎn)：初始點(diǎn)不同，獲得的最小值也不同，因此梯度下降求得的只是局部最小值;越接近最小值時(shí)，下降速度越慢；問題1：如果s -一初始值就在local minimum的位置，則s ,-會(huì)如何變化？ 答：因?yàn)閙 -已經(jīng)在local minimum位置，所以derivative肯定是0,因此-口不會(huì)變化；如果取到一個(gè)正確的值，則cost function應(yīng)該越來(lái)越小；問題2：怎么取盤:值?答：隨時(shí)觀察、二值，如果cost function變小了，則ok，反之，則再取一個(gè) 更小的值；下圖就詳細(xì)的說(shuō)明了梯度下降的過(guò)程:最小值從上面的圖可以看出：初始點(diǎn)不同，獲得的最

7、小值也不同，因此梯度下降 求得的只是局部最小值；注意：下降的步伐大小非常重要，因?yàn)槿绻?，則找到函數(shù)最小值的速 度就很慢，如果太大，則可能會(huì)出現(xiàn)overshoot the minimum的現(xiàn)象；下圖就是overshoot minimum現(xiàn)象：如果Learning rate取值后發(fā)現(xiàn)J增長(zhǎng)了，則需要減小Learning rate的值;Integrating with Gradient Descent & Linear Regression梯度下降能夠求出一個(gè)函數(shù)的最小值；因此我們能夠?qū)ost function運(yùn)用梯度下降，即將梯度下降和線性回歸進(jìn)行 整合，如下圖所示：Gradient des

8、cent algorithmLinear Regression Modelrepeat until coinrrepeat until coinrergcnccJ（凱仇）=去r （如愆）/矽）、f % = % 口名斜,Hi)(for j = i. and)= 0) repeat until coiivirgeiiie 仇）：=仇一a土丈（扁O）一）T=1m務(wù)：=務(wù) 一 Q士 52 （膈（的）一 3） .腴=1梯度下降是通過(guò)不停的迭代，而我們比較關(guān)注迭代的次數(shù)，因?yàn)檫@關(guān)系到 梯度下降的執(zhí)行速度，為了減少迭代次數(shù)，因此引入了 Feature Scaling； Feature Scaling此種方法

9、應(yīng)用于梯度下降，為了加快梯度下降的執(zhí)行速度；思想：將各個(gè)feature的值標(biāo)準(zhǔn)化，使得取值范圍大致都在-1=x=1之間；常用的方法是Mean Normalization，即-,其中工為訓(xùn)練集中當(dāng)前EtMuix的平均值，max為甚能取的最大值，min為k能取.的最小值 max - mm或者：X-mean（X）/std（X）;舉個(gè)實(shí)際的例子，有兩個(gè)Feature：（1）size，取值范圍 02000；（2）#bedroom，取值范圍 05；則通過(guò) feature scaling 后，1 2000如5多變量線性回歸前面我們只介紹了單變量的線性回歸，即只有一個(gè)輸入變量，現(xiàn)實(shí)世界不 可能這么簡(jiǎn)單，因此此

10、處我們要介紹多變量的線性回歸；舉個(gè)例子：房?jī)r(jià)其實(shí)由很多因素決定，比如size、number of bedrooms、number of floors、age of home等，這里我們假設(shè)房?jī)r(jià)由4個(gè)因素決定，如下圖所示:Size (feet1!Number of bedroomsNumber of floorsAge of home years)Price ($1000)21045145460141632402321534323031585221361739 4 Gi a e( + 1a B b我們前面定義過(guò)單變量線性回歸的模型：=仇）+這里我們可以定義出多變量線性回歸的模型：加莒）=街+。保1 +但億2 HH 0nxnCost function 如下：