線性回歸損失函數(shù)求解

1、線性回歸損失函數(shù)求解引言上一篇筆記中已經(jīng)記錄了，如何對一個無解的線性方程組Axb求近似解。在這里，我們先來回顧兩個知識點：如何判斷一個線性方程組無解：如果拿上面那個方程組Axb舉例，那就是向量b不在矩陣A對應的列空間中，至于列空間的概念，可以參考四個基本子空間那篇筆記如何對無解的方程組求近似解：根據(jù)上一篇筆記如何尋找一個投影矩陣可以有這么一個思路，將向量b往矩陣A所在的列空間投影得到向量f，得到新的方程組Axf這個x便為近似解了。如果僅僅為了求近似解可以直接在Axb等式左右兩側(cè)同時左乘A,即AAxAbo這個和上面先求投影向量再求解是一樣的。這篇筆記將會探究在機器學習的線性回歸如何求解損失函數(shù)。

2、Axb無解時求近似解今天我們需要求一個線性方程組，長成這樣$beginequationf*4w+0*w+b*4w-2*w+b*0w-3*w+b將（1式）寫成矩陣形式，也就是wwb憑我多年的做題經(jīng)驗，這個方程是無解的。太好了，之前學的東西總算可以用上場了參考筆記如何尋找一個投影矩陣等式3。我們將等式兩邊同時左乘矩陣的轉(zhuǎn)置，我們會驚訝的發(fā)現(xiàn)這個新的等式（3有）解了:xleftwbeginmatrix們endmatrixr將（3式）化解得到:beginequationleftwbhatbendmatrixribftwb由等式解出的wtrixftwbx就是等式的近似解，我們也人為它是最優(yōu)解。線性回歸拿

3、預測房價舉例，談談什么是最小二乘法。比如我們假設房價與個特征即面積x、樓層x有關。那么我們的目標是找到一張三維空間中的平面去擬合一些數(shù)據(jù)假設這些數(shù)據(jù)都經(jīng)過歸一化處理）先來看看平面怎么定義的？beginequationwpricew=ww_、w*wx_、w+ww_2w*wx_2w+wbwendequation我們希望所有的數(shù)據(jù)點都在這個平面上，那樣可以通過解線性方程組來算出這個平面的參數(shù)ww_這正是線性代數(shù)中學到過的。好的，我們現(xiàn)在有筆數(shù)據(jù)、，將它們代入式得到我們的方程組吧，解出來ww這b樣一個線性模型就了?？墒沁@一步我們之前已經(jīng)做過了，將這些數(shù)據(jù)代入方程組是無解的，即給出的這些數(shù)據(jù)根本不在一個

4、平面上。那么，現(xiàn)在我們放松條件，既然找不到一個平面能令所有的點都在它上面，我們找一個最優(yōu)的平面總可以吧。最優(yōu)平面如何定義假設我們已經(jīng)有組數(shù)據(jù)，每一組數(shù)據(jù)都是xx的集合。將一組數(shù)據(jù)x代入中求出i我們認為每一組數(shù)據(jù)產(chǎn)生的誤差為，將每一組數(shù)據(jù)產(chǎn)生的誤差累加起來就是式。即beginequatiwwb使得w最小的那組參數(shù)ww_可以認為是最優(yōu)平面的參數(shù)。下面會給出一個動圖來展示最優(yōu)平面是怎么樣的一個情況（畫了好久才畫出滿意的效果，畫圖的代碼也會在末尾給出）：imgbb可以看到圖中，紅色的點是我們實際的數(shù)據(jù)，這個藍色的透明平面是我畫出來的認為能擬合這些數(shù)據(jù)的最好平面。如何能找到最優(yōu)平面？這仍然是一個數(shù)學問題

5、，我們認為使得w最小的那組參數(shù)ww_就是最終要尋找的最優(yōu)平面的參數(shù)。這樣的話，我w_們記w為一個函數(shù)b求一個多元函數(shù)的最值我們在微積分中學到過就是求f并且令它們都等于就能求出最終的解了。這里已經(jīng)涉及到矩陣微積分的內(nèi)容，我試著寫幾步：w_w_$price$和$y$都是向量，再將$卩血$用參數(shù)$w_1,w_2,b$表示：beginequationJ(w)=(Xw-y)AmathrmT(Xw-y)endequation(8)式中，$X$的每一行是1組數(shù)據(jù)，它是一個nx3的矩陣；$w$是個向量X=leftbeginmatrix第一筆數(shù)據(jù)的x1&x2&1第二筆數(shù)據(jù)的x1&x2&1.第n筆數(shù)據(jù)的x1&x2

6、&1endmatrixrightw=leftbeginmatrixw_1w_2bendmatrixright繼續(xù)將(8)式化簡beginequationJ(w)=(wmathrmTXmathrmT-yAmathrmT)(Xw-y)endequation接著去括號beginequationJ(w)=wmathrmTXmathrmTXw-ymathrmTXw-wmathrmTXmathrmTy+ymathrmTyendequation其中，$yAmathrmTXw$wAmathrmTXAmathrmTy$l：相等的，都是一個數(shù)，所以最終可以寫為beginequationJ(w)=wmathrmTl

7、XmathrmTXw-2w(mathrmTXmathrmTy+yAmathrmTyendequation下面就要進行矩陣微積分了，講實話我不會。但是我學會兩個trick能求出最終的$w$o1.第一個trick來自臺大的林軒田老師，我記得他很輕松地說可以把上面這個等式變換成我們會的一元二次等式，我當時帶著滿腹的懷疑按照他說的做了，不過真的得到了結(jié)果驚嚇！可能這就是數(shù)學的魅力)。我們將(11)式變?yōu)閎eginequationJ(x)=wAmathrmTAw-2wAmathrmTb+csubjecttoA=XAmathrmTXb=XAmathrmTyc=yAmathrmTyendequation當然

8、，這不是嚴格意義上的轉(zhuǎn)換，但是真的能讓我們像解熟悉的一元二次方程一樣求出解。對12)求導令其為0,再將原來的值代入回去能得到beginequation2XAmathrmTXw-2XAmathrmTy=0endequation最終beginequationw=(XmathrmT)X)-1XAmathrmTyendequation1.第二種求解的辦法就是記住矩陣微積分的公式：|y|$fracpartialypartialX$|-|-|$AX$|$AAmathrmT$|$XAmathrmTA$|$A$|$XAmathrmTX$|$2X$|$XAmathrmTAX$|$AX+AAmathrmTX$等，

9、(14)式好熟悉。這不就是求解線性方程$Ax=b$這個方程組無解時的最優(yōu)近似解么。所以，機器學習的線性回歸其實就是最小二乘中的擬合問題。一開始就將這個問題看為求解線性方程組問題的話：leftbeginmatrix第一筆數(shù)據(jù)的x1&x2&1第二筆數(shù)據(jù)的x1&x2&1.第n筆數(shù)據(jù)的x1&x2&1endmatrixrightleftbeginmatrixw_1w_2bendmatrixright=leftbeginmatrix第一筆數(shù)據(jù)的price第二筆數(shù)據(jù)的price.第n筆數(shù)據(jù)的priceendmatrixright不就是求這個方程組有沒有解么？如果沒有解，我們就求近似解。這個近似解的求解方法就

10、是上一篇筆記中一直強調(diào)的部分，在等式左右兩邊左乘矩陣的轉(zhuǎn)置，我們馬上能得到近似解。#畫圖代碼pythonimportnumpyas叩importmatplotlib.pyplotaspltfrommpl_toolkits.mplot3dimportAxes3Dfrommatplotlibimportcmx1=np.linspace(-5,5,5)x2=x1x1,x2=np.meshgrid(x1,x2)price=x1*3+x2*4-5np.random.seed(325)data_x=np.random.randint(-5,5,5)data_y=np.random.randint(-5,5,5)data_z=data_x*3+data_y*4-5bias=np.array(5,2,-3,4,-3)data_z=data_z+biasfig=plt.figure()ax=fig.gca(projection=3d)ax.plot_wireframe(x1,x2,price,rstride=10,cstride=10)foriinrange(len(data_x):ax.scatter(data_xi,data_yi,data_zi,color=r)ax.set_xlabel(x1)ax.