利用梯度下降法實現線性回歸的算法及matlab實現

1、利用梯度下降法實現線性回歸的算法及matlab實現1.線性回歸算法概述線性回歸屬于監(jiān)督學習，因此方法和監(jiān)督學習應該是一樣的，先給定一個訓練集，根據這個訓練集學習出一個線性函數，然后測 試這個函數訓練的好不好(即此函數是否足夠擬合訓練集數據)，挑選出最好的函數(cost function最小)即可；注意：因為是線性回歸，所以學習到的函數為線性函數，即直線函數；線性回歸可分為單變量線性回歸和多變量線性回歸；對于單變量線性回歸而言，只有一個輸入變量x；(1).單變量線性回歸我們能夠給出單變量線性回歸的模型：hex) = 8。+ OiX我們常稱x為feature， h(x)為hypothesis ；上

2、述模型中的30和耳在代碼中分別用theta0和thetal表示。從上面“方法”中，我們肯定有一個疑問，怎么樣能夠看出線性函數擬合的好不好呢？我們需要使用到Cost Function (代價函數)，代 價函數越小，說明線性回歸地越好(和訓練集擬合地越好)，當然最小就是0，即完全擬合。cost Function的內部構造如下面公式所述：J(。S)=去力(標(2)-V)占=1其中：表示向量x中的第i個元素；表示向量y中的第i個元素；表示已知的假設函數；m為訓練集的數量；雖然給定一個函數，我們能夠根據cost function知道這個函數擬合的好不好，但是畢竟函數有這么多，總不可能一個一個試吧？ 因此

3、我們引出了梯度下降：能夠找出cost function函數的最小值；梯度下降原理：將函數比作一座山，我們站在某個山坡上，往四周看，從哪個方向向下走一小步，能夠下降的最快；當然解決問 題的方法有很多，梯度下降只是其中一個，還有一種方法叫Normal Equation；方法：先確定向下一步的步伐大小，我們稱為Learning rate(alpha)；任意給定一個初始值：b -(用theta0和theta1表示)；確定一個向下的方向，并向下走預先規(guī)定的步伐，并更新，”；當下降的高度小于某個定義的值，則停止下降;算法:一一一、krepeat until 些mergen能 I %-終止條件(|Hiinu

4、ltancously update/ =35 J = L)/Learning rate牽5牧據曜的方向小tempo-龜dOQMmpl=色-住頊-J(。!):二 tempO:= tempi，.特點：初始點不同，獲得的最小值也不同，因此梯度下降求得的只是局部最小值;越接近最小值時，下降速度越慢；梯度下降能夠求出一個函數的最小值；線性回歸需要使得cost function的最??；因此我們能夠對cost function運用梯度下降，即將梯度下降和線性回歸進行整合，如下圖所示:Gradient descent algarithmLinear Regression Modelh9（x） = Go + W

5、repeat until coHverciicc % ：= % 立-/（如,91）（for j = 1 and 7 = 0） repeat until convergence m。0 ：=仇）一 Q幸 U 0Q（，）一 #）4=1ma* 52 （膈（折）一爹）-如 i=l上式中右邊的公式推導過程如下:咨=1如。dhndi = m1d1 mdhQ 1 m商/ % =赤 2x（%（m）一四）x =無（外（成）y）0/=i0 f=id1 mdha 1 m而J 扁，4 =際 2 x（外（孫）-y（o） x 者=浦 Qie （xd） - y（o） x 孫）1，=i1 f=i從上面的推導中可以看出，要想滿

6、足梯度下降的條件，虻&(工-y()項后面必須乘以對應的輸入信號工。梯度下降是通過不停的迭代，而我們比較關注迭代的次數，因為這關系到梯度下降的執(zhí)行速度，為了減少迭代次數，因此引入了Feature Scaling o(2). Feature Scaling此種方法應用于梯度下降，為了加快梯度下降的執(zhí)行速度；思想：將各個feature的值標準化，使得取值范圍大致都在-1=x=1之間；常用的方法是Mean Normalization，艮口一-，其中工為訓練集中當前feature的平均值，max為x能取的最大值，min為x能取的最小僚max- min或者：X-mean(X)/std(X);2. Matl

7、ab實現梯度下降的線性回歸(1). Gradient descend code 1clear allclc% training sample data;p0=3;p1=7;x=1:3;y=p0+p1*x;num_sample=size(y,2);% gradient descending process% initial values of parameterstheta0=1;theta1=3;%learning ratealpha=0.02;% if alpha is too large, the final error will be much large.% if alpha is t

8、oo small, the convergence will be slowepoch=500;for k=1:epochv_k=kh_theta_x=theta0+theta1*x; % hypothesis functionJcost(k)=(h_theta_x(1)-y(1)A2+(h_theta_x(2)-y(2)A2+(h_theta_x(3)-y(3)A2)/num_sampletheta0=theta0-alpha*(h_theta_x(1)-y(1)+(h_theta_x(2)-y(2)+(h_theta_x(3)-y(3)/num_sample;theta1=theta1-a

9、lpha*(h_theta_x(1)-y(1)*x(1)+(h_theta_x(2)-y(2)*x(2)+(h_theta_x(3)-y(3)*x(3)/num_sample;endplot(Jcost)(2). Gradient descend code 2clear allclc% training sample data;p0=26;p1=73;x=1:3;y=p0+p1*x;num_sample=size(y,2);% gradient descending process% initial values of parameterstheta0=1;theta1=3;%learning

10、 ratealpha=0.08;% if alpha is too large, the final error will be much large.% if alpha is too small, the convergence will be slow epoch=500;for k=1:epochv_k=kh_theta_x=theta0+theta1*x; % hypothesis functionJcost(k)=(h_theta_x(1)-y(1)A2+(h_theta_x(2)-y(2)A2+(h_theta_x(3)-y(3)A2)/num_sample;theta0=the

11、ta0-alpha*(h_theta_x(1)-y(1)+(h_theta_x(2)-y(2)+(h_theta_x(3)-y(3)/num_sample;theta1=theta1-alpha*(h_theta_x(1)-y(1)*x(1)+(h_theta_x(2)-y(2)*x(2)+(h_theta_x(3)-y(3)*x(3)/num_sample;% disp(*comp 1*);r1=(h_theta_x (1)-y (1) )+(h_theta_x (2)-y (2) )+(h_theta_x (3)-y(3);r2=sum(h_theta_x-y);% disp(*comp

12、2*);r3=(h_theta_x(1)-y(1)A2+(h_theta_x(2)-y(2)A2+(h_theta_x(3)-y(3)A2);r4=sum(h_theta_x-y).A2);% disp(*comp 3*);r5=(h_theta_x(1)-y(1)*x(1)+(h_theta_x(2)-y(2)*x(2)+(h_theta_x(3)-y(3)*x(3);r6=sum(h_theta_x-y).*x);if(r1=r2)ll(r3=r4)ll(r5=r6)disp(*wrong result*)endendplot(Jcost)3.線性回歸與單神經元的對應關系單變量線性回歸的模型：= % + Byx與單神經元