直線回歸法的公式推導

1、直線回歸法的原理直線回歸法的原理及推導公式及推導公式主要內容主要內容 回回歸歸直直線線法的原理法的原理 回回歸歸直直線線的公式推的公式推導導一一二二0 x 業(yè)務量（件）y 成本（元）y=a+bx一、直線回歸法的原理一、直線回歸法的原理直線回歸發(fā)的原理直線回歸發(fā)的原理微積分極值原理微積分極值原理 從散布圖法可以看出，我們總能設法從散布圖法可以看出，我們總能設法找到一條盡可能通過所有坐標點，也就是找到一條盡可能通過所有坐標點，也就是所有誤差最小的惟一直線所有誤差最小的惟一直線y=a+bx 。 設設ei為當業(yè)務量為為當業(yè)務量為xi時，實際值（又時，實際值（又稱觀測值）稱觀測值）yi與計算值（與計算值

2、（a+bxi）的誤差，）的誤差，即即 ei = yi (a+bxi)二、直線回歸法公式推導二、直線回歸法公式推導 怎樣判斷一條直線方程就是我們所要怎樣判斷一條直線方程就是我們所要找的所有誤差最小的那條直線找的所有誤差最小的那條直線y=a+bx 呢？呢？可以考慮的辦法有三：可以考慮的辦法有三： 第一，判斷所有誤差的代數(shù)和是否最第一，判斷所有誤差的代數(shù)和是否最小。即：小。即： ei =0 但由于誤差有正有負，可能相互抵消，但由于誤差有正有負，可能相互抵消，會存在無數(shù)滿足上述條件的直線，因而無會存在無數(shù)滿足上述條件的直線，因而無法據(jù)此作出最終判斷。法據(jù)此作出最終判斷。二、直線回歸法公式推導二、直線回

3、歸法公式推導所有誤差的代數(shù)和是否最小示意圖？所有誤差的代數(shù)和是否最小示意圖？0 x 業(yè)務量（件）y 成本（元）滿足滿足ei =0的條件的條件滿足滿足ei =0的條件的條件二、直線回歸法公式推導二、直線回歸法公式推導 第二，判斷所有誤差絕對值的合計是第二，判斷所有誤差絕對值的合計是否最小。即：否最小。即：ei =0 但上式展開后，涉及到絕對數(shù)運算，但上式展開后，涉及到絕對數(shù)運算，非常麻煩：非常麻煩： ei = e1e2 e3 en-1 en 因而也無法據(jù)此作出判斷。因而也無法據(jù)此作出判斷。 二、直線回歸法公式推導二、直線回歸法公式推導 第三，判斷所有誤差平方和是否最小。第三，判斷所有誤差平方和是

4、否最小。即：即：ei2 =0 這種方法既排除了正負誤差的符號問這種方法既排除了正負誤差的符號問題，又避免了絕對值運算的麻煩。題，又避免了絕對值運算的麻煩。 因此，可以根據(jù)誤差的平方和是否達因此，可以根據(jù)誤差的平方和是否達到最小，來判斷直線方程到最小，來判斷直線方程y=a+bx的總誤差的總誤差是否達到最小。是否達到最小。 此法又稱最小二乘法或最小平方法。此法又稱最小二乘法或最小平方法。二、直線回歸法公式推導二、直線回歸法公式推導 根據(jù)上述道理，回歸直線法就是求能根據(jù)上述道理，回歸直線法就是求能使使ei2 =0成立的回歸系數(shù)成立的回歸系數(shù)a和和b的值。的值。 因為因為 ei = yi (a+bxi

5、) 所以所以 ei2 = yi (a+bxi) 2 按照微分極值原理，令上式按照微分極值原理，令上式=0，并分，并分別對別對a和和b求偏導數(shù)，就可以求出能滿足求偏導數(shù)，就可以求出能滿足ei2 達到極小值的達到極小值的a和和b。 按照此法推導的按照此法推導的a，b計算公式，稱為計算公式，稱為 公式法。公式法。二、直線回歸法公式推導二、直線回歸法公式推導e2=y (a+bx) 2 = y 22 y (a+bx)+ (a+bx) 2 = y 22ay 2bxy+a2 +2abx+ b2x2 =y22ay2bxy+na2+2abx+b2x2令：令：y 22ay 2 bxy+na2 +2abx+ b2

6、x2=0 對上式求對上式求a的偏導數(shù)，得：的偏導數(shù)，得： 2y +2na +2bx=0 整理得整理得 y =na +bx （1）式）式1.按公式法推導按公式法推導a，b計算公式的過程計算公式的過程對對y22ay2bxy+na2+2abx+b2 x2=0求求b的偏導數(shù)，得：的偏導數(shù)，得： 2xy +2ax+ 2bx2 =0整理得整理得 xy = ax+ bx2 （2）式）式解聯(lián)立方程，即可求出解聯(lián)立方程，即可求出a，b的值。的值。 1.按公式法推導按公式法推導a，b計算公式的過程計算公式的過程y =na +bx xy = ax+ bx2 2.用行列式求二元一次方程組中用行列式求二元一次方程組中a

7、和和b的解的解y = na + bx xy = ax + bx2 因為下列聯(lián)立方程中，未知數(shù)為因為下列聯(lián)立方程中，未知數(shù)為a和和b，y,xy 為已知常數(shù)，為已知常數(shù)， n,x和和x2分別分別為為a和和b的系數(shù)，則有的系數(shù)，則有常數(shù)列常數(shù)列 y xy用行列式的方法解法如下：= n x2-(x) 2a= yx2-x xy nxxx2yxyxx2b= nxy-x y nxyxy nx 2.用行列式求二元一次方程組中用行列式求二元一次方程組中a和和b的解的解a=ab=bn x2-(x) 2yx2-x xy=nxy-x y=n x2-(x) 2y = na+bx可以同時計可以同時計算出算出a和和by-bxna =必須先計必須先計算出算出b，然后才能然后才能計算計算 a 2.用行列式求二元一次方程組中用行列式求二元一次方程組中a和