2.1 一元回歸分析ppt課件

1、 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué)9.2 一元回歸分析一元回歸分析一一. .一元線性回歸模型一元線性回歸模型 本節(jié)討論回歸函數(shù)是一元線性函數(shù)或可線本節(jié)討論回歸函數(shù)是一元線性函數(shù)或可線性化函數(shù)的情況性化函數(shù)的情況.若回歸函數(shù)是線性函數(shù)若回歸函數(shù)是線性函數(shù)kkkxbxbxbbxxx 2211021),( 其中其中b0 , b1 , ,bk是未知常數(shù)，稱為線性回是未知常數(shù)，稱為線性回歸問(wèn)題歸問(wèn)題. 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué)若若Y關(guān)于關(guān)于X 的回歸函數(shù)為的回歸函數(shù)為baxxXYEx )()( Y=a+bx+, N(0, 2)有一元線性回歸模型：有一元線性回歸模型：其中其中a、b

2、、2為未知參數(shù)，且為未知參數(shù)，且 a 回歸常數(shù)回歸常數(shù)(又稱截距又稱截距)b 回歸系數(shù)回歸系數(shù)(又稱斜率又稱斜率) 隨機(jī)誤差隨機(jī)擾動(dòng)項(xiàng)）隨機(jī)誤差隨機(jī)擾動(dòng)項(xiàng)） 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué) 若隨機(jī)誤差若隨機(jī)誤差N(0,2), 稱為一元線性正稱為一元線性正態(tài)回歸模型態(tài)回歸模型. 取定自變量取定自變量X 的一組值：的一組值：x1, x2, , xn, 對(duì)對(duì)Y 做做 n 次獨(dú)立觀察次獨(dú)立觀察(試驗(yàn)試驗(yàn)), 試驗(yàn)結(jié)果記為試驗(yàn)結(jié)果記為Y1，Y2, ,Yn則有則有 Yi =a + bxi + Yi =a + bxi + i, i, i= 1,.,ni= 1,.,n由自變量由自變量X確定的成分確定

3、的成分 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué)i 是第是第 i 次觀察時(shí)的隨機(jī)誤差，有兩條回歸次觀察時(shí)的隨機(jī)誤差，有兩條回歸假定：假定：2) 1 ,., n -1 , n 相互獨(dú)立相互獨(dú)立.等方差等方差假定假定1) E(i)=0， D(i)= 2，i=1,2，n； 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué) 對(duì)自變量對(duì)自變量X的一組值的一組值x1, x2, ,xn 做做n次獨(dú)次獨(dú)立試驗(yàn)，得獨(dú)立觀察值立試驗(yàn)，得獨(dú)立觀察值y1, y2, ,yn . 問(wèn)題問(wèn)題 如何依據(jù)觀察值如何依據(jù)觀察值 （xi，yi), i=1，2， n. 求求a、b 的估計(jì)值的估計(jì)值 ,?ab 根據(jù)樣本值估計(jì)模型參數(shù)根據(jù)樣本值

4、估計(jì)模型參數(shù).二二. .一元線性回歸模型的參數(shù)估計(jì)一元線性回歸模型的參數(shù)估計(jì)需要對(duì)模型中的參數(shù)需要對(duì)模型中的參數(shù)a、b、2 進(jìn)行估計(jì)進(jìn)行估計(jì). 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué) 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué) 對(duì)所有的對(duì)所有的i，應(yīng)使偏差，應(yīng)使偏差 都盡可能小都盡可能小,有三種思路：有三種思路：iiyy iyiixbay yi 的估計(jì)值的估計(jì)值稱為回歸值稱為回歸值.iixbay 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué)1) 使誤差總和使誤差總和 最小；最??； )(iyyi2) 使誤差絕對(duì)值之和使誤差絕對(duì)值之和 最??；最小； iyyi缺點(diǎn)：可能正負(fù)誤差抵消缺點(diǎn)：可能正負(fù)誤差抵消

5、缺點(diǎn)：數(shù)學(xué)處理困難缺點(diǎn)：數(shù)學(xué)處理困難3) 使誤差的平方和使誤差的平方和 最小最小. )(2yyii結(jié)論結(jié)論 應(yīng)選應(yīng)選a a、b b的估計(jì)使離差的估計(jì)使離差( (誤差誤差) )平方和：平方和： niiiniiixbayyyQ1212)()(達(dá)最小達(dá)最小. 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué) niiibxaybaQ12)(),(令令 niiiiniiixbxaybxay110)(0)( 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué) (2)()(1)(112111niiiniiniiniiniiyxbxaxybxna或或稱為正規(guī)方程組，由克萊姆法則，解得：稱為正規(guī)方程組，由克萊姆法則，解得： xb

6、yallbxxxy 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué)其中其中,11 niixnx niiyny11 niiiiniixyyxnyxyyxxl11)( niiniixxxnxxxl12221)( 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué) 由回歸假定由回歸假定 i，i=1,2，相互獨(dú)立，相互獨(dú)立， E(i)=0， D(i)= 2，i=1,2，n；且且2=D()=E(2)，故，故 niin121是是22的矩估計(jì)量的矩估計(jì)量. . 可證明可證明22的無(wú)偏估計(jì)量為的無(wú)偏估計(jì)量為 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué) niiiyyn122)(21 代入代入iixbay ，得，得 nixxyyl

7、bln122)(21 其中其中 niiniiyyynyyyl12221)( 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué) 例例9.2.1 9.2.1 流經(jīng)某地區(qū)的降雨量流經(jīng)某地區(qū)的降雨量X X和該地河和該地河流的徑流量流的徑流量Y Y 的觀察值如下表，的觀察值如下表， 降雨量降雨量xi: 110 184 145 122 165 143 78 徑流量徑流量yi: 25 81 36 33 70 54 20 129 62 130 168 1436(） 44 1.41 41 75 480.4（）求求Y Y關(guān)于關(guān)于X X的的( (經(jīng)歷經(jīng)歷) )線性回歸方程線性回歸方程, ,試估計(jì)降試估計(jì)降雨量為雨量為200

8、200時(shí)徑流量為多少？時(shí)徑流量為多少？ 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué) 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué)解解 n=11,5 .130 x743.y 7 .13768)(2111ii xxlxx45.869335.627318 .714241 niiixyyxnyxl 5 .385 .13063. 07 .4363. 07 .1376845.8693xbyallbxxxy 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué)所求經(jīng)驗(yàn)回歸方程為所求經(jīng)驗(yàn)回歸方程為xxbay0.69338.5 降雨量為降雨量為200200時(shí)的徑流量值為時(shí)的徑流量值為1 .10038.52000.693)300(

9、 y59.6050)7 .43(21 niiyyyl又又隨機(jī)誤差的方差隨機(jī)誤差的方差22的估計(jì)為的估計(jì)為 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué) nixxyylbln122)(21 =（6050.59-0.63213768.7）/11=53.25隨機(jī)變量隨機(jī)變量Y Y與與X X間是否存在線性相關(guān)關(guān)系？間是否存在線性相關(guān)關(guān)系？問(wèn)題問(wèn)題 形式地估計(jì)回歸系數(shù)和回歸常數(shù)形式地估計(jì)回歸系數(shù)和回歸常數(shù), 并建立經(jīng)并建立經(jīng)驗(yàn)線性回歸方程無(wú)實(shí)際意義驗(yàn)線性回歸方程無(wú)實(shí)際意義. 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué)續(xù)續(xù) 例例9.1.1 身高體重關(guān)系身高體重關(guān)系身高身高h(yuǎn) 和和體重體重m無(wú)無(wú)明顯的明顯的線性相

10、線性相關(guān)關(guān)系關(guān)關(guān)系. 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué) 相關(guān)系數(shù)法是基于試驗(yàn)數(shù)據(jù)檢驗(yàn)隨機(jī)變相關(guān)系數(shù)法是基于試驗(yàn)數(shù)據(jù)檢驗(yàn)隨機(jī)變量間線性相關(guān)關(guān)系是否顯著的一種方法量間線性相關(guān)關(guān)系是否顯著的一種方法. .三三. 一元線性回歸的假設(shè)檢驗(yàn)相關(guān)系數(shù)法）一元線性回歸的假設(shè)檢驗(yàn)相關(guān)系數(shù)法）相關(guān)系數(shù)相關(guān)系數(shù))()()()(YDXDYEYYEXEXY 是表征隨機(jī)變量是表征隨機(jī)變量Y Y與與X X的線性相關(guān)程度的數(shù)字特的線性相關(guān)程度的數(shù)字特征征. . 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué)樣本相關(guān)系數(shù)：樣本相關(guān)系數(shù)： niiniiniiiXYyynxxnyyxxnR12121)(1)(1)(1 yyxxx

11、ylll 作為作為XYXY的估計(jì)值的估計(jì)值. . 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué)0 xxxyllb1) 當(dāng)當(dāng)R = 0ay 0 xyl經(jīng)驗(yàn)回歸方程形為經(jīng)驗(yàn)回歸方程形為 說(shuō)明自變量說(shuō)明自變量X X的變化不會(huì)引起因變量的變化不會(huì)引起因變量Y Y的的變化變化( (不相關(guān)不相關(guān)).).有有R1 ，統(tǒng)計(jì)值，統(tǒng)計(jì)值R也描述了也描述了X與與Y 間的線間的線性相關(guān)關(guān)系的密切程度性相關(guān)關(guān)系的密切程度. 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué)2）R=1yyxxxylll 1 yyxxxylll, 0 xxyyxxyyxxxxxylllllllb可認(rèn)為可認(rèn)為X X與與Y Y間存在線性相關(guān)關(guān)系間存在線性相

12、關(guān)關(guān)系. . 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué)結(jié)論結(jié)論 1 1）R R越接近于越接近于1 1，X X與與Y Y間的線性間的線性相關(guān)關(guān)系越顯著；相關(guān)關(guān)系越顯著； 2 2）R R越靠近于越靠近于0 0，X X與與Y Y間的線性間的線性相關(guān)關(guān)系越不顯著相關(guān)關(guān)系越不顯著. .判別準(zhǔn)則判別準(zhǔn)則 給定顯著性水平給定顯著性水平0.05，0.01）當(dāng)當(dāng)R R R(n-2), R(n-2), 認(rèn)為認(rèn)為X X與與Y Y之間的線性相關(guān)關(guān)系顯著之間的線性相關(guān)關(guān)系顯著根據(jù)根據(jù)P306附表附表6 相關(guān)系數(shù)臨界值表，有相關(guān)系數(shù)臨界值表，有 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué) 當(dāng)當(dāng)RR(n-2), 認(rèn)為認(rèn)為X與

13、與Y之間的線性相關(guān)關(guān)系不顯著之間的線性相關(guān)關(guān)系不顯著 例例9.2.2(續(xù)前例續(xù)前例)利用相關(guān)系數(shù)顯著性檢驗(yàn)利用相關(guān)系數(shù)顯著性檢驗(yàn)法，檢驗(yàn)降雨量法，檢驗(yàn)降雨量X和徑流量和徑流量Y的線性相關(guān)關(guān)系的線性相關(guān)關(guān)系是否顯著是否顯著.解解 X X與與Y Y的樣本相關(guān)系數(shù)為的樣本相關(guān)系數(shù)為YYXXXYlllR 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué)952.058.60507 .1376845.8693 查表得查表得R(n2) =R0.01(9)=0.7350.952=R可認(rèn)為可認(rèn)為X X與與Y Y的線性相關(guān)關(guān)系顯著的線性相關(guān)關(guān)系顯著. .四四. 非線性回歸問(wèn)題的線性化處理非線性回歸問(wèn)題的線性化處理 在實(shí)際

14、問(wèn)題中在實(shí)際問(wèn)題中, ,變量間的相關(guān)關(guān)系未必變量間的相關(guān)關(guān)系未必是線性關(guān)系，即其回歸函數(shù)是線性關(guān)系，即其回歸函數(shù) 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué)),(21kxxxy 往往是非線性函數(shù)往往是非線性函數(shù). . 部分情況可通過(guò)適當(dāng)?shù)淖儞Q，將其轉(zhuǎn)化部分情況可通過(guò)適當(dāng)?shù)淖儞Q，將其轉(zhuǎn)化為線性回歸問(wèn)題為線性回歸問(wèn)題. . 例例9.2.3 下表是下表是1957年美國(guó)舊轎車的調(diào)查數(shù)據(jù)年美國(guó)舊轎車的調(diào)查數(shù)據(jù)表表使用年數(shù)使用年數(shù)xi 1 2 3 4 5 6 7平均價(jià)格平均價(jià)格yi 2651 1943 1494 1087 765 538 484 8 9 10 226 226 204 回歸分析回歸分析電子科技

15、大學(xué)電子科技大學(xué)求平均價(jià)格求平均價(jià)格Y Y關(guān)于使用年數(shù)關(guān)于使用年數(shù)X X的回歸方程的回歸方程. . 解解 觀察試驗(yàn)數(shù)據(jù)的散布圖觀察試驗(yàn)數(shù)據(jù)的散布圖y與與 x呈指呈指數(shù)關(guān)系數(shù)關(guān)系 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué))0,0(, babxaey兩邊取對(duì)數(shù)，得兩邊取對(duì)數(shù)，得令令 z = lny, x=x, z = lny, x=x, 記記經(jīng)變換得回歸方程為經(jīng)變換得回歸方程為bxay lnlnaaln bxaz 記記 zi = lnyi , 將原數(shù)據(jù)轉(zhuǎn)換為將原數(shù)據(jù)轉(zhuǎn)換為（xi , zi）, i =1,2, ,10.設(shè)經(jīng)驗(yàn)回歸方程為設(shè)經(jīng)驗(yàn)回歸方程為 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué)xi 1

16、 2 3 4 5 6 7 zi 7.88 7.57 7.31 6.99 6.64 6.29 6.18 xi 8 9 10 zi 5.67 5.42 5.32z=lny 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué)(xi ,zi)的數(shù)據(jù)散的數(shù)據(jù)散布圖呈直線趨勢(shì)布圖呈直線趨勢(shì) 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué),527. 6, 5 . 5 zx 10122282.55.51038.5)10(iixxxxl 10124.55410iiixzzxzxl0.297682.524.5538 xxxzllb8.16425.50.29766.527 xbza 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué),297

17、6. 01642. 8xz 從從而而代入原變量，得非線性經(jīng)驗(yàn)回歸方程為代入原變量，得非線性經(jīng)驗(yàn)回歸方程為xxbaeeey0.29763512.91 檢驗(yàn)檢驗(yàn)X X與與lnYlnY的線性相關(guān)關(guān)系是否顯著的線性相關(guān)關(guān)系是否顯著檢驗(yàn)檢驗(yàn)X X與與Y Y是否存在顯著的指數(shù)相關(guān)關(guān)系是否存在顯著的指數(shù)相關(guān)關(guān)系 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué)R=0.9960.765=R0.01 (8)，,996. 0 zzxxxzlllR有有可以認(rèn)為可以認(rèn)為X X與與Y Y存在顯著的指數(shù)相關(guān)關(guān)系存在顯著的指數(shù)相關(guān)關(guān)系. .例例9.2.4 建模范例身高體重關(guān)系）建模范例身高體重關(guān)系） 現(xiàn)有現(xiàn)有15對(duì)某地區(qū)人的身高對(duì)某地區(qū)人的身高h(yuǎn) 和體重和體重m數(shù)據(jù)，數(shù)據(jù)，希望用簡(jiǎn)潔的函數(shù)關(guān)系式描述該地區(qū)人的身希望用簡(jiǎn)潔的函數(shù)關(guān)系式描述該地區(qū)人的身高體重的對(duì)應(yīng)關(guān)系高體重的對(duì)應(yīng)關(guān)系. 回歸分析回歸分析電子科技大學(xué)電子科技大學(xué)adhm 兩邊取對(duì)數(shù)得兩邊取對(duì)數(shù)得 對(duì)選定的回歸函數(shù)對(duì)選定的回歸函數(shù)的估計(jì)函數(shù)的估計(jì)函數(shù)dhamlnlnl