氣象統(tǒng)計(jì)方法第五章多元線性回歸分析

1、主講：溫 娜南京信息工程大學(xué)大氣科學(xué)學(xué)院2014年9月本課件主要參考南信大李麗平老師的課件l概述概述l回歸模型回歸模型l回歸系數(shù)的最小二乘估計(jì)回歸系數(shù)的最小二乘估計(jì)l方差分析方差分析l回歸方程顯著性檢驗(yàn)回歸方程顯著性檢驗(yàn)l預(yù)報(bào)因子顯著性檢驗(yàn)預(yù)報(bào)因子顯著性檢驗(yàn)l復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)l預(yù)報(bào)步驟預(yù)報(bào)步驟1. 1. 意義意義 在氣象統(tǒng)計(jì)預(yù)報(bào)中，尋找與預(yù)報(bào)量線性在氣象統(tǒng)計(jì)預(yù)報(bào)中，尋找與預(yù)報(bào)量線性關(guān)系很好的單個(gè)因子是不夠的，實(shí)際上某個(gè)關(guān)系很好的單個(gè)因子是不夠的，實(shí)際上某個(gè)氣象要素的變化可能和氣象要素的變化可能和前期多個(gè)因子有關(guān)，前期多個(gè)因子有關(guān)，因此大部分氣象統(tǒng)計(jì)預(yù)報(bào)中的回歸分析都是因此大部分氣象統(tǒng)計(jì)預(yù)報(bào)

2、中的回歸分析都是用多元回歸技術(shù)進(jìn)行。用多元回歸技術(shù)進(jìn)行。2.2.基本概念基本概念 多元回歸就是研究一個(gè)預(yù)報(bào)量和多個(gè)多元回歸就是研究一個(gè)預(yù)報(bào)量和多個(gè)預(yù)報(bào)因子之間的關(guān)系。主要討論較為簡(jiǎn)預(yù)報(bào)因子之間的關(guān)系。主要討論較為簡(jiǎn)單的單的多元線性回歸多元線性回歸。其分析原理與一元。其分析原理與一元線性回歸分析完全相同。線性回歸分析完全相同。二、回歸模型二、回歸模型 假定預(yù)報(bào)量假定預(yù)報(bào)量y y與與p p個(gè)預(yù)報(bào)因子關(guān)系是線個(gè)預(yù)報(bào)因子關(guān)系是線性，為研究它們之間的聯(lián)系作性，為研究它們之間的聯(lián)系作n n次抽樣，則次抽樣，則可得到如下結(jié)構(gòu)表達(dá)式：可得到如下結(jié)構(gòu)表達(dá)式： (1)(1) nnppnnnppppexxxyexx

3、xyexxxy2211022222211021112211101 其中，其中， 為為p+1p+1個(gè)待估計(jì)參數(shù)，個(gè)待估計(jì)參數(shù)， 是是p p個(gè)個(gè)一般變量，一般變量， 是隨機(jī)誤差（相互獨(dú)立變是隨機(jī)誤差（相互獨(dú)立變量），服從量），服從 正態(tài)分布。上述模型正態(tài)分布。上述模型還可以寫為：還可以寫為： (2)(2) ixiie), 0(2NeXy其中，其中，都是向量。都是向量。X X是因子矩陣，即是因子矩陣，即 nyyy21yp102neee1enpnppxxxxxx1221111111X 我們得到的是我們得到的是一組實(shí)測(cè)一組實(shí)測(cè)p p個(gè)變量的樣本個(gè)變量的樣本，利，利用這組樣本（用這組樣本（n n 次抽樣次

4、抽樣）對(duì)上述回歸模型進(jìn)行）對(duì)上述回歸模型進(jìn)行估計(jì)，得到的估計(jì)方程為多元線性回歸估計(jì)方估計(jì)，得到的估計(jì)方程為多元線性回歸估計(jì)方程，記為：程，記為： (3)(3)其中，其中， 是是 的估計(jì)值，下面討論如何確定的估計(jì)值，下面討論如何確定它們。它們。ppbbbbxxxy22110ibi 和一元線性回歸類似，在樣本容量為和一元線性回歸類似，在樣本容量為n n的的y y預(yù)報(bào)量和因子變量預(yù)報(bào)量和因子變量x x的實(shí)測(cè)值中，滿足線性回的實(shí)測(cè)值中，滿足線性回歸方程歸方程的要求的回歸系數(shù)，應(yīng)是使全部的的要求的回歸系數(shù)，應(yīng)是使全部的預(yù)報(bào)量觀測(cè)值預(yù)報(bào)量觀測(cè)值與與回回歸估計(jì)值的差值平方和達(dá)到最小歸估計(jì)值的差值平方和達(dá)到最

5、小。即滿足。即滿足最小。最小。ippiiixbxbxbby22110ni1niiiyyQ12)( 對(duì)一組樣本資料，預(yù)報(bào)值的估計(jì)可以看成對(duì)一組樣本資料，預(yù)報(bào)值的估計(jì)可以看成為一個(gè)向量，記為為一個(gè)向量，記為滿足（滿足（3 3）的回歸方程，也可以寫為矩陣形式，）的回歸方程，也可以寫為矩陣形式，即即 ，其中，其中，X X就是因子矩陣就是因子矩陣，b b為回為回歸系數(shù)歸系數(shù)，即，即nyyy21ypbbb10bXby 預(yù)報(bào)量的觀測(cè)值與回歸值之差的內(nèi)積就預(yù)報(bào)量的觀測(cè)值與回歸值之差的內(nèi)積就是它們的分量的差值平方和，即是它們的分量的差值平方和，即根據(jù)微分學(xué)原理，有根據(jù)微分學(xué)原理，有00010pbQbQbQ()(

6、) ()()Q y y y yy-Xb y Xbyy-bXy-yXb bXXb可以寫成向量的形式可以寫成向量的形式0 0bXbXbbXbybyXbbyyb)()()()(Q=0y XbXbybyXb)()(XbXbXbXb2)(補(bǔ)充用矢量和補(bǔ)充用矢量和矩陣形式表示的函數(shù)的微分矩陣形式表示的函數(shù)的微分設(shè)設(shè)x 為為 列向量，列向量，a為為 列向列向量，量， 為為 的函數(shù)，則的函數(shù)，則f 對(duì)對(duì)x的偏微分記為的偏微分記為1n1nxaaxfix)(21nxfxfxffx1 1）如果如果x、a及及f如上面定義，則有如上面定義，則有2 2）如果）如果x x如上面定義，令如上面定義，令 ，則則ax fxxfx

7、x2f3 3）如果）如果A A為為 對(duì)稱陣，則對(duì)稱陣，則對(duì)對(duì)x x的偏微分為的偏微分為nn AxxfAxxAxx2)( 當(dāng)矩陣和向量的運(yùn)算結(jié)果是一行一列的矩當(dāng)矩陣和向量的運(yùn)算結(jié)果是一行一列的矩陣時(shí)，可以表示一個(gè)多元函數(shù)；陣時(shí)，可以表示一個(gè)多元函數(shù)； 多元函數(shù)的值域是一個(gè)數(shù)量，當(dāng)它表達(dá)（多元函數(shù)的值域是一個(gè)數(shù)量，當(dāng)它表達(dá)（x1, x2 ,xm) 有規(guī)則運(yùn)算時(shí)，用向量和矩陣運(yùn)算比有規(guī)則運(yùn)算時(shí)，用向量和矩陣運(yùn)算比較方便。較方便。 當(dāng)多元函數(shù)當(dāng)多元函數(shù)f(x1, x2 ,xm)表示（表示（x1, x2 ,xm)有規(guī)則運(yùn)算時(shí)，它對(duì)（有規(guī)則運(yùn)算時(shí)，它對(duì)（ x1, x2 ,xm ）的偏導(dǎo)也）的偏導(dǎo)也是有規(guī)則

8、的，可用多元函數(shù)是有規(guī)則的，可用多元函數(shù)f(X)對(duì)向量對(duì)向量X的導(dǎo)數(shù)的導(dǎo)數(shù)一并表示。一并表示。 前面的式子是采用向量和矩陣的運(yùn)前面的式子是采用向量和矩陣的運(yùn)算表示多元函數(shù)及多元函數(shù)對(duì)自變量的算表示多元函數(shù)及多元函數(shù)對(duì)自變量的導(dǎo)數(shù)，導(dǎo)數(shù)，不能說(shuō)成不能說(shuō)成“矩陣和向量的求導(dǎo)矩陣和向量的求導(dǎo)”，因?yàn)橹挥泻瘮?shù)才能對(duì)它的自變量求導(dǎo)數(shù)。因?yàn)橹挥泻瘮?shù)才能對(duì)它的自變量求導(dǎo)數(shù)。 通過(guò)分析其向量形式可得到通過(guò)分析其向量形式可得到求回歸系數(shù)求回歸系數(shù)的標(biāo)準(zhǔn)方程組矩陣形式，的標(biāo)準(zhǔn)方程組矩陣形式，即即 (4)(4)展開(kāi)為展開(kāi)為yXXbXniiipniippniiipniipniiiniipipniiiniiniiini

9、ipipniiniiniiniippniiyxxbxxbxbyxxxbxxbxbyxxxbxbxbyxbxbnb112111101212112112011111211110111110求解上述方程組的方法：求解上述方程組的方法：1)1)用高斯或亞當(dāng)用高斯或亞當(dāng)高斯消去法，解此高斯消去法，解此正規(guī)方程組得回歸系數(shù)估計(jì)值正規(guī)方程組得回歸系數(shù)估計(jì)值b b0 0和和b bk k(k=1-p) (k=1-p) 2)2)用矩陣運(yùn)算求解用矩陣運(yùn)算求解( (逆矩陣法逆矩陣法) )l Ab=B A-1Ab=A-1B b=A-1Bl b=A-1B=(XX)-1XY四、線性回歸模型的其他兩種形式四、線性回歸模型的其

10、他兩種形式1 1、距平形式：、距平形式： 從（從（4 4）式可以導(dǎo)出）式可以導(dǎo)出代入（代入（3 3）式，得到）式，得到 ppxbxbxbyb22110)()()(222111pppxxbxxbxxbyy令令上式變?yōu)樯鲜阶優(yōu)?（5） yyyd 111xxxdppdpxxx.dppdddxbxbxby2211 對(duì)一組樣本容量為對(duì)一組樣本容量為n n的多個(gè)距平變量數(shù)據(jù)，的多個(gè)距平變量數(shù)據(jù)，可類似寫成可類似寫成回歸方程的矩陣形式回歸方程的矩陣形式其中，其中，bXydd dnddyy1ypbb1bdnpdndnpdddpdddxxxxxxxxx212222111211dX 氣象上，氣象上，為消除季節(jié)變化

11、的差別或者為消除季節(jié)變化的差別或者地點(diǎn)的差別地點(diǎn)的差別，經(jīng)常使用距平變量研究問(wèn)題。經(jīng)常使用距平變量研究問(wèn)題。所以形如（所以形如（5 5）式的回歸方程更為常用。）式的回歸方程更為常用。 1 1）從距平變量的觀測(cè)值求回歸系數(shù)，）從距平變量的觀測(cè)值求回歸系數(shù)，同樣用最小二乘法導(dǎo)出求回歸系數(shù)的標(biāo)準(zhǔn)同樣用最小二乘法導(dǎo)出求回歸系數(shù)的標(biāo)準(zhǔn)方程組，其矩陣形式為方程組，其矩陣形式為 (6)ddddbyXXX展開(kāi)得到求系數(shù)標(biāo)準(zhǔn)方程組形式為展開(kāi)得到求系數(shù)標(biāo)準(zhǔn)方程組形式為nididipnidippnididipnididipnididinidipdipnidinididinididinidipdipdinidinid

12、iyxxbxxbxxbyxxxbxbxxbyxxxbxxbxb112112111121212221121111111221211 2 2）有時(shí)，為書寫方便，（）有時(shí)，為書寫方便，（6 6）式兩邊乘上）式兩邊乘上1/n1/n，變成各變量的協(xié)方差形式，相應(yīng)的方，變成各變量的協(xié)方差形式，相應(yīng)的方程組寫為程組寫為其中，其中，pypppppyppyppssbsbsbssbsbsbssbsbsb22112222221111122111nidildikklxxns11nididikkyyxns11plk, 2 , 1, 通常稱通常稱 為為因子協(xié)方差矩陣因子協(xié)方差矩陣。于是（于是（6 6）式可以寫為）式可以寫

13、為 。 其中其中上面的方程組和（上面的方程組和（6 6）式?jīng)]有本質(zhì)區(qū)別，有時(shí)）式?jīng)]有本質(zhì)區(qū)別，有時(shí)直接從（直接從（6 6）式求解，但寫成上面的形式。）式求解，但寫成上面的形式。ddX XX Xn1SxysSb pyyxyss1s2 2、如果把變量變成、如果把變量變成標(biāo)準(zhǔn)化變量標(biāo)準(zhǔn)化變量，即對(duì)（，即對(duì)（5 5）式的距平變量多元線性回歸方程兩邊除以式的距平變量多元線性回歸方程兩邊除以預(yù)報(bào)量預(yù)報(bào)量y y的標(biāo)準(zhǔn)差，得到的標(biāo)準(zhǔn)差，得到其中，其中， 為為p p個(gè)變量的標(biāo)準(zhǔn)差。個(gè)變量的標(biāo)準(zhǔn)差。ypppyyysxxbsxxbsxxbsyy222111pppyppyysxxssbsxxssbsxxssb2222

14、211111is若令若令則可以化為則可以化為標(biāo)準(zhǔn)化回歸方程標(biāo)準(zhǔn)化回歸方程 ykkzkkkkzkyzssbbsxxxsyyyplk, 2 , 1,zpzpzzzzzxbxbxby2211 對(duì)一組樣本容量為對(duì)一組樣本容量為n n的多變量數(shù)據(jù)，可的多變量數(shù)據(jù)，可類似寫成類似寫成標(biāo)準(zhǔn)化變量回歸方程矩陣形式標(biāo)準(zhǔn)化變量回歸方程矩陣形式 (7)(7) 其中，其中， 為標(biāo)準(zhǔn)化因子矩陣，為標(biāo)準(zhǔn)化因子矩陣， 為標(biāo)為標(biāo)準(zhǔn)化回歸系數(shù)向量，其中第準(zhǔn)化回歸系數(shù)向量，其中第k k個(gè)分量為個(gè)分量為 。zzzbXyzXzbzkb 可用最小二乘法求出標(biāo)準(zhǔn)化回歸系數(shù)向可用最小二乘法求出標(biāo)準(zhǔn)化回歸系數(shù)向量，量，標(biāo)準(zhǔn)化方程組的矩陣形式

15、為標(biāo)準(zhǔn)化方程組的矩陣形式為或者或者 (8)(8)其中，其中，zzzzyXbXXzxyzrRbzznXXR1zzpyyynrrryXrxy121R R為為p p個(gè)因子的相關(guān)矩陣。（個(gè)因子的相關(guān)矩陣。（8 8）式展開(kāi)為）式展開(kāi)為pyzpppzpzpyzppzzyzppzzrbrbrbrrbrbrbrrbrbrbr22112222212111212111l原始變量回歸方程：原始變量回歸方程：l距平變量回歸方程：距平變量回歸方程：l標(biāo)準(zhǔn)化變量回歸方程：標(biāo)準(zhǔn)化變量回歸方程：01 122kkybb xb xb x1122dddkdkyb xb xb x1122zzzzzzzkyb xb xb x四、回歸問(wèn)

16、題的方差分析四、回歸問(wèn)題的方差分析 和一元回歸問(wèn)題方差分析類似，預(yù)報(bào)量和一元回歸問(wèn)題方差分析類似，預(yù)報(bào)量的方差可以表示成回歸估計(jì)值的方差（回的方差可以表示成回歸估計(jì)值的方差（回 歸方差）和誤差方差（殘差方差）之和。歸方差）和誤差方差（殘差方差）之和。222eyySSS 有時(shí)候，兩邊同時(shí)乘以有時(shí)候，兩邊同時(shí)乘以n n變成各變量離差變成各變量離差平方和的關(guān)系。平方和的關(guān)系。QUSyyddniiyyUyy )(12)( )() ()()(1122ddddniniiiiiyyyyyyQyyyyddniiyyyySyy12)( 上式最后一項(xiàng)為上式最后一項(xiàng)為0 0。U U和和Q Q分別稱為回歸平分別稱為回

17、歸平方和及殘差平方和，方和及殘差平方和， 稱為總離差平方和。稱為總離差平方和。U U反映了反映了p p個(gè)因子與預(yù)報(bào)量線性關(guān)系部分。個(gè)因子與預(yù)報(bào)量線性關(guān)系部分。Q Q反反映了觀測(cè)值偏離回歸直線的程度。映了觀測(cè)值偏離回歸直線的程度。yyS)( 2)( )(dddddddddyyyyyyyyy)()(ddddddyySyyyyyy向量形式：向量形式：niiniiniiiyyyyyyyyR12121)()()(yyddddddddddddSUR)()(yyyyyyyyyyyy 意義：意義： 上式反映了上式反映了回歸平方和回歸平方和、總離差總離差平方和平方和與與復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)的關(guān)系?？梢?jiàn)，的關(guān)系。

18、可見(jiàn)，復(fù)相關(guān)系數(shù)實(shí)際是衡量復(fù)相關(guān)系數(shù)實(shí)際是衡量p p個(gè)因子對(duì)預(yù)個(gè)因子對(duì)預(yù)報(bào)量的線性解釋方差的百分率，其報(bào)量的線性解釋方差的百分率，其變化在變化在0 01 1之間。之間。yySQR 12 1 1）衡量）衡量一個(gè)一個(gè)預(yù)報(bào)量和預(yù)報(bào)量和多個(gè)預(yù)報(bào)多個(gè)預(yù)報(bào)因子因子之間的線性關(guān)系程度的量；之間的線性關(guān)系程度的量； 2 2）衡量了預(yù)報(bào)因子對(duì)預(yù)報(bào)量的線性解衡量了預(yù)報(bào)因子對(duì)預(yù)報(bào)量的線性解釋方差的百分率；釋方差的百分率； 3 3）R R的絕對(duì)值越大，表明回歸效果越好。的絕對(duì)值越大，表明回歸效果越好。201R 調(diào)整復(fù)相關(guān)系數(shù)調(diào)整復(fù)相關(guān)系數(shù)殘差方差的無(wú)偏估計(jì)量殘差方差的無(wú)偏估計(jì)量: :預(yù)報(bào)量預(yù)報(bào)量y y的方差的無(wú)偏估計(jì)

19、量：的方差的無(wú)偏估計(jì)量：12pnQe12nSyyy 調(diào)整復(fù)相關(guān)系數(shù)調(diào)整復(fù)相關(guān)系數(shù)是對(duì)總體復(fù)相關(guān)系數(shù)的估計(jì)，是對(duì)總體復(fù)相關(guān)系數(shù)的估計(jì)，也是對(duì)總體回歸關(guān)系的解釋方差的一種估計(jì)。也是對(duì)總體回歸關(guān)系的解釋方差的一種估計(jì)。1111222nSpnQRyyye)1)(11(12Rpnn 假設(shè)預(yù)報(bào)因子與預(yù)報(bào)量之間無(wú)線性關(guān)系，假設(shè)預(yù)報(bào)因子與預(yù)報(bào)量之間無(wú)線性關(guān)系，則回歸系數(shù)應(yīng)該為則回歸系數(shù)應(yīng)該為0 0。 檢驗(yàn)假設(shè)：檢驗(yàn)假設(shè)： 計(jì)算統(tǒng)計(jì)量計(jì)算統(tǒng)計(jì)量0:210pH1pnQpUF遵從分子自由度為遵從分子自由度為p,p,分母自由度為分母自由度為n-p-1n-p-1的的F F分布，在顯著性水平分布，在顯著性水平 下，若下，

20、若 ，認(rèn)為回歸方程是顯著的。認(rèn)為回歸方程是顯著的。11122pnRpRpnSQpSUFyyyyFF 七、預(yù)報(bào)值的七、預(yù)報(bào)值的95%置信區(qū)間置信區(qū)間ey96.1 1pnQe1.1.確定預(yù)報(bào)量并選擇恰當(dāng)?shù)囊蜃?。確定預(yù)報(bào)量并選擇恰當(dāng)?shù)囊蜃印?.2.根據(jù)數(shù)據(jù)計(jì)算回歸系數(shù)標(biāo)準(zhǔn)方程組所包含根據(jù)數(shù)據(jù)計(jì)算回歸系數(shù)標(biāo)準(zhǔn)方程組所包含的有關(guān)統(tǒng)計(jì)量（因子的交叉積、矩陣協(xié)方的有關(guān)統(tǒng)計(jì)量（因子的交叉積、矩陣協(xié)方差陣或相關(guān)矩陣，以及因子與預(yù)報(bào)量交叉差陣或相關(guān)矩陣，以及因子與預(yù)報(bào)量交叉積向量等）；積向量等）；3.3.求解線性方程組，定出回歸系數(shù)；求解線性方程組，定出回歸系數(shù)；4.4.建立回歸方程并進(jìn)行統(tǒng)計(jì)顯著性檢驗(yàn)；建立回歸

21、方程并進(jìn)行統(tǒng)計(jì)顯著性檢驗(yàn)；5.5.利用已經(jīng)給出的因子帶入回歸方程做出預(yù)利用已經(jīng)給出的因子帶入回歸方程做出預(yù)報(bào)量的估計(jì)，求出預(yù)報(bào)值的置信區(qū)間。報(bào)量的估計(jì)，求出預(yù)報(bào)值的置信區(qū)間。例例1，為預(yù)報(bào)長(zhǎng)江中下游，為預(yù)報(bào)長(zhǎng)江中下游7月降水，選取月降水，選取x1為當(dāng)年長(zhǎng)江為當(dāng)年長(zhǎng)江中下游五站平均的中下游五站平均的1月份降水量；月份降水量；x2是當(dāng)年是當(dāng)年2月份平均月份平均氣溫，氣溫，n=29,由資料計(jì)算得離差陣由資料計(jì)算得離差陣 :及及74468413715193814755055446921.).( xxyG試建立二元回歸方程試建立二元回歸方程解：增廣系數(shù)矩陣解：增廣系數(shù)矩陣 )(0A1)、k=110123908175635055446903240908175634456911011013113011012112011011111.,)()()()()()