數(shù)值分析-回歸分析

1、回歸分析一、回歸與相關(guān)關(guān)系一、回歸與相關(guān)關(guān)系 回歸這個(gè)術(shù)語是由英國著名統(tǒng)計(jì)學(xué)家回歸這個(gè)術(shù)語是由英國著名統(tǒng)計(jì)學(xué)家Francis Galton在在19世紀(jì)末期研究孩子及他們的父母的身高世紀(jì)末期研究孩子及他們的父母的身高時(shí)提出來的。時(shí)提出來的。Galton發(fā)現(xiàn)身材高的父母，他們的孩發(fā)現(xiàn)身材高的父母，他們的孩子也高。但這些孩子平均起來并不像他們的父母那子也高。但這些孩子平均起來并不像他們的父母那樣高。對于比較矮的父母情形也類似：他們的孩子樣高。對于比較矮的父母情形也類似：他們的孩子比較矮，但這些孩子的平均身高要比他們的父母的比較矮，但這些孩子的平均身高要比他們的父母的平均身高高。平均身高高。 Galt

2、on把這種孩子的身高把這種孩子的身高向中間值靠向中間值靠近的趨勢近的趨勢稱之為一種回歸效應(yīng)，而他發(fā)展的研究兩稱之為一種回歸效應(yīng)，而他發(fā)展的研究兩個(gè)數(shù)值變量的方法稱為回歸分析。個(gè)數(shù)值變量的方法稱為回歸分析。 在現(xiàn)實(shí)問題中，處于同一個(gè)過程中的一些變量，往往是相在現(xiàn)實(shí)問題中，處于同一個(gè)過程中的一些變量，往往是相互依賴和相互制約的，它們之間的相互關(guān)系大致可分為兩種：互依賴和相互制約的，它們之間的相互關(guān)系大致可分為兩種：（1 1）確定性關(guān)系）確定性關(guān)系函數(shù)關(guān)系；函數(shù)關(guān)系；（2 2）非確定性關(guān)系）非確定性關(guān)系相關(guān)關(guān)系；相關(guān)關(guān)系； 相關(guān)關(guān)系相關(guān)關(guān)系表現(xiàn)為這些變量之間有一定的依賴關(guān)系，但這種表現(xiàn)為這些變量之間

3、有一定的依賴關(guān)系，但這種關(guān)系并不完全確定，它們之間的關(guān)系關(guān)系并不完全確定，它們之間的關(guān)系不能精確地用函數(shù)表示出不能精確地用函數(shù)表示出來。來。比如，一斤桃子比如，一斤桃子2元錢，買元錢，買X斤桃子需要斤桃子需要Y元錢，則元錢，則Y=2X； 比如，人的血壓比如，人的血壓 Y Y 與年齡與年齡 X X 之間有一定的依賴關(guān)系，一般之間有一定的依賴關(guān)系，一般來說，年齡越大，血壓越高，但來說，年齡越大，血壓越高，但年齡相同的兩個(gè)人的血壓不一年齡相同的兩個(gè)人的血壓不一定相等。年齡與血壓之間的關(guān)系是相關(guān)關(guān)系。定相等。年齡與血壓之間的關(guān)系是相關(guān)關(guān)系。函數(shù)關(guān)系與相關(guān)關(guān)系函數(shù)關(guān)系與相關(guān)關(guān)系xY函數(shù)關(guān)系函數(shù)關(guān)系唯一決

4、定唯一決定的值，的值，Y的值，的值， 相關(guān)關(guān)系相關(guān)關(guān)系x影響影響不能唯一確定。不能唯一確定。 因此，統(tǒng)計(jì)學(xué)上討論兩變量的相關(guān)關(guān)系時(shí)，是設(shè)法因此，統(tǒng)計(jì)學(xué)上討論兩變量的相關(guān)關(guān)系時(shí)，是設(shè)法確定：在給定自變量確定：在給定自變量 的條件下，因變量的條件下，因變量 的的條件數(shù)學(xué)期望條件數(shù)學(xué)期望 ，記為記為 。回歸分析的基本回歸分析的基本內(nèi)容內(nèi)容就是就是估計(jì)回歸方程估計(jì)回歸方程 。 xX Y(| )E Y x( )yx ( )x n隨機(jī)變量之間不確定的關(guān)系，稱為相關(guān)關(guān)系；n回歸分析就是通過觀察值，去尋找隨機(jī)變量間的相關(guān)關(guān)系的一種數(shù)理統(tǒng)計(jì)方法；2 ( )( )0,( ). ( )( )yxxyyf xEDE

5、yf x研究變量 與 的相關(guān)關(guān)系，通?？紤] 是非隨機(jī)變量，是隨機(jī)變量，則其中 是所有隨機(jī)因素影響的總和，稱為隨機(jī)誤差，且于是稱為理論回歸方程。(1) ( )( )( , )( ) ( )( )(3)( )f xf xy xf xyf xf xyxf xx注：的函數(shù)形式未知，一般無法得出；(2)通常現(xiàn)對的函數(shù)形式作出假設(shè)，并利用的觀察值來估計(jì)中的未知參數(shù)，得到稱為經(jīng)驗(yàn)回歸方程或回歸方程，稱為 對 的回歸函數(shù).假設(shè)是線性函數(shù)時(shí)，稱為線性回歸方程；當(dāng) 是一元或多元變量時(shí)，分別稱為一元線性回歸方程或多元線性回歸方程；Regression Models回歸模型的分類回歸模型的分類回歸模型回歸模型 線性回

6、歸線性回歸非線性回歸非線性回歸2 2個(gè)以上自變量個(gè)以上自變量簡單回歸簡單回歸多元回歸多元回歸1 1個(gè)自變量個(gè)自變量11nnxxyxx二、回歸分析的應(yīng)用(1)根據(jù)觀測值，在誤差盡可能小的情況下，建立因變量和自變量 , , 的回歸方程，并利用此方程對變量進(jìn)行預(yù)測和控制；(2)判斷自變量 , , 中，哪些變量對y的影響是顯著的，哪些是不顯著的。11nnxxyxx二、回歸分析的應(yīng)用(1)根據(jù)觀測值，在誤差盡可能小的情況下，建立因變量和自變量 , , 的回歸方程，并利用此方程對變量進(jìn)行預(yù)測和控制；(2)判斷自變量 , , 中，哪些變量對y的影響是顯著的，哪些是不顯著的。1一元線性回歸例例1：今有某品種大

7、豆脂肪含量今有某品種大豆脂肪含量 X(%)與蛋白質(zhì)含量與蛋白質(zhì)含量Y(%)的測定結(jié)果如下表，試分析這些數(shù)據(jù)蘊(yùn)含的關(guān)系。的測定結(jié)果如下表，試分析這些數(shù)據(jù)蘊(yùn)含的關(guān)系。16.5 17.5 18.5 19.5 20.5 21.5 22.5 23.5 24.543.5 42.6 42.6 40.6 40.3 38.7 37.2 36.0 34.0XY將每一對觀察值在同一將每一對觀察值在同一直角坐標(biāo)系中描出，得直角坐標(biāo)系中描出，得散點(diǎn)圖散點(diǎn)圖如右：如右：從散點(diǎn)圖看出，從散點(diǎn)圖看出， 與與具有具有線性相關(guān)關(guān)系線性相關(guān)關(guān)系。xy一、一元線性回歸分析一、一元線性回歸分析(linear regression)(l

8、inear regression) 一般地，設(shè)隨機(jī)變量一般地，設(shè)隨機(jī)變量 Y 與變量與變量 X 有相關(guān)關(guān)系，作有相關(guān)關(guān)系，作 次次獨(dú)立試驗(yàn)，得獨(dú)立試驗(yàn)，得 對觀測值：對觀測值：nn 1122,.,nnx yxyxy用試驗(yàn)數(shù)據(jù)對作出散點(diǎn)圖，若如下圖，則顯示用試驗(yàn)數(shù)據(jù)對作出散點(diǎn)圖，若如下圖，則顯示 Y 與與 X 有線性有線性關(guān)系的趨勢。關(guān)系的趨勢。01yx這里，這里，01iiiyx011200,YxN對每一確定的對每一確定的 ，建立數(shù)學(xué)模型：，建立數(shù)學(xué)模型：x（一元線性回歸模型）（一元線性回歸模型） 0101E YExx則有則有記作記作 x由此得出變量由此得出變量 Y 與與 X 的近似表達(dá)式：的近

9、似表達(dá)式：01 yx（一元線性回歸方程、經(jīng)驗(yàn)公式）（一元線性回歸方程、經(jīng)驗(yàn)公式） 回歸分析的任務(wù)是，找出回歸方程式，檢驗(yàn)方程有效與否，回歸分析的任務(wù)是，找出回歸方程式，檢驗(yàn)方程有效與否，當(dāng)方程有效時(shí)對當(dāng)方程有效時(shí)對Y 的值作預(yù)測與控制。的值作預(yù)測與控制。二、未知參數(shù)的估計(jì)及統(tǒng)計(jì)性質(zhì)二、未知參數(shù)的估計(jì)及統(tǒng)計(jì)性質(zhì)1.1.最小二乘法最小二乘法 (Least squares estimate)(Least squares estimate) 根據(jù)上面的分析，根據(jù)已知的散點(diǎn)根據(jù)上面的分析，根據(jù)已知的散點(diǎn) ，我們可以得到一個(gè)回歸函數(shù)我們可以得到一個(gè)回歸函數(shù) ，其中，其中 待定。待定。(,)(1,2, )i

10、ixyin 01yx01, 令令 ，這里，這里 表示當(dāng)表示當(dāng) 時(shí)，時(shí)，的觀測值的觀測值 與與 直線直線 上的對應(yīng)縱坐標(biāo)上的對應(yīng)縱坐標(biāo) 的偏差。這樣，各個(gè)散點(diǎn)與直線的偏差。這樣，各個(gè)散點(diǎn)與直線的的總的偏差的平方和總的偏差的平方和為為01()iiiyxi ixx iy01yx01iyx01yx22010111(,)()nniiiiiQyx 我們希望選取適當(dāng)?shù)奈覀兿Ｍx取適當(dāng)?shù)?使得使得 的值最小的值最小，由，由此得到的估計(jì)此得到的估計(jì) 稱為稱為，這種方法成為，這種方法成為0101,(,)Q01,201011min(,)niiiQyx 令令 01102( 1)0niiiQyx 01112()0nii

11、iiQyxx 01yx1xyxxLL1111, nniiiixxyynn21(),nxxiiLxxx y的離差平方和1()()nxyiiiLxxyy xy與 的離差平方和12nxxx當(dāng) ， ， ， 互不相同時(shí)，方程組有解2112200122012.N(,).1x(2)N(,()(3)cov(y,)=0 x(4)cov(,)=-)xxxxxxlnll 最小二乘法的性質(zhì)定理4.1.1(1)注:一元線性經(jīng)驗(yàn)回歸方程是理論回歸方程的無偏估計(jì)22013. )(iiiiyyyxnn2ei=1i=1的無偏估計(jì)記S()稱為殘差平方和殘差平方和.22124.1.2(1()(2)(2)(2),eeeE SnSnS

12、y定理在一元線性回歸模型下，有）且 與 ， 相互獨(dú)立.三、回歸效果的顯著性檢驗(yàn)F F 檢驗(yàn)（方差分析）檢驗(yàn)（方差分析）2TiyySSyyL把把 Y 的觀測值的的觀測值的總離差平方和總離差平方和分解成兩部分：分解成兩部分：21RixySSyyL21EiiyyxySSyyLL即：即：TRESSSSSS回歸平方和回歸平方和剩余平方和剩余平方和1122( ,),(,),(,)nnx yxyxy一般地，對測定出來的數(shù)據(jù)一般地，對測定出來的數(shù)據(jù)但變量但變量 X 與與Y 是否真有線性相關(guān)的關(guān)系？是否真有線性相關(guān)的關(guān)系？ 這是需要作檢驗(yàn)的。這是需要作檢驗(yàn)的。用最小二乘法總是可以求出一條回歸直線：用最小二乘法總

13、是可以求出一條回歸直線：01yx010111220122221111112122111()nniiiiRiiiixxxynnRyxxynnSSyyxyyxxyxxLLyyyxxxSS這表明 ， ， ， 的分散性來源于 ， ， ，的分散性，且與成正比。12RnSSyyy是回歸直線上點(diǎn)的縱坐標(biāo) ， ， ，和他們的平均值之間的離差平方和，稱為回歸平方和。SSR 反映了自變量反映了自變量 X 對隨機(jī)變量對隨機(jī)變量 Y 的影響的影響，SSE 反映了試驗(yàn)誤差和其它因素對反映了試驗(yàn)誤差和其它因素對 Y 的影響的影響。 TRESSSSSS中中10，我們就來檢驗(yàn)這個(gè)假設(shè)。，我們就來檢驗(yàn)這個(gè)假設(shè)。10若假設(shè)若假設(shè)

14、 H0 ： 成立：則成立：則從而統(tǒng)計(jì)量從而統(tǒng)計(jì)量1,22RESSFFnSSn 2222221 ,1 ,2TRESSSSSSnn對給定的檢驗(yàn)水平對給定的檢驗(yàn)水平 ，H0 的的拒絕拒絕域?yàn)椋河驗(yàn)椋?,2FFnF 單側(cè)檢驗(yàn)單側(cè)檢驗(yàn)這時(shí)認(rèn)為這時(shí)認(rèn)為回歸方程回歸方程很大程度上很大程度上是成立的，是有效的是成立的，是有效的.若變量若變量 X 與與 Y 沒有沒有相關(guān)關(guān)系，即回歸方程相關(guān)關(guān)系，即回歸方程 中中01yx2212211nxxiinyyiinxyiiiLxnxLynyLx ynx y 故檢驗(yàn)故檢驗(yàn)X與與Y之間有沒有線性關(guān)系（即得到的線性回歸方程有之間有沒有線性關(guān)系（即得到的線性回歸方程有沒有意義），

15、只要檢驗(yàn)假設(shè)沒有意義），只要檢驗(yàn)假設(shè)0111:0:0HH X與與Y沒有線性關(guān)系沒有線性關(guān)系X與與Y有線性關(guān)系有線性關(guān)系找統(tǒng)計(jì)量找統(tǒng)計(jì)量,(2)RESSFSSn 111RxyEyyxyxyxxSSLSSLLLL 其中其中221,1.001001檢驗(yàn)法當(dāng)固定時(shí)，越小，則占的比重越大，回歸效果越明顯.由于因此稱為 與 的相關(guān)系數(shù)，且當(dāng)時(shí)， 與 之間不存在相關(guān)關(guān)系；時(shí)， 與 之間存在一定相關(guān)關(guān)系，時(shí)，正相關(guān)，時(shí)，負(fù)相關(guān);時(shí)， 與 之間完全線性相關(guān)，存在RTERTxyxxRTyyxxyyxyRTxxyyRTrSSSSSSSSSLLSSSSLL LLSSrxyrSSL LryxryxrrrSSSSyx 確

16、定的相關(guān)關(guān)系.1101012(2)/2(2)/2(2).xxExxEttLt nSSnHtLt nSSnHttn檢 驗(yàn) 法當(dāng)成 立 時(shí) ，的 拒 絕 域1101012(2)/2(2)/2(2).xxExxEttLt nSSnHtLt nSSnHttn檢驗(yàn)法當(dāng)成立時(shí)，的拒絕域1.2.yxyxyx回歸效果不顯著的原因有以下幾種影響 的取值，除 外還有其他的不可忽略的變量；與 之間的關(guān)系不是線性的，而是其它非線性關(guān)系；3. 與 之間不存在任何關(guān)系.222000200222001211121xN(,()(2),(2)1x.(2)1x(2).1(2).ExxExxxxxxSSnSnltt nSSnlntnSnltnSl回歸系數(shù)的置信區(qū)間由，且 與相互獨(dú)立，可得回歸系數(shù)的置信區(qū)間為類似可得 的置信區(qū)間為000100100202000120