第六章回歸分析

1、第六章回歸分析引言一、變量間的關(guān)系1.確定關(guān)系(函數(shù)關(guān)系)如正方形的面積與邊長的關(guān)系、做勻速直線運(yùn)動的質(zhì)點的位移與時間的關(guān)系等等。2.非確定關(guān)系(相關(guān)關(guān)系)例1作物的單位面積產(chǎn)量與施肥量的關(guān)系。例2人的體重與身高的關(guān)系。例3人的血壓與年齡的關(guān)系。例4某種商品(如糖果)的消費(fèi)量與居民(按人口計算)的平均收入的關(guān)系。共同點變量間雖然存在著密切的關(guān)系，但從一個變量的每一確定值，不能求出另一變量的確定的值?？墒窃诖罅康脑囼炛?，這種不確定的聯(lián)系，具有統(tǒng)計規(guī)律性，表現(xiàn)為的一個確定的概率分布定義. 設(shè)有兩個隨機(jī)變量，對其中某一個變量的每一個可能的值，另一個變量有一個確定的概率分布與之對應(yīng)。則稱這兩個隨機(jī)變量

2、間存在著相關(guān)關(guān)系。二、回歸分析1.回歸關(guān)系設(shè)與之間存在著某種相關(guān)關(guān)系。其中是可以控制或可以精確觀察的變量(如年齡、試驗的溫度等等)，即，可以隨意指定的個值。因此視為普通變量。此時稱變量對具有回歸關(guān)系。問題如何表達(dá)變量對的回歸關(guān)系?回歸分析是研究相關(guān)(回歸)關(guān)系的一種數(shù)學(xué)工具,它能幫助我們從一個變量的取值去估計另外一個變量所取得的值.在各個學(xué)科領(lǐng)域得到廣泛應(yīng)用。2.回歸分析要解決的一些問題設(shè)通過試驗或抽樣調(diào)查得到了和的一組觀察值利用這些數(shù)據(jù)研究與之間的關(guān)系，需解決如下幾個問題(1)如何判斷與間是否存在相關(guān)關(guān)系(或者回歸關(guān)系)?利用樣本數(shù)據(jù)做與的散點圖，由散點圖的趨勢初步判斷兩者是否有線性關(guān)系(2

3、)如何確定與之間的定量關(guān)系式(即回歸函數(shù))? 用最小二乘法(3)如何對所確定的關(guān)系(回歸模型)的可信程度作統(tǒng)計檢驗?t分布檢驗法、相關(guān)系數(shù)r檢驗法(4)如何利用所得到與的定量關(guān)系式(回歸模型)來解決實際問題？對變量進(jìn)行預(yù)測和控制。下面，將圍繞這四個問題展開討論§6.1 一元線性回歸設(shè)通過試驗或抽樣調(diào)查得到了和的一組觀察值利用這些數(shù)據(jù)研究與之間的關(guān)系。一、 散點圖利用和的一組觀察值在直角坐標(biāo)系上描點，得到散點圖，根據(jù)散點圖的趨勢，來觀察和是否想直線關(guān)系。如果是，可以考慮建立線性回歸模型。例如，下列散點圖中，上面兩個象直線關(guān)系，可考慮對變量和建立線性回歸模型。例1為研究全國人均國民收入x

4、(元)與人均消費(fèi)金額y(元)之間的關(guān)系，收集到19811990年10年的樣本數(shù)據(jù)如下表年份19811982198319841985人均國民收入393419461544668人均消費(fèi)金額249267289329406年份19861987198819891990人均國民收入738860106911691251人均消費(fèi)金額451513643699713回歸分析解法后面將介紹：(10, 757.2, 909739.6, 455.9,4559, 288428.9, 3963622,經(jīng)驗線性回歸方程為 )二、模型(1)其中，、為常數(shù)，為普通變量，、為隨機(jī)變量，滿足，即。自變量，因變量，隨機(jī)波動項(誤差)于

5、是樣本滿足，()(2)假設(shè)相互獨立，從而滿足獨立、正態(tài)、等方差的前提條件?！按_定與之間的定量關(guān)系式(即回歸函數(shù))”的問題歸結(jié)為“如何在上述假定下確定、和”的問題。注1當(dāng)、和已知時，由可得對可靠性，于是，的點估計為，誤差限為，的置信區(qū)間為虛線為的95%的置信區(qū)間控制線注2兩類誤差實際問題中、和未知的，要通過觀測數(shù)據(jù)進(jìn)行估計。這樣用來預(yù)測時，就面臨兩類誤差(i)所代表的誤差隨機(jī)誤差，由與的關(guān)系的緊密程度決定，與數(shù)據(jù)()無關(guān)。(ii)利用樣本()對、和的估計所產(chǎn)生的誤差，與數(shù)據(jù)及數(shù)據(jù)量的大小有關(guān)。三、最小二乘估計線性回歸模型:設(shè)，則的估計值為，殘差，殘差平方和它描述了用線性函數(shù)來近似表示產(chǎn)生的誤差程

6、度。最小二乘原則選取和使達(dá)到最小。按照這種方法確定的和叫做和的最小二乘估計，這種方法也叫做最小二乘法。l 和的最小二乘估計確定關(guān)于和二元函數(shù)的極值在二階偏導(dǎo)書為0的點取得： 正規(guī)方程方程兩邊同除以得其解為和的最小二乘估計稱：為對經(jīng)驗線性回歸方程。四、的無偏估計(1)(2) （重要?。┯洠?對的回歸剩余方差 ,顯然，即為的無偏估計。-對的回歸剩余標(biāo)準(zhǔn)差注:簡化最小二乘估計的計算步驟記，注意：，表示樣本二階中心矩。不是樣本方差，要注意區(qū)分。則，a.將輸入計算器，求出和b.將輸入計算器，求出、和c.將輸入計算器，求出d.計算e.寫出經(jīng)驗線性回歸方程f.計算，注:實際上，利用具有回歸功能的計算器，輸入

7、相關(guān)數(shù)據(jù)后,就可以直接把回歸系數(shù)求出來,非常方便.要掌握計算器的這個功能。例2某林場內(nèi)隨機(jī)抽取6塊0.08ha大小的樣地，測定樣地的平均樹高與每公頃平均斷面積為樣地號123456平均樹高()202224262830斷面積()24.326.528.730.531.732.9求:對的一元線性回歸方程及回歸剩余標(biāo)準(zhǔn)差。解6, 25, 70, 29.1,174.6, 53.12, 4425.4,經(jīng)驗線性回歸方程為五、和的最小二乘估計的性質(zhì)1. 和的期望：可知：和分別為和的無偏估計2. 和的方差六.回歸方程的顯著性檢驗問題：對的線性回歸關(guān)系是否顯著，即回歸關(guān)系是否成立。假設(shè)檢驗類型為:對的線性回歸關(guān)系不

8、顯著(與無關(guān)) :對的線性回歸關(guān)系顯著(與有關(guān))其等價的假設(shè)為:（一）檢驗法：可證明：。其中為真時，對于給定的顯著水平，有估計式:所以，的拒絕域為例3以顯著水平=0.05,判斷例2中對的線性回歸關(guān)系是否顯著。解6, 25, 70, 29.1,174.6, 53.12, 4425.4,，假設(shè) :對的線性回歸關(guān)系不顯著=0.05, ,檢驗統(tǒng)計量為 :所以拒絕，即認(rèn)為對的線性回歸關(guān)系顯著。（二）樣本相關(guān)系數(shù)檢驗法（常用的方法）設(shè)有樣本由最小二乘法得經(jīng)驗回歸方程：其中 ，以下用討論用相關(guān)系數(shù)法對與的相關(guān)性進(jìn)行檢驗。殘差平方和 ：它描述了用經(jīng)驗線性回歸方程來近似表示所產(chǎn)生的誤差程度。1.平方和分解將的離

9、差平方和分解其中 剩余平方和，回歸平方和。當(dāng)在中占主要部分時，剩余平方和在中占次要地位，這時候，說明數(shù)據(jù)都圍繞在回歸直線附近。即與的相關(guān)程度是很高的。為此，很自然的想到用在所占的比例來刻畫與的相關(guān)程度。2.樣本相關(guān)系數(shù)的定義定義 記稱為對的樣本(或經(jīng)驗)相關(guān)系數(shù)。因所以 ，時,所有點均在回歸直線上.越接近于1，說明對的相關(guān)關(guān)系越緊密。3.樣本相關(guān)系數(shù)的計算公式4.和的關(guān)系(1) (2) 與符號相同，則，回歸直線斜率為正，稱對是正相關(guān)的。，則，回歸直線斜率為負(fù)，稱對是負(fù)相關(guān)的(3) 與均表示對的線性關(guān)系的強(qiáng)弱，但與和所取的單位有關(guān)，而與和的單位無關(guān)。5. 利用樣本相關(guān)系數(shù)作回歸方程的顯著性檢驗統(tǒng)

10、計假設(shè)為:檢驗用統(tǒng)計量:，其中對于給定的顯著水平，有估計式：的拒絕域為:（前面面已討論）與的關(guān)系:。,所以T是的單調(diào)增加函數(shù)。如果滿足 ，記此為，為相關(guān)系數(shù)的臨界值。 對于給定顯著水平，估計式等價形式為：所以若用相關(guān)系數(shù)來檢驗，那么的拒絕域為:其中，為相關(guān)系數(shù)臨界值（查表（附表17，P273）。例4求例2中對的樣本相關(guān)系數(shù)，并以顯著水平=0.05判斷對的線性回歸關(guān)系是否顯著。解6, 25, 70, 29.1,174.6, 53.12, 4425.4,， 檢驗假設(shè) :對的線性回歸關(guān)系不顯著。=0.05, 查表，因為 所以拒絕，認(rèn)為對的線性回歸關(guān)系顯著。進(jìn)一步，因，所以，關(guān)于是正相關(guān)的。 例5為檢

11、驗一次數(shù)學(xué)考試中，學(xué)生在某小題上的得分與學(xué)生的總分之間是否存在線性相關(guān)關(guān)系，隨機(jī)抽取10名同學(xué)，將他們的得分情況記錄如下表小題8.008.0013.007.0013.00總分33.0029.0089.0052.0086.00小題9.0010.0013.0013.008.00總分60.0078.0086.0078.0060.00試以顯著水平=0.05判斷學(xué)生在該小題上的得分與學(xué)生的總分之間是否存在線性相關(guān)關(guān)系?解設(shè)、之間總體相關(guān)系數(shù)為，則檢驗的原假設(shè)為 :。，=0.05，由原始數(shù)據(jù)計算得10.2, 57.6, 65.1,651, 4334.9, 7067,因 所以，拒絕，學(xué)生在該小題上的得分與學(xué)

12、生的總分之間存在線性相關(guān)關(guān)系。注：（1）檢驗、檢驗兩種方法者等價。（2）檢驗的優(yōu)勢：用經(jīng)驗回歸系數(shù)來檢驗的、相關(guān)程度的話，因為是有量剛的，所以僅僅在、的量剛不變的情況下，的大小能說明對相關(guān)的程度。而用相關(guān)系數(shù)來檢驗的相關(guān)程度的好處在于：沒有量剛，它的值不受、的量剛改變的影響，它的大小說明了對相關(guān)的程度。練習(xí)隨機(jī)調(diào)查10名同學(xué)的身高和體重，依此判斷人的身高和體重之間是否存在線性相關(guān)關(guān)系。七、預(yù)測對任一給定的，由回歸方程得回歸值：，其中和是和的最小二乘估計。用作為的估計。預(yù)測：對給定的可靠性，找，使，或可以證明：于是，另外可以證明：，及與獨立。由此，=（教材P177（6.40）對給定的可靠性，由

13、，得作為的估計，其絕對誤差限為（教材P178（6.42）：的可靠性為置信區(qū)間為：.其中注：當(dāng)時，。隨著遠(yuǎn)離，逐漸增大。置信區(qū)間控制線形成以為中心的喇叭口形（P178圖6.6）。當(dāng)時，。隨著遠(yuǎn)離，逐漸增大。置信區(qū)間控制線形成以為中心的喇叭口形。例6根據(jù)例2中的數(shù)據(jù)，求時對應(yīng)的的估計值、可靠性為95%的絕對誤差限和置信區(qū)間。解6, 25, 70, 29.1, 174.6, 53.12, 4425.4, ,，, ，經(jīng)驗回歸方程為: 。時，=0.95, 0.05, 2.776的置信區(qū)間為27.1802, 30.1592，可靠性為95%。例7一保險公司希望確定居民住宅區(qū)火災(zāi)造成的損失數(shù)量與該住戶到最近的消防站的距離之間的相關(guān)關(guān)系，以便準(zhǔn)確地定出保險金額。調(diào)查數(shù)據(jù)如下:距消防站距離(km)3.41.84.62.33.15.5火災(zāi)損失(千元)26.217.831.323.127.536.00.73.02.64.32.11.16.14.83.814.122.319.631.324.017.343.236.426.1(1) 計算相關(guān)系數(shù)，并進(jìn)行線性回歸的顯著性檢驗(0.05)。(2) 若線性回歸關(guān)系顯著，求經(jīng)驗線性回歸方程及剩余標(biāo)準(zhǔn)差。(3) 求距消防站距