一元線性回歸

第三節(jié)一元線性回歸在客觀世界中,普遍存在著變量之間的關(guān)系.數(shù)學(xué)的一個(gè)重要作用就是從數(shù)量上來(lái)揭示、表達(dá)和分析這些關(guān)系。而變量之間關(guān)系,一般可分為確定的和非確定的兩類.確定性關(guān)系可用函數(shù)關(guān)系表示,而非確定性關(guān)系則不然.例如,人的身高和體重的關(guān)系、人的血壓和年齡的關(guān)系、某產(chǎn)品的廣告投入與銷售額間的關(guān)系等,它們之間是有關(guān)聯(lián)的，但是它們之間的關(guān)系又不能用普通函數(shù)來(lái)表示。我們稱這類非確定性關(guān)系為相關(guān)關(guān)系。具有相關(guān)關(guān)系的變量雖然不具有確定的函數(shù)關(guān)系，但是可以借助函數(shù)關(guān)系來(lái)表示它們之間的統(tǒng)計(jì)規(guī)律，這種近似地表示它們之間的相關(guān)關(guān)系的函數(shù)被稱為回歸函數(shù)。回歸分析是研究?jī)蓚€(gè)或兩個(gè)以上變量相關(guān)關(guān)系的一種重要的統(tǒng)計(jì)方法。在實(shí)際中最簡(jiǎn)單的情形是由兩個(gè)變量組成的關(guān)系。考慮用下列模型表示.但是，由于兩個(gè)變量之間不存在確定的函數(shù)關(guān)系，因此必須把隨機(jī)波動(dòng)考慮進(jìn)去，故引入模型如下其中是隨機(jī)變量，是普通變量，是隨機(jī)變量（稱為隨機(jī)誤差）?；貧w分析就是根據(jù)已得的試驗(yàn)結(jié)果以及以往的經(jīng)驗(yàn)來(lái)建立統(tǒng)計(jì)模型，并研究變量間的相關(guān)關(guān)系，建立起變量之間關(guān)系的近似表達(dá)式，即經(jīng)驗(yàn)公式，并由此對(duì)相應(yīng)的變量進(jìn)行預(yù)測(cè)和控制等。本節(jié)主要介紹一元線性回歸模型估計(jì)、檢驗(yàn)以及相應(yīng)的預(yù)測(cè)和控制等問(wèn)題。內(nèi)容分布圖示★引言★引例★一元線性回歸模型★最小二乘估計(jì)★例1★例2★最小二乘估計(jì)的性質(zhì)★回歸方程的檢驗(yàn)假設(shè)★總偏差平方和的分解★回歸方程的檢驗(yàn)方法★例3★例4★預(yù)測(cè)問(wèn)題★例5★控制問(wèn)題★可化一元線性回歸的情形★例6★內(nèi)容小結(jié)★課堂練習(xí)★習(xí)題8-3★返回內(nèi)容要點(diǎn)：一、引例為了研究某一化學(xué)反應(yīng)過(guò)程中溫度對(duì)產(chǎn)品得率的影響.測(cè)得數(shù)據(jù)如下:試研究這些數(shù)據(jù)所蘊(yùn)藏的規(guī)律性.二、一元線性回歸模型一般地,當(dāng)隨機(jī)變量與普通變量之間有線性關(guān)系時(shí),可設(shè),（1）其中為待定系數(shù)。設(shè)是取自總體的一組樣本,而是該樣本的觀察值,在樣本和它的觀察值中的是取定的不完全相同的數(shù)值，而樣本中的在試驗(yàn)前為隨機(jī)變量，在試驗(yàn)或觀測(cè)后是具體的數(shù)值，一次抽樣的結(jié)果可以取得對(duì)數(shù)據(jù)，則有,(2)其中相互獨(dú)立。在線性模型中,由假設(shè)知(3)回歸分析就是根據(jù)樣本觀察值尋求的估計(jì).對(duì)于給定值,取(4)作為的估計(jì)，方程(4)稱為關(guān)于的線性回歸方程或經(jīng)驗(yàn)公式，其圖像稱為回歸直線，稱為回歸系數(shù).三、最小二乘估計(jì)對(duì)樣本的一組觀察值…,對(duì)每個(gè),由線性回歸方程(4)可以確定一回歸值,這個(gè)回歸值與實(shí)際觀察值之差刻畫(huà)了與回歸直線的偏離度.一個(gè)自然的想法就是:對(duì)所有,若與的偏離越小,則認(rèn)為直線與所有試驗(yàn)點(diǎn)擬和得越好.令上式表示所有觀察值與回歸直線的偏離平方和,刻劃了所有觀察值與回歸直線的偏離度。所謂最小二乘法就是尋求的估計(jì),使利用微分的方法，求關(guān)于的偏導(dǎo)數(shù),并令其為零,得整理得，稱此為正規(guī)方程組，解正規(guī)方程組得（5）其中,,若記，,則或叫做的最小二乘估計(jì).而為關(guān)于的一元經(jīng)驗(yàn)回歸方程.四、最小二乘估計(jì)的性質(zhì)定理1若為的最小二乘估計(jì)，則分別是的無(wú)偏估計(jì),且,五、回歸方程的顯著性檢驗(yàn)前面關(guān)于線性回歸方程的討論是在線性假設(shè),下進(jìn)行的.這個(gè)線性回歸方程是否有實(shí)用價(jià)值,首先要根據(jù)有關(guān)專業(yè)知識(shí)和實(shí)踐來(lái)判斷，其次還要根據(jù)實(shí)際觀察得到的數(shù)據(jù)運(yùn)用假設(shè)檢驗(yàn)的方法來(lái)判斷.由線性回歸模型，可知，當(dāng)時(shí)，就認(rèn)為與之間不存在線性回歸關(guān)系，故需檢驗(yàn)如下假設(shè):.為了檢驗(yàn)假設(shè),先分析對(duì)樣本觀察值的差異,它可以用總的偏差平方和來(lái)度量,記為,由正規(guī)方程組,有==.令,,則有上式稱為總偏差平方和分解公式.稱為回歸平方和,它由普通變量的變化引起的,它的大小(在與誤差相比下)反映了普遍變量的重要程度;稱為剩余平方和，它是由試驗(yàn)誤差以及其它未加控制因素引起的,它的大小反映了試驗(yàn)誤差及其它因素對(duì)試驗(yàn)結(jié)果的影響.關(guān)于和，有下面的性質(zhì)：定理2在線性模型假設(shè)下,當(dāng)成立時(shí),與相互獨(dú)立,且對(duì)的檢驗(yàn)有三種本質(zhì)相同的檢驗(yàn)方法:—檢驗(yàn)法；—檢驗(yàn)法；相關(guān)系數(shù)檢驗(yàn)法.在介紹這些檢驗(yàn)方法之前,先給出,,的計(jì)算方法.1.檢驗(yàn)法由定理1,若令則由定理2知，為的無(wú)偏估計(jì),=且與相互獨(dú)立.故取檢驗(yàn)統(tǒng)計(jì)量,由給定的顯著性水平，查表得，根據(jù)試驗(yàn)數(shù)據(jù)計(jì)算的值,當(dāng)時(shí)，拒絕,這時(shí)回歸效應(yīng)顯著;當(dāng)時(shí)，接受,此時(shí)回歸效果不顯著.2.檢驗(yàn)法由定理2,當(dāng)為真時(shí),取統(tǒng)計(jì)量由給定顯著性水平,查表得,根據(jù)試驗(yàn)數(shù)據(jù)計(jì)算的值,若時(shí),拒絕,表明回歸效果顯著；若時(shí),接受,此時(shí)回歸效果不顯著.3.相關(guān)系數(shù)檢驗(yàn)法由第四章知，相關(guān)系數(shù)的大小可以表示兩個(gè)隨機(jī)變量線性關(guān)系的密切程度.對(duì)于線性回歸中的變量與，其樣本的相關(guān)系數(shù)為,它反映了普通變量與隨機(jī)變量之間的線性相關(guān)程度.故取檢驗(yàn)統(tǒng)計(jì)量對(duì)給定的顯著性水平,查相關(guān)系數(shù)表得根據(jù)試驗(yàn)數(shù)據(jù)計(jì)算的值,當(dāng)時(shí),拒絕,表明回歸效果顯著;當(dāng)時(shí),接受,表明回歸效果不顯著.六、預(yù)測(cè)問(wèn)題在回歸問(wèn)題中，若回歸方程經(jīng)檢驗(yàn)效果顯著,這時(shí)回歸值與實(shí)際值就擬合較好,因而可以利用它對(duì)因變量的新觀察值進(jìn)行點(diǎn)預(yù)測(cè)或區(qū)間預(yù)測(cè).對(duì)于給定的,由回歸方程可得到回歸值稱為在的預(yù)測(cè)值.的測(cè)試值與預(yù)測(cè)值之差稱為預(yù)測(cè)誤差.在實(shí)際問(wèn)題中,預(yù)測(cè)的真正意義就是在一定的顯著性水平下,尋找一個(gè)正數(shù),使得實(shí)際觀察值以的概率落入?yún)^(qū)間內(nèi),即,由定理1知,,又因與相互獨(dú)立,且所以,,故對(duì)給定的顯著性水平，求得故得的置信度為的預(yù)測(cè)區(qū)間為.易見(jiàn)，的預(yù)測(cè)區(qū)間長(zhǎng)度為對(duì)給定,越靠近樣本均值越小,預(yù)測(cè)區(qū)間長(zhǎng)度小,效果越好。當(dāng)很大,并且較接近時(shí),有,則預(yù)測(cè)區(qū)間近似為七、控制問(wèn)題控制問(wèn)題是預(yù)測(cè)問(wèn)題的反問(wèn)題,所考慮的問(wèn)題是：如果要求將控制在某一定范圍內(nèi),問(wèn)應(yīng)控制在什么范圍?這里我們僅對(duì)很大的情形給出控制方法,對(duì)一般的情形,也可類似地進(jìn)行討論。對(duì)給出的和置信度,令(1)解得(2)當(dāng)時(shí),控制范圍為當(dāng)時(shí),控制范圍為如圖8-3-3.實(shí)際應(yīng)用中,由(1)式知,要實(shí)現(xiàn)控制,必須要求區(qū)間的長(zhǎng)度大于,否則控制區(qū)間不存在.特別,當(dāng)時(shí),,故(2)近似為八、可化為一元線性回歸的情形前面討論了一元線性回歸問(wèn)題,但在實(shí)際應(yīng)用中,有時(shí)會(huì)遇到更復(fù)雜的回歸問(wèn)題,但其中有些情形,可通過(guò)適當(dāng)?shù)淖兞刻鎿Q化為一元線性回歸問(wèn)題來(lái)處理.1.+（1）其中是與無(wú)關(guān)的未知參數(shù).令則可化為下列一元線性回歸模型:2.,(2)其中是與無(wú)關(guān)的未知參數(shù).在兩邊取對(duì)數(shù)得令則(2)可轉(zhuǎn)化為下列一元線性回歸模型:3.(3)其中是與無(wú)關(guān)的未知參數(shù).在兩邊取對(duì)數(shù)得令則(2)可轉(zhuǎn)化為下列一元線性回歸模型：4.(4)其中是與無(wú)關(guān)的未知參數(shù).是的已知函數(shù),令則(3)可轉(zhuǎn)化為注:其它，如雙曲線和型曲線函數(shù)等亦可通過(guò)適當(dāng)?shù)淖兞刻鎿Q轉(zhuǎn)化為一元線性模型來(lái)處理.若在原模型下,對(duì)于有樣本就相當(dāng)于在新模型下有樣本因而就能利用一元線性回歸的方法進(jìn)行估計(jì)、檢驗(yàn)和預(yù)測(cè)，在得到關(guān)于的回歸方程后,再將原變量代回，就得到關(guān)于的回歸方程,它的圖形是一條曲線，也稱為曲線回歸方程。例題選講：一元線性回歸模型例1(講義例1)求引例中產(chǎn)品得率Y關(guān)于溫度x的回歸方程.例2(講義例2)對(duì)某地區(qū)生產(chǎn)同一產(chǎn)品的8個(gè)不同規(guī)模的鄉(xiāng)鎮(zhèn)企業(yè)進(jìn)行生產(chǎn)費(fèi)用調(diào)查,得產(chǎn)量x(萬(wàn)件)和生產(chǎn)費(fèi)用Y(萬(wàn)元)的數(shù)據(jù)如下:試據(jù)此建立Y關(guān)于x的回歸方程.回歸方程的顯著性檢驗(yàn)例3(講義例3)以家庭為單位,某種商品年需求量與該商品價(jià)格之間的一組調(diào)查數(shù)據(jù)如下表:(1)求經(jīng)驗(yàn)回歸方程;(2)檢驗(yàn)線性關(guān)系的顯著性(,采用檢驗(yàn)法).回歸方程的檢驗(yàn)假設(shè)例4(講義例4)對(duì)本章第一節(jié)中例2的線性回歸作顯著檢驗(yàn)(預(yù)測(cè)問(wèn)題例5(講義例5)某建材實(shí)驗(yàn)室做陶粒混凝土實(shí)驗(yàn)室中,考察每混凝土的水泥用量(kg)對(duì)混凝土抗壓強(qiáng)度(kg/)的影響,測(cè)得下列數(shù)據(jù).(1)求經(jīng)驗(yàn)回歸方程;(2)檢驗(yàn)一元線性回歸的顯著性();(3)設(shè)求的預(yù)測(cè)值及置信度為0.95