第十章回歸分析

第十章回歸分析阜師院數(shù)科院第一頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院實際上,由于實驗誤差的影響,即使是具有確定性關(guān)系的變量之間,也常表現(xiàn)出某種程度的不確定性.回歸分析方法是處理變量間相關(guān)關(guān)系的有力工具.它不僅為建立變量間關(guān)系的數(shù)學表達式(經(jīng)驗公式)提供了一般的方法,而且還能判明所建立的經(jīng)驗公式的有效性,從而達到利用經(jīng)驗公式預(yù)測、控制等目的.因此，回歸分析方法的應(yīng)用越來越廣泛,其方法本身也在不斷豐富和發(fā)展.第二頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院在一元線性回歸分析里,我們要考察隨機變量Y與一個普通變量x之間的聯(lián)系.§1.1一元線性回歸模型對于有一定聯(lián)系的兩個變量:x與Y,通過觀測或?qū)嶒灥玫絥對數(shù)據(jù)(x1,Y1),(x2,Y2),...,(xn,Yn)用什么方法可以得到這兩個變量之間的經(jīng)驗公式呢?為此舉例如下:§1一元線性回歸第三頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院例:維尼綸纖維的耐熱水性能好壞可以用指標“縮醛化度”Y(克分子%)來衡量.這個指標越高,耐熱水性能也越好.而甲醛濃度是影響縮醛化度的重要因素.在生產(chǎn)中常用甲醛濃度x(克/升)去控制這一指標.為此必須找出它們之間的關(guān)系,現(xiàn)安排了一批試驗,獲得如下數(shù)據(jù):若重復(fù)這些試驗,在同一甲醛濃度x下,所獲得的縮醛化度Y不完全一致.這表明x與Y之間不能用一個完全確定的函數(shù)關(guān)系來表達.第四頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院y31302928272618202224262830x散點與近似直線圖第五頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院為了看出它們之間是否有關(guān)及存在什么樣的關(guān)系,我們在直角坐標系下作出了這些點,從圖上可看出:隨甲醛濃度x的增加,縮醛化度Y也增加,且這些點近似在一條直線附近,但又不完全在一條直線上.引起這些點與直線偏離的原因是由于在生產(chǎn)和測試過程中還存在一些不可控的因素,它們都在影響著試驗結(jié)果.這樣我們可以把試驗結(jié)果Y看成由兩部分疊加而成:一部分是由x的線性函數(shù)引起,記為a+bx;另一部分是由隨機因素引起,記為ε,即Y=a+bx+ε一般假設(shè)隨機誤差ε~N(0,σ2).即Y~N(a+bx,σ2)第六頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院在Y=a+bx+ε中,x是一般變量,它可以精確測量或可以加以控制,Y是可觀察其值的隨機變量,ε~N(0,σ2)是不可觀察的隨機變量,a,b是未知參數(shù).為了獲得未知參數(shù)a,b的估計,需要進行若干次獨立試驗.設(shè)試驗結(jié)果為(x1,Y1),(x2,Y2),...,(xn,Yn)則Y1=a+bx1+ε1ε1~N(0,σ2)Y2=a+bx2+ε2ε2~N(0,σ2)Yn=a+bxn+εnεn~N(0,σ2)這里ε1,...,εn相互獨立.這就是一元線性回歸模型.第七頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院設(shè)給定n個點(x1,y1),(x2,y2),……,(xn,yn)那么對于平面上任意一條直線l：y=a+bx§1.2經(jīng)驗公式與最小二乘法我們用數(shù)量[yt-(a+bxt)]2來刻畫點(xt,yt)到直線l的遠近程度(利用解析幾何知識不難看出,｜yt-(a+bxt)｜的幾何意義是點(xt,yt)沿著平行于y軸的方向到l的最短距離,而不是沿著垂直于l的方向到l的最短距離).第八頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院就定量地描述了直線l跟這n個點的總的遠近程度.這個量是隨著不同的直線而且變化,或是說是隨不同的a與b而變化的,也就是說它是a,b的二元函數(shù),記為Q(a,b):第九頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院于是,要找一條直線使得它總的來看最“接近”這n個點的問題,就轉(zhuǎn)化為以下的問題：第十頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第十一頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第十二頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院并且這個解是唯一的.數(shù)學上還可證明,它們確實使Q(a,b)達到最小.第十三頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院§1.3平方和分解公式與線性相關(guān)關(guān)系對面n組數(shù)據(jù)(x1,y1),(x2,y2),……,(xn,yn),有第十四頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院是y1，y2，…，yn這n個數(shù)據(jù)的偏差平方和,它的大小描述了這n個數(shù)據(jù)的分散程度,記作lyy.幾個平方和的意義:由此可知,它的幾何意義是,在回歸直線上,其橫坐標為n的點的縱坐標.平均數(shù)也是第十五頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第十六頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院由上面的分析可知,y1,y2,…yn分散程度可以分解為兩部分ST=SR+SE,其中一部分是通過x對于Y的線性相關(guān)關(guān)系而引起的Y的分散性,另一部分是剩余部分引起的Y的分散性.第十七頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院現(xiàn)在來回答x,Y之間是否存在線性相關(guān)關(guān)系的問題.不難想到把回歸平方和SR與剩余平方和SE進行比較.即在數(shù)理統(tǒng)計中,選取統(tǒng)計量來體現(xiàn)x與Y的線性相關(guān)關(guān)系的相對大小.若F值相當大,則表明x對Y的線性影響較大,這時可以認為x與Y之間有線性相關(guān)關(guān)系.反之,若F值較小,則沒有理由認為x與Y之間有線性相關(guān)關(guān)系.第十八頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院衡量F值的大小需要有一個定量的界限.可以證明在假定Y1=a+bx1+ε1Y2=a+bx2+ε2…………Yn=a+bxn+εn下,此定量界限F就是自由度為1，n-2的F分布的臨界值，其中ε1,ε2,…,εn服從N(0,σ2)的獨立隨機變量.第十九頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院§1.4數(shù)學模型與相關(guān)性檢驗F值究竟多大才能認為x與Y之間有線性相關(guān)關(guān)系呢?為此對數(shù)據(jù)結(jié)構(gòu)提出下列假定:Y1=a+bx1+ε1Y2=a+bx2+ε2…………Yn=a+bxn+εn其中ε1,ε2,…,εn服從N(0,σ2)的獨立隨機變量.判斷x與Y之間是否有線性相關(guān)關(guān)系,就是要檢驗假設(shè)H0:b=0第二十頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院對數(shù)據(jù)結(jié)構(gòu):Y1=a+bx1+ε1Y2=a+bx2+ε2…………Yn=a+bxn+εn其中ε1,ε2,…,εn服從N(0,σ2)的獨立隨機變量.如果b=0,則數(shù)學上可以證明SR/σ2~χ2(1)SE/σ2~χ2(n-2)且SR與SE相互獨立.第二十一頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院由此可知,若H0:b=0成立,則而且b偏離0越遠,即b的絕對值越大,F也越大.相關(guān)性檢驗的一般程序:(1)計算SR,SE,再計算F;(2)對于給定的顯著性水平α,查Fα(1,n-2);(3)若F>Fα(1,n-2),則否定H0:b=0,即認為x與Y之間具有線性相關(guān)關(guān)系;否則,就認為x與Y之間不具有線性相關(guān)關(guān)系.第二十二頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院具體計算時常用以下公式:第二十三頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院例:為了了解某校學生的學習情況,現(xiàn)將該校7名學生期中考試的總成績與期末考試的總成績列表如下:試作出期末分數(shù)與期中分數(shù)的回歸方程.并作線性相關(guān)性檢驗.第二十四頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院解:為了簡化計算,令第二十五頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第二十六頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院下面對該回歸方程作線性相關(guān)性檢驗:查F-分布表得:F0.05(1,5)=6.61,F0.01(1,5)=16.3從而有F0.05(1,5)<F<F0.01(1,5).故認為直線回歸是顯著的,但不是高度顯著的.第二十七頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院為了檢驗相關(guān)性,有的書上采用統(tǒng)計量當|R|較大時,否定假設(shè)”b=0”.不難驗正,有SR=SyyR2因此有SE=Syy(1-R2)§1.5相關(guān)系數(shù)的顯著性檢驗第二十八頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院Ⅰ.|R|≤1Ⅱ.當Syy固定時,|R|越接近1,SE就越小.特別地,|R|=1時,SE=0,即n個點在一條直線上,而R=0時,SE=Syy.表面上看,對于假設(shè)H0,由F和R提供了兩種形式上不同的檢驗方法.而實質(zhì)上它們是一回事,這是因為上式表明第二十九頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院§1.6預(yù)報與控制設(shè)Y=a+bx+ε其中ε~N(0,σ2).所謂預(yù)報問題就是問當x=x0時,Y=?從數(shù)據(jù)(x1,y1),(x2,y2),……,(xn,yn)出發(fā),利用最小二乘法得到了經(jīng)驗公式:第三十頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第三十一頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院控制問題是預(yù)報問題的反問題.在此不多敘述.第三十二頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院§2曲線回歸對于線性類型的問題,可以用前面介紹的方法直接得到其經(jīng)驗公式,并對其線性相關(guān)性進行檢驗.然而,大量的實際問題并非線性類型,對于這種情況該如何處理呢?在實際問題中,根據(jù)給出的一批數(shù)據(jù),在直角坐標系中繪出其散點圖,將散點圖分布的形狀與已知函數(shù)的圖形進行比較,確定曲線類型,再作變量替換,將曲線改為直線,然后通過配回歸直線的方法來配出曲線.第三十三頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院a>0b<0a>0b>0第三十四頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院b>1b=10<b<10<b<1b>1b=1第三十五頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第三十六頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院aa第三十七頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第三十八頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院§3多元線性回歸設(shè)隨機變量Y與p個變量x1,x2,...,xp有關(guān),它們之間滿足:E(Y)=β0+β1x1+β2x2+...+βpxp進一步假設(shè)Y~N(β0+β1x1+β2x2+...+βpxp,σ2)即第三十九頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院式中x1,x2,...,xp都是可精確測量或可控制的一般變量,Y是可觀察的隨機變量,β0,β1,β2,...,βp是未知參數(shù),ε是不可觀察的隨機誤差.假如我們要獲得n組相互獨立的樣本:(Yi;x1i,x2i,...,xpi),i=1,2,...,n則可知有數(shù)據(jù)結(jié)構(gòu)Yi=β0+β1x1i+β2x2i+...+βpxpi+εii=1,2,...,n其中εi~N(0,σ2),i=1,2,...,n且相互獨立.這就是p元線性回歸模型.第四十頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院§3.1參數(shù)估計若已給出樣本觀察值(yi;x1i,x2i,...,xpi),i=1,2,...,n.我們希望對參數(shù)β0,β1,β2,...,βp及σ2作出估計.第四十一頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第四十二頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院由于Q是β0,β1,β2,...,βp的一個非負二次型,故其極小值必存在,根據(jù)微積分的理論知道,這只需求解下列方程組:第四十三頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第四十四頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第四十五頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第四十六頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院所以正規(guī)方程用矩陣形式表示即為:第四十七頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第四十八頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院為了求σ2的估計,先給出幾個名詞第四十九頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第五十頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第五十一頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院§3.2參數(shù)最小二乘估計的性質(zhì)第五十二頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第五十三頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第五十四頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第五十五頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第五十六頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第五十七頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第五十八頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第五十九頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院第六十頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院§3.3假設(shè)檢驗對多元線性回歸模型,除了參數(shù)估計問題外,還有些假設(shè)檢驗問題:第六十一頁，共七十八頁，編輯于2023年，星期五阜師院數(shù)科院y1,y2,...,yn之間的差異一般由兩個原因引起:一是當y與x1,x2,...,xp之間確有線