第十章回歸分析

第十章回歸分析阜師院數(shù)科院第一頁，共七十八頁，2022年，8月28日阜師院數(shù)科院實(shí)際上,由于實(shí)驗(yàn)誤差的影響,即使是具有確定性關(guān)系的變量之間,也常表現(xiàn)出某種程度的不確定性.回歸分析方法是處理變量間相關(guān)關(guān)系的有力工具.它不僅為建立變量間關(guān)系的數(shù)學(xué)表達(dá)式(經(jīng)驗(yàn)公式)提供了一般的方法,而且還能判明所建立的經(jīng)驗(yàn)公式的有效性,從而達(dá)到利用經(jīng)驗(yàn)公式預(yù)測(cè)、控制等目的.因此，回歸分析方法的應(yīng)用越來越廣泛,其方法本身也在不斷豐富和發(fā)展.第二頁，共七十八頁，2022年，8月28日阜師院數(shù)科院在一元線性回歸分析里,我們要考察隨機(jī)變量Y與一個(gè)普通變量x之間的聯(lián)系.§1.1一元線性回歸模型對(duì)于有一定聯(lián)系的兩個(gè)變量:x與Y,通過觀測(cè)或?qū)嶒?yàn)得到n對(duì)數(shù)據(jù)(x1,Y1),(x2,Y2),...,(xn,Yn)用什么方法可以得到這兩個(gè)變量之間的經(jīng)驗(yàn)公式呢?為此舉例如下:§1一元線性回歸第三頁，共七十八頁，2022年，8月28日阜師院數(shù)科院例:維尼綸纖維的耐熱水性能好壞可以用指標(biāo)“縮醛化度”Y(克分子%)來衡量.這個(gè)指標(biāo)越高,耐熱水性能也越好.而甲醛濃度是影響縮醛化度的重要因素.在生產(chǎn)中常用甲醛濃度x(克/升)去控制這一指標(biāo).為此必須找出它們之間的關(guān)系,現(xiàn)安排了一批試驗(yàn),獲得如下數(shù)據(jù):若重復(fù)這些試驗(yàn),在同一甲醛濃度x下,所獲得的縮醛化度Y不完全一致.這表明x與Y之間不能用一個(gè)完全確定的函數(shù)關(guān)系來表達(dá).第四頁，共七十八頁，2022年，8月28日阜師院數(shù)科院y31302928272618202224262830x散點(diǎn)與近似直線圖第五頁，共七十八頁，2022年，8月28日阜師院數(shù)科院為了看出它們之間是否有關(guān)及存在什么樣的關(guān)系,我們?cè)谥苯亲鴺?biāo)系下作出了這些點(diǎn),從圖上可看出:隨甲醛濃度x的增加,縮醛化度Y也增加,且這些點(diǎn)近似在一條直線附近,但又不完全在一條直線上.引起這些點(diǎn)與直線偏離的原因是由于在生產(chǎn)和測(cè)試過程中還存在一些不可控的因素,它們都在影響著試驗(yàn)結(jié)果.這樣我們可以把試驗(yàn)結(jié)果Y看成由兩部分疊加而成:一部分是由x的線性函數(shù)引起,記為a+bx;另一部分是由隨機(jī)因素引起,記為ε,即Y=a+bx+ε一般假設(shè)隨機(jī)誤差ε~N(0,σ2).即Y~N(a+bx,σ2)第六頁，共七十八頁，2022年，8月28日阜師院數(shù)科院在Y=a+bx+ε中,x是一般變量,它可以精確測(cè)量或可以加以控制,Y是可觀察其值的隨機(jī)變量,ε~N(0,σ2)是不可觀察的隨機(jī)變量,a,b是未知參數(shù).為了獲得未知參數(shù)a,b的估計(jì),需要進(jìn)行若干次獨(dú)立試驗(yàn).設(shè)試驗(yàn)結(jié)果為(x1,Y1),(x2,Y2),...,(xn,Yn)則Y1=a+bx1+ε1ε1~N(0,σ2)Y2=a+bx2+ε2ε2~N(0,σ2)Yn=a+bxn+εnεn~N(0,σ2)這里ε1,...,εn相互獨(dú)立.這就是一元線性回歸模型.第七頁，共七十八頁，2022年，8月28日阜師院數(shù)科院設(shè)給定n個(gè)點(diǎn)(x1,y1),(x2,y2),……,(xn,yn)那么對(duì)于平面上任意一條直線l：y=a+bx§1.2經(jīng)驗(yàn)公式與最小二乘法我們用數(shù)量[yt-(a+bxt)]2來刻畫點(diǎn)(xt,yt)到直線l的遠(yuǎn)近程度(利用解析幾何知識(shí)不難看出,｜yt-(a+bxt)｜的幾何意義是點(diǎn)(xt,yt)沿著平行于y軸的方向到l的最短距離,而不是沿著垂直于l的方向到l的最短距離).第八頁，共七十八頁，2022年，8月28日阜師院數(shù)科院就定量地描述了直線l跟這n個(gè)點(diǎn)的總的遠(yuǎn)近程度.這個(gè)量是隨著不同的直線而且變化,或是說是隨不同的a與b而變化的,也就是說它是a,b的二元函數(shù),記為Q(a,b):第九頁，共七十八頁，2022年，8月28日阜師院數(shù)科院于是,要找一條直線使得它總的來看最“接近”這n個(gè)點(diǎn)的問題,就轉(zhuǎn)化為以下的問題：第十頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第十一頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第十二頁，共七十八頁，2022年，8月28日阜師院數(shù)科院并且這個(gè)解是唯一的.數(shù)學(xué)上還可證明,它們確實(shí)使Q(a,b)達(dá)到最小.第十三頁，共七十八頁，2022年，8月28日阜師院數(shù)科院§1.3平方和分解公式與線性相關(guān)關(guān)系對(duì)面n組數(shù)據(jù)(x1,y1),(x2,y2),……,(xn,yn),有第十四頁，共七十八頁，2022年，8月28日阜師院數(shù)科院是y1，y2，…，yn這n個(gè)數(shù)據(jù)的偏差平方和,它的大小描述了這n個(gè)數(shù)據(jù)的分散程度,記作lyy.幾個(gè)平方和的意義:由此可知,它的幾何意義是,在回歸直線上,其橫坐標(biāo)為n的點(diǎn)的縱坐標(biāo).平均數(shù)也是第十五頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第十六頁，共七十八頁，2022年，8月28日阜師院數(shù)科院由上面的分析可知,y1,y2,…yn分散程度可以分解為兩部分ST=SR+SE,其中一部分是通過x對(duì)于Y的線性相關(guān)關(guān)系而引起的Y的分散性,另一部分是剩余部分引起的Y的分散性.第十七頁，共七十八頁，2022年，8月28日阜師院數(shù)科院現(xiàn)在來回答x,Y之間是否存在線性相關(guān)關(guān)系的問題.不難想到把回歸平方和SR與剩余平方和SE進(jìn)行比較.即在數(shù)理統(tǒng)計(jì)中,選取統(tǒng)計(jì)量來體現(xiàn)x與Y的線性相關(guān)關(guān)系的相對(duì)大小.若F值相當(dāng)大,則表明x對(duì)Y的線性影響較大,這時(shí)可以認(rèn)為x與Y之間有線性相關(guān)關(guān)系.反之,若F值較小,則沒有理由認(rèn)為x與Y之間有線性相關(guān)關(guān)系.第十八頁，共七十八頁，2022年，8月28日阜師院數(shù)科院衡量F值的大小需要有一個(gè)定量的界限.可以證明在假定Y1=a+bx1+ε1Y2=a+bx2+ε2…………Yn=a+bxn+εn下,此定量界限F就是自由度為1，n-2的F分布的臨界值，其中ε1,ε2,…,εn服從N(0,σ2)的獨(dú)立隨機(jī)變量.第十九頁，共七十八頁，2022年，8月28日阜師院數(shù)科院§1.4數(shù)學(xué)模型與相關(guān)性檢驗(yàn)F值究竟多大才能認(rèn)為x與Y之間有線性相關(guān)關(guān)系呢?為此對(duì)數(shù)據(jù)結(jié)構(gòu)提出下列假定:Y1=a+bx1+ε1Y2=a+bx2+ε2…………Yn=a+bxn+εn其中ε1,ε2,…,εn服從N(0,σ2)的獨(dú)立隨機(jī)變量.判斷x與Y之間是否有線性相關(guān)關(guān)系,就是要檢驗(yàn)假設(shè)H0:b=0第二十頁，共七十八頁，2022年，8月28日阜師院數(shù)科院對(duì)數(shù)據(jù)結(jié)構(gòu):Y1=a+bx1+ε1Y2=a+bx2+ε2…………Yn=a+bxn+εn其中ε1,ε2,…,εn服從N(0,σ2)的獨(dú)立隨機(jī)變量.如果b=0,則數(shù)學(xué)上可以證明SR/σ2~χ2(1)SE/σ2~χ2(n-2)且SR與SE相互獨(dú)立.第二十一頁，共七十八頁，2022年，8月28日阜師院數(shù)科院由此可知,若H0:b=0成立,則而且b偏離0越遠(yuǎn),即b的絕對(duì)值越大,F也越大.相關(guān)性檢驗(yàn)的一般程序:(1)計(jì)算SR,SE,再計(jì)算F;(2)對(duì)于給定的顯著性水平α,查Fα(1,n-2);(3)若F>Fα(1,n-2),則否定H0:b=0,即認(rèn)為x與Y之間具有線性相關(guān)關(guān)系;否則,就認(rèn)為x與Y之間不具有線性相關(guān)關(guān)系.第二十二頁，共七十八頁，2022年，8月28日阜師院數(shù)科院具體計(jì)算時(shí)常用以下公式:第二十三頁，共七十八頁，2022年，8月28日阜師院數(shù)科院例:為了了解某校學(xué)生的學(xué)習(xí)情況,現(xiàn)將該校7名學(xué)生期中考試的總成績(jī)與期末考試的總成績(jī)列表如下:試作出期末分?jǐn)?shù)與期中分?jǐn)?shù)的回歸方程.并作線性相關(guān)性檢驗(yàn).第二十四頁，共七十八頁，2022年，8月28日阜師院數(shù)科院解:為了簡(jiǎn)化計(jì)算,令第二十五頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第二十六頁，共七十八頁，2022年，8月28日阜師院數(shù)科院下面對(duì)該回歸方程作線性相關(guān)性檢驗(yàn):查F-分布表得:F0.05(1,5)=6.61,F0.01(1,5)=16.3從而有F0.05(1,5)<F<F0.01(1,5).故認(rèn)為直線回歸是顯著的,但不是高度顯著的.第二十七頁，共七十八頁，2022年，8月28日阜師院數(shù)科院為了檢驗(yàn)相關(guān)性,有的書上采用統(tǒng)計(jì)量當(dāng)|R|較大時(shí),否定假設(shè)”b=0”.不難驗(yàn)正,有SR=SyyR2因此有SE=Syy(1-R2)§1.5相關(guān)系數(shù)的顯著性檢驗(yàn)第二十八頁，共七十八頁，2022年，8月28日阜師院數(shù)科院Ⅰ.|R|≤1Ⅱ.當(dāng)Syy固定時(shí),|R|越接近1,SE就越小.特別地,|R|=1時(shí),SE=0,即n個(gè)點(diǎn)在一條直線上,而R=0時(shí),SE=Syy.表面上看,對(duì)于假設(shè)H0,由F和R提供了兩種形式上不同的檢驗(yàn)方法.而實(shí)質(zhì)上它們是一回事,這是因?yàn)樯鲜奖砻鞯诙彭?，共七十八頁?022年，8月28日阜師院數(shù)科院§1.6預(yù)報(bào)與控制設(shè)Y=a+bx+ε其中ε~N(0,σ2).所謂預(yù)報(bào)問題就是問當(dāng)x=x0時(shí),Y=?從數(shù)據(jù)(x1,y1),(x2,y2),……,(xn,yn)出發(fā),利用最小二乘法得到了經(jīng)驗(yàn)公式:第三十頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第三十一頁，共七十八頁，2022年，8月28日阜師院數(shù)科院控制問題是預(yù)報(bào)問題的反問題.在此不多敘述.第三十二頁，共七十八頁，2022年，8月28日阜師院數(shù)科院§2曲線回歸對(duì)于線性類型的問題,可以用前面介紹的方法直接得到其經(jīng)驗(yàn)公式,并對(duì)其線性相關(guān)性進(jìn)行檢驗(yàn).然而,大量的實(shí)際問題并非線性類型,對(duì)于這種情況該如何處理呢?在實(shí)際問題中,根據(jù)給出的一批數(shù)據(jù),在直角坐標(biāo)系中繪出其散點(diǎn)圖,將散點(diǎn)圖分布的形狀與已知函數(shù)的圖形進(jìn)行比較,確定曲線類型,再作變量替換,將曲線改為直線,然后通過配回歸直線的方法來配出曲線.第三十三頁，共七十八頁，2022年，8月28日阜師院數(shù)科院a>0b<0a>0b>0第三十四頁，共七十八頁，2022年，8月28日阜師院數(shù)科院b>1b=10<b<10<b<1b>1b=1第三十五頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第三十六頁，共七十八頁，2022年，8月28日阜師院數(shù)科院aa第三十七頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第三十八頁，共七十八頁，2022年，8月28日阜師院數(shù)科院§3多元線性回歸設(shè)隨機(jī)變量Y與p個(gè)變量x1,x2,...,xp有關(guān),它們之間滿足:E(Y)=β0+β1x1+β2x2+...+βpxp進(jìn)一步假設(shè)Y~N(β0+β1x1+β2x2+...+βpxp,σ2)即第三十九頁，共七十八頁，2022年，8月28日阜師院數(shù)科院式中x1,x2,...,xp都是可精確測(cè)量或可控制的一般變量,Y是可觀察的隨機(jī)變量,β0,β1,β2,...,βp是未知參數(shù),ε是不可觀察的隨機(jī)誤差.假如我們要獲得n組相互獨(dú)立的樣本:(Yi;x1i,x2i,...,xpi),i=1,2,...,n則可知有數(shù)據(jù)結(jié)構(gòu)Yi=β0+β1x1i+β2x2i+...+βpxpi+εii=1,2,...,n其中εi~N(0,σ2),i=1,2,...,n且相互獨(dú)立.這就是p元線性回歸模型.第四十頁，共七十八頁，2022年，8月28日阜師院數(shù)科院§3.1參數(shù)估計(jì)若已給出樣本觀察值(yi;x1i,x2i,...,xpi),i=1,2,...,n.我們希望對(duì)參數(shù)β0,β1,β2,...,βp及σ2作出估計(jì).第四十一頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第四十二頁，共七十八頁，2022年，8月28日阜師院數(shù)科院由于Q是β0,β1,β2,...,βp的一個(gè)非負(fù)二次型,故其極小值必存在,根據(jù)微積分的理論知道,這只需求解下列方程組:第四十三頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第四十四頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第四十五頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第四十六頁，共七十八頁，2022年，8月28日阜師院數(shù)科院所以正規(guī)方程用矩陣形式表示即為:第四十七頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第四十八頁，共七十八頁，2022年，8月28日阜師院數(shù)科院為了求σ2的估計(jì),先給出幾個(gè)名詞第四十九頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第五十頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第五十一頁，共七十八頁，2022年，8月28日阜師院數(shù)科院§3.2參數(shù)最小二乘估計(jì)的性質(zhì)第五十二頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第五十三頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第五十四頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第五十五頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第五十六頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第五十七頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第五十八頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第五十九頁，共七十八頁，2022年，8月28日阜師院數(shù)科院第六十頁，共七十八頁，2022年，8月28日阜師院數(shù)科院§3.3假設(shè)檢驗(yàn)對(duì)多元線性回歸模型,除了參數(shù)估計(jì)問題外,還有些假設(shè)檢驗(yàn)問題:第六十一頁，共七十八頁，2022年，8月28日阜師院數(shù)科院y1,y2,...,yn之間的差異一般由兩個(gè)原因引起:一是當(dāng)y與x1,x2,...,