「線性回歸方程中的相關(guān)系數(shù)r」

1、10.1 線性回歸10.1.1 線性回歸的基本概念線性口W分析是描述一個(gè)因變U(或稱為響應(yīng)變U , dependent variable)Y與一個(gè)或多個(gè) A變量(independent variable)'間的線性依存關(guān)系。根據(jù)門變后數(shù)目的不同可分為一兀線性 回歸(只有一個(gè)口變泣)和多兀線性回歸(有兩個(gè)或兩個(gè)以上的白變電)。一元線性回歸；1. 一元線性問婦的基本概念度找回歸分析的任務(wù)就是根據(jù)若干個(gè)觀測(也，yJi=L2n找出描述兩個(gè)變Mx、y之 間關(guān)系的宜線網(wǎng)歸方程y*=aT)x .其中y*是變量y的估計(jì)值。求宜線回歸方程y*=a+bx,實(shí) 際上是用回歸行戕擬分散點(diǎn)圖中的各觀測點(diǎn)“帶用

2、的方法是最小一.乘法v也就是使該h氣 與各點(diǎn)的縱向垂巴距離最小，即使實(shí)測值y4回歸汽線之差的平方和達(dá)到最小°也稱為劇 敘殘片)平方和。因此求P1歸方程的問題.歸根到底就是求時(shí)取得最小值時(shí)，a和b的問題. a稱為截距，b為回歸直線的斜率，也稱回歸系數(shù)，2. 一元線性何歸方程的假設(shè)理論想國數(shù)學(xué)家高斯提出5個(gè)假設(shè)理論，滿足這些假設(shè)的淺性何歸模型稱為占典線性模型： (D正態(tài)性假設(shè).假設(shè)隨機(jī)誤立項(xiàng)一。：服從均值為零、方Z為。的正態(tài)分布.(2)等方差產(chǎn)假設(shè)。它假設(shè)對于所有的“ 的條件方差同為6 )且6為常數(shù),即 Var( v ,/xi)= 6(3)獨(dú)立性假設(shè),即零均值假設(shè)。它般設(shè)在給定畝的條件下

3、，i i的條件期望值為零， 即 E( J)=Oe(4)無門相關(guān)也 假設(shè)隨機(jī)誤主項(xiàng)cs的逐次觀察值互不相關(guān)。即Cov( i ,. c翁。壬認(rèn)(5) f與x的小機(jī)關(guān)件且假設(shè)隨機(jī)誤眼虹凸相應(yīng)的自變盤X.對因變燭y的影響相互 獨(dú)立°換言之;兩麗山變星(的影響的以區(qū)分的；即Cov(j, xJ=O,3.一元線性同歸方程的檢驗(yàn)息據(jù)原始數(shù)據(jù)，求出何歸方程后就需要對回歸方程進(jìn)行檢驗(yàn)。檢驗(yàn)的假設(shè)是總體回歸 系數(shù)為0。另外要愉驗(yàn)回歸方程對因變量的偵測效果如何。(I)回歸系數(shù)的顯著性檢驗(yàn)對敘率的檢驗(yàn)，假設(shè)是：總體回歸系數(shù)為00對截距的檢驗(yàn)，假設(shè)足：總體回歸方程截距a=0。(2)屋列定系數(shù)在判定一個(gè)線性回歸內(nèi)

4、線的擬合優(yōu)度的好壞時(shí)，妙系數(shù)是一個(gè)有要的判定指標(biāo)。從公式可以得到列定系數(shù)等于同歸平方和在總平方和中所占的比率，即R2體現(xiàn)了同歸 模型所能解樣的因變電變異性的白分比,如果Rg.775,則說明變址y的變異中有7-5 %是由變量x引起的,當(dāng)R'l時(shí)，表示所有的觀溜點(diǎn)全部落在回歸直線上。當(dāng)R2=0時(shí)， 表示自變國與因變域無線性關(guān)系6為了盡可能準(zhǔn)確的反應(yīng)模型的擬合度，SPSS摘出中的Adwsied R Square是消除了白變星個(gè)數(shù)影響的胃的修iE值.(3)方差分析體現(xiàn)閑變¥觀洌伯。均佛之間的差異的偏差平方和S%是由兩個(gè)部分絹成的即回歸 平方和它們反應(yīng)了白變量X的重要程度：殘差平方和克

5、-它反應(yīng)了實(shí)驗(yàn)誤差以及其 他意外因素對實(shí)驗(yàn)結(jié)果的影響.表示為；£&=$&+，.這兩部分除以各自的自由度，得到 它們的均方，線id &F,回H均方/殘差均方：當(dāng)Ffli太大時(shí)，拒絕接受b-0的假設(shè).(4) Durbiu-Watson 一臉在耐回收模垠的診斷中，白一個(gè)非常重嚶的回收模型假設(shè)需要診斷，那就是回回模型 中的誤，;項(xiàng)的獨(dú)立件#如果誤差項(xiàng)不獨(dú)立，那么對回歸模型的任何估i卜與相設(shè)所作出的結(jié) 論都是不可靠的。U參數(shù)稱為Dw或口。D的取值也圖是hD<4,它的統(tǒng)計(jì)學(xué)意義如以 當(dāng)殘革與自變量互為獨(dú)立時(shí)，D2? 當(dāng)相處網(wǎng)點(diǎn)的殘差為正相關(guān)時(shí), D 3 當(dāng)相鄰兩點(diǎn)的

6、殘基為負(fù)相關(guān)時(shí)，D>M(5)殘弟圖手法u在自珀坐標(biāo)系中，以微測值為其橫軸，以y與之間 區(qū)的謾才備 為縱軸(或?qū)W生化殘差與抵和值或一個(gè)自變量為縱軸)，維制殘尤的散點(diǎn)圖.如果散點(diǎn)呈現(xiàn) 出明顯的規(guī)律性，則認(rèn)為存在自相關(guān)性或者非線性或看非常數(shù)方差的問題口這樣需要對數(shù) 據(jù)*因變量或自變量進(jìn)行變換.如果散點(diǎn)呈現(xiàn)隨機(jī)分布，斜率為凈，則仄為口相關(guān)存在的 可能性不大，獨(dú)立性圖設(shè)成肅.多元線性回歸 .今元線性回歸的基本概念根據(jù)多個(gè)自變量的最優(yōu)晶合建立回歸方程來頸刑囚變量的回歸分析稱為多元回歸分 析.多元回歸分析的模型為：y*qrb【xlH)2x2+，圾口卞其中y*多為根據(jù)所有自受金K計(jì)算出的估計(jì)值，用為常數(shù)

7、項(xiàng),b, 1也也稱為y對 應(yīng)于4、期%的偏回口系數(shù).偏回歸系數(shù)表示假設(shè)在其他所有自交量不變的情況”見 一個(gè)百變晶變化引起因變過變化的比率。歲兒線性回歸模型也必須滿足一兒線件回口中所述的假設(shè)理論，匕考元線性回歸分析中的參數(shù)(1)復(fù)相大系數(shù)比城相美系數(shù)表不自變罩x與北他的囚變量冉之間線性相關(guān)密切程度 的指標(biāo)，復(fù)相美系數(shù)使用字忖R表示.縣相關(guān)系數(shù)的取俏范留在。1之間“ I!侑越接近L表示其線性關(guān)系越鐲，而其值越 接近如 表示線性關(guān)系越差*R)評判定系數(shù)與經(jīng)調(diào)整的判定系數(shù)與一無回歸方程相同，在多元回歸中也使用判定系數(shù)R2來解釋回歸模型中白變及的變 異在國變就變異中所占比率，似是，判定系數(shù)的相隨看進(jìn)入回

8、打方程的自曹量的個(gè)數(shù)(或樣本容量的大小刀的增加而 增大.因此,為了消除自如鼠的個(gè)數(shù)以及樣本汕的大小對判定系數(shù)的電響，再進(jìn)了經(jīng)調(diào)到 的判定系數(shù)(Adjumd R Square)*線性回歸方程中的相關(guān)系數(shù) rr = E(Xi -X的平均數(shù))(Yi-Y 平均數(shù))/根號下匯(X i -X平均數(shù)2*匯(Y i -Y平均數(shù)42£遇一制（匕-F）r=lR2就是相關(guān)系數(shù)的平方，？R在一元線性方程就直接是因變量自變量的相關(guān)系數(shù)，多元?jiǎng)t是 復(fù)相關(guān)系數(shù) 判定系數(shù)RA2也叫擬合優(yōu)度、可決系數(shù)。表達(dá)式是： ？RA 2=ESS/TSS= 1-RSSZTSS?亥統(tǒng)計(jì)量越接近于 1,模 型的擬合優(yōu)度越高。？問題：在

9、應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個(gè)解釋變量 ，R2往往 增大這就給人一個(gè)錯(cuò)覺：要使得模型擬合得好，只要增加解釋變量即可。？但是，現(xiàn)實(shí)情況往往是，由增加解釋變量個(gè)數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整。？這就有了調(diào)整的擬合優(yōu)度：？R1A2=1-（RSS/（nk-l ） / （TSSZ （n-1） ）？在樣本容量一定的情況下，增加解釋變量 必定使得自由度減少，所以調(diào)整的思路是：將殘差平方和與總離差平方和分別除以各自的自 由度，以剔除變量個(gè)數(shù)對擬合優(yōu)度的影響：？其中：n-k -1為殘差平方和的自由度，n-1為總體平方和的自由度。？總是來說，調(diào)整的判定系數(shù)比起判定系數(shù) ，除去了因?yàn)樽兞總€(gè)數(shù)增加

10、對判定 結(jié)果的影響。R = R接近于1表明 Y與X1, X2 , , Xk之間的線性關(guān)系程度密切；？R接近于0表明Y與X1, X2 ,，Xk之間的線性關(guān)系程度不密切相關(guān)系數(shù)就是線性相關(guān)度的大小，1為（10 0%）絕對正相關(guān)，。為0 %,-1為（100%）絕對負(fù)相關(guān)相關(guān)系數(shù)絕對值越靠近1 ,線性相關(guān)性質(zhì)越好，根據(jù)數(shù)據(jù)描點(diǎn)畫出來的函數(shù)-自變量圖線越趨近于一條平直線，擬合的直線與描點(diǎn)所得圖線也更相近。如果其絕對值越靠近0，那么就說明線性相關(guān)性越差，根據(jù)數(shù)據(jù)點(diǎn)描出的圖線和擬合曲線相差越遠(yuǎn)（當(dāng)相關(guān)系數(shù)太小時(shí)，本來擬合就已經(jīng)沒有意義，如果強(qiáng)行擬合一條直線，再把數(shù)據(jù)點(diǎn) 在同一坐標(biāo)紙上畫出來，可以發(fā)現(xiàn)大部分的點(diǎn)偏離這條直線很遠(yuǎn) ，所以用這個(gè)直線來擬合是 會出現(xiàn)很大誤差的或者說是根本錯(cuò)誤的）。分為一元線性回歸和多元線性回歸線性回歸方程中，回歸系數(shù)的含義YA