多元回歸與多元相關(guān)分析

關(guān)于多元回歸與多元相關(guān)分析12第一節(jié)：多元回歸分析一、多元線性回歸模型多元線性回歸：是指具有兩個或兩個以上自變量，且各自變量均為一次項的回歸。多元回歸跟一元回歸在很多方面是相同的，只是多元回歸方法更復(fù)雜些，計算量相當(dāng)大，一般通過計算機(jī)程序來完成計算。第2頁,共30頁，2024年2月25日，星期天3設(shè)因變量Y與自變量x1,x2,…xm有關(guān)系式：Y=a+b1x1+b2x2+…+bmxm+ε其中ε是隨機(jī)項?，F(xiàn)有n組數(shù)據(jù)：（y1；x11，x21，…xm1）（y2；x12，x22，…xm2）

………..

（yn；x1n，x2n，…xmn）其中，xij是自變量xi的第j個值，yj是Y的第j個觀測值。第3頁,共30頁，2024年2月25日，星期天4假定：其中a,b1,…bm是待估參數(shù)；而ε1，ε2,…，εn相互獨立且服從相同的分布N（0，σ2

）第4頁,共30頁，2024年2月25日，星期天5樣本多元回歸方程為：第5頁,共30頁，2024年2月25日，星期天6二．多元線性回歸方程的建立同直線回歸一樣，用最小二乘法要使Q達(dá)到最小，就必須使Q的偏微分方程皆等于0，即有：第6頁,共30頁，2024年2月25日，星期天7………..………..整理得：第7頁,共30頁，2024年2月25日，星期天8其中：該方程組用矩陣表示為：第8頁,共30頁，2024年2月25日，星期天9若系數(shù)矩陣用A表示，未知項矩陣用b表示，常數(shù)矩陣用K表示，則可寫為：Ab=K(13.8)為了求解b，一般應(yīng)先求出A的逆矩陣A-1，令：A-1是一個m階的對稱矩陣，即有cij=cji第9頁,共30頁，2024年2月25日，星期天10A-1A=I式12.8兩邊同乘以A-1，可得b=A-1K即：例13.1第10頁,共30頁，2024年2月25日，星期天11三、多元回歸的假設(shè)檢驗和置信區(qū)間（一）

多元線性回歸方程的估計標(biāo)準(zhǔn)誤其中：Sy/12…m——多元回歸方程的估計標(biāo)準(zhǔn)誤；Qy/12…m——多元回歸方程的離回歸平方和（剩余平方和）；df=n-(m+1)=n-m-1，因為在計算多元回歸方程時，已用去a,b1,b2,…,bm共m+1個統(tǒng)計數(shù)。第11頁,共30頁，2024年2月25日，星期天12與直線回歸分析類似，多元回歸中因變量y的總平方和也可分解為離回歸平方和（剩余平方和）與回歸平方和（Uy/12…m）即：例13.2第12頁,共30頁，2024年2月25日，星期天13（二）多元線性回歸方程的假設(shè)檢驗多元線性回歸關(guān)系假設(shè)檢驗的原理和方法與直線回歸關(guān)系的假設(shè)檢驗是一樣的。其假設(shè)為;HA:不全為0?？赏ㄟ^F檢驗來實現(xiàn)：式中：分子自由度df1=m，分母自由度df2=n-(m+1)第13頁,共30頁，2024年2月25日，星期天14這里應(yīng)注意兩個問題：

1）多元線性回歸關(guān)系顯著不排斥有更合理的多元非線性回歸方程的存在；

2）多元線性回歸關(guān)系顯著也不排斥其中存在著與因變量y無線性關(guān)系的自變量，因此有必要對各偏回歸系數(shù)逐個進(jìn)行假設(shè)檢驗，以便發(fā)現(xiàn)和剔除β=0的自變量。一般說來，只有當(dāng)多元回歸方程的自變量的偏回歸系數(shù)均達(dá)到顯著時，多元回歸檢驗的F值才有確定意義。例13.3第14頁,共30頁，2024年2月25日，星期天15（三）偏回歸系數(shù)的假設(shè)檢驗偏回歸系數(shù)的假設(shè)檢驗是逐個分別計算各偏回歸系數(shù)bi來自βi=0的總體的概率。所作的假設(shè)為：偏回歸系數(shù)的假設(shè)檢驗有t檢驗和F檢驗兩種。t檢驗和F檢驗結(jié)果是完全一樣的（F=t2）,實際應(yīng)用時可任選一種。第15頁,共30頁，2024年2月25日，星期天16（1）t檢驗偏回歸系數(shù)bi的標(biāo)準(zhǔn)誤為：符合df=n-(m+1)的t分布，故在H0:βi=0的假設(shè)下，由可知bi抽自βi的總體的概率。第16頁,共30頁，2024年2月25日，星期天17（2）F檢驗Upi——y在xi上的偏回歸平方和可確定bi來自βi=0的總體的概率。例13.4第17頁,共30頁，2024年2月25日，星期天18（四）多元線性回歸的區(qū)間估計多元線性回歸中因變量y的估計一般有兩種。

1）對各變量的一組取值所對應(yīng)的y總體平均數(shù)μy/12…m的估計；

2）對各變量的一組取值所對應(yīng)的單個y的估計（觀測值y）μy/12…m的置信區(qū)間為：第18頁,共30頁，2024年2月25日，星期天19單個y的置信區(qū)間可用下式估計：例13.5第19頁,共30頁，2024年2月25日，星期天20第二節(jié)多元相關(guān)分析一．多元相關(guān)分析多元相關(guān)或復(fù)相關(guān):是指m個自變量和因變量的總相關(guān)。用多元相關(guān)系數(shù)Ry/12…m來表示m個自變量與因變量y總的密切程度。（13.32）第20頁,共30頁，2024年2月25日，星期天21Ry/12…m的取值區(qū)間為[0，1]，接近1，相關(guān)程度高，多元相關(guān)系數(shù)的假設(shè)檢驗用F檢驗，而不能用t檢驗。假設(shè)H0：ρ=0；對HA：ρ≠0，其F值為：（13.33）式中，df1=m,df2=n-m-1,R2=R2y/12…m多元相關(guān)系數(shù)的顯著性與多元回歸方程的顯著性一致，即Ry/12…m顯著，多元回歸方程必顯著。第21頁,共30頁，2024年2月25日，星期天22對同一資料，多元相關(guān)與多元回歸的假設(shè)檢驗只需要進(jìn)行一種。由于在df1=m,df2=n=m-1一定時，給定顯著水平α的F值也一定，所以將式12.47移項整理，可得顯著水平為α?xí)r臨界R值：（13.34）R與比較，R>相關(guān)按自由度df=n-m-1和變量個數(shù)M=m+1查附表14，而不必直接計算。第22頁,共30頁，2024年2月25日，星期天23

稱決定系數(shù)它是多元回歸平方和占y的總變異平方和的比率。即有x%可由自變量的變異決定。例13.6P247第23頁,共30頁，2024年2月25日，星期天24二、偏相關(guān)偏相關(guān)系數(shù):在其他變量都保持一定時，表示指定的兩個變量之間相關(guān)密切程度的量值稱為偏相關(guān)系數(shù)。偏相關(guān)系數(shù)用r加下標(biāo)表示。如三個變量x1,x2,x3則r12,3表示x3保持一定時，x1與x2的偏相關(guān)系數(shù)。偏相關(guān)系數(shù)的取值范圍和簡單相關(guān)系數(shù)一樣，也是[-1，1]。第24頁,共30頁，2024年2月25日，星期天25（一）偏相關(guān)系數(shù)的一般解法第一步：計算由簡單相關(guān)系數(shù)構(gòu)成的相關(guān)矩陣R(xi,xj,y)：第二步：求其逆矩陣R-1第25頁,共30頁，2024年2月25日，星期天26第三步：計算偏相關(guān)系數(shù)rij.:例13.7第26頁,共30頁，2024年2月25日，星期天27（二）偏相關(guān)系數(shù)的間接解法當(dāng)只有三個變量時，可用簡單相關(guān)系數(shù)間接計算偏相關(guān)系數(shù)。設(shè)三個變量為xi,xj,xk,則當(dāng)xk保持一定時，xi和xj間的偏相關(guān)系數(shù)為：

（13.36）例13.8P250四個變量略。第27頁,共30頁，2024年2月25日，星期天28（三）偏相關(guān)系數(shù)的假設(shè)檢驗偏相關(guān)系數(shù)假設(shè)檢驗可采用t檢驗，同簡單相關(guān)系數(shù)的假設(shè)檢驗相類似，檢驗的假設(shè)為H0:ρij=0,HA:ρij≠0其t值為：（13.39）它服從自由度為n-M的t分布。若|t|>tα為顯著，在實踐中，不需計算此t值，而是將rij.與一定顯著水平α下的臨界rij.

值相比較。第