多元回歸補充

多元回歸補充第1頁，課件共40頁，創(chuàng)作于2023年2月多元線性回歸分析：研究因變量（被解釋變量）與兩個或兩個以上自變量（解釋變量）之間的回歸問題，稱為多元回歸分析。多元線性回歸分析的定義線性回歸自變量個數大于等于2多元線性回歸第2頁，課件共40頁，創(chuàng)作于2023年2月10.1多元線性回歸模型b0為常數項,b1,…,bk為偏回歸系數，表示在其它自變量保持不變時，增加或減少一個單位時Y的平均變化量，u是去除m個自變量對Y影響后的隨機誤差（殘差）。多元線性回歸的基本理論第3頁，課件共40頁，創(chuàng)作于2023年2月10.1多元線性回歸模型將n個觀察數據代入上述模型，則問題轉化為：多元線性回歸的基本理論(10-1)第4頁，課件共40頁，創(chuàng)作于2023年2月10.1多元線性回歸模型多元線性回歸的基本理論寫為矩陣形式：(10-2)第5頁，課件共40頁，創(chuàng)作于2023年2月10.1多元線性回歸模型多元線性回歸的基本理論即：(10-3)其中，Y,u是n維向量，b是k維向量，x是m×k矩陣第6頁，課件共40頁，創(chuàng)作于2023年2月10.1多元線性回歸模型多元線性回歸的基本理論基本假定：①②第7頁，課件共40頁，創(chuàng)作于2023年2月10.1多元線性回歸模型多元線性回歸的基本理論③④第8頁，課件共40頁，創(chuàng)作于2023年2月10.2參數的最小二乘估計采用最小二乘估計回歸系數b令：取最小值第9頁，課件共40頁，創(chuàng)作于2023年2月10.2參數的最小二乘估計Q在最小值處偏導數為0，得：（10-4）采用最小二乘估計回歸系數b第10頁，課件共40頁，創(chuàng)作于2023年2月10.2參數的最小二乘估計采用最小二乘估計回歸系數b（10-5）整理得：求解該聯立方程組即可得第11頁，課件共40頁，創(chuàng)作于2023年2月第12頁，課件共40頁，創(chuàng)作于2023年2月10.3回歸方程的顯著性檢驗假設求得的回歸方程為：10.3.1總離差平方和分解第13頁，課件共40頁，創(chuàng)作于2023年2月10.3.1總離差平方和分解同一元回歸，可得：并且：（10-6）第14頁，課件共40頁，創(chuàng)作于2023年2月10.3.1總離差平方和分解總離差平方和：即是：回歸平方和：殘差平方和：第15頁，課件共40頁，創(chuàng)作于2023年2月10.3.2樣本決定系數對回歸方程“擬合優(yōu)度”

的檢驗樣本決定系數Ｒ２，又稱復決定系數，或多重決定系數。定義：樣本決定系數Ｒ２第16頁，課件共40頁，創(chuàng)作于2023年2月10.3.2樣本決定系數對回歸方程“擬合優(yōu)度”

的檢驗樣本容量增大(n↑)R2也隨之增大(R2↑)R2的大小很難說明問題Ｒ２存在的問題第17頁，課件共40頁，創(chuàng)作于2023年2月10.3.2樣本決定系數對回歸方程“擬合優(yōu)度”

的檢驗R2的改進當n為小樣本，解釋變量數很大時，上式可能為負數，這時取其值為0。R2與均反映在給定樣本下，回歸方程與樣本觀測值擬合優(yōu)度，但不能據此進行總體模型的推斷。Ｒ２改進第18頁，課件共40頁，創(chuàng)作于2023年2月10.3.3回歸方程的顯著性檢驗第19頁，課件共40頁，創(chuàng)作于2023年2月10.3.3回歸方程的顯著性檢驗檢驗的目的：檢驗Y與解釋變量x1，x2，……xk之間的線性關系是否顯著。檢驗的目的第20頁，課件共40頁，創(chuàng)作于2023年2月10.3.3回歸方程的顯著性檢驗檢驗的步驟第一步，提出假設：原假設：H0：b1=b2=……bk=0備擇假設：H1：bi不全為0（i=1，２，…，k）第21頁，課件共40頁，創(chuàng)作于2023年2月10.3.3回歸方程的顯著性檢驗檢驗的步驟第二步，計算統(tǒng)計量：或：（10-8）第22頁，課件共40頁，創(chuàng)作于2023年2月10.3.3回歸方程的顯著性檢驗第三步，查表，得：檢驗的步驟第23頁，課件共40頁，創(chuàng)作于2023年2月10.3.3回歸方程的顯著性檢驗檢驗的步驟第四步，做檢驗：拒絕H0，回歸方程顯著接受H0，回歸方程不顯著檢驗法則第24頁，課件共40頁，創(chuàng)作于2023年2月10.4回歸系數的顯著性檢驗回歸方程顯著，并不意味著每個解釋變量對因變量Y的影響都重要,因此需要進行檢驗：回歸系數檢驗的必要性回歸方程顯著每個回歸系數都顯著第25頁，課件共40頁，創(chuàng)作于2023年2月10.4回歸系數的顯著性檢驗回歸系數檢驗的步驟第一步，提出假設：原假設：H0：bi=0(i=1，2，……k)備擇假設：H1：bi≠0(i=1，2，……k)第26頁，課件共40頁，創(chuàng)作于2023年2月10.4回歸系數的顯著性檢驗回歸系數檢驗的步驟第二步，構造并計算統(tǒng)計量：第27頁，課件共40頁，創(chuàng)作于2023年2月10.4回歸系數的顯著性檢驗回歸系數檢驗的步驟第三步，查表得：第28頁，課件共40頁，創(chuàng)作于2023年2月10.4回歸系數的顯著性檢驗回歸系數檢驗的步驟第四步，做檢驗：接受H0

檢驗法則拒絕H0

第29頁，課件共40頁，創(chuàng)作于2023年2月回歸分析自變量選擇的四種方法:向前選擇法向后剔除法逐步回歸法強迫進入法第30頁，課件共40頁，創(chuàng)作于2023年2月1.

前進法，回歸方程中的自變量從無到有、從少到多逐個引入回歸方程。此法已基本淘汰。后退法，先將全部自變量選入方程，然后逐步剔除無統(tǒng)計學意義的自變量。

剔除自變量的方法是在方程中選一個偏回歸平方和最小的變量，作F檢驗決定它是否剔除，若無統(tǒng)計學意義則將其剔除，然后對剩余的自變量建立新的回歸方程。重復這一過程，直至方程中所有的自變量都不能剔除為止。理論上最好，建議使用采用此法。逐步回歸法，逐步回歸法是在前述兩種方法的基礎上，進行雙向篩選的一種方法。該方法本質上是前進法。

第31頁，課件共40頁，創(chuàng)作于2023年2月強迫進入法根據事先的對變量之間關系的理論假設，將研究變量按一定順序投入到回歸方程中，而不管其顯著還是不顯著。這種方法常用于路徑分析中。后面的內容會講到這點。第32頁，課件共40頁，創(chuàng)作于2023年2月第33頁，課件共40頁，創(chuàng)作于2023年2月消除多重共線性：剔除某個造成共線性的自變量，重建回歸方程；合并自變量；采用逐步回歸方法。

多重共線性是由于一個自變量與其它所有或某些自變量間的相關太高，以致它可以由其它自變量來線性表示。多重共線性會導致估計值不準確，估計誤差增大，甚至無法計算。自變量的多重共線性第34頁，課件共40頁，創(chuàng)作于2023年2月多重共線性的識別指標第35頁，課件共40頁，創(chuàng)作于2023年2月虛變量的回歸方程建立方法如果自變量是離散型變量，那么就要使該自變量變成多個虛變量，虛變量的個數等于自變量水平數減1。如果自變量有兩個水平，如性別，那么我們只需要建立一個虛變量，用1表示男（女），用0表示女生。如果自變量是三個水平，如家庭狀況，它包括單親家庭組、雙親家庭組和他人照顧組三個水平，我們只需要建立兩個虛變量就可以。如下圖。第36頁，課件共40頁，創(chuàng)作于2023年2月注意虛變量的取值一般只是1和0兩個。第37頁，課件共40頁，創(chuàng)作于2023年2月第38頁，課件共40頁，創(chuàng)作于2023年2月多元回歸分析步驟根據理論假設，建立回歸方程式：在SPSS中就是分別選擇因變量和自變量?？疾焓欠翊嬖陔x散型變量，如果存在，要轉化為虛變量。檢驗自變量是否存在多重共線性：在SPSS是點擊statistics對話框中的Collinearitydiagnostics。檢驗指標有：Tolerance、VIF和CI。選擇回歸分析的方法：一般采用Stepwise方法和Enter法。前者還要在Option對話框中選擇進入和刪除的標準（一般采用默認標準）。估計回歸系數和標準化回歸系數：點擊statistics對話框中的Estimates。第39頁，課件共40頁，創(chuàng)作于2023年2月檢驗回歸方程的有效性：點擊statistics對話框中的Modelfit。比較不同模型有效性的