第6章 回歸分析.ppt

1、第六章 回歸分析,第一節(jié) 引言 第二節(jié) 一元線性回歸模型第三節(jié) 多元線性回歸模型 第四節(jié) 虛擬變量回歸模型 第五節(jié) 非線性回歸模型 本章小節(jié),主要內(nèi)容,回歸是研究自變量與因變量之間的關(guān)系形式的分析方法。 一、回歸分析的提出 回歸分析起源于生物學(xué)研究，是由英國生物學(xué)家兼統(tǒng)計學(xué)家高爾登（Francis Galton 1822-1911）在19世紀(jì)末葉研究遺傳學(xué)特性時首先提出來的。 高爾登在1889年發(fā)表的著作自然的遺傳中，提出了回歸分析方法以后，很快就應(yīng)用到經(jīng)濟領(lǐng)域中來，而且這一名詞也一直為生物學(xué)和統(tǒng)計學(xué)所沿用。 回歸的現(xiàn)代涵義與過去大不相同。一般說來，回歸是研究因變量隨自變量變化的關(guān)系形式的分析

2、方法。其目的在于根據(jù)已知自變量來估計和預(yù)測因變量的總平均值。,第一節(jié) 引言,根據(jù)因變量與自變量之間的關(guān)系不同，可以分為兩種類型：,函數(shù)關(guān)系,相關(guān)關(guān)系,第一節(jié) 引言,因變量(Y)與自變量(X)之間的關(guān)系,二、回歸分析和相關(guān)分析 函數(shù)關(guān)系 函數(shù)關(guān)系反映客觀事物之間存在著嚴(yán)格的依存關(guān)系。在這種關(guān)系中，當(dāng)一個或幾個變量取值一定時，另一個變量有確定的值與之相對應(yīng)，并且這種關(guān)系可以用一個確定的數(shù)學(xué)表達式反映出來。 一般把作為影響因素的變量稱為自變量，把發(fā)生對應(yīng)變化的變量稱為因變量。,第一節(jié) 引言,相關(guān)關(guān)系 相關(guān)關(guān)系反映的是客觀事物之間的非嚴(yán)格、不確定的線性依存關(guān)系。這種線性依存關(guān)系有兩個顯著的特點：,二、

3、回歸分析和相關(guān)分析,客觀事物之間在數(shù)量上確實存在一定的內(nèi)在聯(lián)系。表現(xiàn)在一個變量發(fā)生數(shù)量上的變化，要影響另一個變量也相應(yīng)地發(fā)生數(shù)量上的變化。,客觀事物之間的數(shù)量依存關(guān)系不是確定的，具有一定的隨機性。表現(xiàn)在當(dāng)一個或幾個相互聯(lián)系的變量取一定數(shù)值時，與之對應(yīng)的另一個變量可以取若干個不同的數(shù)值。這種關(guān)系雖然不確定，但因變量總是遵循一定規(guī)律圍繞這些數(shù)值的平均數(shù)上下波動。,圖 國內(nèi)生產(chǎn)總值y與固定資產(chǎn)投資完成額x間關(guān)系的散點圖,二、回歸分析和相關(guān)分析,回歸分析 回歸分析是研究某一隨機變量（因變量）與另外一個或幾個普通變量（自變量）之間的數(shù)量變動的關(guān)系。由回歸分析求出的關(guān)系式，稱為回歸模型。,相關(guān)分析 相關(guān)分

4、析是研究兩個或兩個以上隨機變量之間線性依存關(guān)系的緊密程度。通常用相關(guān)系數(shù)表示，多元相關(guān)時用復(fù)相關(guān)系數(shù)表示。,回歸分析與相關(guān)分析的關(guān)系,區(qū)別 相關(guān)分析研究的變量都是隨機變量，并且不分自變量與因變量；回歸分析研究的變量要首先明確那些是自變量，那些是因變量？并且自變量是確定的普通變量，因變量是隨機變量。,二、回歸分析和相關(guān)分析,聯(lián)系 由相關(guān)系數(shù)的大小決定是否需要進行回歸分析。在相關(guān)分析的基礎(chǔ)上建立回歸模型，以便進行推算、預(yù)測，同時相關(guān)系數(shù)還是檢驗回歸分析效果的標(biāo)準(zhǔn)。,根據(jù)自變量的多少 回歸模型可以分為一元回歸模型和多元回歸模型。 根據(jù)回歸模型的形式線性與否 回歸模型可以分為線性回歸模型和非線性回歸模

5、型。 根據(jù)回歸模型是否帶有虛擬變量 回歸模型可以分為普通回歸模型和帶虛擬變量的回歸模型。 此外，根據(jù)回歸模型是否用滯后的因變量作自變量，回歸模型又可分為無自回歸現(xiàn)象的回歸模型和自回歸模型。,三、回歸模型的種類,第二節(jié) 一元線性回歸模型,設(shè)x為自變量， y為因變量，y與x之間存在某種線性關(guān)系，即一元線性回歸模型為,（6.2.1）,給定x，y的n對觀測值xi，yi，,，代入式（6.2.1）得,（6.2.1）,當(dāng)b0時，x與y為正相關(guān)，當(dāng)b0時，x與y為負相關(guān)。,、一元線性回歸模型,二、 OLS (Ordinary Least Square）估計 OLS的中心思想 最小二乘法的中心思想，是通過數(shù)學(xué)模

6、型，配合一條較為理想的趨勢線。這條趨勢線必須滿足下列兩點要求：,第二節(jié) 一元線性回歸模型,二、 OLS (Ordinary Least Square）估計,二、OLS (Ordinary Least Square）估計,OLS的特性 最小二乘估計量 具有線性、無偏性和最小方差性等良好的性質(zhì)。線性、無偏性和最小方差性統(tǒng)稱BLUE性質(zhì)。滿足BLUE性質(zhì)的估計量 稱為BLUE估計量。,二、OLS (Ordinary Least Square）估計,回歸方程的檢驗 在一元線性回歸模型中最常用的顯著性檢驗方法有： 相關(guān)系數(shù)檢驗法 F檢驗法 t檢驗法,3.2 一元線性回歸預(yù)測法,三、離差平方和的分解與可決

7、系數(shù) 在一元線性回歸模型中，觀測值的數(shù)值會發(fā)生波動，這種波動稱為變差。變差產(chǎn)生的原因如下：,3.2 一元線性回歸預(yù)測法,受自變量變動的影響，即x取值不同時的影響； 受其他因素（包括觀測和實驗中產(chǎn)生的誤差）的影響。為了分析這兩方面的影響，需要對總變差進行分解。,三、相關(guān)系數(shù),離差平方和的分解,回歸離差平方和,剩余離差平方和,總平方和分解,總平 和分解圖,三、相關(guān)系數(shù),可決系數(shù),三、相關(guān)系數(shù),相關(guān)系數(shù)的取值范圍為 當(dāng)R=0時，說明回歸變差為0，自變量x的變動對總變差毫無影響，這種情況稱y與x不相關(guān)。,當(dāng)|R|=1時，說明回歸變差等于總變差，總變差的變化完全由自變量x的變化所引起，這種情況成為完全相

8、關(guān)。這時因變量y是自變量x的線性函數(shù)，二者之間呈函數(shù)關(guān)系。,當(dāng)0|R|1時，說明自變量x的變動對總變差有部分影響，這種情況成為普通相關(guān)。,Y的變差完全由隨機因素引起,樣本的全部觀察值都落在所擬和的回歸直線上,四、顯著性檢驗,相關(guān)系數(shù)檢驗法 第一步，計算相關(guān)系數(shù)R； 第二步，根據(jù)回歸模型的自由度（n-2）和給定的顯著性水平值，從相關(guān)系數(shù)臨界值表中查出臨界值； 第三步，判別。若|R|R(n-2)，表明兩變量之間線性相關(guān)關(guān)系顯著，檢驗通過，這時回歸模型可以用來預(yù)測；若|R| R ，表明兩變量之間線性相關(guān)關(guān)系不顯著，檢驗不通過。,四、顯著性檢驗,F 檢驗法,F服從第一自由度為1，第二自由度為n2的分布

9、。對給定的顯著性水平,，查分布表可得臨界值,。,F 檢驗,四、顯著性檢驗,點估計 在一元線性回歸模型中，對于自變量x的一個給定值，代入回歸模型，就可以求得一個對應(yīng)的回歸預(yù)測值，又稱為點估計值。,五、預(yù)測區(qū)間,區(qū)間估計 所謂預(yù)測區(qū)間就是指在一定的顯著性水平上，依據(jù)數(shù)理統(tǒng)計方法計算出的包含預(yù)測對象未來真實值的某一區(qū)間范圍。,五、預(yù)測區(qū)間,回歸系數(shù)b的統(tǒng)計性質(zhì),點估計值,的統(tǒng)計性質(zhì),五、預(yù)測區(qū)間,五、預(yù)測區(qū)間,由于總體方差往往是未知的，所以，常用總體方差的無偏估計量來代替。,式中，y稱為y的標(biāo)準(zhǔn)誤差。,五、預(yù)測區(qū)間,預(yù)測值和預(yù)測誤差,預(yù)測誤差的數(shù)學(xué)期望與方差,五、預(yù)測區(qū)間,令,當(dāng)實際觀測值較多時，一

10、般n30，式（6.2.31）可簡化為,六、應(yīng)用舉例,例6.2.1 某省19781989年國內(nèi)生產(chǎn)總值和固定資產(chǎn)投資完成額資料如表6.2.1所示。,六、應(yīng)用舉例,試配合適當(dāng)?shù)幕貧w模型并進行顯著性檢驗；若1999年該省固定資產(chǎn)投資完成額為249億元，當(dāng)顯著性水平0.05時，試估計1990年國內(nèi)生產(chǎn)總值的預(yù)測區(qū)間。 解：.繪制散點圖,六、應(yīng)用舉例,2設(shè)一元線性回歸模型為,3計算回歸系數(shù),六、應(yīng)用舉例,4檢驗線性關(guān)系的顯著性,六、應(yīng)用舉例,六、應(yīng)用舉例,5預(yù)測,（2）當(dāng)顯著性水平，自由度nm12210時，查t分布表得,（1）計算估計值的標(biāo)準(zhǔn)誤差,六、應(yīng)用舉例,七、幾個應(yīng)當(dāng)注意的問題,1重視數(shù)據(jù)的收集和

11、甄別 在收集數(shù)據(jù)的過程中可能會遇到以下困難： （1）一些變量無法直接觀測。 （2）數(shù)據(jù)缺失或出現(xiàn)異常數(shù)據(jù)。 （3）數(shù)據(jù)量不夠。 （4）數(shù)據(jù)不準(zhǔn)確、不一致、有矛盾。 2. 合理確定數(shù)據(jù)的單位 在建立回歸方程時，如果不同變量的單位選取不適當(dāng)，導(dǎo)致模型中各變量的數(shù)量級差異懸殊，往往會給建模和模型解釋帶來諸多不便。比如模型中有的變量用小數(shù)位表示，有的變量用百位或千位數(shù)表示，可能會因舍入誤差使模型計算的準(zhǔn)確性受到影響。因此，適當(dāng)選取變量的單位，使模型中各變量的數(shù)量級大體一致是一種明智的做法。,一元線性回歸模型研究的是某一因變量與一個自變量之間的關(guān)系問題。但是，客觀現(xiàn)象之間的聯(lián)系是復(fù)雜的，許多現(xiàn)象的變動都

12、涉及到多個變量之間的數(shù)量關(guān)系。 研究某一因變量與多個自變量之間的相互關(guān)系的理論和方法就是多元線性回歸模型。,第三節(jié) 多元線性回歸預(yù)測法,第三節(jié) 多元線性回歸預(yù)測法,一、 多元線性回歸模型及其假設(shè)條件,多元線性回歸模型,一、 多元線性回歸模型及其假設(shè)條件,一、 多元線性回歸模型及其假設(shè)條件,一、 多元線性回歸模型及其假設(shè)條件,一、 多元線性回歸模型及其假設(shè)條件,二、模型參數(shù)OSL的估計與性質(zhì),模型參數(shù)的OSL 估計,二、模型參數(shù)OSL的估計與性質(zhì),回歸系數(shù)向量估計值 的統(tǒng)計性質(zhì),回歸系數(shù)向量估計值 的統(tǒng)計性質(zhì),三、多元線性回歸模型的檢驗,常用的檢驗方法有 檢驗法 檢驗法 t檢驗法 DW檢驗法 在

13、建立多元線性回歸模型的過程中，為進一步分析回歸模型所反映的變量之間的關(guān)系是否符合客觀實際，引入的影響因素是否有效，同樣需要對回歸模型進行檢驗。,1. 檢驗法,與相關(guān)系數(shù)檢驗法一樣，復(fù)相關(guān)系數(shù)檢驗法的步驟為： （）計算復(fù)相關(guān)系數(shù)； （）查相關(guān)系數(shù)臨界值表； 根據(jù)回歸模型的自由度nm和給定的顯著性水平值，查相關(guān)系數(shù)臨界值表 （）判別。,1.檢驗法,樣本容量增大(n),R2也隨之增大(R2),R2的大小 很難說明問題,存在的問題,1.檢驗法,1.檢驗法,1. 檢驗法,當(dāng)n為小樣本，解釋變量數(shù)很大時，上式可能為負數(shù)，這時取其值為0。,2. F 檢驗法,檢驗Y與解釋變量x1，x2，xk之間的線性關(guān)系是否

14、顯著,2. F 檢驗法,2. F 檢驗法,回歸方程顯著，并不意味著每個解釋變量對因變量Y的影響都重要,回歸方程顯著,每個回歸系數(shù)都顯著,2. F 檢驗法,3. T檢驗法,3. T檢驗法,可應(yīng)用excel直接獲得檢驗結(jié)果,4. DW 檢驗法,4. DW檢驗法,在序列相關(guān)中，最常見的是一階自相關(guān)，最常用的檢驗方法是DW檢驗法（Durbin-Watson準(zhǔn)則）。定義統(tǒng)計量為：,4. DW檢驗法,4. DW檢驗法,表 檢驗判別表,4. DW檢驗法,4. DW檢驗法,將上面DW檢驗判別表繪成圖形如下圖：,4. DW檢驗法,5. 預(yù)測區(qū)間,5. 預(yù)測區(qū)間,四、應(yīng)用舉例,某省19781989年消費基金、國民

15、收入使用額和平均人口資料如表6.3.3所示。試配合適當(dāng)?shù)幕貧w模型并進行各種檢驗；若1990年該省國民收入使用額為67十億元，平均人口為58百萬人，當(dāng)顯著性水平0.05時，試估計1990年消費基金的預(yù)測區(qū)間。,四、應(yīng)用舉例,可應(yīng)用excel直接獲得檢驗結(jié)果,四、應(yīng)用舉例,四、應(yīng)用舉例,四、應(yīng)用舉例,四、應(yīng)用舉例,四、應(yīng)用舉例,四、應(yīng)用舉例,7.檢驗,四、應(yīng)用舉例,四、應(yīng)用舉例,第四節(jié) 虛擬變量回歸預(yù)測,虛擬變量 品質(zhì)變量不像數(shù)量變量那樣表現(xiàn)為具體的數(shù)值。它只能以品質(zhì)、屬性、種類等形式來表現(xiàn)。要在回歸模型中引入此類品質(zhì)變量，必須首先將具有屬性性質(zhì)的品質(zhì)變量數(shù)量化。通常的做法是令某種屬性出現(xiàn)對應(yīng)于1

16、，不出現(xiàn)對應(yīng)于0。這種以出現(xiàn)為，未出現(xiàn)為形式表現(xiàn)的品質(zhì)變量，就稱為虛擬變量。 帶虛擬變量的回歸模型 常見的帶虛擬變量的回歸模型有以下三種形式：,帶虛擬變量的回歸模型,第四節(jié) 虛擬變量回歸預(yù)測,其中的趨勢變化如右圖所示,第四節(jié) 虛擬變量回歸預(yù)測,第四節(jié) 虛擬變量回歸預(yù)測,第四節(jié) 虛擬變量回歸預(yù)測,虛擬變量的回歸模型應(yīng)用舉例,例 某省農(nóng)業(yè)生產(chǎn)資料購買力和農(nóng)民貨幣收入統(tǒng)計數(shù)據(jù)，根據(jù)上述統(tǒng)計數(shù)據(jù)，試建立一元線性回歸模型和帶虛擬變量的回歸模型，并將兩模型對比分析,虛擬變量回歸模型的應(yīng)用舉例,虛擬變量回歸模型的應(yīng)用舉例,非線性回歸模型按變量個數(shù)也可以分為一元非線性回歸模型和多元非線性回歸模型；曲線的形式也

17、因?qū)嶋H情況不同而有多種形式，如指數(shù)曲線、雙曲線、S形曲線等。,第五節(jié)非線性回歸模型,非線性回歸模型的形式,第五節(jié)非線性回歸模型,第五節(jié)非線性回歸模型,根據(jù)非線性回歸模型線性化的不同性質(zhì)，上述模型一般可以分成三種類型： 第一類：直接換元型 這類非線性回歸模型通過簡單的變量換元可直接化為線性回歸模型，如式（1）、式（2）、式（3）、式（4）。 第二類：間接代換型 這類非線性回歸模型經(jīng)常通過對數(shù)變形代換間接地化為線性回歸模型，如：式（5）、式（6）。 第三類：非線性型 這類非線性回歸模型屬于不可線性化的非線性回歸模型，如式（7）和式（8）。,第五節(jié)非線性回歸模型,非線性回歸模型的分類,直接換元法,對

18、于式（5）、式（6）和式（7）所示的非線性回歸模型，因變量與待估計參數(shù)之間的關(guān)系也是非線性的。因此不能通過直接換元化為線性模型。對此類模型，通常可通過對回歸方程兩邊取對數(shù)將其化為可以直接換元的形式。這種先取對數(shù)再進行變量代換的方法稱為間接換元法。,間接換元法,間接換元法,例 6.5.1,例 6.5.直接換元法計算表,例 6.5.1,例 6.5.1,例 6.5.1,例 6.5.1,由于商品零售額增加，流通費用率呈下降趨勢，二者之間為負相關(guān)關(guān)系，故相關(guān)系數(shù)取負值為：0.9898。說明兩者高度相關(guān)，用雙曲線回歸模型配合進行預(yù)測是可靠的。,例 6.5.1,舉例 4,舉例,本章小節(jié),回歸分析和相關(guān)分析的目的不同 在回歸分析中，尋找的是變量之間的關(guān)系，代表這種關(guān)系的方程可能就是所期望的結(jié)果，也可