管理統(tǒng)計(jì)學(xué)課件：第8章 線性回歸

1、上節(jié)課內(nèi)容回顧相關(guān)分析 7.1 相關(guān)分析 7.2 簡(jiǎn)單相關(guān)分析 7.3 偏相關(guān)分析 7.4 距離相關(guān)分析 相關(guān)關(guān)系相關(guān)關(guān)系：變量之間存在著不嚴(yán)格，非確定性的依存關(guān)系。相關(guān)關(guān)系也叫統(tǒng)計(jì)關(guān)系相關(guān)關(guān)系的變量之間關(guān)系值是不固定的 ，隨機(jī)的。它們之間可以是互為因果，也可能僅僅是伴隨出現(xiàn)。因變量的值總是歸繞這期望值有規(guī)律的波動(dòng)。相關(guān)關(guān)系分類簡(jiǎn)單相關(guān)關(guān)系計(jì)算相關(guān)關(guān)系：變量之間存在著不嚴(yán)格，非確定性的依存關(guān)系。相關(guān)關(guān)系也叫統(tǒng)計(jì)關(guān)系簡(jiǎn)單相關(guān)系數(shù)。Pearson簡(jiǎn)單相關(guān)系數(shù)：Spearman相關(guān)系數(shù)：Kendall相關(guān)系數(shù)：偏相關(guān)系數(shù)的計(jì)算偏相關(guān)系數(shù) 分析變量x1和y之間的相關(guān)時(shí)，當(dāng)控制了變量x2的線性作用后，x

2、1和y之間的偏相關(guān)系數(shù)定義為偏相關(guān)系數(shù)的取值范圍及大小含義與相關(guān)系數(shù)相同距離相關(guān)分析距離相關(guān)分析（研究?jī)蓸颖窘瞥潭龋┲笇?duì)樣本或變量之間相似或不相似程度的一種度量。計(jì)算的是一種廣義距離。 距離相關(guān)分析根據(jù)統(tǒng)計(jì)量的不同，分為：不相似性測(cè)度：通過計(jì)算距離來表示，其數(shù)值越大，表示相似程度越弱。 相似性測(cè)度：通過計(jì)算相關(guān)系數(shù)（如peason相關(guān)系數(shù)）來表示的，其數(shù)值越大，表示相似程度越強(qiáng)。 相關(guān)性分析的spss操作簡(jiǎn)單分析的spss操作偏相關(guān)分析的spss操作距離相關(guān)分析的spss操作簡(jiǎn)單分析的spss操作道瓊斯工業(yè)平均指數(shù)（DJIA）和標(biāo)準(zhǔn)普爾指數(shù)500（S&P 500）都被用做股市全面動(dòng)態(tài)的測(cè)度。

3、DJIA是基于30種股票的價(jià)格動(dòng)態(tài)；S&P 500是由500種股票組成的指數(shù)。有人說S&P 500是股票市場(chǎng)功能的一種更好的測(cè)度，因?yàn)樗诟嗟墓善?。右表顯示了DJIA和S&P 500在1997年10周內(nèi)的收盤價(jià)。請(qǐng)計(jì)算它們之間的樣本相關(guān)系數(shù)。不僅如此，樣本相關(guān)系數(shù)告訴我們DJIA和S&P 500之間的關(guān)系是怎樣的？Step01：打開主菜單，選擇主菜單中的【分析】【相關(guān)】【雙變量】命令，彈出【雙變量相關(guān)】對(duì)話框，如下圖，這是簡(jiǎn)單相關(guān)檢驗(yàn)的主操作窗口。單擊選項(xiàng)按鈕，彈出如圖7-2所示的【選項(xiàng)】對(duì)話框 。選擇輸出統(tǒng)計(jì)量。均值和標(biāo)準(zhǔn)差：將輸出選中的各變量的觀測(cè)值數(shù)目、均值和標(biāo)準(zhǔn)差單擊確定按鈕，結(jié)束

4、操作，SPSS軟件自動(dòng)輸出結(jié)果。偏相關(guān)分析的spss操作在我國(guó)的金融市場(chǎng)中，股票市場(chǎng)和債券市場(chǎng)都是其中的重要組成部分。研究它們之間的關(guān)系有利于我們弄清楚金融市場(chǎng)之間的關(guān)聯(lián)特征。右表列出了近幾年我國(guó)股票市場(chǎng)、交易所國(guó)債市場(chǎng)和銀行間國(guó)債市場(chǎng)的綜合指數(shù)，請(qǐng)利用相關(guān)分析研究這三個(gè)市場(chǎng)的關(guān)聯(lián)特征 Step01：打開主菜單，選擇主菜單中的【分析】【相關(guān)】【偏相關(guān)】命令，彈出【偏相關(guān)】對(duì)話框，如下圖所示。Step2：?jiǎn)螕暨x項(xiàng)按鈕，彈出如圖所示的【選項(xiàng)】對(duì)話框 。選擇輸出統(tǒng)計(jì)量。均值和標(biāo)準(zhǔn)差；零階相關(guān)系數(shù)：將輸出選中的各變量的觀測(cè)值數(shù)目、均值和標(biāo)準(zhǔn)差，簡(jiǎn)單相關(guān)系數(shù)。單擊確定按鈕，結(jié)束操作，SPSS軟件自動(dòng)輸出

5、結(jié)果。距離相關(guān)分析的spss操作右表列出了我國(guó)1991年2005年間居民消費(fèi)價(jià)格指數(shù)、城市居民消費(fèi)價(jià)格指數(shù)、農(nóng)村居民消費(fèi)價(jià)格指數(shù)、商品銷售價(jià)格指數(shù)、工業(yè)品出廠價(jià)格指數(shù)、原材料等購(gòu)進(jìn)價(jià)格指數(shù)和固定資產(chǎn)投資價(jià)格指數(shù)。請(qǐng)研究這些價(jià)格指數(shù)之間的關(guān)系 Step01：打開主菜單選擇主菜單中的【分析】【相關(guān)】【距離】命令，彈出【 距離】對(duì)話框，如圖所示單擊確定按鈕，結(jié)束操作，SPSS軟件自動(dòng)輸出結(jié)果。第8章 線性回歸8.1 回歸分析概述8.2 一元線性回歸8.3 多元線性回歸8.1 回歸分析相關(guān)系數(shù)只能說明變量間相關(guān)關(guān)系的方向和程度，關(guān)系是否密切。但不能說明一個(gè)現(xiàn)象發(fā)生一定量的變化，另一個(gè)現(xiàn)象一般也會(huì)發(fā)生多

6、大變化?；貧w分析是研究變量與變量之間相關(guān)關(guān)系的一種統(tǒng)計(jì)推斷方法。它是在試驗(yàn)觀測(cè)數(shù)據(jù)的基礎(chǔ)上，以一種確定的函數(shù)關(guān)系去近似替代比較抽象的相關(guān)關(guān)系。回歸分析：是對(duì)具有相關(guān)關(guān)系（顯著相關(guān)）的兩個(gè)或兩個(gè)以上的變量之間所具有的變化規(guī)律進(jìn)行擬合，確定一個(gè)相應(yīng)的數(shù)學(xué)表達(dá)式（經(jīng)驗(yàn)公式），通過一個(gè)或多個(gè)變量的變化去解釋另一變量變化的方法，以便從定量的角度由已知變量推測(cè)未知量，為估算預(yù)測(cè)或控制提供重要依據(jù)。8.1.2 回歸分析步驟確定定回歸方程中的解釋變量和被解釋變量解釋變量（x）；被解釋變量（y）有別于相關(guān)分析（如：父親身高關(guān)于成年兒子身高的回歸分析與成年兒子身高關(guān)于父親身高的回歸分析時(shí)完全不同的 ）確定回歸模型

7、：通過觀察散點(diǎn)圖確定應(yīng)通過哪種數(shù)學(xué)模型來概括回歸線 建立回歸方程：估計(jì)出模型中的各個(gè)參數(shù)，得到一個(gè)確定的回歸方程 對(duì)回歸方程進(jìn)行各種檢驗(yàn) ：檢驗(yàn)回歸方程時(shí)否真實(shí)地反映了事物總體間的統(tǒng)計(jì)關(guān)系以及回歸方程能否用于預(yù)測(cè)等 利用回歸方程進(jìn)行預(yù)測(cè)：根據(jù)回歸方程對(duì)事物的未來發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè) 8.2 一元線性回歸一元線性回歸分析研究某一現(xiàn)象與影響它的某一最主要因素的影響 假定其他影響因素確定的條件下，分析某一個(gè)因素（自變量）是如何影響另一事物（因變量）的過程 比較理想化 舉例如影響糧食產(chǎn)量的因素非常多，但在眾多因素中，施肥量是一個(gè)重要的因素，往往需要研究施肥量這一因素與糧食產(chǎn)量之間的關(guān)系 在消費(fèi)問題的研究中

8、，影響消費(fèi)的因素很多，但我們可以只研究國(guó)民收入與消費(fèi)額之間的關(guān)系，因?yàn)閲?guó)民收入是影響消費(fèi)的最主要因素 對(duì)所研究的問題首先要收集與它有關(guān)的n組樣本數(shù)據(jù)(xi，yi) ，i=1，2，n。為了直觀地發(fā)現(xiàn)樣本數(shù)據(jù)的分布規(guī)律，把(xi，yi)看成是平面直角坐標(biāo)系中的點(diǎn)，畫出這n個(gè)樣本點(diǎn)的散點(diǎn)圖 例化肥施用量與糧食產(chǎn)量的關(guān)系為準(zhǔn)確地定出化肥施用量的單位變化如何影響糧食產(chǎn)量的平均單位變化，進(jìn)而確定合理的化肥施用量序號(hào)糧食產(chǎn)量y化肥施用量x148526.694541.05245110.873637.87340753.792287.49443824.583056.89550890.114883.70646370

9、.883779.30746577.914021.09842947.442989.06941637.213021.901047244.343953.971143061.533212.131247336.783804.761337127.891599.281439515.071998.561546598.043710.561644020.923269.031734866.911017.121837184.141864.231941864.772797.242033717.781.34.09例 人均消費(fèi)金額和人均國(guó)民收入收集到19862005年20年的樣本數(shù)據(jù)年份人均國(guó)民收入人均消費(fèi)金額198696

10、34971987111256519881366788198915197881990164483319911893932199223111116199329981393199440441833199550462355199658462789199764203002199867963159199971593346200078583632200186223869200293984106200310542441120041233649252005140405439人均消費(fèi)金額和人均國(guó)民收入(續(xù))從例9.1和9.2的散點(diǎn)圖看到樣本數(shù)據(jù)點(diǎn)（xi，yi）大致都分別落在一條直線附近說明變量x與y之間具有明顯的

11、線性關(guān)系這些樣本點(diǎn)有不都在一條直線上，表明變量x和y的關(guān)系并沒有確切到給定x就可以唯一確定y的程度對(duì)y產(chǎn)生影響的因素還有許多，如人家消費(fèi)金額不僅受人均國(guó)民收入的影響，還與上年的消費(fèi)水平、銀行利率、商品價(jià)格指數(shù)等有關(guān)，這些對(duì)y的取值都有隨機(jī)影響每個(gè)樣本點(diǎn)與直線的偏差可看做是其他隨機(jī)因素的影響8.2.1 一元線性回歸模型一元線性回歸模型/簡(jiǎn)單線性回歸模型 只有一個(gè)解釋變量的線性回歸模型解釋被解釋變量與另一個(gè)解釋變量之間的線性關(guān)系建立模型因變量（y）：被預(yù)測(cè)或被解釋的變量；自變量（x）：預(yù)測(cè)或解釋因變量的一個(gè)或多個(gè)變量近似的線性函數(shù)關(guān)系：a+bx 反映了由于x的變化引起的y的線性變化 ：誤差項(xiàng)的隨機(jī)

12、變量它反映了除x和y之間的線性關(guān)系之外的隨機(jī)因素對(duì)y的影響，是不能由x和y之間的線性關(guān)系所解釋的變異性它是未包括在模型中而又影響y的全部變量的替代物 a和b：模型的參數(shù) 8.2.2 估計(jì)參數(shù)-最小二乘法一元線性回歸方程（y的期望值是x的線性函數(shù) ） ：y=a+bx總體回歸參數(shù)a和b是未知的 回歸分析的主要任務(wù)：利用樣本數(shù)據(jù)估計(jì)a和b用于描述其關(guān)系的直線有多條 ，利用最小二乘法選擇最適合代表兩個(gè)變量關(guān)系的一元線性回歸參數(shù)估計(jì)推導(dǎo)a,b取多少時(shí)，式子取最小值？課堂練習(xí)：例 修理時(shí)間與原件個(gè)數(shù)考察修理（或服務(wù)）時(shí)間與計(jì)算機(jī)中需要修理或更換的元件個(gè)數(shù)的關(guān)系（修理時(shí)間為因變量，元件數(shù)為自變量）行數(shù)修理時(shí)

13、間元件個(gè)數(shù)123122923493464457446875796689769109710119811149912145913154101416610修理時(shí)間與原件個(gè)數(shù)(續(xù))由散點(diǎn)圖，知修理時(shí)間和所修理或更換的元件個(gè)數(shù)之間具有一定的線性關(guān)系得到：修理時(shí)間對(duì)元件個(gè)數(shù)的估計(jì)方程：回歸系數(shù) 表示：元件個(gè)數(shù)每增加1個(gè)，修理時(shí)間平均增加15.509分鐘 在回歸分析中，對(duì)截距 常常不能賦予任何真實(shí)意義，通常不作實(shí)際意義上的解釋 一元線性回歸課堂練習(xí)表8-1中的數(shù)據(jù)是7大名牌飲料的廣告支出（百萬美元）與箱銷售量（百萬）的數(shù)據(jù)。請(qǐng)利用回歸分析來分析廣告支出與箱銷售量的關(guān)系。品牌廣告支出銷量廣告支出*銷量廣告支出

14、的平方Coca-Cola Classi131.3 1929.2 253304.0 17239.7 Pepsi-Cola92.4 1384.6 127937.0 8537.8 Diet Coke60.4 811.4 49008.6 3648.2 Sprite55.7 541.5 30161.6 3102.5 Dr. Pepper40.2 536.9 21583.4 1616.0 Mountain Dew29.0 535.6 15532.4 841.0 7-UP11.6 219.5 2546.2 134.6 加和420.6 5958.7 500073.1 35119.7 A=14.42B=-15.

15、42結(jié)果8.2.3 回歸方程的檢驗(yàn)需要對(duì)樣本回歸方程進(jìn)行各種檢驗(yàn)（即使一些雜亂無章的散點(diǎn)也可以配出一條直線） 回歸分析中的顯著性檢驗(yàn)包含兩個(gè)方面對(duì)回歸直線的擬合優(yōu)度檢驗(yàn)判定系數(shù)R2和相關(guān)系數(shù)對(duì)整個(gè)方程線性關(guān)系的顯著性檢驗(yàn)F檢驗(yàn)法對(duì)回歸系數(shù)的顯著性檢驗(yàn)t檢驗(yàn)法對(duì)模型真實(shí)擬合效果的評(píng)價(jià)殘差分析法。 8.2.4 一元線性回歸的SPSS操作表8-1中的數(shù)據(jù)是7大名牌飲料的廣告支出（百萬美元）與箱銷售量（百萬）的數(shù)據(jù)。請(qǐng)利用回歸分析來分析廣告支出與箱銷售量的關(guān)系。第一步，通過散點(diǎn)圖看是否存在線性關(guān)系單擊“圖形”-“就對(duì)話框”-“散點(diǎn)圖”-“簡(jiǎn)單分布”，打開“簡(jiǎn)單散點(diǎn)圖對(duì)話框”，選擇x，y軸。廣告支出和銷

16、售量的散點(diǎn)圖一元線性回歸分析操作步驟選擇菜單欄中的【分析】【回歸】【線性】命令，彈出【線性回歸】對(duì)話框，這是線性回歸分析的主操作窗口。結(jié)果分析8.3 多元線性回歸在實(shí)際問題中，影響因變量的因素往往有多個(gè) 商品的需求除了受自身價(jià)格的影響外，還要受到消費(fèi)者收入、其他商品的價(jià)格、消費(fèi)者偏好等因素的影響影響水果產(chǎn)量的外界因素有平均氣溫、平均日照時(shí)數(shù)、平均濕度等 多元回歸：兩個(gè)及兩個(gè)以上變量的回歸問題多元線性回歸：一個(gè)因變量同多個(gè)自變量的回歸問題就是多元回歸，因變量同各自變量之間為線性關(guān)系分析的原理同一元線性回歸的原來基本相同，但計(jì)算上要復(fù)雜得多，因此需要借助計(jì)算機(jī)來完成 8.3.1 多元線性回歸模型多

17、元線性回歸模型：描述因變量y如何依賴于自變量 和誤差項(xiàng)的方程 公式：E()=0，Var( )= 2多元線性總體回歸方程：估計(jì)的多元線性回歸方程（樣本回歸方程）8.3.2 參數(shù)的最小二乘估計(jì)多元線性回歸模型中偏回歸系數(shù)的估同樣采用最小二乘法，通過使用因變量的觀察值與估計(jì)值之間的殘差平方和達(dá)到最小，來求得通過右邊方程組 確定：8.3.3 多元回歸方程的檢驗(yàn)和一元回歸方程一樣，多元回歸方程也需要對(duì)樣本回歸方程進(jìn)行各種檢驗(yàn)（即使一些雜亂無章的散點(diǎn)也可以配出多元方程） 回歸分析中的顯著性檢驗(yàn)包含兩個(gè)方面對(duì)回歸方程的擬合優(yōu)度檢驗(yàn)；對(duì)整個(gè)方程線性關(guān)系的顯著性檢驗(yàn)F檢驗(yàn)法對(duì)回歸系數(shù)的顯著性檢驗(yàn)t檢驗(yàn)法對(duì)多重共

18、線性的判斷。 多重共線性下列情況暗示存在多重共線性模型中各對(duì)自變量之間顯著相關(guān) 當(dāng)模型的線性關(guān)系現(xiàn)在（F檢驗(yàn)） 顯著時(shí)，幾乎所有回歸系數(shù)i的t檢驗(yàn)卻不顯著 回歸系數(shù)的正負(fù)號(hào)與預(yù)期的相反 解決共線性的措施將一個(gè)或多個(gè)相關(guān)的自變量從模型中剔除，使保留的自變量盡可能不相關(guān) 檢驗(yàn)共線性指標(biāo)指標(biāo)名稱檢驗(yàn)標(biāo)準(zhǔn)容差（Tolerance）若某自變量容忍度小于0.1，則存在共線性問題方差膨脹率（VIF）容忍度的倒數(shù)，越大共線性問題越嚴(yán)重特征根（Eigenvalues）若多個(gè)維度的特征根等于0，則可能存在共線性問題條件指數(shù)（Condition Index）若某個(gè)維度的條件指數(shù)大于30，則可能存在共線性問題8.3.

19、4 變量的篩選策略多元回歸分析中，被解釋變量會(huì)受眾多因素的共同影響，需要由多個(gè)解釋變量解釋究竟哪些自變量應(yīng)該引入模型？哪些自變量不應(yīng)該引入模型？對(duì)自變量進(jìn)行一定的篩選和控制 希望盡可能用最少的變量來建立模型 解釋變量的篩選三種基本策略 向前篩選向后篩選逐步篩選 篩選策略（續(xù)）向前篩選：解釋變量不斷進(jìn)入回歸方程的過程 （變量逐漸增多）選擇與被解釋變量具有最高線性相關(guān)系數(shù)的變量進(jìn)入方程，并進(jìn)行回歸方程的各種檢驗(yàn) 在剩余的變量中尋找與解釋變量偏相關(guān)系數(shù)最高并通過檢驗(yàn)的變量進(jìn)入回歸方程，并對(duì)新建立的回歸方程進(jìn)行各種檢驗(yàn) 一直重復(fù)這個(gè)過程，直到再也沒有可進(jìn)入方程的變量為止 向后篩選：變量不斷剔除出回歸方

20、程的過程（變量逐漸減少）所有變量全部引入回歸方程，并對(duì)回歸方程進(jìn)行各種檢驗(yàn) 在回歸系數(shù)顯著性檢驗(yàn)不顯著的一個(gè)或多個(gè)變量中，剔除回歸系數(shù)檢驗(yàn)不顯著的變量，并重新建立回歸方程和進(jìn)行各種檢驗(yàn) 直到再也沒有可剔除的變量為止 逐步篩選：向前篩選和向后篩選策略的綜合 （變量先進(jìn)入回歸方程再判斷篩選）在向前篩選策略的基礎(chǔ)上，結(jié)合向后篩選策略，在每個(gè)變量進(jìn)入方程后再次判斷是否存在可以剔除方程的變量 在引入變量的每一個(gè)階段都提供了再剔除不顯著變量的機(jī)會(huì) 常用的變量篩選策略 多元線性回歸的SPSS操作二元線性回歸時(shí)光影劇院公司的老板希望了解公司投放的電視廣告費(fèi)用和報(bào)紙廣告費(fèi)用對(duì)公司收入的影響。以往8周的樣本數(shù)據(jù)如表8-6所示（單位：千美元）。請(qǐng)建立模