第七相關(guān)分析和回歸分析

第七相關(guān)分析和回歸分析第一頁，共六十五頁，編輯于2023年，星期一第一節(jié)變量間的相關(guān)關(guān)系相關(guān)的概念相關(guān)分析的內(nèi)容相關(guān)系數(shù)及其計算相關(guān)系數(shù)的檢驗第二頁，共六十五頁，編輯于2023年，星期一一、變量相關(guān)的概念xy變量間的函數(shù)關(guān)系是一一對應(yīng)的確定關(guān)系設(shè)有兩個變量x和y，變量y隨變量x一起變化，并完全依賴于x，當(dāng)變量x取某個數(shù)值時，

y依確定的關(guān)系取相應(yīng)的值，則稱y是x的函數(shù)，記為y=f(x)，其中x稱為自變量，y稱為因變量1、某種商品的銷售額(y)與銷售量(x)之間的關(guān)系可表示為y=px(p為單價)2、圓的面積(S)與半徑之間的關(guān)系可表示為S=R2

3、企業(yè)的原材料消耗額(y)與產(chǎn)量(x1)、單位產(chǎn)量消耗(x2)、原材料價格(x3)之間的關(guān)系可表示為y=x1x2x3

第三頁，共六十五頁，編輯于2023年，星期一xy變量間的相關(guān)關(guān)系現(xiàn)象之間存在的一種非確定性的數(shù)量依存關(guān)系（家庭收入和儲蓄）變量間關(guān)系不能用函數(shù)關(guān)系精確表達，一個變量的取值不能由另一個變量唯一確定。當(dāng)變量x取某個值時，變量y的取值可能有幾個。1、商品的消費量(y)與居民收入(x)之間的關(guān)系2、商品銷售額(y)與廣告費支出(x)之間的關(guān)系3、糧食畝產(chǎn)量(y)與施肥量(x1)、降雨量(x2)、溫度(x3)之間的關(guān)系4、收入水平(y)與受教育程度(x)之間的關(guān)系5、父親身高(y)與子女身高(x)之間的關(guān)系第四頁，共六十五頁，編輯于2023年，星期一相關(guān)關(guān)系的類型（課本第114頁）相關(guān)關(guān)系正相關(guān)負相關(guān)相關(guān)方向變量多少單相關(guān)復(fù)相關(guān)相關(guān)形式線性相關(guān)非線性相關(guān)完全相關(guān)中度相關(guān)低度相關(guān)相關(guān)程度弱相關(guān)高度相關(guān)第五頁，共六十五頁，編輯于2023年，星期一相關(guān)關(guān)系的圖示不相關(guān)負線性相關(guān)正線性相關(guān)非線性相關(guān)完全負線性相關(guān)完全正線性相關(guān)第六頁，共六十五頁，編輯于2023年，星期一二、相關(guān)分析的內(nèi)容（1）判斷現(xiàn)象之間有無相關(guān)關(guān)系（2）判斷相關(guān)關(guān)系的方向、表現(xiàn)形態(tài)和密切程度特點：不必區(qū)分自變量和因變量是回歸分析的基礎(chǔ)手段定性分析、相關(guān)表、相關(guān)圖、相關(guān)系數(shù)第七頁，共六十五頁，編輯于2023年，星期一相關(guān)表和相關(guān)圖

將變量X與Y對應(yīng)數(shù)據(jù)用統(tǒng)計表反映，形成相關(guān)表。探討變量x，y的相關(guān)關(guān)系時，常須先做出散點圖(ScatterDiagram)，以坐標系上的點代表x，y的觀察值，可以直觀地考察變量之間聯(lián)系程度，并且有助于選擇合適的估計模型。第八頁，共六十五頁，編輯于2023年，星期一相關(guān)表“Click”公司對40個銷售地區(qū)的調(diào)查結(jié)果見表第九頁，共六十五頁，編輯于2023年，星期一

相關(guān)圖（見前“相關(guān)關(guān)系的圖示”）

圖：Click寶珠筆的地區(qū)調(diào)查散點圖由“click”公司的散點圖可以看到銷售額隨每月電視廣告時數(shù)增加時增加（a圖）；某地區(qū)銷售代表人數(shù)變多時，該地區(qū)的銷售額也隨之上升（b圖）。a圖和b圖進一步表示銷售額與各變量之間的關(guān)系呈直線關(guān)系。現(xiàn)在問題在于各變量之間的緊密關(guān)系究竟強到何種程度。這就涉及到一個常用的指標——相關(guān)系數(shù)。第十頁，共六十五頁，編輯于2023年，星期一三、相關(guān)系數(shù)及其計算1、對變量之間關(guān)系密切程度的度量2、對兩個變量之間線性相關(guān)程度的度量稱為簡單相關(guān)系數(shù)（偏相關(guān)系數(shù)與復(fù)相關(guān)系數(shù)見課本第115頁）xy——變量x和y的協(xié)方差x——變量x的標準差y——變量y的標準差第十一頁，共六十五頁，編輯于2023年，星期一相關(guān)系數(shù)的演變公式或化簡為第十二頁，共六十五頁，編輯于2023年，星期一相關(guān)系數(shù)取值及其意義1、r

的取值范圍是[-1,1]2、|r|=1，為完全相關(guān)r=1，為完全正相關(guān)；r=-1，為完全負正相關(guān)3、r=0，不存在線性相關(guān)關(guān)系相關(guān)4、-1r<0，為負相關(guān);0<r1，為正相關(guān)5、|r|越趨于1表示關(guān)系越密切；|r|越趨于0表示關(guān)系越不密切-1.0+1.00-0.5+0.5無線性相關(guān)完全正相關(guān)負相關(guān)程度增加r正相關(guān)程度增加完全負相關(guān)第十三頁，共六十五頁，編輯于2023年，星期一1、雙胞胎身高間的相關(guān)系數(shù)是r=0.952、美國25—34歲男子收入與受教育程度r=0.34

美國55—64歲男子收入與受教育程度r=0.44生活中的相關(guān)：第十四頁，共六十五頁，編輯于2023年，星期一兩點注意1、r=0只表明不存在線性相關(guān)，而不能說明是否存在非線性相關(guān)（亦即：r=0時可能存在曲線相關(guān)）。2、r值僅表明兩變量相關(guān)程度，不表明因果關(guān)系。例：美國18—74歲男子身高與體重之間的相關(guān)系數(shù)約為0.54，以下說法正確的是：（1）較高的男子趨于較重（2）體重較重的男子趨于較高（3）體重與身高之間的相關(guān)系數(shù)為0.54（4）如果多吃一些從而增加體重，你的身材就會變高。第十五頁，共六十五頁，編輯于2023年，星期一

表：我國人均國民收入與人均消費金額數(shù)據(jù)單位:元年份人均國民收入x人均消費金額y年份人均國民收入人均消費金額1981198219831984198519861987393.8419.14460.86544.11668.29737.73859.972492672893294064515131988198919901991199219931068.81169.21250.71429.51725.92099.56436907138039471148相關(guān)系數(shù)算例例：在研究我國人均消費水平的問題中，把全國人均消費額記為y，把人均國民收入記為x。我們收集到1981～1993年的樣本數(shù)據(jù)(xi，yi)，i=1,2,…，13，數(shù)據(jù)見表，計算相關(guān)系數(shù)。第十六頁，共六十五頁，編輯于2023年，星期一根據(jù)樣本相關(guān)系數(shù)的計算公式有

人均國民收入與人均消費金額之間的相關(guān)系數(shù)為0.9987第十七頁，共六十五頁，編輯于2023年，星期一上面介紹的是簡單相關(guān)系數(shù)，其次還有復(fù)相關(guān)系數(shù)，偏相關(guān)系數(shù)和等級相關(guān)系數(shù)等。（偏相關(guān)系數(shù)與復(fù)相關(guān)系數(shù)見課本第115頁）等級相關(guān)系數(shù)有些變量無法用數(shù)量定大小，只能以等級排序。如才智高低、事態(tài)輕重、色澤深淺、效率大小、味道好壞等。斯皮爾曼等級相關(guān)系數(shù)第十八頁，共六十五頁，編輯于2023年，星期一例：確定學(xué)校名氣和畢業(yè)生表現(xiàn)業(yè)績之間是否存在相關(guān)聯(lián)？學(xué)校12345678910學(xué)校名氣10791623854畢業(yè)生表現(xiàn)排名83729451061差距(d)242-1-3-2-2-2-13差距平方(d2)41641944419第十九頁，共六十五頁，編輯于2023年，星期一四、相關(guān)系數(shù)的顯著性檢驗

樣本數(shù)據(jù)（r值）表明兩個變量存在相關(guān)關(guān)系，是否能說明總體變量也存在相關(guān)關(guān)系？檢驗步驟1、提出假設(shè)：H0：；H1：02、計算檢驗統(tǒng)計量3、確定顯著性水平，并作出決策若t>t，拒絕H0

若t<t，接受H0第二十頁，共六十五頁，編輯于2023年，星期一相關(guān)系數(shù)的顯著性檢驗

（實例）

對前例計算的相關(guān)系數(shù)進行顯著性檢(0.05)1、提出假設(shè)：H0：；H1：02、計算檢驗的統(tǒng)計量3、根據(jù)顯著性水平＝0.05，查t分布表得t(n-2)=2.201由于t=64.9809>t(13-2)=2.201，拒絕H0，人均消費金額與人均國民收入之間的相關(guān)關(guān)系顯著第二十一頁，共六十五頁，編輯于2023年，星期一第二節(jié)簡單回歸分析回歸分析的內(nèi)容回歸模型和回歸方程簡單線性回歸（一元線性回歸方程）的建立（擬合）線性回歸方程擬合優(yōu)度的測定回歸方程的顯著性檢驗回歸預(yù)測第二十二頁，共六十五頁，編輯于2023年，星期一回歸方法描述一個變量如何地依賴另一個變量。身高和體重；成績與努力程度；工作好壞與實力、機遇等“回歸”一詞來源于生物學(xué)。英國生物統(tǒng)計學(xué)家高爾頓根據(jù)1078對父子身高的散點圖發(fā)現(xiàn)，雖然身材高的父母比身材矮的父母傾向于有高的孩子，但平均而言，父母身材高的其子要矮些，而身材矮小的，其子要高些。這種遺傳上身高趨于一般，“退化到平庸”的現(xiàn)象，高爾頓稱作回歸。高爾頓的學(xué)生皮爾遜繼續(xù)研究，把回歸的概念和數(shù)學(xué)方法聯(lián)系起來，把代表現(xiàn)象之間一般數(shù)量關(guān)系的直線或曲線稱為回歸直線或回歸曲線。第二十三頁，共六十五頁，編輯于2023年，星期一回歸：借用的遺傳學(xué)概念，現(xiàn)指變量之間的一般數(shù)量關(guān)系?；貧w分析：用函數(shù)關(guān)系近似表達現(xiàn)象之間數(shù)量變化的一般規(guī)律。反映現(xiàn)象間相關(guān)關(guān)系數(shù)量變化規(guī)律的函數(shù)表達式稱為回歸模型或方程。回歸分析的特點兩個變量不是對等的，必須區(qū)分自變量和因變量回歸方程是用來由自變量的給定值來推算因變量數(shù)值的。自變量一般是給定的，因變量是隨機的?；貧w分析是相關(guān)分析的目的第二十四頁，共六十五頁，編輯于2023年，星期一回歸分析與相關(guān)分析的區(qū)別（見課本113頁）1、相關(guān)分析中，變量x

變量y處于平等的地位；回歸分析中，變量y稱為因變量（dependentvariable)，處在被解釋的地位，x稱為自變量（independentvariable)

，用于預(yù)測因變量的變化2、相關(guān)分析中所涉及的變量x和y都是隨機變量；回歸分析中，因變量y是隨機變量，自變量x

可以是隨機變量，也可以是非隨機的確定變量3、相關(guān)分析主要是描述兩個變量之間線性關(guān)系的密切程度；回歸分析不僅可以揭示變量x對變量y的影響大小，還可以由回歸方程進行預(yù)測和控制第二十五頁，共六十五頁，編輯于2023年，星期一一、回歸分析的內(nèi)容

1、簡單線性回歸方程的擬合。從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學(xué)關(guān)系式2、擬合優(yōu)度的測定及回歸方程的顯著性檢驗。對這些關(guān)系式的可信程度進行各種統(tǒng)計檢驗，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著3、回歸預(yù)測。利用所求的關(guān)系式，根據(jù)一個或幾個變量的取值來預(yù)測或控制另一個特定變量的取值，并給出這種預(yù)測或控制的精確程度第二十六頁，共六十五頁，編輯于2023年，星期一二、回歸模型和回歸方程一個自變量兩個及兩個以上自變量回歸模型多元回歸一元回歸線性回歸非線性回歸線性回歸非線性回歸回歸模型的類型第二十七頁，共六十五頁，編輯于2023年，星期一回歸模型1、回答“變量之間是什么樣的關(guān)系？”2、方程中運用1個數(shù)字的因變量(響應(yīng)變量)被預(yù)測的變量1個或多個數(shù)字的或分類的自變量(解釋變量)用于預(yù)測的變量3、主要用于預(yù)測和估計第二十八頁，共六十五頁，編輯于2023年，星期一一元線性回歸模型（概念要點）1、當(dāng)只涉及一個自變量時稱為一元回歸，若因變量y與自變量x之間為線性關(guān)系時稱為一元線性回歸2、對于具有線性關(guān)系的兩個變量，可以用一條線性方程來表示它們之間的關(guān)系3、描述因變量y如何依賴于自變量x和誤差項

的方程稱為回歸模型第二十九頁，共六十五頁，編輯于2023年，星期一一元線性回歸模型（概念要點）

對于只涉及一個自變量的簡單線性回歸模型可表示為

模型中，y是x的線性函數(shù)(部分)加上誤差項線性部分反映了由于x的變化而引起的y的變化誤差項

是隨機變量反映了除x和y之間的線性關(guān)系之外的隨機因素對y的影響是不能由x和y之間的線性關(guān)系所解釋的變異性0和1稱為模型的參數(shù)第三十頁，共六十五頁，編輯于2023年，星期一一元線性回歸模型（基本假定）1、誤差項ε是一個期望值為0的隨機變量，即E(ε)=0。對于一個給定的x值，y的期望值為

E(y)=a+bx2、對于所有的x值，ε的方差σ2都相同3、誤差項ε是一個服從正態(tài)分布的隨機變量，且相互獨立。即ε~N(0,σ2)獨立性意味著對于一個特定的x值，它所對應(yīng)的ε與其他x值所對應(yīng)的ε不相關(guān)對于一個特定的x值，它所對應(yīng)的y值與其他x所對應(yīng)的y值也不相關(guān)第三十一頁，共六十五頁，編輯于2023年，星期一回歸方程（概念要點）1、描述y的平均值或期望值如何依賴于x的方程稱為回歸方程2、簡單線性回歸方程的形式如下

E(y)=a+b

x方程的圖示是一條直線，因此也稱為直線回歸方程a是回歸直線在y軸上的截距，是當(dāng)x=0時y的期望值b是直線的斜率，稱為回歸系數(shù)，表示當(dāng)x每變動一個單位時，y的平均變動值第三十二頁，共六十五頁，編輯于2023年，星期一三、簡單線性回歸（一元線性回歸方程）的建立（擬合）一元回歸方程建立的前提條件1、r的絕對值大于0.62、有線性關(guān)系參數(shù)a

和b的最小二乘法估計第三十三頁，共六十五頁，編輯于2023年，星期一最小二乘法（圖示）xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)｝ei=yi-yi＾第三十四頁，共六十五頁，編輯于2023年，星期一最小二乘法（公式推導(dǎo)見課本359頁）

（

和

的計算公式）

根據(jù)最小二乘法的要求，可得求解和的標準方程如下第三十五頁，共六十五頁，編輯于2023年，星期一估計方程的求法（實例）

例：根據(jù)前例中的數(shù)據(jù)，配合人均消費金額對人均國民收入的回歸方程

根據(jù)求解公式得第三十六頁，共六十五頁，編輯于2023年，星期一估計方程

人均消費金額y對人均國民收入x的回歸方程為y=54.22286+0.52638x^第三十七頁，共六十五頁，編輯于2023年，星期一估計方程的求法

（Excel的輸出結(jié)果）第三十八頁，共六十五頁，編輯于2023年，星期一四、線性回歸方程擬合優(yōu)度的測定（判定系數(shù)、估計標準誤差）1、因變量y的取值是不同的，y取值的這種波動稱為變差。變差來源于兩個方面由于自變量x的取值不同造成的除x以外的其他因素(如x對y的非線性影響、測量誤差等)的影響2、對一個具體的觀測值來說，變差的大小可以通過該實際觀測值與其均值之差

來表示總變差的分解第三十九頁，共六十五頁，編輯于2023年，星期一離差平方和的分解（圖示）離差分解圖第四十頁，共六十五頁，編輯于2023年，星期一離差平方和的分解（三個平方和的關(guān)系）2、兩端平方后求和有1、從圖上看有SST=SSR+SSE總變差平方和（SST）{回歸平方和（SSR）{殘差平方和（SSE）{第四十一頁，共六十五頁，編輯于2023年，星期一變差平方和的分解

（三個平方和的意義）1、總平方和(SST)反映因變量的n個觀察值與其均值的總離差2、回歸平方和(SSR)反映自變量x的變化對因變量y取值變化的影響，或者說，是由于x與y之間的線性關(guān)系引起的y的取值變化，也稱為可解釋的平方和3、剩余平方和(SSE)反映除x以外的其他因素對y取值的影響，也稱為不可解釋的平方和第四十二頁，共六十五頁，編輯于2023年，星期一判定系數(shù)r21、反映回歸直線的擬合程度取值范圍在[0,1]之間

r21，說明回歸方程擬合的越好；r20，說明回歸方程擬合的越差判定系數(shù)等于相關(guān)系數(shù)的平方，即r2＝（r)2（證明見課本357頁第四十三頁，共六十五頁，編輯于2023年，星期一估計標準誤差Sy1、反映實際觀察值在回歸直線周圍的分散狀況2、從另一個角度說明了回歸直線的擬合程度3、Sy越小，回歸方程擬合得越好。第四十四頁，共六十五頁，編輯于2023年，星期一相關(guān)和回歸分析之間的聯(lián)系相關(guān)系數(shù)r和回歸系數(shù)b的關(guān)系相關(guān)系數(shù)r與估計標準誤差Sy的關(guān)系第四十五頁，共六十五頁，編輯于2023年，星期一應(yīng)用相關(guān)分析與回歸分析應(yīng)注意的問題1、定性分析與定量分析相結(jié)合2、注意客觀現(xiàn)象的數(shù)量界限3、注意社會經(jīng)濟現(xiàn)象的復(fù)雜性4、注意相關(guān)分析與回歸分析的辨證關(guān)系第四十六頁，共六十五頁，編輯于2023年，星期一五、回歸分析的顯著性檢驗

線性回歸方程的顯著性檢驗

回歸系數(shù)b的檢驗

相關(guān)系數(shù)的檢驗第四十七頁，共六十五頁，編輯于2023年，星期一在根據(jù)樣本數(shù)據(jù)擬合回歸方程時，我們首先假設(shè)變量x和y之間存在線性關(guān)系，但這種假設(shè)是否成立，需通過檢驗才能證實——回歸方程顯著性檢驗或線性關(guān)系的檢驗（F檢驗：檢驗自變量和因變量之間的線性關(guān)系是否顯著）通過最小二乘法得到的能否作為回歸方程中b的估計值？——回歸系數(shù)的檢驗（t檢驗：檢驗自變量x對因變量y的影響是否顯著）為什么要進行檢驗？如何進行檢驗？第四十八頁，共六十五頁，編輯于2023年，星期一回歸方程的顯著性檢驗

（線性關(guān)系的檢驗

）1、檢驗自變量和因變量之間的線性關(guān)系是否顯著2、具體方法是將回歸離差平方和(SSR)同剩余離差平方和(SSE)加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著如果是顯著的，兩個變量之間存在線性關(guān)系如果不顯著，兩個變量之間不存在線性關(guān)系第四十九頁，共六十五頁，編輯于2023年，星期一回歸方程的顯著性檢驗

（檢驗的步驟）1、提出假設(shè)H0：線性關(guān)系不顯著(方程不顯著）2、計算檢驗統(tǒng)計量F3、確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F4、作出決策：若FF,拒絕H0；若F<F,接受H0第五十頁，共六十五頁，編輯于2023年，星期一回歸方程的顯著性檢驗

（方差分析表）（續(xù)前例）Excel

輸出的方差分析表平方和均方第五十一頁，共六十五頁，編輯于2023年，星期一回歸系數(shù)的顯著性檢驗

2、在一元線性回歸中，等價于回歸方程的顯著性檢驗1、檢驗自變量x對因變量y的影響是否顯著第五十二頁，共六十五頁，編輯于2023年，星期一回歸系數(shù)的顯著性檢驗

（步驟）1、提出假設(shè)bH0:b

=0(沒有線性關(guān)系)H1:b

0(有線性關(guān)系)2、計算檢驗的統(tǒng)計量3、確定顯著性水平，并進行決策t>t，拒絕H0；t<t，接受H0第五十三頁，共六十五頁，編輯于2023年，星期一回歸系數(shù)的顯著性檢驗

(Excel輸出的結(jié)果）第五十四頁，共六十五頁，編輯于2023年，星期一一點注意在一元線性回歸中，F(xiàn)檢驗和t檢驗是等價的；但在多元線性回歸中，這兩種檢驗的意義是不同的。F檢驗是檢驗整個回歸關(guān)系的顯著性，而t檢驗則是檢驗回歸中各個系數(shù)的顯著性。第五十五頁，共六十五頁，編輯于2023年，星期一四、回歸預(yù)測回歸方程通過顯著性檢驗后，可以作回歸預(yù)測。給定一x0值，可根據(jù)回歸方程求得y0的估計值，現(xiàn)要按一定的概率推斷總體中相應(yīng)的因變量的可能數(shù)值。第五十六頁，共六十五頁，編輯于2023年，星期一第三節(jié)多元線性回歸多元線性回歸模型回歸參數(shù)的估計回歸方程的顯著性檢驗回歸系數(shù)的顯著性檢驗多元線性回歸的預(yù)測第五十七頁，共六十五頁，編輯于2023年，星期一多元線性回歸模型（概念要點）一個因變量與兩個及兩個以上自變量之間的回歸描述因變量y如何依賴于自變量x1

，x2

，…，

xp

和誤差項

的方程稱為多元線性回歸模型涉及p個自變量的多元線性回歸模型可表示為

b0

，b1，b2

，，bp是參數(shù)

是被稱為誤差項的隨機變量

y是x1,，x2

，，xp

的線性函數(shù)加上誤差項

說明了包含在y里面但不能被p個自變量的線性關(guān)系所解釋的變異性第五十八頁，共六十五頁，編輯于2023年，星期一多元線性回歸模型（概念要點）對于n組實際觀察數(shù)據(jù)(yi;xi1,，xi2

，，xip)，(i=1,2,…,n)，多元線性回歸模型可表示為y1

=b0+b1x11+b2x12

++

bpx1p

+e1y2=b0+b1x21

+b2x22

++

bpx2p

+e2

yn=b0+b1xn1

+b2xn2

++

bpxnp

+en{……第五十九頁，共六十五頁，編輯于2023年，星期一多元線性回歸模型（基本假定）1、自變量x1，x2，…，xp是確定性變量，不是隨機變量2、隨機誤差項ε的期望值為0，且方差σ2都相同3、誤差項ε是一個服從正態(tài)分布的隨機變量，即ε~N(0,σ2)，且相互獨立第六十頁，共六十五頁，編輯于2023年，星期一多元線性回歸方程（概念要點）1、描述y的平均值或期望值如何依賴于x1，x1

，…，xp的方程稱為多元線性回歸方