中職數(shù)學(xué)基礎(chǔ)模塊下冊(cè)《一元線性回歸》課件

線性回歸分析

雙變量模型1線性回歸分析

雙變量模型1回歸分析的含義

回歸分析是研究一個(gè)叫做因變量的變量對(duì)另一個(gè)或多個(gè)叫做解釋變量的變量的統(tǒng)計(jì)依賴關(guān)系。其用意在于，通過解釋變量的已知值或給定值去估計(jì)或預(yù)測(cè)因變量的總體均值。

雙變量回歸分析：只考慮一個(gè)解釋變量。（一元回歸分析，簡(jiǎn)單回歸分析）復(fù)回歸分析：考慮兩個(gè)以上解釋變量。（多元回歸分析）2回歸分析的含義回歸分析是研究一個(gè)叫做因變量的變量對(duì)另術(shù)語(yǔ)與符號(hào)自變量(independentvariable)解釋變量(explanatoryvariable)控制變量(controlvariable)預(yù)測(cè)變量(predictorvariable)回歸元(regressor)因變量(dependentvariable)被解釋變量(explainedvariable)響應(yīng)變量(responsevariable)被預(yù)測(cè)變量(predictedvariable)回歸子(regressand)XY3術(shù)語(yǔ)與符號(hào)自變量因變量XY3統(tǒng)計(jì)關(guān)系與確定性關(guān)系

統(tǒng)計(jì)（依賴）關(guān)系：非確定性的關(guān)系。在統(tǒng)計(jì)依賴關(guān)系中，主要處理的是隨機(jī)變量，也就是有著概率分布的變量。特別地，因變量的內(nèi)在隨機(jī)性是注定存在的。例如：農(nóng)作物收成對(duì)氣溫、降雨、陽(yáng)光以及施肥的依賴關(guān)系便是統(tǒng)計(jì)性質(zhì)的。

這些解釋變量固然重要，但是并不能使我們準(zhǔn)確地預(yù)測(cè)農(nóng)作物的收成。

確定性關(guān)系：函數(shù)關(guān)系。例如物理學(xué)中的各種定律。4統(tǒng)計(jì)關(guān)系與確定性關(guān)系統(tǒng)計(jì)（依賴）關(guān)系：非確定性的關(guān)系回歸與因果關(guān)系回歸分析研究因變量對(duì)于解釋變量的統(tǒng)計(jì)依賴關(guān)系，但并不一定意味著因果關(guān)系。一個(gè)統(tǒng)計(jì)關(guān)系式，不管多強(qiáng)和多么具有啟發(fā)性，都永遠(yuǎn)不能確立因果聯(lián)系。因果關(guān)系的確立必須來(lái)自于統(tǒng)計(jì)關(guān)系以外，最終來(lái)自于這種或那種理論（先驗(yàn)的或是理論上的）。5回歸與因果關(guān)系回歸分析研究因變量對(duì)于解釋變量的統(tǒng)計(jì)依賴關(guān)系，回歸分析與相關(guān)分析（一）相關(guān)分析：用相關(guān)系數(shù)測(cè)度變量之間的線性關(guān)聯(lián)程度。例如：測(cè)度統(tǒng)計(jì)學(xué)成績(jī)和高等數(shù)學(xué)成績(jī)的的相關(guān)系數(shù)。假設(shè)測(cè)得0.90，說(shuō)明兩者存在較強(qiáng)的線性相關(guān)?；貧w分析：感興趣的是，如何從給定的解釋變量去預(yù)測(cè)因變量的平均取值。例如：給定一個(gè)學(xué)生的高數(shù)成績(jī)?yōu)?0分，他的統(tǒng)計(jì)學(xué)成績(jī)平均來(lái)說(shuō)應(yīng)該是多少分。6回歸分析與相關(guān)分析（一）相關(guān)分析：用相關(guān)系數(shù)測(cè)度變量之間的線回歸分析與相關(guān)分析（二）在相關(guān)分析中，對(duì)稱地對(duì)待任何兩個(gè)變量，沒有因變量和解釋變量的區(qū)分。而且，兩個(gè)變量都被當(dāng)作隨機(jī)變量來(lái)處理。在回歸分析中，因變量和解釋變量的處理方法是不對(duì)稱的。因變量被當(dāng)作是統(tǒng)計(jì)的，隨機(jī)的。而解釋變量被當(dāng)作是（在重復(fù)抽樣中）取固定的數(shù)值，是非隨機(jī)的。

（把解釋變量假定為非隨機(jī)，主要是為了研究的便利，在高級(jí)計(jì)量經(jīng)濟(jì)學(xué)中，一般不需要這個(gè)假定。）7回歸分析與相關(guān)分析（二）在相關(guān)分析中，對(duì)稱地對(duì)待任何兩個(gè)變量雙變量回歸模型

（一元線性回歸模型）8雙變量回歸模型

（一元線性回歸模型）8雙變量回歸模型

（最簡(jiǎn)單的回歸模型）模型特點(diǎn)因變量（Y）僅依賴于唯一的一個(gè)解釋變量(X)?；貧w分析的內(nèi)容與目的1、通過樣本數(shù)據(jù)去估計(jì)出因變量與解釋變量的統(tǒng)計(jì)依賴關(guān)系式（總體回歸函數(shù)）；2、給定解釋變量的取值，去估計(jì)因變量的均值；3、假設(shè)檢驗(yàn)；4、根據(jù)樣本外解釋變量的取值，預(yù)測(cè)因變量的均值。9雙變量回歸模型

（最簡(jiǎn)單的回歸模型）模型特點(diǎn)9總體回歸函數(shù)

(Populationregressionfunction,PRF)

以函數(shù)形式（方程、模型）揭示出來(lái)的因變量與解釋變量的統(tǒng)計(jì)依賴關(guān)系式?；貧w分析的最終目的估計(jì)出總體回歸函數(shù)10總體回歸函數(shù)

(Populationregression估計(jì)總體回歸函數(shù)的首要任務(wù)設(shè)定總體回歸函數(shù)的合理形式11估計(jì)總體回歸函數(shù)的首要任務(wù)設(shè)定總體回歸函數(shù)的合理形式11假想例子對(duì)每周博彩支出和每周個(gè)人可支配收入作回歸分析。

因變量：每周博彩支出解釋變量：每周個(gè)人可支配收入12假想例子對(duì)每周博彩支出和每周個(gè)人可支配收入作回歸分析

在一個(gè)假想的經(jīng)濟(jì)社會(huì)中，共有100個(gè)人參與博彩。個(gè)人可支配收入分為10檔，每檔收入對(duì)應(yīng)的博彩支出有10種情況。例子說(shuō)明13在一個(gè)假想的經(jīng)濟(jì)社會(huì)中，共有100個(gè)人參與博彩。個(gè)人可支1414****************************************************************************************************150175200225250275300325350375每周個(gè)人可支配收入（X）總體回歸曲線每周個(gè)人博彩支出Y條件均值15150175200225250“線性”一詞的含義線性的含義對(duì)變量為線性對(duì)參數(shù)為線性

從現(xiàn)在起，線性回歸總是指對(duì)參數(shù)為線性的一種回歸，也即參數(shù)總是以它的一次方出現(xiàn)。對(duì)于解釋變量以什么方式進(jìn)入模型則沒有特別限制。16“線性”一詞的含義線性的含義從現(xiàn)在起，線性回歸總是指對(duì)********************（線性）總體回歸函數(shù)（曲線）XY相同的X對(duì)應(yīng)著不同的Y。Y的所有條件期望落在一條曲線上。該形式的總體回歸函數(shù)體現(xiàn)了因變量的條件均值與解釋變量的固定取值之間的確定關(guān)系。********************************************************************************17（線性）總體回歸函數(shù)（曲線）XY相同的X對(duì)應(yīng)著不同的Y。17總體回歸函數(shù)斜率度量了解釋變量X每變動(dòng)一個(gè)單位，因變量Y的條件均值變化多少個(gè)單位。

截距項(xiàng)度量了解釋變量為零時(shí)因變量的條件均值。一般來(lái)說(shuō)，不解釋其經(jīng)濟(jì)意義。該形式的總體回歸函數(shù)稱為

確定（非隨機(jī)）總體回歸函數(shù)18總體回歸函數(shù)斜率度量了解釋變量X每變動(dòng)一個(gè)單位，因變量Y的條********************XY雖然Y的所有條件期望都落在一條直線上，但是相同的X卻對(duì)應(yīng)著不同的Y?？傮w回歸函數(shù)的確定形式不能完全體現(xiàn)因變量的個(gè)別值與解釋變量的固定值之間的統(tǒng)計(jì)依賴關(guān)系。********************************************************************************19XY雖然Y的所有條件期望都落在一條直線上，但是相同的X卻對(duì)應(yīng)每周個(gè)人可支配收入（X）總體回歸函數(shù)(PRF)的隨機(jī)設(shè)定每周個(gè)人博彩支出收入Y隨機(jī)干擾項(xiàng)

(隨機(jī)誤差項(xiàng))20每周個(gè)人可支配收入（X）總體回歸函數(shù)(PRF)的隨機(jī)設(shè)定每總體回歸模型的隨機(jī)形式隨機(jī)總體回歸函數(shù)21總體回歸模型的隨機(jī)形式隨機(jī)總體回歸函數(shù)21引入隨機(jī)干擾項(xiàng)的意義1、理論的不完全性

與因變量相關(guān)的因素很多，隨機(jī)干擾項(xiàng)替代了未納入模型的全部變量。2、人類行為的內(nèi)在隨機(jī)性

隨機(jī)因素永遠(yuǎn)存在3、節(jié)省原則模型是現(xiàn)實(shí)的簡(jiǎn)化，若無(wú)充分理由，寧簡(jiǎn)勿繁。4、度量誤差22引入隨機(jī)干擾項(xiàng)的意義1、理論的不完全性22總體回歸函數(shù)23總體回歸函數(shù)23總體回歸函數(shù)的參數(shù)通常是永遠(yuǎn)不得而知的。

一則，實(shí)踐中不能獲得整個(gè)總體數(shù)據(jù)；

二則，收集所有總體數(shù)據(jù)會(huì)浪費(fèi)大量人力、財(cái)力，不經(jīng)濟(jì)。

通常，我們僅有來(lái)自總體的一個(gè)或少數(shù)幾個(gè)樣本。因此，總體回歸函數(shù)必須從已掌握的樣本數(shù)據(jù)去估計(jì)。24總體回歸函數(shù)的參數(shù)通常是永遠(yuǎn)不得而知的。

一樣本回歸函數(shù)（曲線）假設(shè)僅從總體中得到兩組樣本，樣本容量均為10，對(duì)應(yīng)每個(gè)X值均僅隨機(jī)抽取一個(gè)Y值。SRF1SRF2樣本1樣本2YX25樣本回歸函數(shù)（曲線）假設(shè)僅從總體中得到兩組樣本，樣本樣本回歸函數(shù)的特點(diǎn)由于抽樣的隨機(jī)性，樣本回歸函數(shù)與總體回歸函數(shù)總是不可避免存在差異。因此，樣本回歸函數(shù)過高或者過低估計(jì)總體回歸函數(shù)自然是不可避免的。可以說(shuō)，任何SRF都僅僅是PRF的近似或者是估計(jì)。26樣本回歸函數(shù)的特點(diǎn)由于抽樣的隨機(jī)性，樣本回歸函數(shù)與總體回歸函樣本和總體回歸曲線（函數(shù)）YX27樣本和總體回歸曲線（函數(shù)）YX27

既然樣本回歸函數(shù)只是總體回歸函數(shù)的一個(gè)近似，那么能不能設(shè)計(jì)一種規(guī)則或方法去構(gòu)造SRF，以使得這種近似是一種盡可能“接近”的近似呢？28既然樣本回歸函數(shù)只是總體回歸函數(shù)的一個(gè)近似，那么能不能設(shè)設(shè)定樣本回歸函數(shù)的形式樣本回歸函數(shù)的形式應(yīng)該與總體回歸函數(shù)一致。原因很簡(jiǎn)單，構(gòu)造樣本回歸函數(shù)是為了估計(jì)總體回歸函數(shù)，所以形式上應(yīng)該一致。對(duì)應(yīng)于總體回歸函數(shù)的兩種形式，樣本回歸函數(shù)也應(yīng)該有兩種形式。

1、確定樣本回歸函數(shù)

樣本回歸函數(shù)的非隨機(jī)形式

2、隨機(jī)樣本回歸函數(shù)

樣本回歸函數(shù)的隨機(jī)形式29設(shè)定樣本回歸函數(shù)的形式樣本回歸函數(shù)的形式應(yīng)該與總體回歸函數(shù)一樣本回歸函數(shù)的非隨機(jī)形式30樣本回歸函數(shù)的非隨機(jī)形式30樣本回歸函數(shù)的隨機(jī)形式31樣本回歸函數(shù)的隨機(jī)形式31樣本和總體回歸曲線（函數(shù)）YX32樣本和總體回歸曲線（函數(shù)）YX32樣本回歸函數(shù)形式

也就是說(shuō)，如何構(gòu)造SRF以使得盡可能接近真實(shí)的，盡可能接近真實(shí)的？

如何確定樣本回歸函數(shù)的參數(shù)？33樣本回歸函數(shù)形式也就是說(shuō)，如何構(gòu)造SRF以使得普通最小二乘法

Methodofordinaryleastsquares

(OLS)34普通最小二乘法

Methodofordinarylea樣本YX35樣本YX35樣本YX最小二乘原理：構(gòu)造合適的估計(jì)量，使得殘差平方和（residualsumofsquares,RSS）最小。36樣本YX最小二乘原理：構(gòu)造合適的估計(jì)量，使得殘差平方和（re樣本YX37樣本YX37最小二乘估計(jì)量的推導(dǎo)一階條件38最小二乘估計(jì)量的推導(dǎo)一階條件38解方程正規(guī)方程組慣例：小寫字母表示對(duì)均值的離差39解方程正規(guī)方程組慣例：小寫字母表示對(duì)均值的離差39最小二乘估計(jì)量的特點(diǎn)OLS估計(jì)量是可觀測(cè)樣本值的函數(shù)，因而容易計(jì)算。OLS估計(jì)量是點(diǎn)估計(jì)量。對(duì)于給定的樣本，只能獲得總體參數(shù)的一個(gè)估計(jì)值。一旦計(jì)算出OLS估計(jì)值，便容易畫出樣本回歸線。40最小二乘估計(jì)量的特點(diǎn)OLS估計(jì)量是可觀測(cè)樣本值的函數(shù)，因而容最小二乘估計(jì)量的數(shù)值性質(zhì)1、樣本回歸曲線經(jīng)過Y和X的樣本均值所決定的點(diǎn)。2、估計(jì)的Y的均值等于實(shí)測(cè)的Y的均值。3、殘差均值等于零。4、殘差和樣本X不相關(guān)。5、殘差和預(yù)測(cè)的Y值不相關(guān)。41最小二乘估計(jì)量的數(shù)值性質(zhì)1、樣本回歸曲線經(jīng)過Y和X的樣本均值單純的最小二乘估計(jì)量只能提供總體參數(shù)的一個(gè)點(diǎn)估計(jì)值，卻不能對(duì)總體參數(shù)做出任何統(tǒng)計(jì)推斷。要對(duì)總體參數(shù)從而對(duì)因變量做統(tǒng)計(jì)推斷，還需要對(duì)回歸模型進(jìn)行一系列詳細(xì)的假定。42單純的最小二乘估計(jì)量只能提供總體參數(shù)的一個(gè)點(diǎn)估43434444經(jīng)典線性回歸模型基本假定45經(jīng)典線性回歸模型基本假定45經(jīng)典線性回歸模型的基本假定

(又稱“古典、高斯或標(biāo)準(zhǔn)線性回歸模型”)

Classicallinearregressionmodel,CLRM46經(jīng)典線性回歸模型的基本假定

(又稱“古典、高斯或標(biāo)準(zhǔn)線性回歸此假定意味著，我們所進(jìn)行的回歸分析是條件回歸分析！47此假定意味著，我們所進(jìn)行的回歸分析是條件回歸分析！4748484949505051515252535354545555假定的總結(jié)假定的真實(shí)性假定的意義假定的檢驗(yàn)56假定的總結(jié)假定的真實(shí)性56經(jīng)典線性回歸模型基本假定之下

最小二乘估計(jì)量的統(tǒng)計(jì)性質(zhì)57經(jīng)典線性回歸模型基本假定之下

最小二乘估計(jì)量的統(tǒng)計(jì)性質(zhì)57最小二乘估計(jì)量的精度（標(biāo)準(zhǔn)差）58最小二乘估計(jì)量的精度（標(biāo)準(zhǔn)差）58影響回歸系數(shù)估計(jì)精度的因素（一）59影響回歸系數(shù)估計(jì)精度的因素（一）59影響回歸系數(shù)估計(jì)精度的因素（二）60影響回歸系數(shù)估計(jì)精度的因素（二）60最小二乘估計(jì)量的優(yōu)良性質(zhì)高斯—馬爾可夫定理

在經(jīng)典線性回歸模型的假定條件下，最小二乘估計(jì)量，在所有無(wú)偏線性估計(jì)量中，具有最小方差，也就是說(shuō)，它們是BLUE。最優(yōu)線性無(wú)偏估計(jì)量Bestlinearunbiasedestimator(BLUE)

同時(shí)滿足“線性”、“無(wú)偏”、“方差最小”三個(gè)優(yōu)良性質(zhì)的估計(jì)量

61最小二乘估計(jì)量的優(yōu)良性質(zhì)高斯—馬爾可夫定理最優(yōu)線性無(wú)偏估計(jì)量一、線性62一、線性626363二、無(wú)偏性64二、無(wú)偏性646565三、最小方差性66三、最小方差性66四、一致性一致性的一個(gè)充分條件：估計(jì)量無(wú)偏，而且隨著樣本容量趨于無(wú)窮，其方差趨于零。67四、一致性一致性的一個(gè)充分條件：67至此，雖然已經(jīng)在經(jīng)典線性回歸模型的基本假定之下推導(dǎo)出了最小二乘估計(jì)量的若干統(tǒng)計(jì)性質(zhì)，但疑問仍然存在！68至此，雖然已經(jīng)在經(jīng)典線性回歸模型的基本假定之下推導(dǎo)出了最小二6969經(jīng)典正態(tài)線性回歸模型在經(jīng)典線性回歸模型基本假定的基礎(chǔ)上增補(bǔ)正態(tài)假定隨機(jī)干擾項(xiàng)正態(tài)性假定的依據(jù)？

中心極限定理

獨(dú)立隨機(jī)變量，隨著變量個(gè)數(shù)的無(wú)限增加，其和的分布一般來(lái)說(shuō)近似服從正態(tài)分布。70經(jīng)典正態(tài)線性回歸模型在經(jīng)典線性回歸模型基本假定的基礎(chǔ)上增正態(tài)性假定下OLS估計(jì)量的概率分布71正態(tài)性假定下OLS估計(jì)量的概率分布7172727373自由度(df)

degreesoffreedom自由度取值的一般規(guī)律74自由度(df)

degreesoffreedom自由度取75757676知道了統(tǒng)計(jì)量的概率分布，從而可以很方便地進(jìn)行區(qū)間估計(jì)和假設(shè)檢驗(yàn)。77知道了統(tǒng)計(jì)量的概率分布，從而可以很方便地進(jìn)行區(qū)間估計(jì)和假回歸系數(shù)顯著性檢驗(yàn)（t檢驗(yàn)）一、設(shè)計(jì)檢驗(yàn)方案78回歸系數(shù)顯著性檢驗(yàn)（t檢驗(yàn)）一、設(shè)計(jì)檢驗(yàn)方案787979二、構(gòu)造檢驗(yàn)統(tǒng)計(jì)量（隨機(jī)變量）80二、構(gòu)造檢驗(yàn)統(tǒng)計(jì)量（隨機(jī)變量）80三、計(jì)算檢驗(yàn)統(tǒng)計(jì)值81三、計(jì)算檢驗(yàn)統(tǒng)計(jì)值81四、選擇一定的顯著性水平，根據(jù)檢驗(yàn)方案確定拒絕域和非拒絕域。五、察看檢驗(yàn)統(tǒng)計(jì)值落入哪個(gè)區(qū)域。如果落入拒絕域，那么表明在該顯著性水平下，檢驗(yàn)是統(tǒng)計(jì)上顯著的，說(shuō)明總體參數(shù)顯著異于假設(shè)值。六、也可以根據(jù)檢驗(yàn)方案直接計(jì)算出獲得該統(tǒng)計(jì)值的單側(cè)或雙側(cè)P值。如果該P(yáng)值小于給定的顯著性水平，那么拒絕原假設(shè)。陳述同上。82四、選擇一定的顯著性水平，根據(jù)檢驗(yàn)方案確定拒絕域和非拒絕域。例題做鐘表年代對(duì)鐘表價(jià)格的回歸分析，檢驗(yàn)鐘表年代對(duì)鐘表價(jià)格是否存在顯著影響。回歸結(jié)果如下：83例題做鐘表年代對(duì)鐘表價(jià)格的回歸分析，檢驗(yàn)鐘表年代對(duì)鐘表價(jià)檢驗(yàn)方案原假設(shè)：鐘表價(jià)格的總體回歸系數(shù)等于零（表明鐘表年代不影響鐘表價(jià)格）備選假設(shè)：鐘表價(jià)格的總體回歸系數(shù)不等于零（表明鐘表年代影響鐘表價(jià)格）84檢驗(yàn)方案84VariableCoefficientStd.Errort-StatisticProb.AGE10.485621.7937295.8457110.0000C-191.6662264.4393-0.7248020.474285VariableCoefficientStd.Errort86860P值檢驗(yàn)870P值檢驗(yàn)8788888989統(tǒng)計(jì)顯著統(tǒng)計(jì)不顯著90統(tǒng)計(jì)顯著統(tǒng)計(jì)不顯著90檢驗(yàn)結(jié)果陳述在0.01的顯