簡單線性回歸模型E課件

第14章簡單線性迴歸第14章簡單線性迴歸本章內(nèi)容14.1簡單線性迴歸模型14.2最小平方法14.3判定係數(shù)14.4模型假設(shè)14.5顯著性檢定14.6利用估計(jì)迴歸方程式進(jìn)行估計(jì)與預(yù)測14.7殘差分析：驗(yàn)證模型假設(shè)14.8殘差分析：離群值及具影響力的觀察值2本章內(nèi)容14.1簡單線性迴歸模型214.1簡單線性迴歸模型迴歸模型與迴歸方程式估計(jì)迴歸方程式3第14章簡單線性迴歸

第501-502頁14.1簡單線性迴歸模型迴歸模型與迴歸方程式3第14章簡單線性迴歸模型迴歸術(shù)語應(yīng)變數(shù)(dependentvariable)：想預(yù)測的變數(shù)。自變數(shù)(independentvariable)：用來預(yù)測應(yīng)變數(shù)數(shù)值的變數(shù)。例如在分析廣告費(fèi)用對銷售額的影響時，行銷經(jīng)理要預(yù)測的是銷售額，所以銷售額為應(yīng)變數(shù)；廣告費(fèi)用則是用來預(yù)測銷售額之自變數(shù)。以統(tǒng)計(jì)符號而言，y表示應(yīng)變數(shù)，而x表示自變數(shù)。4第14章簡單線性迴歸

第501頁簡單線性迴歸模型迴歸術(shù)語4第14章簡單線性迴歸第50簡單線性迴歸模型簡單線性迴歸：僅牽涉到單一自變數(shù)與單一應(yīng)變數(shù)，而且兩變數(shù)間的關(guān)係近似直線。這種類型稱為簡單線性迴歸(simplelinearregression)。複迴歸分析：牽涉兩個或以上自變數(shù)的迴歸分析稱為複迴歸分析(multipleregressionanalysis)

。5第14章簡單線性迴歸

第501頁簡單線性迴歸模型簡單線性迴歸：僅牽涉到單一自變數(shù)與單一應(yīng)變數(shù)描述y

與x

及誤差項(xiàng)之關(guān)係的方程式，稱為迴歸

模型(regressionmodel)

。簡單線性迴歸模型b0

及

b1為迴歸模型的參數(shù)(parameter)。?

則為一隨機(jī)變數(shù)，稱為誤差項(xiàng)。簡單線性迴歸模型y=b0+b1x+?6第14章簡單線性迴歸

第501頁描述y與x及誤差項(xiàng)之關(guān)係的方程式，稱為迴歸

模型(r簡單線性迴歸方程式簡單線性迴歸方程式的圖形是一條直線B0

為迴歸線的y

截距b1為斜率E(y)為對應(yīng)特定x

值之

y的期望值或平均數(shù)。簡單線性迴歸模型E(y)=0+1x7第14章簡單線性迴歸

第502頁簡單線性迴歸方程式簡單線性迴歸模型E(y)=0+簡單線性迴歸模型E(y)x斜率

b1為正迴歸線截距b0正線性關(guān)係8第14章簡單線性迴歸

第502頁簡單線性迴歸模型E(y)x斜率b1迴歸線截距正線性關(guān)係8第簡單線性迴歸模型負(fù)線性關(guān)係9E(y)x斜率

b1為負(fù)迴歸線截距b0第14章簡單線性迴歸

第502頁簡單線性迴歸模型負(fù)線性關(guān)係9E(y)x斜率b1迴歸線截距第無關(guān)係E(y)x斜率

b1為

0迴歸線截距b0簡單線性迴歸模型10第14章簡單線性迴歸

第502頁無關(guān)係E(y)x斜率b1迴歸線截距簡單線性迴歸模型10第1估計(jì)簡單線性迴歸方程式估計(jì)迴歸方程式的圖形被稱為估計(jì)迴歸線(estimatedregressionline)b0為y

截距b1為斜率是E(y)的點(diǎn)估計(jì)量11估計(jì)的簡單線性迴歸方程式第14章簡單線性迴歸

第503頁估計(jì)簡單線性迴歸方程式估計(jì)的簡單線性迴歸方程式第14章簡估計(jì)迴歸方程式12第14章簡單線性迴歸

第503頁估計(jì)迴歸方程式12第14章簡單線性迴歸第503頁評註不能將迴歸分析解釋為建立變數(shù)間因果關(guān)係的程序，它僅能指出變數(shù)間如何相關(guān)及其相關(guān)的程度。任何關(guān)於因果關(guān)係的結(jié)論，都必須根據(jù)最瞭解該相關(guān)應(yīng)用的人士的判斷而定。簡單線性迴歸的迴歸方程式是E(y)=β0

＋β1x。進(jìn)階的教科書在討論迴歸分析時常將迴歸方程式寫成E(y│x)=β0

＋β1x，以強(qiáng)調(diào)迴歸方程式是在已知特定x值下得到y(tǒng)的平均值。13第14章簡單線性迴歸

第503頁評註不能將迴歸分析解釋為建立變數(shù)間因果關(guān)係的程序，它僅能指出最小平方法(leastsquaresmethod)是利用樣本資料算出估計(jì)迴歸方程式的方法。最小平方法準(zhǔn)則其中yi=應(yīng)變數(shù)之第

i

個觀察值的實(shí)際值=應(yīng)變數(shù)之第

i個觀察值的估計(jì)值

14.2最小平方法

14第14章簡單線性迴歸

第504-505頁最小平方法(leastsquaresmethod)是估計(jì)迴歸方程式的斜率與y截距其中xi

=自變數(shù)的第

i個觀察值yi

=應(yīng)變數(shù)的第i個觀察值

=自變數(shù)的平均數(shù)

=應(yīng)變數(shù)的平均數(shù)n=觀察值的個數(shù)最小平方法15第14章簡單線性迴歸

第506頁估計(jì)迴歸方程式的斜率與y截距最小平方法15第14章簡最小平方法實(shí)例以亞曼披薩屋為例，說明最小平方法。假定資料來自10間鄰近大學(xué)校園的分店。對於樣本中第i個觀察值或第i間餐廳而言，xi為學(xué)生人數(shù)(單位：千人)；yi

為每季銷售額(單位：$1000)。10間餐廳之xi

與yi

值彙整於表14.1。我們可看到餐廳1之x1＝2且y1＝58；即其鄰近學(xué)生人數(shù)為2000人之校園且每季銷售額為$58,000。餐廳2之x2＝6且y2＝105，表示它鄰近學(xué)生人數(shù)為6000人之校園且每季銷售額為$105,000。銷售額最大的是餐廳10，其鄰近學(xué)生人數(shù)為26,000人之校園，每季銷售額為$202,000。16第14章簡單線性迴歸

第504頁最小平方法實(shí)例以亞曼披薩屋為例，說明最小平方法。假定資料來自最小平方法實(shí)例17第14章簡單線性迴歸

第504頁最小平方法實(shí)例17第14章簡單線性迴歸第504頁最小平方法實(shí)例圖14.3為表14.1之資料的散布圖，學(xué)生人數(shù)為橫軸，每季銷售額為縱軸。迴歸分析的散布圖(scatterdiagrams)

係將自變數(shù)x之值置於橫軸，應(yīng)變數(shù)y之值置於縱軸繪製而成。散布圖讓我們能由圖形來觀察資料，並得到變數(shù)間可能關(guān)係的初步結(jié)論?？拷鼘W(xué)生人數(shù)愈多之校園餐廳，每季銷售額似乎愈高。再者，由這些資料可發(fā)現(xiàn)學(xué)生人數(shù)與每季銷售額的關(guān)係近似直線；的確，x與y間似乎存在正向的直線關(guān)係。因此，我們選擇簡單線性迴歸模型來表示學(xué)生人數(shù)與每季銷售額的關(guān)係。這個選擇的接下來的任務(wù)即是利用表14.1的樣本資料來決定估計(jì)簡單線性迴歸方程式中b0和b1的值。18第14章簡單線性迴歸

第504頁最小平方法實(shí)例圖14.3為表14.1之資料的散布圖，最小平方法實(shí)例19第14章簡單線性迴歸

第505頁最小平方法實(shí)例19第14章簡單線性迴歸第505頁最小平方法實(shí)例對第i

間餐廳而言，估計(jì)迴歸方程式為

其中

＝第i

間餐廳每季銷售額的估計(jì)值($1000)

b0＝估計(jì)迴歸線之y

截距

b1＝估計(jì)迴歸線之斜率

xi＝第

i間餐廳鄰近校園的學(xué)生人數(shù)(千人)?以yi表示餐廳i

每季銷售額的觀察(實(shí)際)值，而以式(14.4)中之

表示餐廳

i銷售額的預(yù)測值，樣本中每間餐廳均有銷售額的實(shí)際觀察值yi與估計(jì)值

。為了使估計(jì)迴歸線能非常配適這些資料，我們希望銷售額的實(shí)際觀察值與預(yù)測值的差距是小的。20第14章簡單線性迴歸

第504-505頁最小平方法實(shí)例對第i間餐廳而言，估計(jì)迴歸方程式為

20最小平方法實(shí)例求算亞曼披薩屋的最小平方估計(jì)迴歸方程式時所需之部分計(jì)算列於表14.2。在此例子中，因有10間餐廳(觀察值)，故

n=10。我們先計(jì)算與。 計(jì)算亞曼披薩屋之估計(jì)迴歸方程式中的斜率與截距21第14章簡單線性迴歸

第506-507頁最小平方法實(shí)例求算亞曼披薩屋的最小平方估計(jì)迴歸方程式時所需之最小平方法實(shí)例22第14章簡單線性迴歸

第506頁最小平方法實(shí)例22第14章簡單線性迴歸第506頁最小平方法實(shí)例利用最小平方法得到的估計(jì)迴歸方程式為

圖14.4為此方程式的散布圖。估計(jì)迴歸方程式的斜率(b1＝5)為正，表示當(dāng)學(xué)生人數(shù)增加時，銷售額亦會增加。事實(shí)上，我們可得到結(jié)論是(銷售額單位為$1000，學(xué)生人數(shù)單位為千人)：學(xué)生人數(shù)每增加1000人，每季期望銷售額可提高$5000；換言之，我們預(yù)期每名學(xué)生可增加$5的銷售額。23第14章簡單線性迴歸

第507頁最小平方法實(shí)例利用最小平方法得到的估計(jì)迴歸方程式為

23第最小平方法實(shí)例24第14章簡單線性迴歸

第507頁最小平方法實(shí)例24第14章簡單線性迴歸第507頁最小平方法實(shí)例如果我們相信最小平方估計(jì)迴歸方程式能適當(dāng)?shù)孛枋鰔

與y

的關(guān)係，則利用估計(jì)迴歸方程式預(yù)估已知的x

值所對應(yīng)的y

值似乎是很合理的。例如，如果我們要預(yù)測鄰近學(xué)生人數(shù)為16,000人校園的餐廳的每季銷售額，可計(jì)算如下

因此，我們將預(yù)期此餐廳每季的銷售額為$140,000。25第14章簡單線性迴歸

第507-508頁最小平方法實(shí)例如果我們相信最小平方估計(jì)迴歸方程式能適當(dāng)?shù)孛枋鲈u註最小平方法提供可使應(yīng)變數(shù)之實(shí)際觀測值yi

與其估計(jì)值的差距平方和為最小之估計(jì)迴歸方程式，此最小平方準(zhǔn)則即是選擇可提供「最佳配適」(thebestfit)之方程式。若使用其他不同準(zhǔn)則，例如，使yi與之絕對差距的總和為最小，將得到不同方程式。實(shí)務(wù)上，最小平方法是最廣為使用的方法。26第14章簡單線性迴歸

第508頁評註最小平方法提供可使應(yīng)變數(shù)之實(shí)際觀測值yi與其估計(jì)值14.3判定係數(shù)相關(guān)係數(shù)27第14章簡單線性迴歸

第514頁14.3判定係數(shù)相關(guān)係數(shù)27第14章簡單線性迴歸第SST、SSR與SSE間的關(guān)係

其中SST=總平方和SSR=迴歸平方和SSE=誤差平方和14.3判定係數(shù)SST=SSR+SSE28第14章簡單線性迴歸

第514.515.516頁SST、SSR與SSE間的關(guān)係14.3判定係數(shù)SST我們?yōu)閬喡_屋的例子建立估計(jì)迴歸方程式

＝60＋5x

以近似學(xué)生人數(shù)x

與每季銷售額y之間的線性關(guān)係。接下來的問題是：此估計(jì)迴歸方程式與這些資料到底有多配適？表14.3是亞曼披薩屋的誤差平方和計(jì)算過程。例如，對餐廳1而言，自變數(shù)與應(yīng)變數(shù)之值各為x1=2和y1=58，利用估計(jì)迴歸方程式，我們發(fā)現(xiàn)餐廳1的估計(jì)銷售額是=60+5(2)=70。因此，對餐廳1而言，使用估計(jì)y1

而產(chǎn)生的誤差是y1－

=58－70=?12。誤差項(xiàng)的平方(?12)2=144列於表14.3的最後一欄。計(jì)算樣本中每一餐廳的殘差項(xiàng)並取平方後，加總得到SSE=1530。因此，SSE=1530可以用來衡量估計(jì)迴歸方程式=60+5x

預(yù)測銷售額時會發(fā)生的誤差。判定係數(shù)實(shí)例29第14章簡單線性迴歸

第514頁我們?yōu)閬喡_屋的例子建立估計(jì)迴歸方程式＝60＋5x判定係數(shù)實(shí)例30第14章簡單線性迴歸

第515頁判定係數(shù)實(shí)例30第14章簡單線性迴歸第515頁判定係數(shù)實(shí)例31第14章簡單線性迴歸

第515頁判定係數(shù)實(shí)例31第14章簡單線性迴歸第515頁判定係數(shù)實(shí)例32第14章簡單線性迴歸

第516頁判定係數(shù)實(shí)例32第14章簡單線性迴歸第516頁判定係數(shù)實(shí)例若已知其中兩個平方和，就可輕易求得第三個平方和。以亞曼披薩屋為例，已知SSE＝1530且SST＝15,730，因此求出式(14.11)中之SSR，可得迴歸平方和為

SSR＝SST－SSE＝15,730－1530＝14,200完美的配適(aperfectfit)：SSE=0最差的配適：SSR＝0且SSE＝SST時33第14章簡單線性迴歸

第516頁判定係數(shù)實(shí)例若已知其中兩個平方和，就可輕易求得第三個平方和。判定係數(shù)其中

SSR=迴歸平方和SST=總平方和r2=SSR/SST判定係數(shù)34第14章簡單線性迴歸

第517頁判定係數(shù)r2=SSR/SST判定係數(shù)34第14章簡單判定係數(shù)實(shí)例亞曼披薩屋之例子的判定係數(shù)為我們將判定係數(shù)以百分比表示時，r2可被解釋為總平方和中可由估計(jì)迴歸方程式解釋的百分比。就亞曼披薩屋的例子而言，我們可得到的結(jié)論是：以估計(jì)迴歸方程式＝60＋5x來預(yù)估銷售額時，可解釋總平方和的90.27%。換言之，每季銷售額之變異的90.27%，可由學(xué)生人數(shù)與銷售額間的線性關(guān)係來解釋。我們應(yīng)該很高興發(fā)現(xiàn)，估計(jì)迴歸方程式能有如此好的配適度。35第14章簡單線性迴歸

第517頁判定係數(shù)實(shí)例亞曼披薩屋之例子的判定係數(shù)為35第14章簡單樣本相關(guān)係數(shù)其中

b1=估計(jì)迴歸方程式之斜率若估計(jì)迴歸方程式為正斜率(b1＞0)，則樣本相關(guān)係數(shù)之符號亦為正；但當(dāng)估計(jì)迴歸方程式為負(fù)斜率時(b1＜0)，那麼樣本相關(guān)係數(shù)之符號則為負(fù)。36第14章簡單線性迴歸

第517頁樣本相關(guān)係數(shù)36第14章簡單線性迴歸第517頁樣本相關(guān)係數(shù)實(shí)例以亞曼披薩屋為例，估計(jì)迴歸方程式＝60＋5x的判定係數(shù)值為0.9027。既然估計(jì)迴歸方程式是正斜率，由式(14.13)可知樣本相關(guān)係數(shù)為＝＋0.9501。由於樣本相關(guān)係數(shù)rxy＝＋0.9501，所以我們可得到的結(jié)論是x

與

y間存在高度線性正相關(guān)。37第14章簡單線性迴歸

第517頁樣本相關(guān)係數(shù)實(shí)例以亞曼披薩屋為例，估計(jì)迴歸方程式＝評註在建立最小平方估計(jì)迴歸方程式與計(jì)算判定係數(shù)時，我們並未做任何對誤差項(xiàng)ε的機(jī)率假設(shè)，也沒有對x與y間關(guān)係的顯著性進(jìn)行統(tǒng)計(jì)檢定。r2

較大，只表示最小平方線與資料間的配適程度較高；也就是說觀察值較接近最小平方線。然而，僅使用r2，我們無法得到x與y間的關(guān)係是否具統(tǒng)計(jì)顯著性的結(jié)論。只能在考量樣本大小與最小平方估計(jì)量之近似抽樣分配的特性後，方可獲得上述結(jié)論。38第14章簡單線性迴歸

第518頁評註在建立最小平方估計(jì)迴歸方程式與計(jì)算判定係數(shù)時，我們並未做評註從實(shí)務(wù)的觀點(diǎn)而言，社會科學(xué)的典型資料，判定係數(shù)只要達(dá)0.25即被認(rèn)為是相當(dāng)有用的。但物理與生命科學(xué)之資料，?？砂l(fā)現(xiàn)0.60甚至更大的判定係數(shù)；事實(shí)上，有些案例的判定係數(shù)可能在0.90以上。在商業(yè)的運(yùn)用上，r2

差異甚大，端視每個應(yīng)用的特性而定。39第14章簡單線性迴歸

第518頁評註從實(shí)務(wù)的觀點(diǎn)而言，社會科學(xué)的典型資料，判定係數(shù)只要達(dá)0y=β0+β1x+?14.4模型假設(shè)40第14章簡單線性迴歸

第521頁14.4模型假設(shè)40第14章簡單線性迴歸第521頁誤差項(xiàng)?

為隨機(jī)變數(shù)，平均數(shù)或期望值為0；即E(?)=0。對所有x

值而言，?之變異數(shù)(表示為σ2)均相同。?值是互相獨(dú)立的。誤差項(xiàng)?

為常態(tài)分配的隨機(jī)變數(shù)。關(guān)於迴歸模型中誤差項(xiàng)?的相關(guān)假設(shè)第14章簡單線性迴歸

第521頁誤差項(xiàng)?為隨機(jī)變數(shù)，平均數(shù)或期望值為0；即E(?)關(guān)於迴歸模型中誤差項(xiàng)?

的相關(guān)假設(shè)涵義既然β0

與β1為常數(shù)，E(β0)=β0且E(β1)=β1；因此，對已知的x

值，y

之期望值為E(y)=β0

+β1x回歸線y

的變異數(shù)變異數(shù)等於σ2。而且對所有x值此值均相同。特定x

值之?

與其他x

值不相關(guān)的，因此特定x

值對應(yīng)之y

值亦與任何其他x

值對應(yīng)之

y

值無關(guān)。因y

為?

之線性函數(shù)，故對所有x

值而言，y

亦為來自常態(tài)分配的隨機(jī)變數(shù)。42第14章簡單線性迴歸

第521頁關(guān)於迴歸模型中誤差項(xiàng)?的相關(guān)假設(shè)涵義42第14章簡單模型假設(shè)43第14章簡單線性迴歸

第522頁模型假設(shè)43第14章簡單線性迴歸第522頁14.5顯著性檢定σ2

的估計(jì)值t檢定β1

的信賴區(qū)間F檢定解釋顯著性檢定時的注意事項(xiàng)44第14章簡單線性迴歸

第521-528頁14.5顯著性檢定σ2的估計(jì)值44第14章簡單線顯著性檢定為檢定是否存在顯著的迴歸關(guān)係，我們必須進(jìn)行

β1是否

為0的假設(shè)檢定。兩種普遍被使用的檢定：t

檢定與F檢定有兩種常用的檢定方法，都必須先估計(jì)迴歸模型中ε的

變異數(shù)

σ2。45第14章簡單線性迴歸

第521頁顯著性檢定為檢定是否存在顯著的迴歸關(guān)係，我們必須進(jìn)行β1是

σ2

的估計(jì)值MSE之值可做為σ2的估計(jì)值，所以亦記作符號

s2。誤差均方(σ2的估計(jì)值)其中46第14章簡單線性迴歸

第522頁σ2的估計(jì)值MSE之值可做為σ2的估計(jì)值，所以亦為了估計(jì)

σ，我們?nèi)2

的平方根所算出之s值稱為估計(jì)值的標(biāo)準(zhǔn)誤(standarderroroftheestimate)。估計(jì)值的標(biāo)準(zhǔn)誤

σ2

的估計(jì)值47第14章簡單線性迴歸

第523頁為了估計(jì)σ，我們?nèi)2的平方根σ2的估計(jì)值47第1b1的抽樣分配14.3節(jié)已算出亞曼披薩屋的SSE＝1530，因此

這是σ2的不偏估計(jì)值。48第14章簡單線性迴歸

第522-523頁b1的抽樣分配14.3節(jié)已算出亞曼披薩屋的SSE＝15期望值標(biāo)準(zhǔn)差分配形式：常態(tài)

b1的抽樣分配49第14章簡單線性迴歸

第523頁期望值b1的抽樣分配49第14章簡單線性迴歸第52b1的估計(jì)標(biāo)準(zhǔn)差

b1的抽樣分配50第14章簡單線性迴歸

第524頁b1的估計(jì)標(biāo)準(zhǔn)差b1的抽樣分配50第14章簡單線性假設(shè)檢定

檢定統(tǒng)計(jì)量t

檢定51第14章簡單線性迴歸

第524頁假設(shè)檢定t檢定51第14章簡單線性迴歸第524頁拒絕法則其中，tα/2係依自由度

n?2之t

分配求得。若t≤–tα/2

或若t≥tα/2，則拒絕H0t

檢定p

值法：臨界值法：若p

值≤

α，則拒絕H052第14章簡單線性迴歸

第524頁拒絕法則若t≤–tα/2或若t≥tα/2，tt

檢定實(shí)例假設(shè)亞曼披薩屋使用另外10家不同餐廳組成之樣本的銷售資料，此新樣本的迴歸分析得到新的估計(jì)迴歸方程式，類似先前的估計(jì)迴歸方程式＝60＋5x。然而，我們是否可得到完全相同的方程式(截距恰為60，斜率恰為5)則非常值得懷疑。事實(shí)上，最小平方估計(jì)量b0

與b1

是有自己抽樣分配的樣本統(tǒng)計(jì)量。以亞曼披薩屋為例，s＝13.829，因此利用表14.2的結(jié)果，可得：

做為b1的估計(jì)標(biāo)準(zhǔn)差。53第14章簡單線性迴歸

第523-524頁t檢定實(shí)例假設(shè)亞曼披薩屋使用另外10家不同餐廳組成之1.建立假設(shè)檢定2.界定顯著水準(zhǔn)3.選擇統(tǒng)計(jì)檢定量α

=0.014.宣告拒絕法則拒絕

H0

若p

值≤0.01或|t|>3.355(自由度為10–2=8)t

檢定實(shí)例54第14章簡單線性迴歸

第523-524頁1.建立假設(shè)檢定2.界定顯著水準(zhǔn)3.選擇統(tǒng)計(jì)檢定5.計(jì)算統(tǒng)計(jì)檢定量的值6.決定是否拒絕H0t

檢定實(shí)例t

值為3.355的右尾面積是0.005。因此，對應(yīng)於檢定統(tǒng)計(jì)量t＝8.62的右尾面積必小於0.005。由於此檢定為雙尾檢定，我們將此值加倍後，可得到結(jié)論為與t＝8.62相對應(yīng)的p值必小於2(0.005)＝0.01。Excel顯示p值是0.000。由於p值＜α

＝0.01，所以拒絕H0，結(jié)論是β1不等於0。統(tǒng)計(jì)證據(jù)已足夠讓我們得到以下的結(jié)論：學(xué)生人數(shù)與每季銷售額存在顯著的關(guān)係。55第14章簡單線性迴歸

第524頁5.計(jì)算統(tǒng)計(jì)檢定量的值6.決定是否拒絕H0t檢定β1的信賴區(qū)間我們可以以t

分配利用β1的95%信賴區(qū)間來檢定

假設(shè)檢定如果β1的檢定值並不在β1的信賴區(qū)間內(nèi)，則拒絕H056第14章簡單線性迴歸

第525頁β1的信賴區(qū)間我們可以以t分配利用β1的95%β1的信賴區(qū)間β1

的信賴區(qū)間的形式如下：信賴係數(shù)是1?α

，tα/2

是右尾面積為α/2的t

值，t

分配的自由度是n?2。b1是點(diǎn)估計(jì)量

是邊際誤差57第14章簡單線性迴歸

第525頁β1的信賴區(qū)間β1的信賴區(qū)間的形式如下：b1是β1的信賴區(qū)間實(shí)例例如，我們?nèi)粢獙喡_屋的β1的99%信賴區(qū)間。由附錄B的表2可知，對應(yīng)於α

＝0.01及n?2＝10?2＝8的自由度，t0.005＝3.355。因此，β1的99%信賴區(qū)間估計(jì)值是

或者是3.05到6.95。58第14章簡單線性迴歸

第525頁β1的信賴區(qū)間實(shí)例例如，我們?nèi)粢獙喡_屋的β1的β1的信賴區(qū)間實(shí)例在α

＝0.01的顯著水準(zhǔn)下，我們也可以用99%信賴區(qū)間對亞曼披薩屋的假設(shè)檢定提出結(jié)論。由於β1

的假設(shè)值為0，並不在信賴區(qū)間3.05到6.95之間，我們可以拒絕虛無假設(shè)H0，得到的結(jié)論是：學(xué)生人數(shù)與每季銷售額間的確有統(tǒng)計(jì)上的顯著關(guān)係。一般而言，信賴區(qū)間可以用來檢定任何有關(guān)β1

的雙尾檢定。如果β1

的假設(shè)值落在信賴區(qū)間，就不拒絕H0，否則就拒絕H0。59第14章簡單線性迴歸

第525頁β1的信賴區(qū)間實(shí)例在α＝0.01的顯著水準(zhǔn)下，我們也假設(shè)檢定統(tǒng)計(jì)檢定量F=MSR/MSEF

檢定60第14章簡單線性迴歸

第526頁假設(shè)檢定F=MSR/MSEF檢定60第14章簡單線拒絕法則其中，F(xiàn)α係依分子自由度為1，分母自由度為n－2的F

分配求得。F

檢定若F≥Fα，則拒絕H0p

值法：臨界值法：若p

值≤

α，則拒絕H061第14章簡單線性迴歸

第526頁拒絕法則F檢定若F≥Fα，則拒絕H0p值法：臨界F=MSR/MSE1.建立假設(shè)檢定2.界定顯著水準(zhǔn)3.選擇統(tǒng)計(jì)檢定量α

=0.014.宣告拒絕法則拒絕

H0

若p

值≤0.01或

F≥74.25

(自由度為10–2=8)F

檢定實(shí)例62第14章簡單線性迴歸

第525-526頁F=MSR/MSE1.建立假設(shè)檢定2.界定顯著水F=MSR/MSE=14,200/191.25=74.25F

檢定實(shí)例5.計(jì)算統(tǒng)計(jì)檢定量的值6.決定是否拒絕H0F＝74.25的右尾面積必然小於0.01。因此，我們亦可得到p

值必小於0.01的結(jié)論。Excel軟體顯示p

值＝0.000。因p

值小於α＝0.01，故拒絕H0且可得到以下結(jié)論：學(xué)生人數(shù)與每季銷售額間存在顯著關(guān)係。63第14章簡單線性迴歸

第525-526頁F=MSR/MSE=14,200/191.25=74F

檢定實(shí)例64第14章簡單線性迴歸

第527頁F檢定實(shí)例64第14章簡單線性迴歸第527頁F

檢定實(shí)例65第14章簡單線性迴歸

第527頁F檢定實(shí)例65第14章簡單線性迴歸第527頁拒絕虛無假設(shè)

H0：β1＝0

而得到x和y

之間存在顯著關(guān)係的結(jié)論，並不等於認(rèn)定x與y間有因果關(guān)係。只有分析人員可以根據(jù)某些理論上的證據(jù)來認(rèn)定關(guān)係具因果性時，才可確保因果關(guān)係的成立。僅因可拒絕H0：β1＝0並證明存在統(tǒng)計(jì)顯著性，並不能認(rèn)定x與y

有線性關(guān)係。我們僅能說x

與y

有相互關(guān)係，且在樣本中所觀察到的x

範(fàn)圍內(nèi)，線性關(guān)係解釋了大部分y

的變異。解釋顯著性檢定時的注意事項(xiàng)66第14章簡單線性迴歸

第527頁拒絕虛無假設(shè)H0：β1＝0而得到x和y之間存在顯解釋顯著性檢定時的注意事項(xiàng)67第14章簡單線性迴歸

第528頁解釋顯著性檢定時的注意事項(xiàng)67第14章簡單線性迴歸第誤差項(xiàng)的相關(guān)假設(shè)(14.4節(jié))是本節(jié)進(jìn)行顯著性檢定的必要假設(shè)。根據(jù)這些假設(shè)，我們才能得到b1之抽樣分配的特性與之後的t檢定與F檢定。不要將統(tǒng)計(jì)上的顯著性與實(shí)務(wù)上的顯著性混為一談。當(dāng)樣本數(shù)很大時，即使對很小的b1

值亦可能得到統(tǒng)計(jì)顯著的結(jié)果；我們在此情形下，必須小心判斷此關(guān)係是否具實(shí)務(wù)的顯著性。評註68第14章簡單線性迴歸

第528頁誤差項(xiàng)的相關(guān)假設(shè)(14.4節(jié))是本節(jié)進(jìn)行顯著性檢定的必我們也可以利用樣本相關(guān)係數(shù)rxy

來進(jìn)行x與y間線性關(guān)係的顯著性檢定。令ρxy

表示母體相關(guān)係數(shù)，則檢定的假設(shè)如下：H0：ρxy=0Ha：ρxy

≠0若拒絕H0，則結(jié)論是存在顯著關(guān)係。然而，本節(jié)介紹的t檢定和F檢定的結(jié)果，與利用相關(guān)係數(shù)進(jìn)行顯著性檢定的結(jié)果相同。因此，已進(jìn)行t檢定或F檢定時，就不需再利用相關(guān)係數(shù)進(jìn)行顯著性檢定。評註69第14章簡單線性迴歸

第528頁我們也可以利用樣本相關(guān)係數(shù)rxy來進(jìn)行x與y間線區(qū)間估計(jì)y的平均數(shù)之信賴區(qū)間個別y值的預(yù)測區(qū)間14.6利用估計(jì)迴歸方程式進(jìn)行

估計(jì)與預(yù)測70第14章簡單線性迴歸

第531-535頁區(qū)間估計(jì)14.6利用估計(jì)迴歸方程式進(jìn)行

估計(jì)與預(yù)測70第E(y*)的信賴區(qū)間yp的預(yù)測區(qū)間其中，信賴係數(shù)為1?α，且t/2係由自由度n?2的

t

分配查表而得。利用估計(jì)迴歸方程式進(jìn)行估計(jì)與預(yù)測71第14章簡單線性迴歸

第532.534頁E(y*)的信賴區(qū)間利用估計(jì)迴歸方程式進(jìn)行估計(jì)與預(yù)測71第在亞曼披薩屋的例子中，對x＝10

(即

10,000

個學(xué)生)預(yù)測此間餐廳的每季銷售額為

即$110,000。點(diǎn)估計(jì)實(shí)例72第14章簡單線性迴歸

第531頁在亞曼披薩屋的例子中，對x＝10(即10,000個學(xué)x*

＝自變數(shù)x的已知值y*

＝表示依變數(shù)y

的可能值的隨機(jī)變數(shù)，當(dāng)x=x*時E(y*)＝

依變數(shù)y

的平均數(shù)或期望值，當(dāng)x=x*時＝b0+b1x*

＝

E(y*)的點(diǎn)估計(jì)值，以及當(dāng)x=x*時y*的個別值之預(yù)測量E(yp)的信賴區(qū)間實(shí)例73第14章簡單線性迴歸

第531頁x*＝自變數(shù)x的已知值E(yp)的信賴區(qū)間實(shí)例73估計(jì)之變異數(shù)時的公式，記作標(biāo)準(zhǔn)差的估計(jì)值，公式如下E(yp)的信賴區(qū)間實(shí)例74第14章簡單線性迴歸

第532頁估計(jì)之變異數(shù)時的公式，記作E(yp)的信賴區(qū)間實(shí)求算學(xué)生人數(shù)

10,000

人之校園的所有亞曼披薩屋平均每季銷售額的

95%

信賴區(qū)間時，需要知道對應(yīng)於α/2＝0.025與自由度為n－2＝10－2＝8之值。查附錄B的表2，可得tα/2

＝2.306。以美元來表示為$110,000±$11,415。因此，當(dāng)學(xué)生人數(shù)是10,000人時，每季平均銷售額的信賴區(qū)間估計(jì)值為$98,585至$121,415。11011.415=$98.585至$121.415E(y*)的信賴區(qū)間實(shí)例75第14章簡單線性迴歸

第532頁求算學(xué)生人數(shù)10,000人之校園的所有亞曼披薩屋平均每季E(y*)的信賴區(qū)間實(shí)例76第14章簡單線性迴歸

第533頁E(y*)的信賴區(qū)間實(shí)例76第14章簡單線性迴歸第個別y值的預(yù)測區(qū)間估計(jì)實(shí)例77第14章簡單線性迴歸

第534頁個別y值的預(yù)測區(qū)間估計(jì)實(shí)例77第14章簡單線性迴歸利用t0.025＝2.306

與spred＝14.69，可求得鄰近

Talbot

學(xué)院之亞曼披薩屋的季銷售額的

95%預(yù)測區(qū)間以美元來表示，預(yù)測區(qū)間為$110,000±$33,875或$76,125至$143,875。注意：相較於鄰近學(xué)生人數(shù)10,000人之校園的所有餐廳平均季銷售額的信賴區(qū)間，鄰近Talbot學(xué)院的新餐廳的預(yù)測區(qū)間較寬。此差異反映的是，比起預(yù)測

y

的個別值，預(yù)測

y

之平均數(shù)會比較準(zhǔn)確。11033.875=76.125至143.875個別y值的預(yù)測區(qū)間估計(jì)實(shí)例78第14章簡單線性迴歸

第534頁利用t0.025＝2.306與spred＝14.69，預(yù)測區(qū)間用來預(yù)測對應(yīng)新的觀察值的應(yīng)變數(shù)y的值。如前述說明如何為鄰近有10,000名學(xué)生校園的亞曼新餐廳之季銷售額建立預(yù)測區(qū)間。x=10不在表14.1的亞曼餐廳樣本資料中，這並不意味著不能為樣本資料中的x值建立預(yù)測區(qū)間。但是，為表14.1的10間餐廳的任何一間建立季銷售額的預(yù)測區(qū)間是沒有意義的，因?yàn)槲覀円呀?jīng)知道這10家餐廳的真正銷售額。換言之，對某些新的，或以此例而言是對於不一定在樣本資料中的某特定x值的新觀察值而言，預(yù)測區(qū)間才有意義。評註79第14章簡單線性迴歸

第535頁預(yù)測區(qū)間用來預(yù)測對應(yīng)新的觀察值的應(yīng)變數(shù)y的值。如前述說明x的殘差圖

的殘差圖標(biāo)準(zhǔn)化殘差常態(tài)機(jī)率圖14.7殘差分析：驗(yàn)證模型假設(shè)80第14章簡單線性迴歸

第538-544頁x的殘差圖14.7殘差分析：驗(yàn)證模型假設(shè)80第14章殘差分析(residual

analysis)是判定假設(shè)之迴歸模型是否適當(dāng)?shù)闹饕ぞ摺Ｋ绻@些關(guān)於誤差項(xiàng)?

的假設(shè)有問題的話，有關(guān)迴歸關(guān)係顯著性的假設(shè)檢定與區(qū)間估計(jì)的結(jié)果就可能是無效的。殘差值提供有關(guān)?

的最佳訊息，因此殘差分析是決定的假設(shè)是否恰當(dāng)?shù)闹匾襟E。第i

個觀察值的殘差殘差分析大多以圖形檢查為基礎(chǔ)。殘差分析：驗(yàn)證模型假設(shè)81第14章簡單線性迴歸

第538頁殘差分析(residualanalysis)是判定假設(shè)殘差分析：驗(yàn)證模型假設(shè)關(guān)於誤差項(xiàng)?

的假設(shè)

E(?)＝0。?

之變異數(shù)，表示為σ2，對所有x

值均相同。?

值互相獨(dú)立。誤差項(xiàng)?

服從常態(tài)分配。82第14章簡單線性迴歸

第538頁殘差分析：驗(yàn)證模型假設(shè)關(guān)於誤差項(xiàng)?的假設(shè)82第14章殘差分析：驗(yàn)證模型假設(shè)83第14章簡單線性迴歸

第538頁殘差分析：驗(yàn)證模型假設(shè)83第14章簡單線性迴歸第53殘差分析：驗(yàn)證模型假設(shè)84第14章簡單線性迴歸

第539頁殘差分析：驗(yàn)證模型假設(shè)84第14章簡單線性迴歸第53對應(yīng)x值的殘差圖幾種殘差圖的形式，若對所有的x

值85?之變異數(shù)均相等的假設(shè)成立且此一迴歸模型可充分表達(dá)兩變數(shù)間的關(guān)係，則殘差圖應(yīng)呈現(xiàn)類似水平帶狀的圖形，如圖

14.12

中之圖

A。?的變異數(shù)並不完全相同，例如，當(dāng)

x

值較大時，對迴歸線的變異亦較大的話，將會看到類似圖

14.12

的圖

B，此時，?的變異數(shù)固定的假設(shè)並不成立。另一種可能的殘差圖如圖C所示，此時，可得結(jié)論為：所假設(shè)的模型並不適合表示變數(shù)間的關(guān)係。我們應(yīng)考慮曲線(curvilinear)迴歸模型或複迴歸模型。第14章簡單線性迴歸

第539頁對應(yīng)x值的殘差圖幾種殘差圖的形式，若對所有的x值85x0良好模式殘差對應(yīng)x

值的殘差圖(圖14.11(A))86第14章簡單線性迴歸

第540頁x0良好模式殘差對應(yīng)x值的殘差圖(圖14.11(A))x0殘差變異數(shù)不為常數(shù)對應(yīng)x

值的殘差圖(圖14.11(B))87第14章簡單線性迴歸

第540頁x0殘差變異數(shù)不為常數(shù)對應(yīng)x值的殘差圖(圖14.11(x0殘差迴歸模式不適當(dāng)對應(yīng)x

值的殘差圖(圖14.11(C))88第14章簡單線性迴歸

第540頁x0殘差迴歸模式不適當(dāng)對應(yīng)x值的殘差圖(圖14.11(對應(yīng)

x

值的殘差圖實(shí)例回到圖14.10亞曼披薩屋的殘差圖。這些殘差近似圖14.11中圖A之水平形式，因此我們可以得到的結(jié)論是：此殘差圖並未提供足以對亞曼披薩屋迴歸模型所做之假設(shè)產(chǎn)生質(zhì)疑的證據(jù)。因而，我們對於結(jié)論可以有信心，結(jié)論是：亞曼披薩屋的簡單線性迴歸模型是有效的。89第14章簡單線性迴歸

第539-540頁對應(yīng)x值的殘差圖實(shí)例回到圖14.10亞曼披薩屋的殘差另一種殘差圖的橫軸是應(yīng)變數(shù)的預(yù)測值，縱軸是殘差值。每個殘差值在圖形上以一個點(diǎn)來表示。。圖14.12是殘差圖。圖14.12的形式與對應(yīng)x的殘差圖相同。此形式讓我們不必質(zhì)疑模型假設(shè)的有效性。對簡單線性迴歸而言，對應(yīng)的殘差圖與對應(yīng)x的殘差圖提供相同訊息。對複迴歸分析而言，由於出現(xiàn)一個以上的自變數(shù)，所以我們較常使用對應(yīng)的殘差圖。對應(yīng)

值的殘差圖90第14章簡單線性迴歸

第541頁另一種殘差圖的橫軸是應(yīng)變數(shù)的預(yù)測值，縱軸是殘差值。每對應(yīng)值的殘差圖91第14章簡單線性迴歸

第541頁對應(yīng)值的殘差圖91第14章簡單線性迴歸第54標(biāo)準(zhǔn)化殘差大部分電腦軟體提供的殘差圖是使用標(biāo)準(zhǔn)化殘差。我們在前幾章談過，可以將隨機(jī)變數(shù)減去平均數(shù)再除以其標(biāo)準(zhǔn)差，即將隨機(jī)變數(shù)標(biāo)準(zhǔn)化。運(yùn)用最小平方法，殘差的平均值是0。因此，只要將每個殘差除以其標(biāo)準(zhǔn)差就可得到標(biāo)準(zhǔn)化殘差(standardizedresidual)。92第14章簡單線性迴歸

第541頁標(biāo)準(zhǔn)化殘差大部分電腦軟體提供的殘差圖是使用標(biāo)準(zhǔn)化殘差。我們在第i個殘差的標(biāo)準(zhǔn)差其中第i個觀察值的標(biāo)準(zhǔn)化殘差標(biāo)準(zhǔn)化殘差

s

=

估計(jì)值的標(biāo)準(zhǔn)誤93第14章簡單線性迴歸

第541-542頁第i個殘差的標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化殘差s=估計(jì)值的標(biāo)準(zhǔn)誤93標(biāo)準(zhǔn)化殘差94第14章簡單線性迴歸

第542頁標(biāo)準(zhǔn)化殘差94第14章簡單線性迴歸第542頁標(biāo)準(zhǔn)化殘差95第14章簡單線性迴歸

第543頁標(biāo)準(zhǔn)化殘差95第14章簡單線性迴歸第543頁常態(tài)機(jī)率圖另一個決定「誤差項(xiàng)是常態(tài)分配」的假設(shè)是否有效的方法為常態(tài)機(jī)率圖(normalprobabilityplot)

。為了說明如何繪製常態(tài)機(jī)率圖，我們先介紹常態(tài)分?jǐn)?shù)(normalscores)的概念。假定我們由平均數(shù)0、標(biāo)準(zhǔn)差1的常態(tài)機(jī)率分配中隨機(jī)抽取10個值，並將10個數(shù)由小到大排列，而且抽樣過程不斷重複。我們現(xiàn)在只考慮每組樣本中的最小值。表示重複抽樣過程中每組樣本的最小值的隨機(jī)變數(shù)稱一階統(tǒng)計(jì)量(first-orderstatistic)。96第14章簡單線性迴歸

第543頁常態(tài)機(jī)率圖另一個決定「誤差項(xiàng)是常態(tài)分配」的假設(shè)是否有效的方法常態(tài)機(jī)率圖統(tǒng)計(jì)學(xué)家已證明，對於來自標(biāo)準(zhǔn)常態(tài)機(jī)率分配，樣本大小為10的隨機(jī)樣本而言，一階統(tǒng)計(jì)量的期望值是?1.55。這個期望值稱為常態(tài)分?jǐn)?shù)。如果樣本大小為10，就有10階的統(tǒng)計(jì)量，以及10個常態(tài)分?jǐn)?shù)(見表14.9)。一般而言，如果資料集有n個觀察值，就有n階統(tǒng)計(jì)量及n個常態(tài)分?jǐn)?shù)。97第14章簡單線性迴歸

第543頁常態(tài)機(jī)率圖統(tǒng)計(jì)學(xué)家已證明，對於來自標(biāo)準(zhǔn)常態(tài)機(jī)率分配，樣本大小常態(tài)機(jī)率圖實(shí)例我們現(xiàn)在要說明，如何用10個常態(tài)分?jǐn)?shù)來決定亞曼披薩屋的標(biāo)準(zhǔn)化殘差是否來自標(biāo)準(zhǔn)常態(tài)機(jī)率分配。先將表14.8的10個標(biāo)準(zhǔn)化殘差排序，並將排序後的標(biāo)準(zhǔn)化殘差及常態(tài)分?jǐn)?shù)都列於表14.10。若常態(tài)分配的假設(shè)成立，最小的標(biāo)準(zhǔn)化殘差應(yīng)該很接近最小的常態(tài)分?jǐn)?shù)，次小的標(biāo)準(zhǔn)化殘差應(yīng)該很接近次小的常態(tài)分?jǐn)?shù)，依此類推。若以常態(tài)分?jǐn)?shù)為橫軸，對應(yīng)的標(biāo)準(zhǔn)化殘差為縱軸，在圖上以點(diǎn)表示，如果標(biāo)準(zhǔn)的亞曼披薩屋之常態(tài)分?jǐn)?shù)及排序後標(biāo)準(zhǔn)化殘差趨近常態(tài)分配時，資料點(diǎn)應(yīng)聚集在通過原點(diǎn)呈45度的直線附近。此圖形排序後稱為常態(tài)機(jī)率圖(normalprobabilityplot)。98第14章簡單線性迴歸

第543頁常態(tài)機(jī)率圖實(shí)例我們現(xiàn)在要說明，如何用10個常態(tài)分?jǐn)?shù)來決定常態(tài)機(jī)率圖實(shí)例99第14章簡單線性迴歸

第543頁常態(tài)機(jī)率圖實(shí)例99第14章簡單線性迴歸第543頁常態(tài)機(jī)率圖實(shí)例圖14.14是亞曼披薩屋的常態(tài)機(jī)率圖。我們要判斷圖形與45度線的偏差，是否足以讓我們認(rèn)為標(biāo)準(zhǔn)化殘差不是來自標(biāo)準(zhǔn)常態(tài)機(jī)率分配。圖14.14的點(diǎn)十分靠近45度線，因此我們的結(jié)論是「誤差項(xiàng)呈常態(tài)分配的假設(shè)」是合理的。通常，點(diǎn)愈靠近45度線，支持常態(tài)分配假設(shè)的證據(jù)就愈強(qiáng)。任何常態(tài)機(jī)率圖若呈現(xiàn)相當(dāng)程度的彎曲，即為殘差項(xiàng)不是常態(tài)分配的證據(jù)。利用Minitab之類的統(tǒng)計(jì)軟體可以輕易得到常態(tài)分?jǐn)?shù)與對應(yīng)的常態(tài)機(jī)率圖。100第14章簡單線性迴歸

第543-544頁常態(tài)機(jī)率圖實(shí)例圖14.14是亞曼披薩屋的常態(tài)機(jī)率圖。我們常態(tài)機(jī)率圖實(shí)例101第14章簡單線性迴歸

第544頁常態(tài)機(jī)率圖實(shí)例101第14章簡單線性迴歸第544頁評註我們用殘差及常態(tài)機(jī)率圖來驗(yàn)證迴歸模型的假設(shè)是否成立。如果檢驗(yàn)的結(jié)果顯示，有一個或更多的假設(shè)是有問題的，就應(yīng)該考慮使用另一個迴歸模型或者將資料的形式進(jìn)行轉(zhuǎn)換。迴歸模型的假設(shè)不成立時，該採取何種修正行動，需要分析人員的良好判斷，經(jīng)驗(yàn)豐富的統(tǒng)計(jì)人員的建議是很有價值的。殘差分析係統(tǒng)計(jì)學(xué)者用以驗(yàn)證迴歸模型之假設(shè)是否成立的最主要方法。即使在不違反任何假設(shè)之情形下，亦不意謂此模型就能做出良好的預(yù)測。不過，假如還有統(tǒng)計(jì)檢定能支持顯著關(guān)係存在的結(jié)論且判定係數(shù)很大，則可藉由此估計(jì)迴歸方程式做出良好的估計(jì)與預(yù)測。102第14章簡單線性迴歸

第544頁評註我們用殘差及常態(tài)機(jī)率圖來驗(yàn)證迴歸模型的假設(shè)是否成立。如果14.9殘差分析：離群值及具影響力的觀察值偵測離群值偵測具影響力的觀察值103第14章簡單線性迴歸

第546-548頁14.9殘差分析：離群值及具影響力的觀察值偵偵測離群值圖14.15是有一個離群值(outlier)

的資料集的散布圖。所謂離群值是指不符合其餘資料所表現(xiàn)的趨勢之資料點(diǎn)(觀察值)。離群值代表值得懷疑或須經(jīng)仔細(xì)檢查的觀察值。它可能是錯誤的資料，若是如此，此資料應(yīng)被更正。它們也可能意味著模型的假設(shè)不成立；若是如此，則應(yīng)考慮其他模型。最後，它們也可能僅是偶爾發(fā)生的不尋常值，在此情形下，則應(yīng)該被保留。104第14章簡單線性迴歸

第546頁偵測離群值圖14.15是有一個離群值(outlier)偵測離群值105第14章簡單線性迴歸

第546頁偵測離群值105第14章簡單線性迴歸第546頁偵測離群值實(shí)例為了說明偵測離群值的過程，我們考慮表14.11的資料集；圖14.16為資料集的散布圖。除了第四個觀察值(x4＝3,y4＝75)外，其餘資料明顯表現(xiàn)出負(fù)線性相關(guān)的形式。標(biāo)準(zhǔn)化殘差來偵測離群值。如果一個觀察值大幅偏離其他資料所呈現(xiàn)的圖形(如圖14.15的離群值)，則所對應(yīng)的標(biāo)準(zhǔn)化殘差的絕對值將很大。許多電腦軟體會自動標(biāo)示出標(biāo)準(zhǔn)化殘差的絕對值很大的觀察值。106第14章簡單線性迴歸

第546頁偵測離群值實(shí)例為了說明偵測離群值的過程，我們考慮表14.1偵測離群值實(shí)例107第14章簡單線性迴歸

第546頁偵測離群值實(shí)例107第14章簡單線性迴歸第546頁偵測離群值實(shí)例108第14章簡單線性迴歸

第547頁偵測離群值實(shí)例108第14章簡單線性迴歸第547頁偵測具影響力的觀察值圖14.17是簡單線性迴歸中有具影響力的觀察值(influentialobservation)

的例子。此估計(jì)迴歸線有負(fù)斜率。然而，若將資料集的具影響力的觀察值剔除，則估計(jì)迴歸線的斜率會由負(fù)為正，而且y截距會變小。很明顯地，對於決定估計(jì)迴歸線，此觀察值比起其他觀察值更具影響力。自變數(shù)若擁有極端觀察值時，稱為高槓桿點(diǎn)(highleveragepoints)。圖14.17的具影響力觀察值就是高槓桿點(diǎn)。109第14章簡單線性迴歸

第547頁偵測具影響力的觀察值圖14.17是簡單線性迴歸中有具影響偵測具影響力的觀察值110第14章簡單線性迴歸

第548頁偵測具影響力的觀察值110第14章簡單線性迴歸第54偵測具影響力的觀察值111第i

個觀察值的槓桿作用第14章簡單線性迴歸

第547頁111偵測具影響力的觀察值第i個觀察值的槓桿作用第14章簡偵測具影響力的觀察值實(shí)例圖14.18是表14.12資料集的散布圖，我們可發(fā)現(xiàn)第7個觀察值(x=70，y=100)具極端x值，因而我們預(yù)期它將被認(rèn)定為高槓桿點(diǎn)。112第14章簡單線性迴歸

第548頁偵測具影響力的觀察值實(shí)例圖14.18是表14.12資偵測具影響力的觀察值實(shí)例113第14章簡單線性迴歸

第548頁偵測具影響力的觀察值實(shí)例113第14章簡單線性迴歸第偵測具影響力的觀察值實(shí)例就此觀察值而言，使用式(14.33)可計(jì)算槓桿作用如下

114第14章簡單線性迴歸

第548頁偵測具影響力的觀察值實(shí)例就此觀察值而言，使用式(14.33評註一旦高殘差值或高槓桿作用使某個觀察值被認(rèn)定可能具有重大影響力，我們就該評估它對估計(jì)迴歸方程式的影響。進(jìn)階的教科書會討論如何進(jìn)行此種評估。然而，若不熟悉這些進(jìn)階方法，最簡單的程序乃是在剔除此觀察值前後，各進(jìn)行迴歸分析程序。雖然耗費(fèi)時間，但可看出此觀察值對結(jié)果的影響。

115第14章簡單線性迴歸

第548頁評註一旦高殘差值或高槓桿作用使某個觀察值被認(rèn)定可能具有重大影EndofChapter14116EndofChapter14116第14章簡單線性迴歸第14章簡單線性迴歸本章內(nèi)容14.1簡單線性迴歸模型14.2最小平方法14.3判定係數(shù)14.4模型假設(shè)14.5顯著性檢定14.6利用估計(jì)迴歸方程式進(jìn)行估計(jì)與預(yù)測14.7殘差分析：驗(yàn)證模型假設(shè)14.8殘差分析：離群值及具影響力的觀察值118本章內(nèi)容14.1簡單線性迴歸模型214.1簡單線性迴歸模型迴歸模型與迴歸方程式估計(jì)迴歸方程式119第14章簡單線性迴歸

第501-502頁14.1簡單線性迴歸模型迴歸模型與迴歸方程式3第14章簡單線性迴歸模型迴歸術(shù)語應(yīng)變數(shù)(dependentvariable)：想預(yù)測的變數(shù)。自變數(shù)(independentvariable)：用來預(yù)測應(yīng)變數(shù)數(shù)值的變數(shù)。例如在分析廣告費(fèi)用對銷售額的影響時，行銷經(jīng)理要預(yù)測的是銷售額，所以銷售額為應(yīng)變數(shù)；廣告費(fèi)用則是用來預(yù)測銷售額之自變數(shù)。以統(tǒng)計(jì)符號而言，y表示應(yīng)變數(shù)，而x表示自變數(shù)。120第14章簡單線性迴歸

第501頁簡單線性迴歸模型迴歸術(shù)語4第14章簡單線性迴歸第50簡單線性迴歸模型簡單線性迴歸：僅牽涉到單一自變數(shù)與單一應(yīng)變數(shù)，而且兩變數(shù)間的關(guān)係近似直線。這種類型稱為簡單線性迴歸(simplelinearregression)。複迴歸分析：牽涉兩個或以上自變數(shù)的迴歸分析稱為複迴歸分析(multipleregressionanalysis)

。121第14章簡單線性迴歸

第501頁簡單線性迴歸模型簡單線性迴歸：僅牽涉到單一自變數(shù)與單一應(yīng)變數(shù)描述y

與x

及誤差項(xiàng)之關(guān)係的方程式，稱為迴歸

模型(regressionmodel)

。簡單線性迴歸模型b0

及

b1為迴歸模型的參數(shù)(parameter)。?

則為一隨機(jī)變數(shù)，稱為誤差項(xiàng)。簡單線性迴歸模型y=b0+b1x+?122第14章簡單線性迴歸

第501頁描述y與x及誤差項(xiàng)之關(guān)係的方程式，稱為迴歸

模型(r簡單線性迴歸方程式簡單線性迴歸方程式的圖形是一條直線B0

為迴歸線的y

截距b1為斜率E(y)為對應(yīng)特定x

值之

y的期望值或平均數(shù)。簡單線性迴歸模型E(y)=0+1x123第14章簡單線性迴歸

第502頁簡單線性迴歸方程式簡單線性迴歸模型E(y)=0+簡單線性迴歸模型E(y)x斜率

b1為正迴歸線截距b0正線性關(guān)係124第14章簡單線性迴歸

第502頁簡單線性迴歸模型E(y)x斜率b1迴歸線截距正線性關(guān)係8第簡單線性迴歸模型負(fù)線性關(guān)係125E(y)x斜率

b1為負(fù)迴歸線截距b0第14章簡單線性迴歸

第502頁簡單線性迴歸模型負(fù)線性關(guān)係9E(y)x斜率b1迴歸線截距第無關(guān)係E(y)x斜率

b1為

0迴歸線截距b0簡單線性迴歸模型126第14章簡單線性迴歸

第502頁無關(guān)係E(y)x斜率b1迴歸線截距簡單線性迴歸模型10第1估計(jì)簡單線性迴歸方程式估計(jì)迴歸方程式的圖形被稱為估計(jì)迴歸線(estimatedregressionline)b0為y

截距b1為斜率是E(y)的點(diǎn)估計(jì)量127估計(jì)的簡單線性迴歸方程式第14章簡單線性迴歸

第503頁估計(jì)簡單線性迴歸方程式估計(jì)的簡單線性迴歸方程式第14章簡估計(jì)迴歸方程式128第14章簡單線性迴歸

第503頁估計(jì)迴歸方程式12第14章簡單線性迴歸第503頁評註不能將迴歸分析解釋為建立變數(shù)間因果關(guān)係的程序，它僅能指出變數(shù)間如何相關(guān)及其相關(guān)的程度。任何關(guān)於因果關(guān)係的結(jié)論，都必須根據(jù)最瞭解該相關(guān)應(yīng)用的人士的判斷而定。簡單線性迴歸的迴歸方程式是E(y)=β0

＋β1x。進(jìn)階的教科書在討論迴歸分析時常將迴歸方程式寫成E(y│x)=β0

＋β1x，以強(qiáng)調(diào)迴歸方程式是在已知特定x值下得到y(tǒng)的平均值。129第14章簡單線性迴歸

第503頁評註不能將迴歸分析解釋為建立變數(shù)間因果關(guān)係的程序，它僅能指出最小平方法(leastsquaresmethod)是利用樣本資料算出估計(jì)迴歸方程式的方法。最小平方法準(zhǔn)則其中yi=應(yīng)變數(shù)之第

i

個觀察值的實(shí)際值=應(yīng)變數(shù)之第

i個觀察值的估計(jì)值

14.2最小平方法

130第14章簡單線性迴歸

第504-505頁最小平方法(leastsquaresmethod)是估計(jì)迴歸方程式的斜率與y截距其中xi

=自變數(shù)的第

i個觀察值yi

=應(yīng)變數(shù)的第i個觀察值

=自變數(shù)的平均數(shù)

=應(yīng)變數(shù)的平均數(shù)n=觀察值的個數(shù)最小平方法131第14章簡單線性迴歸

第506頁估計(jì)迴歸方程式的斜率與y截距最小平方法15第14章簡最小平方法實(shí)例以亞曼披薩屋為例，說明最小平方法。假定資料來自10間鄰近大學(xué)校園的分店。對於樣本中第i個觀察值或第i間餐廳而言，xi為學(xué)生人數(shù)(單位：千人)；yi

為每季銷售額(單位：$1000)。10間餐廳之xi

與yi

值彙整於表14.1。我們可看到餐廳1之x1＝2且y1＝58；即其鄰近學(xué)生人數(shù)為2000人之校園且每季銷售額為$58,000。餐廳2之x2＝6且y2＝105，表示它鄰近學(xué)生人數(shù)為6000人之校園且每季銷售額為$105,000。銷售額最大的是餐廳10，其鄰近學(xué)生人數(shù)為26,000人之校園，每季銷售額為$202,000。132第14章簡單線性迴歸

第504頁最小平方法實(shí)例以亞曼披薩屋為例，說明最小平方法。假定資料來自最小平方法實(shí)例133第14章簡單線性迴歸

第504頁最小平方法實(shí)例17第14章簡單線性迴歸第504頁最小平方法實(shí)例圖14.3為表14.1之資料的散布圖，學(xué)生人數(shù)為橫軸，每季銷售額為縱軸。迴歸分析的散布圖(scatterdiagrams)

係將自變數(shù)x之值置於橫軸，應(yīng)變數(shù)y之值置於縱軸繪製而成。散布圖讓我們能由圖形來觀察資料，並得到變數(shù)間可能關(guān)係的初步結(jié)論。靠近學(xué)生人數(shù)愈多之校園餐廳，每季銷售額似乎愈高。再者，由這些資料可發(fā)現(xiàn)學(xué)生人數(shù)與每季銷售額的關(guān)係近似直線；的確，x與y間似乎存在正向的直線關(guān)係。因此，我們選擇簡單線性迴歸模型來表示學(xué)生人數(shù)與每季銷售額的關(guān)係。這個選擇的接下來的任務(wù)即是利用表14.1的樣本資料來決定估計(jì)簡單線性迴歸方程式中b0和b1的值。134第14章簡單線性迴歸

第504頁最小平方法實(shí)例圖14.3為表14.1之資料的散布圖，最小平方法實(shí)例135第14章簡單線性迴歸

第505頁最小平方法實(shí)例19第14章簡單線性迴歸第505頁最小平方法實(shí)例對第i

間餐廳而言，估計(jì)迴歸方程式為

其中

＝第i

間餐廳每季銷售額的估計(jì)值($1000)

b0＝估計(jì)迴歸線之y

截距

b1＝估計(jì)迴歸線之斜率

xi＝第

i間餐廳鄰近校園的學(xué)生人數(shù)(千人)?以yi表示餐廳i

每季銷售額的觀察(實(shí)際)值，而以式(14.4)中之

表示餐廳

i銷售額的預(yù)測值，樣本中每間餐廳均有銷售額的實(shí)際觀察值yi與估計(jì)值

。為了使估計(jì)迴歸線能非常配適這些資料，我們希望銷售額的實(shí)際觀察值與預(yù)測值的差距是小的。136第14章簡單線性迴歸

第504-505頁最小平方法實(shí)例對第i間餐廳而言，估計(jì)迴歸方程式為

20最小平方法實(shí)例求算亞曼披薩屋的最小平方估計(jì)迴歸方程式時所需之部分計(jì)算列於表14.2。在此例子中，因有10間餐廳(觀察值)，故

n=10。我們先計(jì)算與。 計(jì)算亞曼披薩屋之估計(jì)迴歸方程式中的斜率與截距137第14章簡單線性迴歸

第506-507頁最小平方法實(shí)例求算亞曼披薩屋的最小平方估計(jì)迴歸方程式時所需之最小平方法實(shí)例138第14章簡單線性迴歸

第506頁最小平方法實(shí)例22第14章簡單線性迴歸第506頁最小平方法實(shí)例利用最小平方法得到的估計(jì)迴歸方程式為

圖14.4為此方程式的散布圖。估計(jì)迴歸方程式的斜率(b1＝5)為正，表示當(dāng)學(xué)生人數(shù)增加時，銷售額亦會增加。事實(shí)上，我們可得到結(jié)論是(銷售額單位為$1000，學(xué)生人數(shù)單位為千人)：學(xué)生人數(shù)每增加1000人，每季期望銷售額可提高$5000；換言之，我們預(yù)期每名學(xué)生可增加$5的銷售額。139第14章簡單線性迴歸

第507頁最小平方法實(shí)例利用最小平方法得到的估計(jì)迴歸方程式為

23第最小平方法實(shí)例140第14章簡單線性迴歸

第507頁最小平方法實(shí)例24第14章簡單線性迴歸第507頁最小平方法實(shí)例如果我們相信最小平方估計(jì)迴歸方程式能適當(dāng)?shù)孛枋鰔

與y

的關(guān)係，則利用估計(jì)迴歸方程式預(yù)估已知的x

值所對應(yīng)的y

值似乎是很合理的。例如，如果我們要預(yù)測鄰近學(xué)生人數(shù)為16,000人校園的餐廳的每季銷售額，可計(jì)算如下

因此，我們將預(yù)期此餐廳每季的銷售額為$140,000。141第14章簡單線性迴歸

第507-508頁最小平方法實(shí)例如果我們相信最小平方估計(jì)迴歸方程式能適當(dāng)?shù)孛枋鲈u註最小平方法提供可使應(yīng)變數(shù)之實(shí)際觀測值yi

與其估計(jì)值的差距平方和為最小之估計(jì)迴歸方程式，此最小平方準(zhǔn)則即是選擇可提供「最佳配適」(thebestfit)之方程式。若使用其他不同準(zhǔn)則，例如，使yi與之絕對差距的總和為最小，將得到不同方程式。實(shí)務(wù)上，最小平方法是最廣為使用的方法。142第14章簡單線性迴歸

第508頁評註最小平方法提供可使應(yīng)變數(shù)之實(shí)際觀測值yi與其估計(jì)值14.3判定係數(shù)相關(guān)係數(shù)143第14章簡單線性迴歸

第514頁14.3判定係數(shù)相關(guān)係數(shù)27第14章簡單線性迴歸第SST、SSR與SSE間的關(guān)係

其中SST=總平方和SSR=迴歸平方和SSE=誤差平方和14.3判定係數(shù)SST=SSR+SSE144第14章簡單線性迴歸

第514.515.516頁SST、SSR與SSE間的關(guān)係14.3判定係數(shù)SST我們?yōu)閬喡_屋的例子建立估計(jì)迴歸方程式

＝60＋5x

以近似學(xué)生人數(shù)x

與每季銷售額y之間的線性關(guān)係。接下來的問題是：此估計(jì)迴歸方程式與這些資料到底有多配適？表14.3是亞曼披薩屋的誤差平方和計(jì)算過程。例如，對餐廳1而言，自變數(shù)與應(yīng)變數(shù)之值各為x1=2和y1=58，利用估計(jì)迴歸方程式，我們發(fā)現(xiàn)餐廳1的估計(jì)銷售額是=60+5(2)=70。因此，對餐廳1而言，使用估計(jì)y1

而產(chǎn)生的誤差是y1－

=58－70=?12。誤差項(xiàng)的平方(?12)2=144列於表14.3的最後一欄。計(jì)算樣本中每一餐廳的殘差項(xiàng)並取平方後，加總得到SSE=1530。因此，SSE=1530可以用來衡量估計(jì)迴歸方程式=60+5x

預(yù)測銷售額時會發(fā)生的誤差。判定係數(shù)實(shí)例145第14章簡單線性迴歸

第514頁我們?yōu)閬喡_屋的例子建立估計(jì)迴歸方程式＝60＋5x判定係數(shù)實(shí)例146第14章簡單線性迴歸

第515頁判定係數(shù)實(shí)例30第14章簡單線性迴歸第515頁判定係數(shù)實(shí)例147第14章簡單線性迴歸

第515頁判定係數(shù)實(shí)例31第14章簡單線性迴歸第515頁判定係數(shù)實(shí)例148第14章簡單線性迴歸

第516頁判定係數(shù)實(shí)例32第14章簡單線性迴歸第516頁判定係數(shù)實(shí)例若已知其中兩個平方和，就可輕易求得第三個平方和。以亞曼披薩屋為例，已知SSE＝1530且SST＝15,730，因此求出式(14.11)中之SSR，可得迴歸平方和為

SSR＝SST－SSE＝15,730－1530＝14,200完美的配適(aperfectfit)：SSE=0最差的配適：SSR＝0且SSE＝