第八章 曲線擬合、回歸和相關(guān)

1、曲線擬合、回歸和相關(guān)曲線擬合、回歸和相關(guān)曲線擬合曲線擬合實踐中尋求兩個(或多個)變量間存在的關(guān)系，擬合給定數(shù)據(jù)用以確定變量間的近似曲線方程，此過程叫曲線擬合。回歸回歸曲線擬合的主要目的之一是從一個變量(獨立變量)估計另一個變量(相依變量)，估計的過程常牽涉到回歸。如果按某個方程的意義從x估計y，我們稱該方程為y關(guān)于x的回歸方程。對應(yīng)的曲線稱為y關(guān)于x的回歸曲線。最小二乘法最小二乘法若在近似n個數(shù)據(jù)點的集合時，對一給定的曲線族的全部曲線，其中有一條曲線的性質(zhì):達(dá)最小值，則稱該曲線為給定曲線族中的最佳擬合曲線。有這樣性質(zhì)的一條曲線稱為在最小二乘意義上對數(shù)據(jù)的擬合，該曲線稱為最小二乘回歸曲線2222

2、1.nddd最小二乘直線最小二乘直線數(shù)據(jù)點集(x1,y1),(xn,yn)最小二乘直線方程 y=a+bx將所有點代入直線方程后相加，我們得到 y=an+bx(或 )以及 xy=ax+bx2這兩個方程稱為最小二乘的正規(guī)方程。由上面的方程組我們可以達(dá)到a,b分別為：xbay222222)()(,)(,)(xxyyxxbbxxnyxxynbxxnxyxxya也可以寫成其中我們還可以得到：從上式我們可以看到最小二乘直線通過點 ，此點稱為此批數(shù)據(jù)的重心。顯然斜率b與坐標(biāo)原點無關(guān)，所以我們可以通過適當(dāng)?shù)淖鴺?biāo)變換來減少求最小二乘直線的工作量。)(xxbyy),(yx用樣本方差和協(xié)方差表示的最小二乘直線用樣本

3、方差和協(xié)方差表示的最小二乘直線x和y的樣本方差和協(xié)方差給定為用這些項，y關(guān)于x或x關(guān)于y的最小二乘回歸直線分別寫成因為相關(guān)系數(shù)nyyxxsnyysnxxsxyyx)(,)(,)(2222)()(22yyssxxxxssyyyxyxxy和yxxysssr 所以我們可以得到事實上，以上就是x,y的標(biāo)準(zhǔn)化樣本值。我們可以看到僅當(dāng) r=1時，上面兩式才是表示同一直線，而且全部樣本點都處與這條直線上，因此存在完全線性的相關(guān)和回歸。)()(yxxysyyrsxxsxxrsyy和最小二乘拋物線最小二乘拋物線從最小二乘直線推廣到最小二乘拋物線： y=a+bx+cx2其中a,b,c由下列正規(guī)方程確定： y=na

4、+bx+cx2 xy=ax+bx2+cx3 x2y=ax2+bx3+cx4多元回歸多元回歸上面的概念也可以推廣到更多變量。例如 z=a+bx+cy那么確定a,b,c的方程組為 z=na+bx+cy xz=ax+bx2+cxy yz=ay+bxy+cy2估計的標(biāo)準(zhǔn)誤差估計的標(biāo)準(zhǔn)誤差Y關(guān)于x回歸曲線離散程度的一個度量這個量稱為y關(guān)于x的估計的標(biāo)準(zhǔn)誤差。由于 ，我們可以看到最小二乘曲線在全部可能的回歸曲線中有最小的估計的標(biāo)準(zhǔn)誤差。nyysestxy2.)(22)(dyyest在最小二乘直線中對最小二乘直線也能用方差和相關(guān)系數(shù)表示nyyxxbyysnxybyaysxyxy)()(2.22.或)1 (2

5、22.rssyxy正如存在一個總體方差的無偏估計一樣，有一個估計的理論標(biāo)準(zhǔn)誤差的平方的無偏估計，有) 1/(22nnss)2/(2.2.nnssxyxy線性相關(guān)系數(shù)線性相關(guān)系數(shù)為了考察相關(guān)系數(shù)的統(tǒng)計意義 我們也能顯示式子的左邊為總變差，右邊的第一項為不可解釋的變差(是隨機的或不可預(yù)見的方式引起的)，第二項為可解釋變差(可以由最小二乘回歸線得到解釋)，所以我們可以得到所以，相關(guān)系數(shù)可解釋稱總變差中可用最小二乘回歸直線解釋的部分。換句話說，r度量了最小二乘回歸直線擬合樣本數(shù)據(jù)是如何地好。如果r2=1，我們說有純線性相關(guān)。如果r=0，則總變差完全不可解釋。222)()(1yyyyrest222)()

6、()(yyyyyyestest總變差可解釋的變差222)()(yyyyrest廣義相關(guān)系數(shù)廣義相關(guān)系數(shù)廣義相關(guān)系數(shù)定義：我們使用此定義可獲得非線性相關(guān)系數(shù)。由于相關(guān)系數(shù)僅是度量一個給定的回歸曲線(曲面)是否較好地擬合了樣本數(shù)據(jù)。所以，當(dāng)樣本是非線性的，如果我們得到線性相關(guān)系數(shù)很小，這并不表明僅有一點相關(guān)性，而是僅有一點線性相關(guān)?？傋儾羁山忉尩淖儾?22)()(yyyyrest回歸的概率解釋回歸的概率解釋從同一總體抽取不同的樣本作擬合，我們會得到不同的回歸曲線。給定兩個隨機變量X和Y的聯(lián)合密度函數(shù)和概率函數(shù)。如果使EY-g(X)2=最小值的y=g(x)曲線稱為Y關(guān)于X的最小二乘回歸曲線有如下定理

7、：定理一：y=g(x)=E(Y|X=x)滿足EY-g(X)2=最小值，所以它是Y關(guān)于X的最小二乘曲線。定理二：如果X和Y是具有二元正態(tài)分布的隨機變量，那么Y關(guān)于X的最小二乘回歸曲線是一條回歸直線，為前面對樣本的最小二乘回歸的敘述容易推廣到總體上。例如，總體情況下的估計的標(biāo)準(zhǔn)誤差用方差和相關(guān)系數(shù)項給定為YXXYXXYYxy這里)()1 (222.YXY相關(guān)的概率解釋相關(guān)的概率解釋總體相關(guān)系數(shù)提供了給定的總體回歸曲線是否較好地擬合了總體數(shù)據(jù)地一種度量。前面關(guān)于樣本間相關(guān)的各種敘述均可以很好地用到總體上。)()(222YYEYYEest總變差可解釋的變差回歸的抽樣理論回歸的抽樣理論樣本回歸方程y=a

8、+bx，而總體的回歸方程y=+x。下面是與正態(tài)分布有關(guān)的一些檢驗：1 假設(shè)=c的檢驗為了檢驗假設(shè)：回歸系數(shù)等于某一特定值c，使用統(tǒng)計量它具有n-2自由度的t分布。此結(jié)論也可用于從樣本值求總體回歸系數(shù)的置信區(qū)間2/.nssbtxxy2 預(yù)報值的假設(shè)檢驗設(shè)y0是x=x0時y的預(yù)報值，它是從樣本回歸方程得到的估計，即y0=a+bx0。設(shè)yp記對總體而言對應(yīng)x=x0的y的預(yù)報值，那么統(tǒng)計量有n-2個自由度的t分布。由此能求得預(yù)報得總體值得置信限/)(12)(220.0 xxypsxxnnsnyyt2 預(yù)報的平均值的假設(shè)檢驗設(shè)y0是x=x0時y的預(yù)報值，它是從樣本回歸方程得到的估計，即y0=a+bx0。

9、設(shè) 記對總體而言對應(yīng)x=x0的y的預(yù)報平均值，那么統(tǒng)計量有n-2個自由度的t分布。由此能求得預(yù)報的平均總體值的置信限/)(12)(220.0 xxypsxxsnyytpy相關(guān)的抽樣理論相關(guān)的抽樣理論我們經(jīng)常要從樣本的相關(guān)系數(shù)r估計總體的相關(guān)系數(shù)，或者檢驗有關(guān)的假設(shè)。為此我們必須知道r的抽樣分布。在0的情況，這個對稱是對稱的，且有一個具有t分布的統(tǒng)計量可以利用。對0，這個分布是偏斜的，這種情況，F(xiàn)isher做出的變換構(gòu)造了一個統(tǒng)計量，它近似正態(tài)分布。下面的檢驗概括了這一構(gòu)造。1 假設(shè)0的檢驗使用下列事實：統(tǒng)計量有n-2個自由度的t分布。2 假設(shè)=00的檢驗使用下列事實：統(tǒng)計量212rnrt)11

10、ln(21rrZ有近似正態(tài)分布，具有一下均值和標(biāo)準(zhǔn)差這一事實也能用于求相關(guān)系數(shù)的置信限。3 相關(guān)系數(shù)間的差的顯著性從大小分別為n1和n2的樣本得到兩個相關(guān)系數(shù)r1和r2，確定它們間是否有顯著差異，利用2中的統(tǒng)計量對應(yīng)r1和r2計算出Z1和Z2，然后使用下列事實：檢驗統(tǒng)計量31),11ln(2100nzz是近似正態(tài)分布。3131,212221212121212121nnZZzZZZZZZZZZZ這里相關(guān)和相依相關(guān)和相依當(dāng)兩個隨機變量X和Y有非零的相關(guān)系數(shù)時，我們知道它們在概率意義上是相依的(也就是聯(lián)合分布不能折成邊緣分布的乘積)，進(jìn)而當(dāng)0時，能使定理二中的那樣方程預(yù)報對應(yīng)X值的Y值。上述意義上的“相