432統(tǒng)計(jì)學(xué)讀書筆記

1、四 區(qū)間估計(jì)（雙側(cè)：點(diǎn)估計(jì)值 估計(jì)誤差，對(duì)照?qǐng)D形理解效果佳）區(qū)間估計(jì)的方法稱為樞軸量法，其分為三步：其一，設(shè)法構(gòu)造一個(gè)樣本和的函數(shù)G = G(n ;) 使得G的分布不依賴于未知參數(shù)，一般稱具有這種性質(zhì)的G為樞軸量；其二，適當(dāng)選擇兩常數(shù)c,d，使得對(duì)給定的(0 1) ，有： P(c G d ) = 1 -；其三，假如能將c G d 進(jìn)行不等式等價(jià)變形為： LU1.單個(gè)總體參數(shù)的估計(jì)（1）正態(tài)總體、方差已知或非正態(tài)總體、大樣本(n 30)z = x - N (0,1) x z n/ 2/n若總體服從正態(tài)分布但是2 未知或非正態(tài)總體的大樣本可以用s2 代替2 .（2）正態(tài)總體、方差未知、小樣本t =

2、 x - t(n - 1) x tsn(n - 1) / 2s /n（3）總體比例的區(qū)間估計(jì)只討論大樣本情況，一般確定大樣本的經(jīng)驗(yàn)法則：區(qū)間 p 2 p(1 - p / 2 中不包含0或1，或者要求np 5和n(1 - p) 5 。p -Z = N (0,1) p z(1 -) / n (已知)/ 2(1 -) / n p z/ 2p(1 - p) / n (未知)（4）正態(tài)總體方差的區(qū)間估計(jì)= (n - 1)s 2 (n - 1)s 2 (n - 1)s 22(n - 1)2 2222/ 21-/ 22.兩個(gè)總體參數(shù)的區(qū)間估計(jì)樣本：若兩個(gè)樣本是從兩個(gè)總體中抽取的，即一個(gè)樣本中的元素與另一個(gè)樣

3、本中的元素相互。（1）若兩個(gè)總體都是正態(tài)分布或者兩個(gè)總體從正態(tài)分布但均為大樣本。(x - x ) - ( - )22Z = 1212 N (0,1) (x- x ) z1 + 2 / 212nn22121 + 2 n1n22 未知時(shí)可以用s2 代替2 .（2）兩個(gè)總體都服從正態(tài)分布，兩個(gè)隨機(jī)樣本地來自兩個(gè)總體，且為小樣是來自 N (,2 ) 的樣本，來自 N (,2 ) 的樣本本。設(shè)n111n222n1n211i=1i=122，記 s1 = n(x - x1 )2， s2 = n(x - x2 ) ，2，且此兩樣本相互- 1i- 1i12n1n2(n - 1)s 2 + (n - 1)s 21

4、1其中： x = x， y = y，則： s 2= 1122 1iipn + n - 2nni=1i=11212當(dāng)2 = 2 未知時(shí)：12(x - x) - ( - )11t = t(n + n - 2) (x - x ) t(n + n - 2)s+12121-/ 2121212pnn11+12spnn12當(dāng)2 2 未知時(shí)：12(s 2 / n + s 2 / n)2s 2s 2先求自由度： v =1122 (x - x ) t 1 + 2 (v)12/ 2(s 2 / n )2(s 2 / n)2nn 11+ 2212n1 - 1n2 - 1（3）匹配樣本：即一個(gè)樣本中的數(shù)據(jù)對(duì)應(yīng)于另一個(gè)樣

5、本的數(shù)據(jù)，通常兩樣本的數(shù)目相同。dn當(dāng)大樣本條件下， = - 的1-置信區(qū)間： d z，其中d表示匹配/ 2d12數(shù)據(jù)對(duì)應(yīng)差值， d 表示各差值均值，d 表示各差值的標(biāo)準(zhǔn)差，當(dāng)總體d 未知時(shí)，可用sd 代替。sdn當(dāng)小樣本條件下， = - 的1-置信區(qū)間： d t(n - 1)/ 2d12（4）兩個(gè)總體比例之差的估計(jì)（一般為大樣本）：( p1 - p 2 ) - (1 -2 )p1 (1 - p1 ) +np2 (1 - p2 )z = N (0,1) ( p - p ) z12/ 2 (1 - ) (1 - )n12 11 + 22 n1n2（5）兩個(gè)總體方差比的估計(jì)：s 2 /22s 2

6、/ s 2s 2 / s 2- 1, n- 1) 12 1 12 11 F (n12s 2 /22FF/ 221-/ 222五 樣本量的確定（1）估計(jì)總體均值時(shí)樣本量的確定令E代表所希望達(dá)到的估計(jì)誤差，nz 22E = z n = / 2（n取圓整法則）/ 2E 2式中：E為使用者希望的估計(jì)誤差，未知時(shí)可以用樣本標(biāo)準(zhǔn)差s代替。（2）估計(jì)總體比例時(shí)樣本量的確定(1 -)(1 -)z 2E = z n = / 2/ 2E 2n當(dāng)無法知道時(shí)，可以取使得(1-) 最大的0.5或者用樣本比例代替。第八章 假設(shè)檢驗(yàn) 理論知識(shí)1.在假設(shè)檢驗(yàn)中，先對(duì)總體參數(shù)的值提出假設(shè)，然后利用樣本信息區(qū)檢驗(yàn)假設(shè)是否成立。H

7、 0 : = （0 原假設(shè)或者零假設(shè)）H1 : （0 備擇假設(shè)或者替代假設(shè)）錯(cuò)誤：原假設(shè)為真卻被拒絕，犯這種錯(cuò)誤的概率用表示，也稱棄真錯(cuò)誤或第一類錯(cuò)誤；錯(cuò)誤：原假設(shè)為偽卻被接受，犯這種錯(cuò)誤的概率用表示，也稱取偽錯(cuò)誤或第二類錯(cuò)誤；2.犯第一類錯(cuò)誤的概率與犯第二類錯(cuò)誤的概率可以用一個(gè)函數(shù)表示，即所謂的勢函數(shù)。設(shè)檢驗(yàn)問題：H 0 : Q0H1 : Q1的拒絕域?yàn)閃，則樣本觀測值落入W的概率稱為該檢驗(yàn)的勢函數(shù)。記為：(), Q0g() = P ( X W ), Q = Q Q g() = 011 - (), Q1在樣本量給定的條件下，與增減互反相互引導(dǎo)，我們找不到一個(gè)能讓與同時(shí)減小的檢驗(yàn)。同時(shí)使與同時(shí)

8、減小的方法就是增大樣本量3.假設(shè)檢驗(yàn)的思想：小概率原理，是指發(fā)生概率很小的隨機(jī)在一次試驗(yàn)中幾乎不可能發(fā)生的。費(fèi)希爾定義的小概率標(biāo)準(zhǔn)為0.05.若原假設(shè)成立，則一次試驗(yàn)中Z統(tǒng)計(jì)量落入兩側(cè)拒絕域的概率只有0.05，是小概率。但如果真的出現(xiàn)，我們有理由拒絕原假設(shè)，接受備擇假設(shè)。這種檢驗(yàn)方法優(yōu)點(diǎn)就是當(dāng)確定后，進(jìn)行決策的界限清晰，缺點(diǎn)是進(jìn)行決策的風(fēng)險(xiǎn)是籠統(tǒng)的，然而不同樣本風(fēng)險(xiǎn)事實(shí)上是有差別的。這時(shí)，我們引入p值（初試考過）的概念。P值是指當(dāng)原假設(shè)為真時(shí)，所得到的樣本觀察結(jié)果或者更結(jié)果出現(xiàn)的概率。另一種定義就是，在一個(gè)假設(shè)檢驗(yàn)中，利用樣本觀測值能夠做出拒絕原假設(shè)的最小顯著性水平。當(dāng) p 拒絕域：2 2 (

9、2n)00101-b.H : VsH : F(k - 1, n - k ) 要拒絕原假設(shè)，即所檢驗(yàn)的因素對(duì)觀測值有顯著影響。方差分析表關(guān)系強(qiáng)度的測量當(dāng)自變量對(duì)因變量的關(guān)系顯著時(shí)，用平方根R來計(jì)量它們之間的關(guān)系強(qiáng)度：判定系數(shù) R 2 = SSA ，表明自變量對(duì)因變量的影響效應(yīng)占總效應(yīng)的比例大小。SST方差分析的多重比較當(dāng)之間全相同時(shí)，進(jìn)一步分析哪些之間有差異，所使用的方法稱為多重比較法。它是通過對(duì)總體均值之間的配對(duì)比較來進(jìn)一步檢驗(yàn)到底哪些均值之間存SD）：在差異。費(fèi)希爾最小顯著差異誤差來源平方和SS-自由度df均方MS-F值P值組間（因素影響）SSAk-1MSAMSA MSE組內(nèi)（誤差）SSEn

10、-kMSE總和SSTn-1H 0 : i = jH1 : i j第一步：第二步：檢驗(yàn)統(tǒng)計(jì)量 xi - x jMSE( 1 +1 )第三步：計(jì)算LSD， LSD = t(n - k )/ 2nnijxi - x j LSD ，拒絕 H0 ；第四步：若xi - x j F，則拒絕原假設(shè)，表明i 之間存在顯著差異；FC F ，則拒絕原假設(shè)，表明j 之間存在顯著差異。雙因素方差分析關(guān)系強(qiáng)度的測量= SSR + SSC （多重判定系數(shù)）R 2SSTII.無交互作用的雙因素方差分析行因素有k個(gè)水平，列因素有r個(gè)水平，行因素與列因素每一對(duì)水平下重復(fù)試驗(yàn)的次數(shù)為m。誤差來源誤差平方和自由度均方F值P值行因素S

11、SRk-1MSRMSR/ MSE列因素SSCr-1MSCMSC/ MSE隨機(jī)誤差SSE(k-1)(r-1)MSE總和SSTkr-1krmSST = (x- x )2ijli=1 j =1 l =1kSSR = rm(x - x )2ii=1rSSC = km(x - x )2jj =1krSSRC = m(x -)2iji=1 j =1SSE = SST - SSR - SSC - SSRC交互雙因素方差分析表誤差來源平方和自由度均方F值P值行因素SSRk-1SSR/k-1FR MSR/MSE列因素SSCr-1SSC/r-1FC =MSC/MSE交互作用SSRC(k-1)(r-1)SSRC/(

12、k-1)(r-1)FRC =MSRC/MS E誤差SSEkr(m-1)SSE/kr(m-1)總和SSTn-1第十章 一元線性回歸 符號(hào)說明本章公式多，記憶和理解量大，下面符號(hào)都是常用的。(xi , yi ) 為回歸樣本，數(shù)目為n，那么：nnx = 1 x , y = 1 yinni=1i=1nnlxy = (xi - x)( yi - y) = xi yi - nxyi=1i=1nnlxx = (i=12 - nx 2ii=1nnlyy = ( yi=1- y)2 =y - ny22iii=1二 變量間關(guān)系的度量1.變量關(guān)系統(tǒng)計(jì)分析的目的在于如何根據(jù)統(tǒng)計(jì)數(shù)據(jù)確定變量之間的關(guān)系形態(tài)及其關(guān)聯(lián)的程度

13、，并探索其內(nèi)在的數(shù)量規(guī)律性。變量關(guān)系分函數(shù)關(guān)系和相關(guān)關(guān)系，函數(shù)關(guān)系是指一一對(duì)應(yīng)的確定關(guān)系；相關(guān)關(guān)系是指變量之間客觀存在的不確定的數(shù)量關(guān)系。相關(guān)分析是指對(duì)兩個(gè)變量之間線性關(guān)系的描述與度量。相關(guān)分析的假定：兩個(gè)變量之間是線性關(guān)系；兩個(gè)變量都是隨量。2.相關(guān)系數(shù)相關(guān)系數(shù)：根據(jù)樣本數(shù)據(jù)計(jì)算的度量兩個(gè)變量之間線性關(guān)系強(qiáng)度的統(tǒng)計(jì)量，總體相關(guān)系數(shù)為，樣本相關(guān)系數(shù)為：n xy - x yn x 2 - ( x)2 n y 2 - ( y)2lxy= COV (x, y) =DX DYr =lxx l yy相關(guān)系數(shù)的性質(zhì)： - 1 r 1 ；= ryx ，即對(duì)稱性； rxyr僅是x與y之間線性關(guān)系的度量，它不能

14、用于描述非線性關(guān)系，當(dāng)r=0時(shí)只說明變量之間不存性關(guān)系，而不是不存在任何關(guān)系；r只是x與y之間線性關(guān)系的度量，但不一定意味著x與y一定有因果關(guān)系； 0.8 時(shí)：高度相關(guān)， 0.5 0.8 時(shí)：中度相關(guān)， 0.3 0.5 時(shí)：低度相 rrr t/ 2 (n - 2) ，則拒絕 H0 ，表明總體的兩個(gè)變量存在著線性關(guān)系。需要注意，即使統(tǒng)計(jì)檢驗(yàn)表明線性關(guān)系顯著，并不一定意味著兩變量之間存在著重要的相關(guān)性，還需要通過判定系數(shù) R 2 的討論。三 一元線性回歸相關(guān)分析目的在于測度變量之間的關(guān)系強(qiáng)度，它所使用的測度工具就是相關(guān)系數(shù)；而回歸分析側(cè)重于 變量之間的數(shù)量伴隨關(guān)系，并通過一定的數(shù)學(xué)表達(dá)式將這種關(guān)系

15、描述出來。（1）回歸模型對(duì)于具有線性關(guān)系的兩個(gè)變量，可以用一個(gè)線性方程來表示它們之間的關(guān)n - 21 - r 2系。描述因變量y如何依賴于自變量x和誤差項(xiàng)的方程稱為回歸模型。只涉及一個(gè)自變量的一元線性回歸模型可表示為：y = 0 + 1x + 理論回歸模型總體引入隨機(jī)擾動(dòng)項(xiàng)的：作為未知影響因素的代表；作為無法取得數(shù)據(jù)的已知因素的代表；作為眾多細(xì)小影響因素的綜合代表；模型的設(shè)定誤差；變量的觀測誤差；現(xiàn)象的內(nèi)在隨機(jī)性?；貧w模型的主要假定：y與x具有線性關(guān)系；在重復(fù)抽樣中，自變量x的取值是固定的，即假定x是非隨機(jī)的。在和的假定下，給定的x值，y取值對(duì)應(yīng)一個(gè)分布， E( y) = 0 + 1 x ；誤

16、差項(xiàng)是一個(gè)期望值為0的隨量， E() = 0 ；對(duì)于所有x，的方差2 相同；誤差項(xiàng) N (0,2 ) ，且。一般滿足上述假定的線性回歸模型稱為古典線性回歸模型（CLRM）。因此，對(duì)于特定的x值，它所對(duì)應(yīng)的y與其它x對(duì)應(yīng)y也不相關(guān)。由于x確定后，y變化由決定，而2 為常數(shù)，故y的取值不受x取值的影響，即：y N ( + x,2 ) .01（2）回歸方程描述因變量y的期望值如何依賴于自變量x的方程稱為回歸方程。E( y) = 0 + 1x總體回歸參數(shù)0 和1 是未知的，必須利用樣本數(shù)據(jù)去估計(jì)它們。用樣本統(tǒng)計(jì)量0 和 代替未知參數(shù) 和 ，即可得到估計(jì)的回歸方程：101y = +x01總體回歸函數(shù)與總

17、體樣本回歸函數(shù)的區(qū)別：總體回歸函數(shù)雖然未知，但它是確定的，而樣本回歸線是隨抽樣波動(dòng)而變化的；總體中0 和1 為確定的常數(shù)，而樣本回歸函數(shù)的0 和 是隨抽樣而變化的1隨量；總體誤差項(xiàng)是不可直接觀測的，但是樣本回歸函數(shù)中的誤差部分是可以計(jì)算的數(shù)值。（3）最小二乘估計(jì)（OLS）通過使因變量的觀察值 yi 和 yi 估計(jì)值之間的離差平方和達(dá)到最小來估計(jì)0和 的方法。即使得( y - y= ( y - -x ) 最小。關(guān)于 和 求偏)221iii01i01導(dǎo)并取零點(diǎn)值得： n xy - x ylxy1 =lnx 2 -(x)2xx= y - x01此種方法的優(yōu)點(diǎn)：可使離差平方和最??；可知0 和1 估計(jì)量

18、的抽樣分布； 0 和1 的最小二乘估計(jì)量與其它方法估計(jì)量相比，其抽樣分布具有較小的標(biāo)準(zhǔn)差。此種方法的特點(diǎn)： (x, y) 必在 y = +x 上；01在回歸分析中，截距項(xiàng)0 不能賦予任何真實(shí)意義；線性性，0 和 均為的 y 線性函數(shù)；1i無偏性，0 和 是 和 的無偏估計(jì)；10121x有效性， 和=, D= (+) ；2均為最小方差無偏估計(jì)量， D0110l（4）擬合優(yōu)度yi = +x 在一定程度上描述了x與y的數(shù)量關(guān)系?；貧w直線與各觀測點(diǎn)01 i的接近程度稱為回歸直線對(duì)數(shù)據(jù)的擬合優(yōu)度。判定系數(shù)是對(duì)估計(jì)的回歸方程擬合優(yōu)度的度量。因變量y的取值是不同的，y取值的這種波動(dòng)稱為變差。SST = (

19、yi - y) = ( yi - yi + yi - y) =SSE + SSR = l yy 總變差22SSR = ( y - y)2 = 2l 反映了y的總變差中x與y之間的線性關(guān)系引起y的ixx1變化部分，稱為回歸平方和。SSE = ( yi - yi ) 稱為殘差平方和，反映了非線性關(guān)系解釋的部分。這里2，需要同學(xué)下去證明SST=SSR+SSE（央財(cái)題），涉及到代數(shù)運(yùn)算。因此，我們可以得到判定系數(shù) R 2 = SSR ，一元線性回歸中，相關(guān)系數(shù)r =R 2，相關(guān)SST系數(shù)r與 的正負(fù)號(hào)相同。1估計(jì)標(biāo)準(zhǔn)誤差：是指度量各實(shí)際觀測點(diǎn)在直線周圍的散步狀況的一個(gè)統(tǒng)計(jì)量。s =MSEe估計(jì)標(biāo)準(zhǔn)誤差

20、是對(duì)誤差項(xiàng)的標(biāo)準(zhǔn)差的估計(jì)，即： =MSE ，它反映了用估計(jì)的回歸方程因變量y時(shí)誤差的大小。四 顯著性檢驗(yàn)（1）線性關(guān)系檢驗(yàn)線性關(guān)系檢驗(yàn)是檢驗(yàn)自變量x和因變量y之間的線性關(guān)系是否顯著，或者說，它們之間是否能用 y = 0 + 1 x + 表示。H 0 : 1 = 0H1 : 1 0SSR /1MSRF F (1, n2)SSE /(n - 2)MSE當(dāng) F F(1, n - 2)時(shí)，表明兩變量之間的線性關(guān)系是顯著的。（2）回歸系數(shù)檢驗(yàn)回歸系數(shù)檢驗(yàn)是要檢驗(yàn)自變量對(duì)因變量的影響是否顯著，統(tǒng)計(jì)證明，SSEn - 2( y - y )2iin - 22lxx1xlxx N (0 , (+ ) ， N (

21、1 ,) ，由此 的標(biāo)準(zhǔn)差是：2)011n =l1xx當(dāng)未知時(shí)，可得：ses=l1xx因此，檢驗(yàn)回歸系數(shù)1 的統(tǒng)計(jì)量t為：- t = 11s t(n - 2)1H 0 : 1 = 0H1 : 1 0因此得： t = 1 ，若 ts t (n - 2) ，拒絕原假設(shè)，回歸系數(shù)等于0的可能性21小于，表明自變量x對(duì)因變量y的影響是顯著的。在一元線性回歸中，自變量只有一個(gè)，相關(guān)系數(shù)檢驗(yàn)，F(xiàn)檢驗(yàn)和t檢驗(yàn)是等價(jià)的，但在多元回歸分析中，F(xiàn)檢驗(yàn)只用來檢驗(yàn)總體回歸關(guān)系的顯著性，而t檢驗(yàn)則是檢驗(yàn)各回歸系數(shù)的顯著性。1 + x截距項(xiàng)的置信區(qū)間： t (n - 2)s02enlxxse斜率的置信區(qū)間： t (n -

22、 2)12lxx模型評(píng)價(jià)： 的符號(hào)是否與理論或預(yù)期一致；1若理論上y與x之間關(guān)系是正確的，顯著的，則回歸方程亦如此；回歸模型的判定系數(shù) R2 ；關(guān)于的正態(tài)性假設(shè)是否成立。檢查正態(tài)性方法：畫出殘差的直方圖或正態(tài)概率圖。五 利用回歸方程進(jìn)行是指通過自變量x的取值來因變量y的值。平均值點(diǎn)估計(jì)：是對(duì)總體參數(shù)的的估計(jì)點(diǎn)估計(jì)個(gè)別值點(diǎn)估計(jì)：對(duì)因變量的具體取值的估計(jì)置信區(qū)間估計(jì)：y的平均值的估計(jì)區(qū)間區(qū)間估計(jì)：y的一個(gè)個(gè)別值的估計(jì)區(qū)間區(qū)間估計(jì)在點(diǎn)估計(jì)條件下，對(duì)于同一個(gè) x0 ，平均值的點(diǎn)估計(jì)和個(gè)別值的點(diǎn)估計(jì)的結(jié)果是一樣的，但在區(qū)間估計(jì)中不同。（1）平均值的置信區(qū)間估計(jì)當(dāng) x = x0 時(shí)， y0 = 0 + x

23、 為 E( y0 ) 的估計(jì)值，1 0(x - x)2(x - x)21n1，因此用 s= s+ 0代表 y 標(biāo)準(zhǔn)y N ( + x , (+ )2 0)y0e0001 0nllxxxx差。對(duì)于給定的 x0 ， E( y0 ) 在1 -的置信水平下的置信區(qū)間表示為：y0 t (n - 2) s y021n當(dāng) x = x 時(shí)， s 最小， s= s ，估計(jì)最為準(zhǔn)確。y0y0e0（2）個(gè)別值的區(qū)間估計(jì)一個(gè)個(gè)別值 y0 的標(biāo)準(zhǔn)差用Sind 表示：(x - x)21s= s1 + 0lxxindenSind 比sy 多了一個(gè)“1”。0對(duì)于給定的 x0 ，y的一個(gè)個(gè)別值 y0 在1 -的置信水平下的區(qū)間

24、表示為：y0 t (n - 2) sind2因此，即使對(duì)同一個(gè) x0 ，區(qū)間要比置信區(qū)間寬一些。注：在用回歸方程時(shí)，不要用樣本之外的數(shù)據(jù)相對(duì)應(yīng)的y值。六 殘差分析（1）殘差圖在 y = + x + 中，假定是期望值為0、2 相等的正態(tài)分布。殘差分01析主要是確定有關(guān)的假定是否成立。殘差是因變量的觀測值 yi 與根據(jù)估計(jì)的回歸方程求出的值 yi 之差，用ei 表示： ei = yi - yi 。關(guān)于x的殘差圖是橫坐標(biāo)為自變量x，縱坐標(biāo)表示e的圖形，若對(duì)于所給定的x值，的方差都相同，且假定變量x和y的關(guān)系合理，那么殘差圖中所有點(diǎn)都應(yīng)落在一條水平帶中間。（2）標(biāo)準(zhǔn)化殘差標(biāo)準(zhǔn)化殘差是殘差除以它的標(biāo)準(zhǔn)差

25、后得到的數(shù)值，用 ze 表示：eiz=eise若服從正態(tài)性假定，則 ze 也應(yīng)服從正態(tài)分布。在標(biāo)準(zhǔn)化殘差圖中，大約95% 的標(biāo)準(zhǔn)化殘差在-22之間。七 概念比較（1） 因變量與自變量在用回歸方程進(jìn)行估計(jì)推算時(shí)，只能用自變量推算因變量，在相關(guān)分析中變量的地位是對(duì)稱的，在回歸分析中變量的地位是不對(duì)稱的，自變量往往假設(shè)成非隨機(jī)的。變量之間可以有主從或因果關(guān)系，回歸分析是根據(jù)這一頁的關(guān)系建立數(shù)學(xué)模型的。（2） 回歸分析與相關(guān)分析：兩者都是研究非確定性變量之間的統(tǒng)計(jì)依賴關(guān)系，并能測度線性依賴程度的大小；區(qū)別：第一、兩者分析過程中因變量和自變量地位的對(duì)稱情況不一樣；第二、相關(guān)分析只關(guān)注變量間的程度，不關(guān)注

26、具體的依賴關(guān)系，而回歸分析則更加關(guān)注變量間的具體依賴關(guān)系。（3）影響精度的因素的信度要求，當(dāng)越大，精度下降；總體分布的離散程度2 越大，精度下降；樣本觀測點(diǎn)n越大，精度上升；樣本觀測點(diǎn)中，解釋變量x的分布的離散程度也影響精度；點(diǎn) x0 離樣本分布中心 x 的距離。第十一章 多元線性回歸一、多元線性回歸模型設(shè)因變量y，k個(gè)自變量k ，描述因變量y如何依賴于自變量k 和誤差項(xiàng)的方程稱為多元線性回歸。其一般表示形式為：y = 0 + 1+ k誤差的三個(gè)假定： E() = 0 ，即對(duì)于給定k , E( y) = 0 + 1k ；k , D() = 相同；2對(duì)于自變量 N (0,2 ) ，且相互；正態(tài)性

27、意味著對(duì)于給定的值，因變量y也是服從正態(tài)分布的隨量。E( y) = 0 + 1 多元回歸方程k回歸方程中的參數(shù)0 ,1 ,2 ,Lk 是未知的，需要樣本數(shù)據(jù)去估計(jì)它們，用樣本統(tǒng)計(jì)量方程：, 去估計(jì)回歸方程的未知參數(shù)，就得到估計(jì)的多元回歸,L012ky = 0 +1k其中 , ,L 稱為偏回歸系數(shù)， 表示 x , x ,L不變時(shí)， x12ki12ki每變動(dòng)一個(gè)因變量y的平均變動(dòng)量。在這里，引入計(jì)量型的矩陣形式：學(xué)中多元回歸模 1k11= k 2 數(shù)據(jù)矩陣或設(shè)計(jì)矩陣 Y = X+ UXkn MMMMM1因此我們可以利用樣本數(shù)據(jù)，通過最小二乘法估計(jì)出回歸方程的回歸參數(shù)為： = (Y = ( , ,

28、,L )T 。同樣， 為Y 的線性函數(shù)，具有無012kji偏性和最小方差性，這里的 j 方差就不在敘述了。二、回歸方程的擬合優(yōu)度多重判定系數(shù)：是多元回歸中回歸平方和占總平方和的比例，它是度量多元回歸方程擬合程度的一個(gè)統(tǒng)計(jì)量，反映了在因變量y的變差中被估計(jì)的回歸方SSR = 1 - SSE程所解釋的比例。 R 2 =SSTSST特別注意的是，當(dāng)增加自變量時(shí)，會(huì)使得誤差變小，從而SSE減小，因此多重判定系數(shù) R2 會(huì)增大。若模型中增加一個(gè)自變量，即使這個(gè)自變量在統(tǒng)計(jì)上不顯著， R2 也會(huì)變大。因此，時(shí)常運(yùn)用修正多重判定系數(shù)：n - 1R 2= 1 - (1 - R 2 )()an - k - 1R

29、2 的平方根稱多重相關(guān)系數(shù)或者復(fù)相關(guān)系數(shù)。估計(jì)的標(biāo)準(zhǔn)誤差： s =MSE 由于s 所估計(jì)的是誤差的標(biāo)ee準(zhǔn)差，其含義是根據(jù)自變量k 來因變量y時(shí)的平均誤差。三、顯著性檢驗(yàn)（1）線性關(guān)系檢驗(yàn)檢驗(yàn)因變量同多個(gè)自變量的線性關(guān)系是否顯著，在k個(gè)自變量中，只要有一個(gè)自變量與因變量的線性關(guān)系顯著，F(xiàn)檢驗(yàn)就能通過，說明整體對(duì)y具有線性關(guān)系。H 0 : 1 = 2 = L = k = 0H1 : 1 ,2 ,L,k 至少有一個(gè)為0R 2 / kSSR / kF = F (k, n - k - 1)SSE /(n - k - 1)(1 - R 2 ) /(n - k - 1)當(dāng) F F 時(shí)，拒絕原假設(shè)，表明 x

30、i 對(duì)y的關(guān)系顯著，突出的是總體的顯著性。（2）回歸系數(shù)的檢驗(yàn)對(duì)每個(gè)回歸系數(shù)分別單獨(dú)的t檢驗(yàn)，它主要檢驗(yàn)具體某個(gè)自變量對(duì)因變量的影響是否顯著。當(dāng)然，也要對(duì)回歸系數(shù)的檢驗(yàn)次數(shù)進(jìn)行限制，以避免過多的第一類錯(cuò)誤。SSEn - k - 1H 0 : i檢驗(yàn)假設(shè)：= 0H1 : i 0= i t(n - k - 1)t檢驗(yàn)統(tǒng)計(jì)量：iSi t/ 2 (n - k - 1) ，拒絕原假設(shè)，表明第i個(gè)自變量對(duì)因變量檢驗(yàn)決策：當(dāng) t的影響顯著。如果檢驗(yàn)結(jié)果不顯著，也有可能是多重共線性導(dǎo)致的，回歸系數(shù)i 在(1 -)% 的置信水平下的置信區(qū)間為： i t/ 2 (n - k - 1)S 。i四、多重共線性（計(jì)量學(xué)

31、知識(shí)，僅作了解）（1）定義：當(dāng)回歸模型中兩個(gè)或兩個(gè)或兩個(gè)以上的自變量彼此相關(guān)時(shí)。在多元線性回歸中無多重共線性假定：Rank（X）=k。多重共線性帶來的主要麻煩是對(duì)單個(gè)回歸系數(shù)的解釋和檢驗(yàn)。（2）產(chǎn)生變量之間具有共同變化的趨勢；模型中含有滯后變量；利用截面數(shù)據(jù)建立模型；樣本數(shù)據(jù)自身的；（3）完全多重共線性可能導(dǎo)致的結(jié)果變量之間高度相關(guān)時(shí)，可能會(huì)使回歸的結(jié)果造成途；可能對(duì)回歸參數(shù)的估計(jì)值正負(fù)號(hào)產(chǎn)生影響；，甚至?xí)逊治鲆肫鏧 X= 0 ），參數(shù)估計(jì)值的方差無限參數(shù)估計(jì)值不確定（因?yàn)镽(X)k，此時(shí)大。（4）全多重共線性的結(jié)果參數(shù)估計(jì)值的方差增大（方差與協(xié)方差的擴(kuò)大速度取決于方差擴(kuò)大因子VIF1：V

32、IF=）；1 - r 2在求參數(shù)估計(jì)區(qū)間，置信區(qū)間趨于變大；嚴(yán)重多重共線性時(shí)，假設(shè)檢驗(yàn)容易作出錯(cuò)誤的；當(dāng)多重共線性嚴(yán)重時(shí)，可能造成可決系數(shù) R2 偏高。（5）簡單依據(jù)最簡單的方法：計(jì)算變量之間的相關(guān)系數(shù)，并發(fā)現(xiàn)其顯著相關(guān)；F檢驗(yàn)顯著，幾乎所有i 的t檢驗(yàn)不顯著；回歸系數(shù)的正負(fù)號(hào)與預(yù)期相反。（6）多重共線性存在性的標(biāo)準(zhǔn)檢驗(yàn)簡答相關(guān)系數(shù)檢驗(yàn)法利用解釋變量之間的線性相關(guān)程度，但要注意較高的r只是多重共線性存在的充分條件，而非必要條件，當(dāng)r較小時(shí)，應(yīng)檢查偏相關(guān)系數(shù)。方差擴(kuò)大因子法：若分別以每個(gè)解釋變量為被解釋變量，作其它解釋變量的1回歸，這稱為輔助回歸。 R 2 表示此時(shí)輔助回歸的可決系數(shù)，VIF =，若jj1 - R 2jVIFj 10 則表明存在多重共線性。直觀法：增加或者剔除變量 xi 時(shí)， i 發(fā)生較大變化； i 的正負(fù)號(hào)與實(shí)際 期望的結(jié)果相違背；重要解釋變量的標(biāo)準(zhǔn)誤差大