回歸分析簡答題

1、1、 作多元線性回歸分析時，自變量與因變量之間的影響關(guān)系一定是線性形式的嗎？多元線性回歸分析中的線性關(guān)系是指什么變量之間存在線性關(guān)系？答：作多元線性回歸分析時，自變量與因變量之間的影響關(guān)系不一定是線性形式。當(dāng)自變量與因變量是非線性關(guān)系時可以通過某種變量代換，將其變?yōu)榫€性關(guān)系，然后再做回歸分析。多元線性回歸分析的線性關(guān)系指的是隨機(jī)變量間的關(guān)系，因變量y與回歸系數(shù)i間存在線性關(guān)系。多元線性回歸的條件是：（1）各自變量間不存在多重共線性；（2）各自變量與殘差獨(dú)立；（3）各殘差間相互獨(dú)立并服從正態(tài)分布；（4）Y與每一自變量X有線性關(guān)系。2、 回歸分析的基本思想與步驟基本思想：所謂回歸分析，是在掌握大量

2、觀察數(shù)據(jù)的基礎(chǔ)上，利用數(shù)理統(tǒng)計(jì)方法建立因變量與自變量之間的回歸關(guān)系函數(shù)表達(dá)式（稱回歸方程式）?；貧w分析中，當(dāng)研究的因果關(guān)系只涉及因變量和一個自變量時，叫做一元回歸分析；當(dāng)研究的因果關(guān)系涉及因變量和兩個或兩個以上自變量時，叫做多元回歸分析。此外，回歸分析中，又依據(jù)描述自變量與因變量之間因果關(guān)系的函數(shù)表達(dá)式是線性的還是非線性的，分為線性回歸分析和非線性回歸分析。通常線性回歸分析法是最基本的分析方法，遇到非線性回歸問題可以借助數(shù)學(xué)手段化為線性回歸問題處理。步驟：1）確定回歸方程中的解釋變量和被解釋變量。2）確定回歸模型 根據(jù)函數(shù)擬合方式，通過觀察散點(diǎn)圖確定應(yīng)通過哪種數(shù)學(xué)模型來描述回歸線。如果被解釋變

3、量和解釋變量之間存在線性關(guān)系，則應(yīng)進(jìn)行線性回歸分析，建立線性回歸模型；如果被解釋變量和解釋變量之間存在非線性關(guān)系，則應(yīng)進(jìn)行非線性回歸分析，建立非線性回歸模型。3）建立回歸方程 根據(jù)收集到的樣本數(shù)據(jù)以及前步所確定的回歸模型，在一定的統(tǒng)計(jì)擬合準(zhǔn)則下估計(jì)出模型中的各個參數(shù)，得到一個確定的回歸方程。4）對回歸方程進(jìn)行各種檢驗(yàn) 由于回歸方程是在樣本數(shù)據(jù)基礎(chǔ)上得到的，回歸方程是否真實(shí)地反映了事物總體間的統(tǒng)計(jì)關(guān)系，以及回歸方程能否用于預(yù)測等都需要進(jìn)行檢驗(yàn)。5）利用回歸方程進(jìn)行預(yù)測3、 多重共線性問題、不良后果、解決方法多重共線性是指線性回歸模型中的自變量之間由于存在精確相關(guān)關(guān)系或高度相關(guān)關(guān)系而使模型估計(jì)失真

4、或難以估計(jì)準(zhǔn)確。常見的是近似的多重共線性關(guān)系，即存在不全為0的p個常數(shù)C1,C2, ,Cp使得C1Xi1+C2Xi2+CpXip0,i=1,2,n不良后果：模型存在完全的多重共線性，則資料陣X的秩p+1，從而無法得到回歸參數(shù)的估計(jì)量。對于近似多重共線性情況，雖有r(X)=p+1，但|XTX|0，從而矩陣（XTX）-1的主對角線上的元素很大，使得估計(jì)的參數(shù)向量的協(xié)方差陣的對角線上的元素也很大，導(dǎo)致普通最小二乘參數(shù)估計(jì)量并非有效。檢驗(yàn)方法：方差擴(kuò)大因子（VIF）法和特征根判定法方差擴(kuò)大因子表達(dá)式為：VIFi=1/(1-Ri2)，其中Ri為自變量xi對其余自變量作回歸分析的復(fù)相關(guān)系數(shù)。當(dāng)VIFi很大

5、時，表明自變量間存在多重共線性。解決方法：當(dāng)發(fā)現(xiàn)自變量存在嚴(yán)重的多重共線性時，可以通過剔除一些不重要的自變量、增大樣本容量、對回歸系數(shù)做有偏估計(jì)（如采用嶺回歸法、主成分法、偏最小二乘法等）等方法來克服多重共線性。4、 為什么要進(jìn)行回歸方程的顯著性檢驗(yàn)？答：對于任意給定的一組觀測數(shù)據(jù)(xi1,xi2,.,xip;yi)，(i=1,2,.,n) ,我們都可以建立回歸方程。但實(shí)際問題很可能y與自變量x1,x2,.,xp之間根本不存在線性關(guān)系，這時建立起來的回歸方程的效果一定很差，即回歸值yi實(shí)際上不能擬合真實(shí)的值yi。即使整個回歸方程的效果是顯著的，在多元的情況下，是否每個變量都起著顯著的作用呢？因

6、此還需要對各個回歸系數(shù)進(jìn)行顯著性檢驗(yàn)，對于回歸效果不顯著的自變量，我們可以從回歸方程中剔除，而只保留起重要作用的自變量，這樣可以使回歸方程更簡練。5、 統(tǒng)計(jì)性的依據(jù)是什么？給出一個回歸方程如何做顯著性檢驗(yàn)？統(tǒng)計(jì)性的依據(jù)是方差分析。對于多元線性回歸方程作顯著性檢驗(yàn)就是要看自變量x1,x2,.xp從整體上對隨機(jī)變量y是否有明顯的影響，即檢驗(yàn)假設(shè)H0：1=2=.=p=0 H1:至少有某個i0，1=i=p如果H0被接受，則表明y與x1,x2,.xp之間不存在線性關(guān)系，為了說明如何進(jìn)行檢驗(yàn)，我們首先要建立方差分析表。在進(jìn)行顯著性檢驗(yàn)中，我們可以用F統(tǒng)計(jì)量來檢驗(yàn)回歸方程的顯著性，也可以用P值法做檢驗(yàn)。F統(tǒng)

7、計(jì)量是：F=MSR/MSE=SSR/p/SSE/(n-p-1) 當(dāng)H0為真時，F(xiàn)F(p,n-p-1)。給定顯著性水平，查F分布表得臨界值F1-(p,n-p-1)，計(jì)算F的觀測值，若F0F0)，定顯著性水平，若pt/2(n-p-1)時，拒絕H0。反之，則接受H0。7、 數(shù)據(jù)的中心化和標(biāo)準(zhǔn)化目的：解決利用回歸方程分析實(shí)際問題時遇到的諸多自變量量綱不一致的問題。數(shù)據(jù)中心化處理的幾何意義：相當(dāng)于將坐標(biāo)原點(diǎn)移至樣本中心，而坐標(biāo)系的平移并不改變直線的斜率，只改變了截距。8、 通過對殘差進(jìn)行分析，可以在一定程度上回答下列問題：1）回歸函數(shù)線性假定的可行性；2）誤差項(xiàng)的等方差假設(shè)的合理性；3）誤差項(xiàng)獨(dú)立性假設(shè)

8、的合理性；4）誤差項(xiàng)是否符合正態(tài)分布；5）觀測值中是否存在異常值；6）是否在模型中遺漏了某些重要的自變量。9、 標(biāo)準(zhǔn)化回歸方程與非標(biāo)準(zhǔn)化回歸方程有何不同？在怎樣的情況下需要將變量標(biāo)準(zhǔn)化？標(biāo)準(zhǔn)化回歸方程 就是將自變量因變量都標(biāo)準(zhǔn)化后的方程。在spss輸出的回歸系數(shù)中有一列是標(biāo)準(zhǔn)化的回歸系數(shù)，由于都標(biāo)準(zhǔn)化了，因此標(biāo)準(zhǔn)化方程中沒有常數(shù)項(xiàng)了。對數(shù)據(jù)標(biāo)準(zhǔn)化，即將原始數(shù)據(jù)減去相應(yīng)變量的均數(shù)后再除以該變量的標(biāo)準(zhǔn)差，計(jì)算得到的回歸方程稱為標(biāo)準(zhǔn)化回歸方程，相應(yīng)的回歸系數(shù)為標(biāo)準(zhǔn)化回歸系數(shù)。一般情況下的回歸，并不必須標(biāo)準(zhǔn)化，直接回歸即可。在做主成分分析包括因子分析時，則必須標(biāo)準(zhǔn)化。10、 回歸分析和相關(guān)分析的區(qū)別和

9、聯(lián)系相關(guān)分析和回歸分析都是對客觀事物數(shù)量依存關(guān)系的分析，均有一元和多元，線性與非線性之分，在應(yīng)用中相互結(jié)合滲透，但仍有差別，主要是：（1）相關(guān)分析主要刻畫兩類變量間線性相關(guān)的密切程度，而回歸分析則是揭示一個變量如何與其他變量相聯(lián)系，并可由回歸方程進(jìn)行控制和預(yù)測（2）在相關(guān)分析中，變量y與x處于平等的地位，在回歸分析中，因變量y處于被解釋的特殊地位（3）在相關(guān)分析中所涉及的變量y與x完全是隨機(jī)變量；而在回歸分析中因變量y是隨機(jī)變量，自變量可以是隨機(jī)變量也可以是非隨機(jī)變量。一般來說，只有存在相關(guān)關(guān)系才可以進(jìn)行回歸分析，相關(guān)程度越高，回歸分析的結(jié)果就越可靠。11、 回歸方程的基本假定？（1）回歸函數(shù)

10、的線性假設(shè)（2）誤差項(xiàng)的等方差假設(shè)（3）誤差項(xiàng)的獨(dú)立性假設(shè)（4）誤差項(xiàng)的正態(tài)分布假設(shè)12、 運(yùn)用回歸分析解決問題時，回歸變量的選擇理論依據(jù)的什么？選擇回歸變量時應(yīng)注意哪些問題？（1）從擬合角度考慮，可以采用修正的復(fù)相關(guān)系數(shù)達(dá)到最大的準(zhǔn)則準(zhǔn)則1：修正的復(fù)相關(guān)系數(shù)Ra2達(dá)到最大。因?yàn)椋篟a2=1-MSE/(SST/(n-1)從這個關(guān)系式容易看出，Ra2達(dá)到最大時，MSE達(dá)到最小。（2）從預(yù)測的角度考慮，可以采用預(yù)測平方和達(dá)到最小的準(zhǔn)則及Cp準(zhǔn)則準(zhǔn)則2：預(yù)測平方和PRESSp達(dá)到最小準(zhǔn)則3：（Cp準(zhǔn)則）（3）從極大似然估計(jì)角度考慮，可以采用赤池信息量化準(zhǔn)則（AIC準(zhǔn)則）準(zhǔn)則4：赤池信息量達(dá)到最小AI

11、C=nln(SSEp)+2p選擇AIC值最小的回歸方程為最優(yōu)回歸方程自變量的選擇問題可以看成是應(yīng)該采用全模型還是選模型的問題全模型正確誤用選模型：全模型相應(yīng)參數(shù)為有偏估計(jì)，選模型預(yù)測也是有偏的。選模型的參數(shù)估計(jì)和預(yù)測殘差以及均方差都有較小的方差。選模型正確誤用全模型，全模型參數(shù)估計(jì)和預(yù)測是有偏估計(jì)，而全模型預(yù)測值的方差和均方差大于選模型相應(yīng)的方差。上述結(jié)論說明丟掉那些對應(yīng)變量影響不大的，或雖有影響，但難于觀測的自變量是有利的。 13、 逐步回歸方法的基本思想與步驟基本思想：有進(jìn)有出。具體做法是將變量一個一個引入，引入變量的條件是通過了偏F統(tǒng)計(jì)量的檢驗(yàn)，同時，每引入一個新變量后，對已入選方程的老變量進(jìn)行檢測，將經(jīng)檢驗(yàn)認(rèn)為不顯著的變量剔除，此過程經(jīng)過若干步，直到既不能引入新變量又不能剔除老變量為止?；静襟E：（1）對于每個自變量xi(1im)，擬合m個一元線性回歸模型，若Fi1(1)FE，則所選擇含有自變量xi1的回歸模型為當(dāng)前模型，否則，沒有變量引入模型，選擇過程結(jié)束，即認(rèn)為所有自變量對y的影響均不顯著。（2）在第一步的基礎(chǔ)上，再將其余的m-1個自變量分別加入此模型中，得到m-1個二元回歸方程，若若Fi1(2)FE則將自變量xi2引入模型，進(jìn)一步考察xi2引入模型后，xi1