何曉群版應(yīng)用回歸分析考試重點(diǎn)題型

1、精選優(yōu)質(zhì)文檔-傾情為你奉上一元，多元線形回歸分析：一. 請分別敘述變量間統(tǒng)計(jì)關(guān)系與函數(shù)關(guān)系的區(qū)別，以及相關(guān)分析與回歸分析的聯(lián)系與區(qū)別。 答：各自然現(xiàn)象或社會現(xiàn)象之間普遍存在著各種聯(lián)系，根據(jù)這些聯(lián)系的緊密程度不同，可將之分為函數(shù)關(guān)系與統(tǒng)計(jì)關(guān)系。 一種情況下某變量Y能被其余的一類變量完全決定，這時兩者之間存在著完全的確定性關(guān)系，這種關(guān)系可以通過一個函數(shù) 表示。這樣的確定性關(guān)系被稱為函數(shù)關(guān)系。 另一種情況下變量之間雖然存在緊密的聯(lián)系，但并不能互相唯一確定，這種非確定性的緊密聯(lián)系被稱為統(tǒng)計(jì)關(guān)系。 相關(guān)分析與回歸分析都是研究兩邊統(tǒng)計(jì)關(guān)系的方法，在實(shí)際問題的處理中往往結(jié)合使用兩者。兩者的區(qū)別主要在于：1.

2、目標(biāo)不同：相關(guān)分析主要用于刻畫X,Y兩變量間的聯(lián)系的密切程度，而回歸分析除此之外，還關(guān)心對未觀察Y值的預(yù)測與控制。2.角度不同：相關(guān)分析中X，Y兩變量地位相同，因此假設(shè)兩者都是隨機(jī)變量；而回歸分析中只將變量Y作為主要研究對象，因而往往假設(shè)Y是隨機(jī)變量，而X是非隨機(jī)變量。 二. 請敘述（一元）多元線性回歸模型及其基本假設(shè) 答：1.一元線性模型的基本形式是： ，其中稱為回歸系數(shù)，稱為隨機(jī)誤差。 其基本假設(shè)為： G-M假設(shè)： 或者更強(qiáng)的正態(tài)性假設(shè)： 獨(dú)立同分布， 。 2.多元線性模型的基本假設(shè)是： 稱為回歸系數(shù)陣，稱為隨機(jī)誤差. 其基本假設(shè)為： a. G-M假設(shè)： 或者更強(qiáng)的正態(tài)性假設(shè)： 獨(dú)立同分布

3、， 。 b.rank(X)=p+1<n三 請敘述最小二乘法（最大似然法）的基本思路、理論基礎(chǔ)與性質(zhì)，并對兩者作比較。答：1. 最小二乘法的基本思路是通過最小化殘差平方和求得回歸系數(shù)的估計(jì)值。其理論基礎(chǔ)是函數(shù)極值理論。2最大似然法的基本思路是最大化似然函數(shù)求得回歸系數(shù)的估計(jì)值。其理論基礎(chǔ)是函數(shù)極值理論。3.兩者對的估計(jì)結(jié)論是一致的，且結(jié)果均具有線性，無偏性，穩(wěn)定性（在G-M假設(shè)下是最小方差線性無偏估計(jì)，在正態(tài)性假設(shè)下是最小方差無偏估計(jì)，具體參見問題四）。4.相對來說，使用最大似然法需要的假設(shè)較強(qiáng)，需要正態(tài)性假設(shè)，而最小二乘法本身不需要任何假設(shè)。但是，最大似然法可以得到的估計(jì)，而最小二乘法不

4、行。 四. 假設(shè)通過最小二乘估計(jì)得到回歸方程 的估計(jì)，請敘述估計(jì)量以及殘差的定義及其性質(zhì)。答：1.估計(jì)量具有線性，無偏性，穩(wěn)定性，即： a. 是y的線性變換 b. 是無偏的。 c在G-M假設(shè)下是最小方差線性無偏估計(jì)，在正態(tài)性假設(shè)下是最小方差無偏估計(jì)。 2. 殘差，它具有以下性質(zhì)a. b. ，即 c. d. ,且正態(tài)性假設(shè)下兩者獨(dú)立 e服從自由度為n-p-1的開方分布，即五、敘述多元線性回歸中常見的顯著性檢驗(yàn)方法及其關(guān)系。 答：常見的顯著性檢驗(yàn)方法有t檢驗(yàn)，F(xiàn)檢驗(yàn)，偏F檢驗(yàn)三種。假設(shè)檢驗(yàn)水平為。 1.F檢驗(yàn) 檢驗(yàn)統(tǒng)計(jì)量： 判斷法則：時拒絕原假設(shè)。 2.t檢驗(yàn) 檢驗(yàn)統(tǒng)計(jì)量： 判斷法則：時拒絕原假設(shè)

5、。3.偏F檢驗(yàn) 檢驗(yàn)統(tǒng)計(jì)量： 判斷法則：時拒絕原假設(shè)。 4.三者的關(guān)系。 t檢驗(yàn)與偏F檢驗(yàn)等價，F(xiàn)檢驗(yàn)與另兩者不同（實(shí)質(zhì)上是另兩者的前提），通常先做F檢驗(yàn)，再做t檢驗(yàn)或偏F檢驗(yàn)。六、給出一元回歸模型估計(jì)值的點(diǎn)估計(jì)與區(qū)間估計(jì)（置信度） 答：1.在未觀測點(diǎn)處，y的點(diǎn)估計(jì)為。 2.在未觀測點(diǎn)處，的區(qū)間估計(jì)為（預(yù)測區(qū)間） n相當(dāng)大時(n>15),可以簡化為。 3. 在未觀測點(diǎn)處，的區(qū)間估計(jì)為（置信區(qū)間） 。3. 給定置信上界與置信下界時，的取值范圍為 七.敘述樣本數(shù)據(jù)與回歸系數(shù)標(biāo)準(zhǔn)化的意義與方法 答：多元線性回歸模型中，由于自變量的數(shù)量級差異較大，因而舍入誤差將對估計(jì)的精度造成較大的影響；同時自

6、變量的單位不同也會造成回歸方程的解釋比較困難，因而通常需要對樣本數(shù)據(jù)進(jìn)行預(yù)處理，即數(shù)據(jù)的標(biāo)準(zhǔn)化。 數(shù)據(jù)的標(biāo)準(zhǔn)化通常這樣進(jìn)行： 利用標(biāo)準(zhǔn)化樣本數(shù)據(jù)的得到的回歸方程系數(shù)稱為標(biāo)準(zhǔn)化回歸系數(shù)，其滿足: .八.給出偏決定系數(shù)、偏相關(guān)系數(shù)的定義 答：1.當(dāng)其余自變量固定時，對y的影響程度稱為的偏決定系數(shù)，定義為 2. 當(dāng)其余自變量固定時，與的相關(guān)程度稱為兩者的偏相關(guān)系數(shù)，定義為 。計(jì)算：1. （20分）近來某時尚雜志進(jìn)行了一項(xiàng)關(guān)于高清數(shù)字電視的調(diào)查。對于各不同品牌不同型號的數(shù)字電視，該雜志基于畫面質(zhì)量給出了一個測試總分（i=1,2,24），同時，該雜志也收集了這些數(shù)字電視的平均市場售價。數(shù)據(jù)顯示假設(shè)樣本數(shù)

7、據(jù)符合正態(tài)性假設(shè)，隨機(jī)項(xiàng)的方差為。根據(jù)以上條件，請（1）（5分）建立y關(guān)于x的一元線性回歸方程（2）（5分）給出作的無偏估計(jì)。（3）（5分）在的顯著性水平下，檢驗(yàn)變量之間的顯著性。（已知：）（4）（5分）假設(shè)某種新上市的數(shù)字電視的評分為45分，請給出其市場建議價，并作該價格的置信水平為95%的區(qū)間估計(jì)。解：（1）根據(jù)題意，有： -1分 -1分 -1分 從而所以回歸方程為 -2分（2） -3分所以 -2分 （3）建立假設(shè)為： -1分 構(gòu)造檢驗(yàn)統(tǒng)計(jì)量： -3分 由于,所以拒絕原假設(shè) -1分 即認(rèn)為變量之間存在顯著的線性關(guān)系。 （4）的估計(jì)值為 -1分 由于樣本量較大，所以可以用近似公式計(jì)算預(yù)測區(qū)間

8、 -1分 即價格的預(yù)測區(qū)間為 -3分 2.（15分）某市最近進(jìn)行的一項(xiàng)有關(guān)公共交通的調(diào)查發(fā)現(xiàn)，公交車的維護(hù)費(fèi)用與其已使用月數(shù)之間的關(guān)系可以用一元線性回歸模型描述，其誤差項(xiàng)滿足，其中隨機(jī)項(xiàng)滿足G-M假設(shè)。實(shí)驗(yàn)的實(shí)際觀測數(shù)據(jù)（10組）由下表給出，請根據(jù)數(shù)據(jù)給出該回歸模型的估計(jì)，并預(yù)測某輛已使用了4年的公交車的維護(hù)費(fèi)用。已使用月數(shù)61454855294360 維護(hù)費(fèi)用4968631751985048918256964858652931831945716887解：由于誤差項(xiàng)滿足，而滿足G-M假設(shè),所以可以通過差分法來消除自相關(guān)性。 -1分 對原樣本數(shù)據(jù)做一階差分，得到差分?jǐn)?shù)據(jù)樣本自變量差分-1637-

9、2614175因變量差分1349-1119-1504134-3486-8383461-362 -37482316-4分由于差分?jǐn)?shù)據(jù)必然已中心化，所以差分回歸模型為 ,其中 -4分 從而回歸方程為 -4分 將帶入上述方程，得: -2分3.非參數(shù)檢驗(yàn)（異方差）證明：1.對一元線性模型證明三種檢驗(yàn)統(tǒng)計(jì)量等價證：對于一元線性回歸模型來說，F(xiàn)檢驗(yàn)、t檢驗(yàn)、相關(guān)性檢驗(yàn)的原假設(shè)與備擇假設(shè)相同，均為 -2分 而三者的檢驗(yàn)統(tǒng)計(jì)量分別為：，。 -1分 由各參數(shù)的定義 -3分 所以 -2分 -2分 所以，即三種檢驗(yàn)完全等價。2. 在正態(tài)性假設(shè)下，求證 (一元)/ （多元）是的無偏估計(jì)a. 記，則。再記。則 -4分

10、-4分 所以 -2分 從而 -5分 即是的無偏估計(jì)，證畢。b. 記. 則. -1分 從而 -2分 由正態(tài)性假設(shè)， -3分 -4分 從而 -1分 -3分所以是 的無偏估計(jì) -1分3計(jì)算多元線性模型下，的期望陣與方差4. 證明數(shù)據(jù)標(biāo)準(zhǔn)化后參數(shù)估計(jì)值之間的轉(zhuǎn)化關(guān)系5.證明dw的取值范圍（0<=dw<=4） -2分 -2分樣本充分大時，可以認(rèn)為 -1分從而 -3分所以 -1分又，從而 其余：一敘述全模型、選模型的優(yōu)缺點(diǎn) 答：設(shè)全模型為，選模型為（p<m）.那么：1. 選模型的缺點(diǎn)為：a. 設(shè)與至少一個相關(guān)，則是有偏的，即。 b. 選模型的預(yù)測值是有偏的,即。 2. 選模型的優(yōu)點(diǎn)為：

11、a. 選模型回歸參數(shù)的方差較?。ǚ€(wěn)定性較高），即 b. 選模型的預(yù)測值的殘差方差更小，即 ，其中 c. 選模型的預(yù)測值的均方誤差更小，即 二敘述變量選擇的基本準(zhǔn)則 答：通常根據(jù)以下三種準(zhǔn)則進(jìn)行變量選擇。1. 自由度調(diào)整的復(fù)決定系數(shù)最大自由度調(diào)整的復(fù)決定系數(shù)是基于擬合效果提出的變量選擇參數(shù)，定義為，其中是回歸方程的決定系數(shù)（擬合優(yōu)度）。2. 赤池信息量（AIC）或SBC最小赤池信息量是基于最大似然原則提出的變量選擇參數(shù)，定義為。SBC是對AIC的修正，定義為 。 3. Mallows統(tǒng)計(jì)量最小 Mallows統(tǒng)計(jì)量是基于預(yù)測效果（均方誤差）提出的變量選擇參數(shù)，定義為 。三敘述變量選擇的基本方法及

12、其比較 答：變量選擇的基本方法有以下三種： 1.前進(jìn)法，具體步驟為： a. 對所有可選變量作一元線性回歸，對這p個回歸方程分別作F檢驗(yàn)，選擇其中統(tǒng)計(jì)量最大值。若，則將選作回歸自變量。 b. 對所有的二元變量對作二元線性回歸，對這p-1個回歸方程分別作（偏）F檢驗(yàn)，選擇其中統(tǒng)計(jì)量最大值。若，則將選作回歸自變量。 c. 以此類推，直到引入q個自變量后所有q+1元回歸方程的F統(tǒng)計(jì)量值均小于。 2. 后退法，具體步驟為： a. 對全部可選變量作P元線性回歸，對該回歸方程作t檢驗(yàn)，選擇其中統(tǒng)計(jì)量最小值。若，則將刪除。 b. 對剩余自變量作p-1元線性回歸，對該回歸方程作t檢驗(yàn)，選擇其中統(tǒng)計(jì)量最小值。若，

13、則將刪除。 c. 以此類推，直到所有剩余自變量均能通過t檢驗(yàn)。 3.逐步回歸法，具體步驟為： a. 使用前進(jìn)法選擇自變量。 b. 每選入一個自變量，則利用后退法刪除所有需要刪除的自變量。 c. 以此類推，直到剩余自變量均不能被選入。 由于前進(jìn)法有進(jìn)無出（自變量被選入之后無法被刪除），后退法有出無進(jìn)（自變量被刪除后無法被再次選入），所以在選擇效果上通常都不如逐步回歸。 四敘述所有違背基本假設(shè)的情形及其檢驗(yàn)、改進(jìn)方法 答：違背基本假設(shè)的情形一共有四種:異方差性、自相關(guān)性、異常值以及多重共線性。1. 異方差性：a.可以通過spearman等級相關(guān)系數(shù)檢驗(yàn)，其方法為： ，其中，是的等級差。檢驗(yàn)統(tǒng)計(jì)量：

14、 判斷法則：時拒絕原假設(shè)。 b.可以通過加權(quán)最小二乘法改進(jìn)2. 自相關(guān)性a.自回歸階數(shù)為1時可以通過D-W檢驗(yàn)法檢驗(yàn)，其方法為： 根據(jù)樣本容量n與解釋變量個數(shù)p+1查得dw下屆與dw上界。計(jì)算D-W統(tǒng)計(jì)量，其定義為 若 b.可以通過迭代法或者差分法改進(jìn) 3.異常值 異常值可以簡單分為y的異常值與x的異常值兩種。 a. y的異常值可以用殘差大小判斷，通常認(rèn)為學(xué)生化殘差或者標(biāo)準(zhǔn)化殘差即說明是異常值；精確的判斷可以用學(xué)生化刪除殘差進(jìn)行，其中。 b. x的異常值可以用庫克距離判斷，其定義為 通常認(rèn)為說明不是異常值，說明是異常值。 b 對于x還有強(qiáng)影響點(diǎn)的概念，是否屬于強(qiáng)影響點(diǎn)可以通過杠桿值判斷，通常認(rèn)

15、為說明是強(qiáng)影響點(diǎn)。 3. 多重共線性多重共線性可以通過方差擴(kuò)大因子或者條件數(shù)進(jìn)行檢驗(yàn)。a. 方差擴(kuò)大因子法：即認(rèn)為與其余自變量之間存在著多重共線性。也可用均值判斷，若即認(rèn)為自變量整體存在著較強(qiáng)的多重共線性。b. 條件數(shù)法條件數(shù)。 若，則認(rèn)為無多重共線性； ，則認(rèn)為有較強(qiáng)的多重共線性； ，則認(rèn)為有嚴(yán)重的多重共線性。 改進(jìn)方法通常為改用有偏估計(jì)值估計(jì)回歸系數(shù)。五敘述BOX-COX變換的定義與基本思路 答：BOX-COX變換是處理異方差性與自相關(guān)性的有效手段，基本思路是通過對y進(jìn)行變換使其滿足正態(tài)性假設(shè)以保證最小二乘法的優(yōu)良性。 具體的方法為： 其中a為任意選取的正常數(shù)，以保證BOX-COX的合理性。稱為變換參數(shù)，可以通過最大似然法估計(jì)。通常