何曉群版應(yīng)用回歸分析考試重點(diǎn)題型

..一元,多元線形回歸分析：一.請(qǐng)分別敘述變量間統(tǒng)計(jì)關(guān)系與函數(shù)關(guān)系的區(qū)別,以及相關(guān)分析與回歸分析的聯(lián)系與區(qū)別。答：各自然現(xiàn)象或社會(huì)現(xiàn)象之間普遍存在著各種聯(lián)系,根據(jù)這些聯(lián)系的緊密程度不同,可將之分為函數(shù)關(guān)系與統(tǒng)計(jì)關(guān)系。一種情況下某變量Y能被其余的一類(lèi)變量完全決定,這時(shí)兩者之間存在著完全的確定性關(guān)系,這種關(guān)系可以通過(guò)一個(gè)函數(shù)表示。這樣的確定性關(guān)系被稱(chēng)為函數(shù)關(guān)系。另一種情況下變量之間雖然存在緊密的聯(lián)系,但并不能互相唯一確定,這種非確定性的緊密聯(lián)系被稱(chēng)為統(tǒng)計(jì)關(guān)系。相關(guān)分析與回歸分析都是研究?jī)蛇吔y(tǒng)計(jì)關(guān)系的方法,在實(shí)際問(wèn)題的處理中往往結(jié)合使用兩者。兩者的區(qū)別主要在于：1.目標(biāo)不同：相關(guān)分析主要用于刻畫(huà)X,Y兩變量間的聯(lián)系的密切程度,而回歸分析除此之外,還關(guān)心對(duì)未觀察Y值的預(yù)測(cè)與控制。2.角度不同：相關(guān)分析中X,Y兩變量地位相同,因此假設(shè)兩者都是隨機(jī)變量；而回歸分析中只將變量Y作為主要研究對(duì)象,因而往往假設(shè)Y是隨機(jī)變量,而X是非隨機(jī)變量。二.請(qǐng)敘述〔一元多元線性回歸模型及其基本假設(shè)答：1.一元線性模型的基本形式是：,其中稱(chēng)為回歸系數(shù),稱(chēng)為隨機(jī)誤差。其基本假設(shè)為：G-M假設(shè)：或者更強(qiáng)的正態(tài)性假設(shè)：獨(dú)立同分布,。2.多元線性模型的基本假設(shè)是：稱(chēng)為回歸系數(shù)陣,稱(chēng)為隨機(jī)誤差.其基本假設(shè)為：a.G-M假設(shè)：或者更強(qiáng)的正態(tài)性假設(shè)：獨(dú)立同分布,。b.rank<X>=p+1<n三．請(qǐng)敘述最小二乘法〔最大似然法的基本思路、理論基礎(chǔ)與性質(zhì),并對(duì)兩者作比較。答：最小二乘法的基本思路是通過(guò)最小化殘差平方和求得回歸系數(shù)的估計(jì)值。其理論基礎(chǔ)是函數(shù)極值理論。2．最大似然法的基本思路是最大化似然函數(shù)求得回歸系數(shù)的估計(jì)值。其理論基礎(chǔ)是函數(shù)極值理論。3.兩者對(duì)的估計(jì)結(jié)論是一致的,且結(jié)果均具有線性,無(wú)偏性,穩(wěn)定性〔在G-M假設(shè)下是最小方差線性無(wú)偏估計(jì),在正態(tài)性假設(shè)下是最小方差無(wú)偏估計(jì),具體參見(jiàn)問(wèn)題四。4.相對(duì)來(lái)說(shuō),使用最大似然法需要的假設(shè)較強(qiáng),需要正態(tài)性假設(shè),而最小二乘法本身不需要任何假設(shè)。但是,最大似然法可以得到的估計(jì),而最小二乘法不行。四.假設(shè)通過(guò)最小二乘估計(jì)得到回歸方程的估計(jì),請(qǐng)敘述估計(jì)量以及殘差的定義及其性質(zhì)。答：1.估計(jì)量具有線性,無(wú)偏性,穩(wěn)定性,即：a.是y的線性變換b.是無(wú)偏的。c．在G-M假設(shè)下是最小方差線性無(wú)偏估計(jì),在正態(tài)性假設(shè)下是最小方差無(wú)偏估計(jì)。。殘差,它具有以下性質(zhì)a.b.,即c.d.,且正態(tài)性假設(shè)下兩者獨(dú)立e．服從自由度為n-p-1的開(kāi)方分布,即五、敘述多元線性回歸中常見(jiàn)的顯著性檢驗(yàn)方法及其關(guān)系。答：常見(jiàn)的顯著性檢驗(yàn)方法有t檢驗(yàn),F檢驗(yàn),偏F檢驗(yàn)三種。假設(shè)檢驗(yàn)水平為。1.F檢驗(yàn)檢驗(yàn)統(tǒng)計(jì)量：判斷法則：時(shí)拒絕原假設(shè)。2.t檢驗(yàn)檢驗(yàn)統(tǒng)計(jì)量：判斷法則：時(shí)拒絕原假設(shè)。3.偏F檢驗(yàn)檢驗(yàn)統(tǒng)計(jì)量：判斷法則：時(shí)拒絕原假設(shè)。4.三者的關(guān)系。t檢驗(yàn)與偏F檢驗(yàn)等價(jià),F檢驗(yàn)與另兩者不同〔實(shí)質(zhì)上是另兩者的前提,通常先做F檢驗(yàn),再做t檢驗(yàn)或偏F檢驗(yàn)。六、給出一元回歸模型估計(jì)值的點(diǎn)估計(jì)與區(qū)間估計(jì)〔置信度答：1.在未觀測(cè)點(diǎn)處,y的點(diǎn)估計(jì)為。2.在未觀測(cè)點(diǎn)處,的區(qū)間估計(jì)為〔預(yù)測(cè)區(qū)間n相當(dāng)大時(shí)<n>15>,可以簡(jiǎn)化為。3.在未觀測(cè)點(diǎn)處,的區(qū)間估計(jì)為〔置信區(qū)間。給定置信上界與置信下界時(shí),的取值范圍為七.敘述樣本數(shù)據(jù)與回歸系數(shù)標(biāo)準(zhǔn)化的意義與方法答：多元線性回歸模型中,由于自變量的數(shù)量級(jí)差異較大,因而舍入誤差將對(duì)估計(jì)的精度造成較大的影響；同時(shí)自變量的單位不同也會(huì)造成回歸方程的解釋比較困難,因而通常需要對(duì)樣本數(shù)據(jù)進(jìn)行預(yù)處理,即數(shù)據(jù)的標(biāo)準(zhǔn)化。數(shù)據(jù)的標(biāo)準(zhǔn)化通常這樣進(jìn)行：利用標(biāo)準(zhǔn)化樣本數(shù)據(jù)的得到的回歸方程系數(shù)稱(chēng)為標(biāo)準(zhǔn)化回歸系數(shù),其滿(mǎn)足:.八.給出偏決定系數(shù)、偏相關(guān)系數(shù)的定義答：1.當(dāng)其余自變量固定時(shí),對(duì)y的影響程度稱(chēng)為的偏決定系數(shù),定義為2.當(dāng)其余自變量固定時(shí),與的相關(guān)程度稱(chēng)為兩者的偏相關(guān)系數(shù),定義為。計(jì)算：1.〔20分近來(lái)某時(shí)尚雜志進(jìn)行了一項(xiàng)關(guān)于高清數(shù)字電視的調(diào)查。對(duì)于各不同品牌不同型號(hào)的數(shù)字電視,該雜志基于畫(huà)面質(zhì)量給出了一個(gè)測(cè)試總分〔i=1,2,…24,同時(shí),該雜志也收集了這些數(shù)字電視的平均市場(chǎng)售價(jià)。數(shù)據(jù)顯示假設(shè)樣本數(shù)據(jù)符合正態(tài)性假設(shè),隨機(jī)項(xiàng)的方差為。根據(jù)以上條件,請(qǐng)〔1〔5分建立y關(guān)于x的一元線性回歸方程〔2〔5分給出作的無(wú)偏估計(jì)。〔3〔5分在的顯著性水平下,檢驗(yàn)變量之間的顯著性?！惨阎骸?〔5分假設(shè)某種新上市的數(shù)字電視的評(píng)分為45分,請(qǐng)給出其市場(chǎng)建議價(jià),并作該價(jià)格的置信水平為95%的區(qū)間估計(jì)。解：〔1根據(jù)題意,有：-----------1分----------1分------------1分從而所以回歸方程為---------2分〔2------3分所以-------2分〔3建立假設(shè)為：------1分構(gòu)造檢驗(yàn)統(tǒng)計(jì)量：------3分由于,所以拒絕原假設(shè)------1分即認(rèn)為變量之間存在顯著的線性關(guān)系?！?的估計(jì)值為------1分由于樣本量較大,所以可以用近似公式計(jì)算預(yù)測(cè)區(qū)間------1分即價(jià)格的預(yù)測(cè)區(qū)間為------3分2.〔15分某市最近進(jìn)行的一項(xiàng)有關(guān)公共交通的調(diào)查發(fā)現(xiàn),公交車(chē)的維護(hù)費(fèi)用與其已使用月數(shù)之間的關(guān)系可以用一元線性回歸模型描述,其誤差項(xiàng)滿(mǎn)足,其中隨機(jī)項(xiàng)滿(mǎn)足G-M假設(shè)。實(shí)驗(yàn)的實(shí)際觀測(cè)數(shù)據(jù)〔10組由下表給出,請(qǐng)根據(jù)數(shù)據(jù)給出該回歸模型的估計(jì),并預(yù)測(cè)某輛已使用了4年的公交車(chē)的維護(hù)費(fèi)用。已使用月數(shù)61454855294360維護(hù)費(fèi)用4968631751985048918256964858652931831945716887解：由于誤差項(xiàng)滿(mǎn)足,而滿(mǎn)足G-M假設(shè),所以可以通過(guò)差分法來(lái)消除自相關(guān)性。------1分對(duì)原樣本數(shù)據(jù)做一階差分,得到差分?jǐn)?shù)據(jù)樣本自變量差分-1637-2614175因變量差分1349-1119-1504134-3486-8383461-362-37482316------4分由于差分?jǐn)?shù)據(jù)必然已中心化,所以差分回歸模型為,其中------4分從而回歸方程為------4分將帶入上述方程,得:------2分3.非參數(shù)檢驗(yàn)〔異方差證明：1.對(duì)一元線性模型證明三種檢驗(yàn)統(tǒng)計(jì)量等價(jià)證：對(duì)于一元線性回歸模型來(lái)說(shuō),F檢驗(yàn)、t檢驗(yàn)、相關(guān)性檢驗(yàn)的原假設(shè)與備擇假設(shè)相同,均為------2分而三者的檢驗(yàn)統(tǒng)計(jì)量分別為：,,。------1分由各參數(shù)的定義------3分所以------2分------2分所以,即三種檢驗(yàn)完全等價(jià)。2.在正態(tài)性假設(shè)下,求證<一元>/〔多元是的無(wú)偏估計(jì)a.記,則。再記。則------4分------4分所以------2分從而------5分即是的無(wú)偏估計(jì),證畢。b.記.則.-----1分從而----2分由正態(tài)性假設(shè),----3分----4分從而----1分---3分所以是的無(wú)偏估計(jì)----1分3計(jì)算多元線性模型下,的期望陣與方差4.證明數(shù)據(jù)標(biāo)準(zhǔn)化后參數(shù)估計(jì)值之間的轉(zhuǎn)化關(guān)系5.證明dw的取值范圍〔0<=dw<=4--------2分--------2分樣本充分大時(shí),可以認(rèn)為--------1分從而--------3分所以--------1分又,從而其余：一．?dāng)⑹鋈Ｐ?、選模型的優(yōu)缺點(diǎn)答：設(shè)全模型為,選模型為〔p<m.那么：選模型的缺點(diǎn)為：a.設(shè)與至少一個(gè)相關(guān),則是有偏的,即。b.選模型的預(yù)測(cè)值是有偏的,即。2.選模型的優(yōu)點(diǎn)為：a.選模型回歸參數(shù)的方差較小〔穩(wěn)定性較高,即b.選模型的預(yù)測(cè)值的殘差方差更小,即,其中c.選模型的預(yù)測(cè)值的均方誤差更小,即二．?dāng)⑹鲎兞窟x擇的基本準(zhǔn)則答：通常根據(jù)以下三種準(zhǔn)則進(jìn)行變量選擇。自由度調(diào)整的復(fù)決定系數(shù)最大自由度調(diào)整的復(fù)決定系數(shù)是基于擬合效果提出的變量選擇參數(shù),定義為,其中是回歸方程的決定系數(shù)〔擬合優(yōu)度。赤池信息量〔AIC或SBC最小赤池信息量是基于最大似然原則提出的變量選擇參數(shù),定義為。SBC是對(duì)AIC的修正,定義為。3.Mallows統(tǒng)計(jì)量最小Mallows統(tǒng)計(jì)量是基于預(yù)測(cè)效果〔均方誤差提出的變量選擇參數(shù),定義為。三．?dāng)⑹鲎兞窟x擇的基本方法及其比較答：變量選擇的基本方法有以下三種：1.前進(jìn)法,具體步驟為：a.對(duì)所有可選變量作一元線性回歸,對(duì)這p個(gè)回歸方程分別作F檢驗(yàn),選擇其中統(tǒng)計(jì)量最大值。若,則將選作回歸自變量。b.對(duì)所有的二元變量對(duì)作二元線性回歸,對(duì)這p-1個(gè)回歸方程分別作〔偏F檢驗(yàn),選擇其中統(tǒng)計(jì)量最大值。若,則將選作回歸自變量。c.以此類(lèi)推,直到引入q個(gè)自變量后所有q+1元回歸方程的F統(tǒng)計(jì)量值均小于。2.后退法,具體步驟為：a.對(duì)全部可選變量作P元線性回歸,對(duì)該回歸方程作t檢驗(yàn),選擇其中統(tǒng)計(jì)量最小值。若,則將刪除。b.對(duì)剩余自變量作p-1元線性回歸,對(duì)該回歸方程作t檢驗(yàn),選擇其中統(tǒng)計(jì)量最小值。若,則將刪除。c.以此類(lèi)推,直到所有剩余自變量均能通過(guò)t檢驗(yàn)。3.逐步回歸法,具體步驟為：a.使用前進(jìn)法選擇自變量。b.每選入一個(gè)自變量,則利用后退法刪除所有需要?jiǎng)h除的自變量。c.以此類(lèi)推,直到剩余自變量均不能被選入。由于前進(jìn)法有進(jìn)無(wú)出〔自變量被選入之后無(wú)法被刪除,后退法有出無(wú)進(jìn)〔自變量被刪除后無(wú)法被再次選入,所以在選擇效果上通常都不如逐步回歸。四．?dāng)⑹鏊羞`背基本假設(shè)的情形及其檢驗(yàn)、改進(jìn)方法答：違背基本假設(shè)的情形一共有四種:異方差性、自相關(guān)性、異常值以及多重共線性。異方差性：a.可以通過(guò)spearman等級(jí)相關(guān)系數(shù)檢驗(yàn),其方法為：,其中,是的等級(jí)差。檢驗(yàn)統(tǒng)計(jì)量：判斷法則：時(shí)拒絕原假設(shè)。b.可以通過(guò)加權(quán)最小二乘法改進(jìn)自相關(guān)性a.自回歸階數(shù)為1時(shí)可以通過(guò)D-W檢驗(yàn)法檢驗(yàn),其方法為：根據(jù)樣本容量n與解釋變量個(gè)數(shù)p+1查得dw下屆與dw上界。計(jì)算D-W統(tǒng)計(jì)量,其定義為若b.可以通過(guò)迭代法或者差分法改進(jìn)3.異常值異常值可以簡(jiǎn)單分為y的異常值與x的異常值兩種。a.y的異常值可以用殘差大小判斷,通常認(rèn)為學(xué)生化殘差或者標(biāo)準(zhǔn)化殘差即說(shuō)明是異常值；精確的判斷可以用學(xué)生化刪除殘差進(jìn)行,其中。b.x的異常值可以用庫(kù)克距離判斷,其定義為通常認(rèn)為說(shuō)明不是異常值,說(shuō)明是異常值。