多元回歸分析的應(yīng)用研究

..目錄TOC\o"1-4"\h\z\u32128摘要： 120242關(guān)鍵詞： 128815Abstract： 113136Keywords： 14687引言 2145951一元線性回歸的思想及其應(yīng)用舉例 334591.1一元線性回歸模型 4251341.2一元線性回歸模型的檢驗(yàn) 525061.3一元線性回歸模型舉例 6305232多元線性回歸模型的思想及其應(yīng)用舉例 946222.1多元線性回歸的數(shù)學(xué)模型 9103222.2多元線性回歸模型的檢驗(yàn) 10165742.3多元線性回歸模型應(yīng)用舉例 11305922.3.1研究問題的提出 11240882.3.2數(shù)據(jù)采集與多元回歸分析 11104712.3.3EXCEL作回歸分析確定待定系數(shù)的值 12120722.3.4總結(jié) 132663前進(jìn)法、后退法、逐步回歸法思想及其舉例 14213513.1前進(jìn)法 14252103.1.1前進(jìn)法回歸分析的應(yīng)用 15184793.1.1.1回歸方程 15117603.1.1.2回歸方程及系數(shù)檢驗(yàn) 1523033.2后退法 1582063.2.1后退法回歸分析的應(yīng)用 16150063.2.1.1回歸方程 166113.2.1.2回歸方程及系數(shù)的檢驗(yàn) 161633.3逐步回歸法 16290363.3.1逐步回歸分析的應(yīng)用 17225043.3.2研究結(jié)果比較 1818332致謝 1826101參考文獻(xiàn) 1932186附錄 20多元回歸分析的應(yīng)用研究摘要:回歸分析方法是多元統(tǒng)計(jì)分析的各方法中應(yīng)用最廣泛的一種,也是數(shù)理統(tǒng)計(jì)中最成熟最常用的方法,主要是研究變量間的相互依賴關(guān)系。首先,本文通過建立一元線性回歸模型,闡述了一元線性回歸模型的基本統(tǒng)計(jì)思想以及它在實(shí)際問題研究中的應(yīng)用原理。然后,推廣建立了多元線性回歸,運(yùn)用SPSS等統(tǒng)計(jì)軟件建立了由熟料化學(xué)成分分析結(jié)果預(yù)測抗壓強(qiáng)度的模型,來指導(dǎo)水泥生產(chǎn)配比的調(diào)整,其更好的論證了多元線性回歸,最優(yōu)回歸模型的檢驗(yàn)、評價(jià)及預(yù)測。最后,通過前進(jìn)法、后退法、逐步回歸法,闡述了各個(gè)方法的思想以及步驟,論證了在多元回歸方法中,并不是所有的自變量都對因變量有顯著影響這一思想,舉例說明了各方法的優(yōu)缺點(diǎn),保證所有子集為最優(yōu)回歸子集。同時(shí)我們也看出線性回歸模型在解決這類經(jīng)濟(jì)增長、預(yù)測問題上有很好的效果,其作用具有很好的參考價(jià)值。關(guān)鍵詞：一元線性回歸；多元線性回歸；前進(jìn)法；后退法；逐步回歸MultipleRegressionAnalysisofAppliedResearchAbstract:Regressionanalysismethodisthemostwidelyusedinvariousmethodsofmultivariatestatisticalanalysisofa,isalsothemostmatureandmostcommonlyusedmethodinmathematicalstatistics,mainlyisthestudyofmutuallydependentrelationshipbetweenvariables.Firstofall,throughtheestablishmentofayuanlinearregressionmodel,thispaperexpoundsthebasicstatisticalideaofayuanlinearregressionmodelanditsapplicationintheactualproblemresearchprinciple.Then,establishedthemultivariatelinearregression,usingthestatisticalsoftwareofSPSSwasestablishedbytheclinkerchemicalcompositionanalysisresultpredictionmodelofcompressivestrength,toguidetheadjustmentoftheratioofcementproduction,itsbetterdemonstratesthemultiplelinearregression,theoptimalregressionmodelofinspection,evaluationandprediction.Finally,throughtheformerentered,regressivemethod,stepwiseregressionmethod,thispaperexpoundsthedifferentmethodsofthoughtandsteps,demonstratedinmultivariateregressionmethod,andnotalltheindependentvariablesonthedependentvariablehasasignificantimpactontheideas,theadvantagesanddisadvantagesofeachmethodisillustratedbyanexample,ensuringthatallsubsetsoftheoptimalsubsetregression.Atthesametimewealsoseethatthelinearregressionmodeltodealwiththeproblemofthiskindofeconomicgrowth,forecasthasverygoodeffect,itsactionhastheverygoodreferencevalue.Keywords：Ayuanlinearregression;Multiplelinearregression;Beforethelaw;Backmethod;Stepwiseregressionmethod引言回歸分析是對客觀事物數(shù)量依存關(guān)系的分析,是一種重要的統(tǒng)計(jì)分析方法,廣泛地應(yīng)用于各類社會(huì)現(xiàn)象變量之間的影響因素和關(guān)聯(lián)的研究。由于客觀事物的聯(lián)系錯(cuò)綜復(fù)雜,很多現(xiàn)象的變化往往受到兩個(gè)或多個(gè)因素的影響。為了全面揭示這種復(fù)雜的依存關(guān)系,準(zhǔn)確的測定現(xiàn)象之間的數(shù)量變動(dòng),提高預(yù)測和控制的準(zhǔn)確度,就要建立多元回歸模型進(jìn)入深入、系統(tǒng)的分析。多元回歸分析是研究多個(gè)自變量與某個(gè)應(yīng)變量之間相關(guān)關(guān)系的一種常用統(tǒng)計(jì)方法。一般地,我們有定義1.1稱為多元線性回歸模型,其中是未知參數(shù)。是個(gè)未知參數(shù),稱為回歸參數(shù),稱為回歸系數(shù),稱為被解釋變量,是個(gè)可以精確測量并控制的一般變量,稱為解釋變量〔自變量,為了區(qū)別,稱<1.1>為理論回歸模型。在回歸模型中,因變量和自變量都是一維的,稱它為一元回歸模型；若是多維,也是多維,則稱它為多重回歸模型。多元回歸分析,是經(jīng)濟(jì)預(yù)測中常用的一種方法,通過建立經(jīng)濟(jì)變量與解釋變量之間的數(shù)學(xué)模型,對建立的數(shù)學(xué)模型進(jìn)行檢驗(yàn),在符合判定條件的情況下把給定的解釋變量的數(shù)值代入回歸模型,從而計(jì)算出經(jīng)濟(jì)變量的未來值即預(yù)測值。對于回歸模型中的解釋變量,有兩種處理方法：一種當(dāng)作確定性變量處理,另一種當(dāng)作隨機(jī)變量處理,所得計(jì)算公式式相同。其一般步驟是：首先取得解釋變量和響應(yīng)變量的多次觀測值,這些觀測值可能是實(shí)驗(yàn)得到的,也可能是調(diào)查出的；然后根據(jù)這些數(shù)據(jù)確定經(jīng)驗(yàn)公式的類型,建立數(shù)學(xué)模型,列出待估參數(shù)；再用這些數(shù)據(jù)進(jìn)行擬合；最后作統(tǒng)計(jì)分析。數(shù)據(jù)擬合是計(jì)算方法的內(nèi)容,它也能解決回歸分析中的數(shù)據(jù)擬合,但回歸分析與計(jì)算方法的數(shù)據(jù)擬合不同,計(jì)算方法的數(shù)據(jù)擬合只估計(jì)未知參數(shù),而回歸分析不僅僅估計(jì)參數(shù),而且要對擬合的結(jié)果作統(tǒng)計(jì)分析。就回歸分析的發(fā)展而言,它自身的完善和發(fā)展至今是統(tǒng)計(jì)學(xué)家研究的熱點(diǎn)課題。例如自變量的選擇、穩(wěn)健回歸、回歸診斷、投影尋蹤、分位回歸、非參數(shù)回歸等模型仍有大量研究文獻(xiàn)出現(xiàn)。在回歸模型中,當(dāng)自變量代表時(shí)間、因變量不獨(dú)立并且構(gòu)成平穩(wěn)序列時(shí),這種回歸模型的研究就是統(tǒng)計(jì)學(xué)中的另一個(gè)重要分支—時(shí)間序列分析。它提供了一系列動(dòng)態(tài)數(shù)據(jù)的處理方法,幫助人們科學(xué)的研究分析所獲得的動(dòng)態(tài)數(shù)據(jù),從而建立描述動(dòng)態(tài)數(shù)據(jù)的統(tǒng)計(jì)模型,以達(dá)到預(yù)測、控制的目的。對于滿足基本假設(shè)的回歸模型,它的理論已經(jīng)成熟,但對于違背基本假設(shè)的回歸模型的參數(shù)估計(jì)問題近些年仍有較多研究。在實(shí)際問題的研究應(yīng)用中,人們發(fā)現(xiàn)經(jīng)典的最小二乘估計(jì)的結(jié)果并不總是令人滿意,統(tǒng)計(jì)學(xué)家從多方面進(jìn)行努力試圖克服經(jīng)典方法的不足。例如,為了克服設(shè)計(jì)矩陣的病態(tài)性,提出了以嶺估計(jì)為代表的多種有偏估計(jì)。斯泰因〔Stein于1955年證明了當(dāng)維數(shù)P大于2時(shí),正態(tài)均值向量最小二乘估計(jì)的不可容性,既能夠找到另一個(gè)估計(jì)在某種意義上一直優(yōu)于最小二乘估計(jì),從此之后人們提出許多新的估計(jì),其中主要有嶺估計(jì)、壓縮估計(jì)、主成分估計(jì)、Stein估計(jì),以及特征根估計(jì)。為了解決自變量個(gè)數(shù)較多的大型回歸模型的自變量的選擇問題,人們提出了許多關(guān)于回歸自變量選擇的準(zhǔn)則和算法；為了克服最小二乘估計(jì)對異常值的敏感性,人們提出了各種穩(wěn)健回歸；為了研究模型假設(shè)條件的合理性及樣本數(shù)據(jù)對統(tǒng)計(jì)推斷影響的大小,產(chǎn)生了回歸診斷；為了研究回歸模型中未知參數(shù)非線性的問題,人們提出了許多非線性回歸方法,這其中有利用數(shù)學(xué)規(guī)劃理論提出的非線性參數(shù)估計(jì)方法、樣條回歸方法、微分幾何方法等；為了分析和處理高維數(shù)據(jù),特別是高維非正態(tài)數(shù)據(jù),產(chǎn)生了投影尋蹤回歸、切片回歸等。近年來,新的研究方法不斷出現(xiàn),如非參數(shù)統(tǒng)計(jì)、自助法、刀切法、經(jīng)驗(yàn)貝葉斯估計(jì)等方法都對回歸分析起著滲透和促進(jìn)作用。就回歸分析的應(yīng)用而言,多元回歸方法因其實(shí)用性及有效性,在現(xiàn)今社會(huì)越來越多的領(lǐng)域得到廣泛應(yīng)用。早些時(shí)候,苑玉風(fēng)應(yīng)用多元回歸分析和逐步回歸分析,研究某種汽車發(fā)動(dòng)機(jī)用球墨鑄鐵活塞環(huán)球化率的影響因素,并建立了相關(guān)關(guān)系。李金海在多元回歸數(shù)學(xué)模型基礎(chǔ)上,提出了多元回歸方法的應(yīng)用步驟。另外這一方法也被廣泛的應(yīng)用于預(yù)報(bào)各種氣象參數(shù),牛桂萍,黃祖英用多元回歸分析做暴雨的長期預(yù)報(bào),雖然誤差較大,但他們同時(shí)指出有待于因子本身作進(jìn)一步的改進(jìn)。此外,多元回歸分析方法也被越來越多的應(yīng)用于預(yù)報(bào)各種自然災(zāi)害,王震宇等將這一方法用于滑坡預(yù)報(bào),并用實(shí)例證明了能在一定程度上解決滑坡的預(yù)報(bào)問題。袁宇運(yùn)用多元回歸分析法,建立了化學(xué)污染面積,縱身與諸條件的關(guān)系,快速估算預(yù)測出突出性化學(xué)污染危害,并提前做出防范措施。索南仁欠也提出了水質(zhì)污染的多元回歸分析方法,這一方法的建立有助于我們更好地直觀了解水質(zhì)的最顯著污染因素及在具體治污過程中,更有針對性地實(shí)施合理治污方案。對于太湖大面積的藍(lán)藻事件,如果我們也應(yīng)用這一方法,提前預(yù)測并做好防范工作,那污染所帶來的危害及經(jīng)濟(jì)損失一定會(huì)有所減少。由此看來,回歸模型技術(shù)隨著它自身的不斷完善和發(fā)展以及應(yīng)用領(lǐng)域的不斷擴(kuò)大,必將在統(tǒng)計(jì)學(xué)中占有更重要的位置,也必將為人類社會(huì)的發(fā)展起著它獨(dú)到的作用。1一元線性回歸的思想及其應(yīng)用舉例一元線性回歸是描述兩個(gè)變量之間統(tǒng)計(jì)關(guān)系的最簡單的回歸模型。一元線性回歸雖然簡單,但通過一元線性回歸模型的建立過程,我們可以了解回歸分析方法的基本統(tǒng)計(jì)思想以及它在實(shí)際問題研究中的應(yīng)用原理。在實(shí)際問題的研究中,經(jīng)常需要研究某一現(xiàn)象與影響它的某一最主要因素的關(guān)系。如影響糧食產(chǎn)量的因素非常多,但在眾多的因素中,施肥量是一個(gè)最主要的因素,我們往往需要研究施肥量這一因素與糧食產(chǎn)量之間的關(guān)系；在消費(fèi)問題的研究中,影響消費(fèi)的因素很多,但我們可以之研究國民收入與消費(fèi)額之間的關(guān)系,因?yàn)閲袷杖胧怯绊懴M(fèi)的最主要因素；保險(xiǎn)公司在研究火災(zāi)損失的規(guī)律時(shí),把火災(zāi)發(fā)生地與最近的消防站距離作為一個(gè)最主要的因素,研究火災(zāi)損失與火災(zāi)發(fā)生地和最近的消防站距離之間的關(guān)系。上述幾個(gè)例子都是研究兩個(gè)變量之間的關(guān)系,它們的一個(gè)共同點(diǎn)是：兩個(gè)變量之間有著密切的關(guān)系,但它們之間密切的程度并不能有一個(gè)變量唯一確定另一個(gè)變量,即它們之間的關(guān)系是一種非確定性的關(guān)系。那么它們之間到底有什么樣的關(guān)系呢？下面將舉例說明。用下表1-1數(shù)據(jù)做出銷售額數(shù)據(jù)與廣告額數(shù)據(jù)之間的散點(diǎn)圖,并對其做一元回歸分析。表1-1產(chǎn)品銷售額與廣告額數(shù)據(jù)廣告額〔萬元產(chǎn)品銷售額〔萬元廣告額〔萬元產(chǎn)品銷售額〔萬元489468095511778447036465610787244748656950526992584482664985682251927257557679495086706466479650運(yùn)用EXCEL。得出銷售額與廣告額之間的散點(diǎn)圖如下圖1-1所示：圖1-1銷售額與廣告額的散點(diǎn)圖由圖1所示的趨勢線和回歸方程和擬合的R平方值得到銷售額與廣告額之間的一元回歸直線方程為：擬合度為,其擬合度非常高,擬合效果好,因此,該方程可以用于解釋銷售額的變化和銷售額的預(yù)測。如每增加1萬元的廣告額,銷售額將會(huì)增加1.6324萬元。1.1一元線性回歸模型通過以上例子我們看出它只考慮兩個(gè)變量間的關(guān)系,即與間的線性關(guān)系可以看做是回歸模型的特例,那么我們就可以定義一元線性回歸模型的數(shù)學(xué)形式如下：稱為變量對的一元線性理論回歸模型。其中,是未知參數(shù),稱為回歸常數(shù),稱為回歸系數(shù),稱為被解釋變量〔因變量,是個(gè)可以精確測量并控制的一般變量,稱為解釋變量〔自變量,是隨機(jī)誤差,且為了由樣本數(shù)據(jù)得到回歸參數(shù)和的理想估計(jì)值,使用普通最小二乘估計(jì)。定義離差平方和為為尋找參數(shù)的估計(jì)值,定義的離差平方和達(dá)到最小,則滿足對其分別求偏導(dǎo)數(shù),并令其為零,則有經(jīng)整理其方程組得到的最小二乘估計(jì)為其中得到其回歸直線1.2一元線性回歸模型的檢驗(yàn)檢驗(yàn),其檢驗(yàn)回歸系數(shù)的顯著性。原假設(shè)為對立假設(shè)是構(gòu)造統(tǒng)計(jì)量為其中,是的無偏估計(jì),當(dāng)原假設(shè)成立時(shí),其統(tǒng)計(jì)量服從自由度為的分布,給定顯著性水平,當(dāng)時(shí)接受,認(rèn)為對的一元線性回歸不成立。檢驗(yàn)。,根據(jù)平方和分解式簡寫為構(gòu)造統(tǒng)計(jì)量其中服從自由度為的分布,給定顯著性水平,當(dāng)說明回歸方程顯著,對有顯著的線性關(guān)系。1.3一元線性回歸模型舉例某快餐店已經(jīng)在全國建立了多家分店。其成功的重要經(jīng)驗(yàn)之一就是:店要建在學(xué)校附近。在新建立一家分店之前,管理層需要對這個(gè)新店的年銷售額做出估計(jì),這一估計(jì)用于確定新建餐館的規(guī)模。管理人員認(rèn)為,設(shè)在某校園附近餐館的年銷售額與該學(xué)校的人數(shù)有關(guān)。初步的看法是,設(shè)在規(guī)模大、學(xué)生人數(shù)多的學(xué)校附近的餐館的年銷售額高于設(shè)在規(guī)模小、學(xué)生人數(shù)少的學(xué)校附件的餐館的年銷售額。為研究新餐館的年銷售額隨當(dāng)?shù)貙W(xué)生人數(shù)的變化規(guī)律,該快餐店收集了它的10個(gè)坐落在校園附近的銷售分店的年銷售額與其所在地學(xué)生人數(shù)的數(shù)據(jù),這些數(shù)據(jù)如表1-2表1-210個(gè)分店的年銷售額及分店駐地學(xué)生人數(shù)餐館序號學(xué)生人數(shù)〔1000人年銷售額〔1000人1258261053888481185121176161377201578201699221491026202圖1-2學(xué)生人數(shù)與餐館年銷售額關(guān)系散點(diǎn)圖譬如,對第一個(gè)分店,,表示該店坐落在有2000名學(xué)生的一所學(xué)校附近,年銷售額為5800元；第二分店附近的一所學(xué)校有6000名學(xué)生,它的銷售額達(dá)105000元；余類推。以學(xué)生人數(shù)為橫軸,年銷售額為縱軸,將觀察結(jié)果組成的數(shù)據(jù)對在直角坐標(biāo)系中描出相應(yīng)的散點(diǎn)圖。如圖1-2,從圖1-2可見,數(shù)據(jù)點(diǎn)大致落在一條直線附近,這顯示這兩個(gè)變量近似地就有線性關(guān)系。設(shè)隨機(jī)變量與變量之間存在某種線性相關(guān)關(guān)系,這里,是可以控制的〔或可以觀察的變量,設(shè)其中,稱為隨機(jī)誤差。未知參數(shù)都不依賴于,式〔1-1稱為一元線性回歸模型。它描述了相依變量〔銷售額與一個(gè)獨(dú)立變量〔學(xué)生人數(shù)之間的線性關(guān)系。按前述假設(shè),〔1-7式等價(jià)于方程,該式表示當(dāng)已知時(shí),可以精確地算出數(shù)學(xué)期望,由于表示不可控制的隨機(jī)因素,通常就用作為的估計(jì)值,由樣本得到〔1-7式的估計(jì)則方程為關(guān)于的估計(jì)回歸方程或回歸方程,其圖形稱為回歸直線,式中表示的估計(jì)。系數(shù)采用最小二乘法計(jì)算,這里我們用的多項(xiàng)式擬合命令實(shí)現(xiàn),其程序見附錄1所示,得因此,用最小二乘法求得的估計(jì)回歸方程是：回歸直線如圖1-2所示,可以看到它與所有的數(shù)據(jù)點(diǎn)都很接近。如果有充足的理由相信這個(gè)方程真實(shí)地反映了與之間的關(guān)系。對于給定的的值,我們就能夠預(yù)測出可以信賴的的值,譬如,若一個(gè)新建的分店坐落在一所16000名學(xué)生的學(xué)校附近,那么有：即,這家分店的年銷售額會(huì)達(dá)到140000元。變量與之間線性關(guān)系是統(tǒng)計(jì)意義上的,因此必須要對這種線性關(guān)系作統(tǒng)計(jì)檢驗(yàn)。假定與的回歸具有的形式。如果變量與之間確有這樣的關(guān)系,即變量的值對的值施加了影響,則不會(huì)為零。因此,應(yīng)該檢驗(yàn)假設(shè)〔1檢驗(yàn)經(jīng)推導(dǎo)可知,的估計(jì)服從正態(tài)分布,即′其中而得無偏估計(jì)為殘差平方和,可以得出,故,于是中的估計(jì)量就是,故可使用檢驗(yàn)法對進(jìn)行檢驗(yàn),檢驗(yàn)統(tǒng)計(jì)量當(dāng)為真時(shí),此時(shí)其的拒絕域是：其中,為顯著性水平。當(dāng)假設(shè)被拒絕時(shí),認(rèn)為回歸效果是顯著的,反之,就認(rèn)為回歸效果不顯著。將表1-2中的數(shù)據(jù)帶入,可以計(jì)算出,且而對和自由度為的條件下,可以計(jì)算出臨界值現(xiàn)在,故在顯著水平下拒絕,即認(rèn)為,認(rèn)為回歸效果是顯著的。〔2檢驗(yàn)在回歸模型中只有一個(gè)獨(dú)立變量的情況下檢驗(yàn)和檢驗(yàn)產(chǎn)生同樣的結(jié)論。也就是說,若用檢驗(yàn)法拒絕了,改用檢驗(yàn)法同樣會(huì)得到拒絕的結(jié)論。當(dāng)為真時(shí),統(tǒng)計(jì)量簡寫為其中服從自由度為的分布,將表2的數(shù)據(jù)帶人,可以計(jì)算得又知且,所以通過計(jì)算可得對于,得出由于成立,故拒絕所獲結(jié)論與檢驗(yàn)相同。由次,我們有充分的理由相信方程真實(shí)地反映了與之間的關(guān)系。由以上可以看到,通過一元回歸模型很好的解決的該快餐店的銷售額估計(jì),從而使其擴(kuò)大經(jīng)營有依可循,能有效的避免決策失誤,減少經(jīng)濟(jì)損失,增大經(jīng)濟(jì)效益．可以說線性回歸模型在解決這類經(jīng)濟(jì)增長、預(yù)測問題上有很好的效果。2多元線性回歸模型的思想及其應(yīng)用舉例2.1多元線性回歸的數(shù)學(xué)模型設(shè)隨機(jī)變量與一般變量的線性回歸模型為其中,是個(gè)未知參數(shù),稱為回歸參數(shù),稱為回歸系數(shù),稱為被解釋變量〔因變量,是個(gè)可以精確測量并控制的一般變量,稱為解釋變量〔自變量,是隨機(jī)誤差,且稱為理論回歸方程。對一個(gè)實(shí)際問題,獲得組觀測數(shù)據(jù)則線性回歸模型式可以表示為寫成矩陣形式為其中對于多元線性回歸方程未知參數(shù)的估計(jì)與一元線性回歸方程的參數(shù)估計(jì)原理一樣,采用最小二乘估計(jì),即尋找的估計(jì)值即離差平方和最小。使其滿足對其分別求偏導(dǎo)數(shù),并令其為0,以上方程組經(jīng)整理后,用矩陣形式表示的正規(guī)方程組移向得當(dāng)存在時(shí),即得回歸參數(shù)的最小二乘估計(jì)為得出多元線性回歸預(yù)測模型為2.2多元線性回歸模型的檢驗(yàn)對于多元線性回歸方程的顯著性檢驗(yàn)與一元線性回歸方程的顯著檢驗(yàn)既有相同之處,也有不同之處。下面將介紹兩種統(tǒng)計(jì)檢驗(yàn)方法即檢驗(yàn)和檢驗(yàn)。檢驗(yàn),檢驗(yàn)是對整個(gè)回歸方程的顯著性檢驗(yàn),為此提出原假設(shè)為建立對進(jìn)行檢驗(yàn)的統(tǒng)計(jì)量,利用總離差平方和的分解簡寫為則統(tǒng)計(jì)量如下在正態(tài)假設(shè)下,當(dāng)原假設(shè)成立時(shí)服從自由度為的分布,于是,可以利用統(tǒng)計(jì)量對回歸方程的總體顯著性進(jìn)行檢驗(yàn)。當(dāng)時(shí),拒絕原假設(shè),認(rèn)為在顯著性水平下,與有顯著的線性關(guān)系即回歸方程是顯著的,反之,當(dāng)時(shí),認(rèn)為回歸方程不顯著。檢驗(yàn),檢驗(yàn)是用來對每個(gè)回歸系數(shù)是否有意義進(jìn)行的檢驗(yàn)。構(gòu)造統(tǒng)計(jì)量其中是矩陣主對角線的第個(gè)元素,服從自由度為的分布。當(dāng)給定顯著性水平,如果則認(rèn)為對有顯著影響,否則認(rèn)為其線性效果不顯著。檢驗(yàn),檢驗(yàn)是用于檢驗(yàn)回歸方程對樣本觀測值的擬合程度,其計(jì)算公式為復(fù)相關(guān)系數(shù)說明這一組影響因素與的相關(guān)程度,值越接近1,說明利用多元線性回歸的效果越好。2.3多元線性回歸模型應(yīng)用舉例2.3.1研究問題的提出水泥熟料的強(qiáng)度在水泥生產(chǎn)中是一個(gè)關(guān)鍵性的指標(biāo),甚至可以說是水泥熟料質(zhì)量好壞的結(jié)論性指標(biāo)。由于其測量周期長,數(shù)據(jù)不能及時(shí)反饋給用戶,同時(shí)企業(yè)又不能因?yàn)榇隧?xiàng)指標(biāo)的缺失而拒絕發(fā)貨,因此多數(shù)水泥企業(yè)出廠管理采用強(qiáng)度累計(jì)增長率即二元回歸的方法預(yù)測水泥熟料強(qiáng)度。經(jīng)過長期實(shí)踐證明,累計(jì)增長率的方法確實(shí)可以作為預(yù)測水泥熟料強(qiáng)度的依據(jù),但要做到水泥企業(yè)的精細(xì)化管理,其預(yù)測的準(zhǔn)確程度還有待商榷。影響水泥熟料強(qiáng)度的因素很多,如：礦物組成數(shù)量、化學(xué)成分、熟料的燒結(jié)狀況、熟料礦物晶體的晶型等。累計(jì)增長率的方法完全忽略了這些關(guān)系,本文提及的多元回歸分析強(qiáng)調(diào)化學(xué)成分與水泥熟料強(qiáng)度的關(guān)系,運(yùn)用多元回歸的方法預(yù)測水泥熟料的強(qiáng)度。眾所周知水泥熟料的水化產(chǎn)物主要有4種,分別為：。其中對水泥熟料強(qiáng)度起主要作用的是和對水泥熟料的影響較大。水泥熟料的強(qiáng)度是其礦物組成物理特性的表現(xiàn),直接獲取水泥熟料水化產(chǎn)物的含量比較困難,但其化學(xué)成分通過化學(xué)分析的方法卻能得到較精確的結(jié)果,水泥熟料的化學(xué)成分能間接反映其水化產(chǎn)物。是水泥熟料水化的有害成分,含量過高會(huì)影響水泥的安定性。因此本文選取水泥熟料中的化學(xué)成分的含量與水泥熟料強(qiáng)度進(jìn)行多元回歸分析。2.3.2數(shù)據(jù)采集與多元回歸分析選取生產(chǎn)工藝狀況比較穩(wěn)定、熟料全分析及物檢數(shù)據(jù)準(zhǔn)確度符合分析、檢驗(yàn)要求、并具有代表性的若干組檢驗(yàn)數(shù)據(jù)作為回歸分析基礎(chǔ)數(shù)據(jù),原始數(shù)據(jù)應(yīng)不少于20組。在此采集千業(yè)水泥公司6、7月份熟料檢驗(yàn)結(jié)果列于附錄表2-1根據(jù)常規(guī)熟料化學(xué)分析項(xiàng)目,建立多元線性回歸分析的數(shù)學(xué)模型如下：式中：為預(yù)測的熟料抗壓強(qiáng)度；分別表示熟料化學(xué)分析中的百分含量；為待定系數(shù)。2.3.3EXCEL作回歸分析確定待定系數(shù)的值創(chuàng)建一個(gè)EXCEL工作表,并將所采集的數(shù)據(jù)組熟料化學(xué)分析及物檢數(shù)據(jù)輸入表中。然后將光標(biāo)移到列、回歸系數(shù)行的單元格,單擊"粘貼函數(shù)"打開粘貼函數(shù)中的"函數(shù)分類〔C"選擇其中"查找與引用",在"函數(shù)名<N>"中選擇"INDEX"然后按"確定",此時(shí)在編輯欄中出現(xiàn)"=INDEX<>"。再在"=INDEX<>"的括號內(nèi)輸入表格定位：<LINEST<I5:I30,B5:H30>,8>,此時(shí)編輯欄中顯示=INDEX<LINEST<I5:I30,B5:H30>,8>,單擊編輯欄的"√"即可得出的值。將光標(biāo)移到x1下回歸系數(shù)行的單元格,采用同樣方法輸入=INDEX<LINEST<I5:I30,B5:H30>,7>,,即可得出x1的數(shù)值,移動(dòng)光標(biāo)到相應(yīng)系數(shù)下單元格,同樣方法,只需將公式中最后一個(gè)數(shù)字依次改為"6、5、4、3、2、1",即可依次得出的值。在EXCCEL中可以方便地用所求公式對強(qiáng)度結(jié)果進(jìn)行驗(yàn)算,將光標(biāo)移到上面EXCCEL工作表的單元格J5,單擊后單擊"粘貼函數(shù)"打開粘貼函數(shù)中的"函數(shù)分類〔C"選擇其中"全部",在"函數(shù)名<N>"中選擇"SUMPRODUCT"然后按"確定",此時(shí)在編輯欄中出現(xiàn)"=SUMPRODUCT<>"。再在"=SUMPRODUCT<>"的括號內(nèi)輸入："B5:H5,C2:I2",然后再加上即"+B2",此時(shí)編輯欄中顯示=SUMPRODUCT<B5:H5,C2:I2>+B2。單擊編輯欄的"√",即可得出6.17的抗壓強(qiáng)度預(yù)測值見表2-1。將光標(biāo)移到單元格J5的右下角,當(dāng)其變?yōu)楹谑謺r(shí),按下鼠標(biāo)左鍵,向下拖至單元格J30,即可得出所有相應(yīng)的抗壓強(qiáng)度預(yù)測值。將光標(biāo)移到工作表的單元格K5,單擊后在上方編輯欄內(nèi)輸入公式"J5-I5"即可得出6.17的物理檢測值和預(yù)測值的差,采用同樣方法向下拖至單元格K30,即可得出所有相應(yīng)的誤差值。其統(tǒng)計(jì)分析結(jié)果見表2-1其預(yù)測公式在SPSS中選擇工具一數(shù)據(jù)分析一回歸,其輸出結(jié)果見下表2-2,以及附錄表2-3表2-2系數(shù)表模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSig.B標(biāo)準(zhǔn)誤差試用版1<常量>2.0171.0002.017.059x1.687.011.95361.450.000x2.537.012.66145.534.000x3.878.026.39934.349.000x4-1.088.030-.364-36.399.000x5-1.497.021-.780-71.426.000x6.126.008.17014.897.000x7.477.011.50944.921.000將所有結(jié)果保留2位有效數(shù)字,則水泥熟料強(qiáng)度預(yù)測公式<1>為：式中：每個(gè)回歸系數(shù)下面括號中的數(shù)值是與其互相對應(yīng)的值.其中為水泥熟料強(qiáng)度預(yù)測值,分別代表水泥熟料中：元素的含量。由以上回歸方程可以看出,它與EXCEL所得到的回歸系數(shù)值極匹配,所選取的回歸方程準(zhǔn)確性較好,在實(shí)際測量中結(jié)果也令人滿意。下面對模型進(jìn)行檢驗(yàn)。〔1檢驗(yàn)根據(jù)顯著性水平,查分布表,得通過統(tǒng)計(jì)軟件計(jì)算處理得到從以上可得三個(gè)回歸系數(shù)的檢驗(yàn)均通過,同理檢驗(yàn)通過,所選擇的自變量是影響強(qiáng)度的的主要因素。檢驗(yàn)通過計(jì)算機(jī)得到根據(jù)顯著性水平,查分布表得,因?yàn)?所以,檢驗(yàn)通過,表明回歸方程的回歸效果顯著。整體上對有高度顯著的線性關(guān)系?！?復(fù)相關(guān)系數(shù),決定系數(shù),由決定系數(shù)看回歸方程高度顯著。本文所得的回歸經(jīng)驗(yàn)公式是建立在生產(chǎn)工藝較穩(wěn)定,化學(xué)分析結(jié)果和熟料強(qiáng)度有較好的線性相關(guān)關(guān)系的基礎(chǔ)上。采用此方法,對XX千業(yè)水泥XX公司20XX6月17日至2007年7月16日期間生產(chǎn)較為正常的熟料抗壓強(qiáng)度進(jìn)行了預(yù)測〔見附錄表2-1,與物檢實(shí)際抗壓強(qiáng)度相比,其絕對強(qiáng)度誤差最大值為,絕對平均強(qiáng)度誤差為,相關(guān)性很好,并且以水泥熟料水化機(jī)理、礦物組成與其強(qiáng)度的關(guān)系為依據(jù),強(qiáng)調(diào)水泥熟料中化學(xué)成分對其強(qiáng)度的影響,選用多元回歸的分析方法,打破傳統(tǒng)累計(jì)增長率的預(yù)測形式、預(yù)測模型更加科學(xué),具有指導(dǎo)水泥生產(chǎn)配比調(diào)整的意義。2.3.4總結(jié)在多元線性回歸分析中,我們知道回歸方程中所包含的自變量越多,那么回歸平方和就越大,則剩余平方和就越小,一般情況下剩余標(biāo)準(zhǔn)差也隨之減少,回歸方程效果越好,而精度也越高。在"最優(yōu)"回歸方程中總希望包括盡可能多的自變量,特別是對因變量有顯著影響的自變量不能遺漏。但回歸方程所包括的自變量太多,也帶來不利的一面,首先,若要求自變量多,則在預(yù)測時(shí)必須測定許多量,并且計(jì)算也不方便;其次,如果在回歸方程中包括有對因變量y不起作用或作用極小的自變量,那么剩余平方和也不會(huì)由于自變量的增加而減少,相反由于的自由度的減少,反而使剩余標(biāo)準(zhǔn)差增大,這就影響回歸方程的精度;第三,由于存在著對因變量影響不顯著的自變量,以致影響回歸方程的穩(wěn)定性,使預(yù)測效果下降。因而,在"最優(yōu)"回歸方程中,又希望不包括對因變量影響不顯著的自變量。綜上所述,所謂最優(yōu)回歸方程,就是在回歸方程中包括所有對因變量有顯著影響的自變量,而不包括對因變量影響不顯著的自變量的回歸方程。最優(yōu)回歸方程的建立,是采取將自變量逐個(gè)引入的方法。引入自變量的條件是:該自變量的偏回歸平方和經(jīng)檢驗(yàn)是所有自變量中最顯著的。同時(shí),每引入一個(gè)新變量后,要求對已引入的自變量逐個(gè)進(jìn)行檢驗(yàn),將偏回歸平方和變得不顯著的自變量及時(shí)剔除。由于每步都作檢驗(yàn),因而保證了最后所建立的回歸方程中所有自變量都是顯著的。上述這種建立最優(yōu)回歸方程的理論和方法,稱為逐步回歸分析。3前進(jìn)法、后退法、逐步回歸法思想及其舉例3.1前進(jìn)法前進(jìn)法的思想是變量有少變多,每次增加一個(gè),直至沒有可引入的變量為止,具體做法是首先將全部個(gè)自變量分別對因變量建立個(gè)一元線性回歸方程,并分別計(jì)算這個(gè)一元回歸方程的個(gè)回歸系數(shù)的檢驗(yàn)值,記為,選其最大值記為給定顯著性水平,若,則首先將引入回歸方程,為了方便,設(shè)就是。接下來因變量分別與建立個(gè)二元線性回歸方程,對這個(gè)回歸方程中的回歸系數(shù)進(jìn)行檢驗(yàn),計(jì)算值,記為,選其最大者記為若,則接著將引入回歸方程。以上述方法接著做下去,直至所有的未被引入方程的自變量的值均小于時(shí)為止。這時(shí),得到的回歸方程就是最終確定的方程。每步檢驗(yàn)中的臨界值與自變量數(shù)目有關(guān),在用軟件計(jì)算時(shí),我們實(shí)際使用的是顯著性值做檢驗(yàn)。3.1.1前進(jìn)法回歸分析的應(yīng)用例4現(xiàn)實(shí)生活中,影響一個(gè)地區(qū)居民消費(fèi)的因素很多,例如,一個(gè)地區(qū)的人均生產(chǎn)總值、收入水平、消費(fèi)價(jià)格指數(shù)、生活必需品的花費(fèi)等。本例選取9個(gè)解釋變量研究城鎮(zhèn)居民家庭平均每人全年的消費(fèi)性支出,解釋變量為：居民的食品花費(fèi),居民的服裝花費(fèi),居民的居住花費(fèi),居民的醫(yī)療花費(fèi),居民的教育花費(fèi),地區(qū)的職工平均工資,地區(qū)的人均,地區(qū)的消費(fèi)價(jià)格指數(shù),地區(qū)的失業(yè)率。本例選取20XX《中國統(tǒng)計(jì)年鑒》我國的30個(gè)省、市、自治區(qū)〔XX地區(qū)失業(yè)率數(shù)據(jù)缺失,因此從樣本中剔除XX20XX的數(shù)據(jù),以居民的消費(fèi)性支出〔元為因變量,以如下9個(gè)變量為自變量作多元線性回歸。數(shù)據(jù)見附錄,其中,自變量單位為元,的單位為。對例題4城鎮(zhèn)居民消費(fèi)性支出關(guān)于9個(gè)自變量做回歸數(shù)據(jù),用前進(jìn)法做變量選擇,取顯著性水平。3.1.1.1回歸方程從中可以看到,前進(jìn)法依次引入,則城鎮(zhèn)居民消費(fèi)性支出關(guān)于9個(gè)自變量的回歸方程為3.1.1.2回歸方程及系數(shù)檢驗(yàn)回歸模型的假設(shè)檢驗(yàn)：從表中可以看出,其值小于0.05,則說明居民消費(fèi)性支出的回歸系數(shù)不為0,其回歸模型有統(tǒng)計(jì)意義。偏回歸系數(shù)的假設(shè)檢驗(yàn)：表中,則在0.05的顯著性水平下,該各回歸系數(shù)不為0.說明對各個(gè)自變量有顯著影響。衡量線性回歸模型優(yōu)劣的標(biāo)準(zhǔn),其復(fù)決定系數(shù),表明：用樣本量和模型中自變量的個(gè)數(shù)進(jìn)行調(diào)整后,模型中自變量有的解釋力比前四次回歸都顯著,這也說明了與之間高度的線性相關(guān)關(guān)系。3.2后退法后退法。是將全部自變量回歸,然后對每個(gè)自變量做顯著性檢驗(yàn),剔除最不重要的變量.后退法其具體做法是對個(gè)回歸系數(shù)進(jìn)行檢驗(yàn),記求得的值為,選其最小者記為給定顯著性水平,若,則首先將從回歸方程中剔除,為了方便,設(shè)就是。接著對剩下的個(gè)自變量重新建立回歸方程,進(jìn)行回歸系數(shù)的顯著性檢驗(yàn),像上面那樣計(jì)算出,如果又有,則剔除,重新建立關(guān)于個(gè)自變量的回歸方程,依此類推,直至回歸方程中所剩余的個(gè)自變量的檢驗(yàn)值均大于臨界值,沒有可剔除的自變量為止,這時(shí),得到的回歸方程就是最終確定的方程。3.2.1后退法回歸分析的應(yīng)用對例4城鎮(zhèn)居民消費(fèi)性支出關(guān)于9個(gè)自變量做回歸數(shù)據(jù),用前進(jìn)法做變量選擇,取顯著性水平。3.2.1.1回歸方程后退法依次引入了其最優(yōu)回歸模型如下：居住,醫(yī)療保健,教育,平均工資,人均,消費(fèi)價(jià)格指數(shù)3.2.1.2回歸方程及系數(shù)的檢驗(yàn)回歸模型的假設(shè)檢驗(yàn)：從表中可以看出拒絕原假設(shè),說明回歸方程顯著,其回歸模型有統(tǒng)計(jì)意義。偏回歸系數(shù)的假設(shè)檢驗(yàn)：表中檢驗(yàn)的結(jié)果,值分別等于3.602,3.121,3.014,2.683,8.397,1.738,3.502各自值為0.002,0.005,0.006,0.013,0.000,0.096,0.002在顯著性水平,則拒絕原假設(shè),該各偏回歸系數(shù)均不為0,且對居民消費(fèi)性支出有顯著影響?！?衡量線性回歸模型優(yōu)劣的標(biāo)準(zhǔn)：復(fù)決定系數(shù)為調(diào)整的復(fù)決定系數(shù)表明：用樣本量和模型中自變量的個(gè)數(shù)進(jìn)行調(diào)整后,模型中自變量有的解釋力比前兩次回歸都顯著,這也說明與之間高度的線性相關(guān)關(guān)系。3.3逐步回歸法逐步回歸的基本思想是有進(jìn)有出。具體做法是將變量一個(gè)一個(gè)引入,每引入一個(gè)自變量后,對已選入的變量進(jìn)行逐個(gè)檢驗(yàn),當(dāng)原引入的變量由于后面變量的引入而變得不再顯著時(shí),要將其剔除。引入一個(gè)變量或從回歸方程剔除一個(gè)變量,為逐步回歸的一步,每一步都要進(jìn)行檢驗(yàn),以確保每次引入新的變量之前回歸方程中只包含顯著的變量,這個(gè)過程反復(fù)進(jìn)行,直到既無顯著的自變量選入回歸方程,也無不顯著自變量從回歸方程中剔除為止。這樣就避免了前進(jìn)法和后退法各自的缺陷,保證了最后所得的回歸子集是最優(yōu)回歸子集。在逐步回歸法中要注意的一個(gè)問題是引入自變量和剔除自變量的顯著性水平值是不同的,要求引入自變量的顯著性水平小于剔除自變量的顯著性水平,否則可能產(chǎn)生"死循環(huán)"。3.3.1逐步回歸分析的應(yīng)用表3-1的數(shù)據(jù)是1968—1983年間美國與線制造有關(guān)的數(shù)據(jù),各變量的含義如下：年份；國民生產(chǎn)總值〔10億美元；新房東工數(shù)〔單位：1000；失業(yè)率〔；滯后6個(gè)月的最惠利率；用戶用線增量〔%；年線銷量〔百萬尺雙線。表3-11968-1983美國與線制造數(shù)據(jù)x1x2x3x4x5x6y19861051.81503.63.65.85.9587319691078.81486.73.56.74.5785219701075.31434.85.08.44.2818919711107.52035.06.06.24.2749419721171.12360.05.65.44.9853419731235.02043.04.95.95868819741217.81331.05.69.44.1727019751202.31160.08.59.43.4502019761271.01535.07.77.24.2603519771332.71961.87.06.64.5742519781399.22009.36.07.63.9940019791431.61721.96.010.64.4935019801480.71290.07.214.93.9654019811510.31100.07.616.63.1767519821492.21039.09.217.50.6741919831535.41200.08.816.01.57923用spss做回歸,其輸出結(jié)果如附錄表3-2所示：〔1從輸出結(jié)果表3-2可以看出,逐步回歸的最優(yōu)子集模型為模型3,回歸方程為從回歸方程可以看出,對1968—1983年間美國與線制造年線銷量〔百萬尺雙線有顯著影響的是新房東工數(shù)〔單位：1000、失業(yè)率〔、滯后6個(gè)月的最惠利率,回歸方程中失業(yè)率〔的回歸系數(shù)為負(fù),即,失業(yè)率越高年銷量越低,這也符合實(shí)際情況。方差分析表,表明回歸方程顯著,說明整體上在顯著性水平的情況下對有顯著影響?；貧w系數(shù)的顯著檢驗(yàn)。自變量對均有顯著影響。其中失業(yè)率〔的最大,但仍在的顯著性水平下對高度顯著,這充分說明在多元回歸中不能僅憑簡單相關(guān)系數(shù)的大小而決定變量的取舍。在輸出結(jié)果可以看到逐步回歸的選元過程。本例逐步回歸法的選元過程依次將引入回歸模型,沒有剔除變量,保留作為最終模型。相比之下,后退法首先做全模型的回歸,每個(gè)自變量都有機(jī)會(huì)展示自己的作用,所得結(jié)果更值得信服,說明兩種方法對自變量重要性的認(rèn)可是不同的,這與自變量之間的相關(guān)性有關(guān)聯(lián)。3.3.2研究結(jié)果比較從上面的例子可以得出前進(jìn)法和后退法顯然都有明顯的不足。前進(jìn)法可能存在這樣的問題,既不能反映引進(jìn)新的自變量后的變化情況。因?yàn)槟硞€(gè)自變量開始可能是顯著的,但當(dāng)引入其他自變量后它就變得不顯著了,但是也沒有機(jī)會(huì)將其剔除,即一旦引入,就是"終身制"的。這種只考慮引入而沒有考慮剔除的做法顯然是不全面的。我們在許多例子中會(huì)發(fā)現(xiàn)可能最先引入的某個(gè)自變量—當(dāng)其他自變量相繼引入后—會(huì)變得對因變量很不顯著。后退法明顯不足是,一開始把全部自變量引入回歸方程,這樣計(jì)算量很大。如果有些自變量不太重要,一開始就不引入,就可減少一些計(jì)算量；再就是一旦某個(gè)自變量被剔除,它就再也沒有機(jī)會(huì)重新進(jìn)入回歸方程。逐步回歸的思想是有進(jìn)有出,即吸收了前進(jìn)法和后退法的優(yōu)點(diǎn),