數(shù)學(xué)建模解多元線性回歸問題

1、公司年銷售額的分析摘要公司年銷售額通常和很多因素有關(guān)， 但它們之間并不是確定性關(guān)系，所以我 們用回歸分析來處理，并建立了多元線性回歸模型。本文用最小二乘的方法給出 了變量間相關(guān)關(guān)系的回歸方程，針對各因素對公司年銷售額的影響我們與偏回歸 平方和聯(lián)系起來，并將各因素的影響程度進(jìn)行了排序。 還通過F檢驗(yàn)和T檢驗(yàn)分 別驗(yàn)證了回歸方程的顯著性和方程系數(shù)的顯著性。最后我們采用了逐個(gè)剔除的方 法找出了影響年銷售額的主要因素，并且建立了新的回歸方程，再次進(jìn)行檢驗(yàn)， 新回歸方程高度顯著，最后得到了個(gè)人可支配收入、價(jià)格、投資和廣告費(fèi)密切相 關(guān)的結(jié)論。第一問：我們首先對附表1的數(shù)據(jù)進(jìn)行處理，利用 MATLAB寸殘差

2、向量進(jìn)行 分析，剔除其中的異常點(diǎn)。然后建立起多元線性回歸模型，采用最小二乘的方法 來估計(jì)回歸方程的參數(shù)'-i。我們引入偏回歸平方和 Qi的概念來判定各因素對年銷售額的影響程度，并對各因素的影響程度由深到淺進(jìn)行了排序。第二問：通過對回歸平方和S回和剩余平方和S剩的分析，并且運(yùn)用F檢驗(yàn)法來判定線性回歸方程的顯著性。由于回歸方程顯著并不意味著每個(gè)自變量 ,冷，X3,X8對因變量y的影響都是重要的。所以我們對方程系數(shù)的顯著性用 T檢驗(yàn)法進(jìn)行了檢驗(yàn)。最后通過逐個(gè)剔除的方法找出了其中的主要因素 ，主要因素為： 個(gè)人可支配的收入、價(jià)格、投資、廣告費(fèi)這四個(gè)方面。第三問：通過逐個(gè)剔除的方法建立了新的回歸

3、方程， 并對新的回歸方程進(jìn)行 顯著性檢驗(yàn)，對方程系數(shù)進(jìn)行顯著性檢驗(yàn)。得到了公司的年銷售額與個(gè)人可支配 收入、價(jià)格、投資和廣告費(fèi)密切相關(guān)的結(jié)論。關(guān)鍵詞：多元線性回歸最小二乘法F檢驗(yàn)T檢驗(yàn) 偏回歸平方和11 問題重述在經(jīng)濟(jì)流通領(lǐng)域中，某公司的年銷售額（y）與個(gè)人可支配的收入（xi）；商人 的回扣（X2）；價(jià)格（X3）；研究與發(fā)展費(fèi)（X4）；投資（X）；廣告費(fèi)（X6 ）；銷 售費(fèi)用（X7）；總的工業(yè)廣告預(yù)算（X8 ）等有關(guān)。附表1中是某公司的原始數(shù)據(jù)。建立模型， 分析各因素對年銷售額的影響程度。 并對所做模型進(jìn)行檢驗(yàn)， 找出影 響銷售額的主要因素。最后分析主要因素與銷售額的關(guān)系，并給出結(jié)論。2 問題

4、分析對于公司年銷售額的分析，我們知道，和 y有關(guān)的變量有8個(gè)，研究y與變量Xi，X2，X3,X8之間的定量關(guān)系的問題為多元回歸問題。又因?yàn)樵S多多元非 線性回歸問題都可以化為多元線性回歸問題， 所以對于本問題我們建立了多元線 性回歸的數(shù)學(xué)模型。第一問：首先對附表 i 的數(shù)據(jù)進(jìn)行處理， 對殘差向量進(jìn)行， 剔除其中的異常點(diǎn)。 然后 我們建立了多元線性回歸的數(shù)學(xué)模型， 并采用了最小二乘法來估計(jì)參數(shù)。 把模型 寫成矩陣的形式， 化簡整理得其正規(guī)方程組， 通過對正規(guī)方程組的求解， 最后得 到回歸方程。對于各因素對年銷售額的影響程度，由于利用偏回歸平方和 Qi可以衡量每 個(gè)變量在回歸中所起的作用大?。从绊?/p>

5、程度），我們對每個(gè)變量Xi的偏回歸平 方和Qi進(jìn)行了計(jì)算，最后把影響程度由深到淺的各因素進(jìn)行了排序。第二問：回歸方程的顯著性檢驗(yàn)：事先我們并不能斷定隨機(jī)變量y與一般變量為，x2，X3,X8之間是否確有線性關(guān)系。在求線性回歸方程前線性回歸模型只是一種假 設(shè)，所以在求出線性回歸方程之后， 我們需要對其進(jìn)行統(tǒng)計(jì)檢驗(yàn)。 將總的平方和 S總分解為回歸平方和S回和剩余平方和S剩，運(yùn)用F檢驗(yàn)法來判定線性回歸方程 的顯著性?；貧w系數(shù)的顯著性檢驗(yàn)：由于回歸方程顯著并不意味著每個(gè)自變量Xi， X2，X3,X8對因變量y的影響都是重要的。而我們要找出響銷售額的主要因素，即 從回歸方程中剔除那些次要的、 可有可無的變

6、量， 這就需要我們對每個(gè)變量進(jìn)行考察。顯然，如果某個(gè)變量對y的作用不顯著，那么在多元線性回歸模型中，它前面的系數(shù) 打就可以取值為零。因此，檢驗(yàn)因子Xi是否顯著等價(jià)于檢驗(yàn)假設(shè)H。： t =0。最后再運(yùn)用T檢驗(yàn)法來辨別模型中哪些因子是顯著的第三問：由于回歸系數(shù)之間存在相關(guān)性，當(dāng)從原回歸方程中剔除一個(gè)變量時(shí)， 其他變 量，特別是與它密切相關(guān)的一些變量的回歸系數(shù)就會受到影響， 剔除一個(gè)變量后， 這個(gè)變量對y的影響很大部分轉(zhuǎn)加到另一個(gè)變量對 y的影響上。所以，我們對回歸系數(shù)進(jìn)行一次檢驗(yàn)后，只能剔除所有不顯著因子中 t值最小的，然后重新建立 新的回歸方程，再對新的回歸系數(shù)逐個(gè)進(jìn)行檢驗(yàn)，直到余下的回歸系數(shù)都

7、顯著為 止。3符號說明表符號說明X影響年銷售額的因素。（i =1,2，,8）ya年銷售額（a =1,2，,38）勺相互獨(dú)立且服從同一正態(tài)分布的隨機(jī)變量（i =1,2，,38）Qi變量Xi的偏回歸平方和s總總平方和s回回歸平方和S剩剩余平方和Pi待估計(jì)系數(shù)參數(shù)（i =1,2，,8）?ya的回歸值bi參數(shù)片的最小一乘估計(jì)（i =1,2,.,8）4模型假設(shè)1. 影響銷售額的各個(gè)因素相互之間關(guān)聯(lián)性不大，即相互獨(dú)立2. 異常值認(rèn)為是人為因素引起的，可將其剔除。5模型的建立與求解第一問：5.1模型I “多元線性回歸的數(shù)學(xué)模型”5.1.1模型的建立1、處理數(shù)據(jù)我們先通過MATLAB程序見附錄1）對原始數(shù)據(jù)進(jìn)

8、行檢驗(yàn)，對殘差向量進(jìn)行分析， 得到了殘差向量分析圖，剔除其中的異常點(diǎn)。2、設(shè)隨機(jī)變量假如變量y與另外8個(gè)變量x1， x2， x3,x8的內(nèi)在聯(lián)系是線性的，它的第:-次 試驗(yàn)數(shù)據(jù)是（y：.;x：.1,x：.2，x：8）,： =1,2，,8那么這一組數(shù)據(jù)可以假設(shè)有如下的結(jié)構(gòu)式：、1 = P 0 +P1X11 + P2X12 +.+ 弘為8 +場，y2 = Po +P1X21 + 卩2X22 + . + 8X238 +(1 )(2)y38 =一0一 1X381'2X382 . 一8怡88；38 ,其中：0，：1，：8是9個(gè)待估計(jì)參數(shù)，X1， X2， X3 ,X8是8個(gè)可以精確測量的一般變量，

9、；1，；2,；38是38個(gè)相互獨(dú)立且服從同一正態(tài)分布 N（Of）的隨機(jī)變量，這就是多元線性回歸的數(shù)學(xué)模型。 令f 、y1y2: ，<y8丿X11X12X18X =1X21X22X28Fa-.9JX381X382X388 J那么多元線性回歸的數(shù)學(xué)模型（2）可以寫成矩陣形式(3)Y = X ；.其中；是38維隨機(jī)向量，它的分量是相互獨(dú)立的3、參數(shù)一：的最小二乘估計(jì)為了估計(jì)參數(shù)1 ,我們采用最小二乘估計(jì)法。設(shè)bo,bi,b8分別是參數(shù)飛，-1，,飛的最小二乘估計(jì)，則回歸方程為(4)y 二 bobixidx2 亠亠 b8x8由最小二乘法知道，b0,bi,b8應(yīng)使得全部觀察值y ,與回歸值?.的偏

10、差平方和Q 達(dá)到最小，即使AQ八（y.-y,）2 =最小a所以Q是b0,b1,b$的非負(fù)二次式，最小值一定存在。根據(jù)微積分學(xué)中的極值原 理，b0,bi,d應(yīng)是下列正規(guī)方程組的解：L 用A Q = -2（-yot）= 0,cboa仁"pQ = -2' （y y：.）x：.j = 0，顯然，正規(guī)方程組的系數(shù)矩陣是對稱矩陣，用 A來表示，則A二XX，且其右端 常數(shù)項(xiàng)矩陣B亦可采用矩陣X和丫來表示：B二XY。所以可以得到回歸方程的回 歸系數(shù)：b 二 A-1B =（XX）-1XY（7）4、由于利用偏回歸平方和Qi可以衡量每個(gè)變量在回歸中所起的作用大?。从绊懗潭龋?，設(shè)竊是p個(gè)變量所引起

11、的回歸平方和，S回1是p-1個(gè)變量所引起的回歸平方和（即除去Xi ），則偏回歸平方和Qi為：pp * bi2Qi = S回- S回1 =._ bjBj- ._ bj Bj =（8）j ¥j=0Cii就是去掉變量Xi后，回歸平方和所減少的量。5.1.2模型的求解1、數(shù)據(jù)篩選通過MATLAB （程序見附錄1）作圖如下：Residual Order W51015 2D 25 CwNumher3035-u豈 np-sHtjanJannp 旨屋ResidiMiCnfe Odri Pint1016 3D 253035C444- Number此時(shí)可見第八個(gè)點(diǎn)、第十四個(gè)點(diǎn)和第二十八個(gè)點(diǎn)是異常點(diǎn)，于是

12、刪除原始數(shù) 據(jù)中第八行和第十四行和第二十八行數(shù)據(jù)。2、回歸方程的求解由附表1和所得的公式（7），運(yùn)用MATLA進(jìn)行編程（程序見附錄2），可 得正規(guī)矩陣的系數(shù)矩陣為：廣 0.00000.01430.00450.00240.00070.00210.00210.00830.00830.01436.01831.84961.00330.28470.87130.86213.47293.40760.00451.84960.59180.31440.08930.26640.26761.06861.07000.00241.00330.31440.17070.04890.14290.14600.58090.5739

13、A =0.00070.28470.08930.04890.01590.04440.04200.16700.15900.00210.87130.26640.14290.04440.25570.13490.50960.47880.00210.86210.26760.14600.04200.13490.14760.49570.47950.00833.47291.06860.58090.16700.50960.49572.01551.9679I 0.00833.40761.07000.57390.15900.47880.47951.96792.4242 回歸系數(shù)為：b。=3634.2，b -3.8，b

14、2 =0.8，一21.5，b4 一8.6b5=1.3，b6=8.1，b7= 4.6,b8=-0.7回歸方程為：Ay =3634.2 3.8x1 0.8x2 -21.5% -8.6x4 1.3x5 8.1& 4.6x7 - 0.7滄3、偏回歸平方和Qi的比較運(yùn)用MATLA進(jìn)行編程（程序見附錄2），得到各因素的偏回歸平方和：XiX2X3X4X5X6X7X8Qi （漢 106）0.33840.00300.36850.10090.14291.24180.14720.1963根據(jù)Qi的大小可判斷各因素對年銷售額的影響程度:x6x3x1x8x7x5x4x2第二問:5.2模型H521 模型的建立1、

15、設(shè)隨機(jī)變量回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)）：A因?yàn)閥-是第個(gè)試驗(yàn)點(diǎn)（x：1，x :2, "'x：p）上的回歸值，顯然y1(Ay2A511AY =的X12.X18b1X22.X281 'b2= Xb = XA X YX382. X388 JX11X21X3817#(9)(10)(11)2)中的一'X8之間是(總的偏差平方和為s總二"(y ： - y) =" y：aa它的自由度為f總二N -1，又因?yàn)镾、=$ +%，其中回歸平方和為A2S0 (yiy),f 回二 ia是由于引入變量X1 , x2, x3,x8后引起的，剩余平方和s剩八"

16、（y . - y ：.） 2,f 剩=N - i Ta它是由于實(shí)驗(yàn)誤差和其他一些因素引起的。如果變量y與變量X1， X2， X3,X8之間無線性關(guān)系，則模型（次項(xiàng)系數(shù)b0,b1, ,b8應(yīng)均為零。所以要檢驗(yàn)變量y與變量X1，X2，X3,否有線性關(guān)系，即要檢驗(yàn)假設(shè)Ho： ：1 =0, ：2 =0,，：P =0,是否成立，這一點(diǎn)可以通過比較S剩和S回來實(shí)現(xiàn)。 可以證明：在滿足矩陣X滿秩和假設(shè)Ho成立的條件下,(13)孚X2(i),寫X2(N i -1)CTCTS剩和s回相互獨(dú)立，從而S回 /iS剩 /(N -i -1)F(p,N -i-1)(14)9#這樣就用統(tǒng)計(jì)量F檢驗(yàn)假設(shè)H。成立與否，若對于給

17、定的一組數(shù)據(jù)，算得(15)F F(i, N -i -1)在顯著水平:下，認(rèn)為回歸方程有顯著意義。2、方程系數(shù)的顯著性檢驗(yàn)(T檢驗(yàn))：某個(gè)自變量如果對y作用不顯著，則它的系數(shù)就應(yīng)取值為0,因此檢驗(yàn) 每個(gè)自變量Xi是否顯著，就要檢驗(yàn)假設(shè)：H0:“ = 0, ：2 = 0, ： p = 0,在=0假設(shè)下，可應(yīng)用t檢驗(yàn)：(16)t _bi / . CiiJS 剩 /(nW -1)其中Cii為矩陣C的對角線上第i個(gè)元素對給定的檢驗(yàn)水平a ,從t分布表中可查出與a對應(yīng)的臨界值L.,如果有 t=如，則拒絕假設(shè)円0,即認(rèn)為Pi與0有顯著差異,這說明Xi對y有重要作用 不應(yīng)剔除；女口果有訃怙則接受假設(shè)姍，即認(rèn)為

18、冃=0成立,這說明Xi對y不 起作用，應(yīng)予剔除。采用F亶，t巴二9來檢驗(yàn)回歸系數(shù)bi是否顯著。S2 / (n口 -1)7S2 /(no -1)5.2.2模型的求解1、回歸方程的顯著性檢驗(yàn)：運(yùn)用MATLA進(jìn)行編程(程序見附錄2)A_2 6S回二(* - y ) =8.0441 102 6S = "- (y：.-yj =1.1379 10CtF =22.9745取 a =0.05 , F0.o5(8,26) =2.32。所以回歸方程高度顯著。2、方程系數(shù)的顯著性檢驗(yàn)：第一次檢驗(yàn)對所得各項(xiàng)回歸系數(shù)進(jìn)行 t檢驗(yàn)XiXiX2X3X4X5X6X7X8t2.78070.26012.90181.51

19、821.80715.32661.83422.1176剔除第一次檢驗(yàn)所有不顯著因子中t值最小的因子x2XiX1X2X3X4X5X6X7X8t2.8291剔除2.98811.53001.82135.44031.87532.2608剔除第二次檢驗(yàn)所有不顯著因子中t值最小的因子x4XiX1X2X3X4X5X6X7X8t3.63623.6725剔除1.50005.22661.41372.0924剔除第三次檢驗(yàn)所有不顯著因子中t值最小的因子x7XiX1X2X3X4X5X6X7X8t9.73803.38112.15114.9474剔除1.9319剔除第四次檢驗(yàn)所有不顯著因子中t值最小的因子x8XiX1X2X

20、3X4X5X6X7X8t9.14992.93842.27274.9818剔除計(jì)算知：右沁6 At3空5 >to.05（26） =2.0555，所以治，X3， X5， 顯著，其余變量對y貢獻(xiàn)不大，應(yīng)剔除5.3模型皿由第二問得到Xi , X3 , X5 , X6是影響銷售額的主要因素，我們只考慮這四個(gè)因素與銷售額的關(guān)系，再根據(jù)第一問的方法，運(yùn)用MATLAB求解，重新建立回歸方程：0 = 3368.4 6x1 -18.2 x3 1.5x5 7.6x6然后再次檢驗(yàn)新的回歸方程的顯著性，得F =38.4337，F(xiàn)oa (4,30) = 2.69所以回歸方程高度顯著。又因?yàn)樨?9.1499, t3

21、=2.9384, t5 =2.2727, t6 =4.9818,t0.05(30) =2.0423 (由上問可知) 所以自變量Xi，X3，X5，X6高度顯著。最后得出結(jié)論：銷售額的大小與個(gè)人可支配收入、價(jià)格、投資和廣告費(fèi)密切相關(guān)6模型的評價(jià)6.1模型的優(yōu)點(diǎn)本文對于各種因素對于銷售額的影響建立了多元線性回歸模型，全面綜合考慮了各個(gè)方面的因素，避免了單一因素分析的不準(zhǔn)確性，得出了合理的數(shù)學(xué)模型。 并且通過各因素的顯著性分析，找到了影響銷售額的主要因素，較符合實(shí)際情況， 模型可靠，并且模型相對簡單，利于操作；該方法不僅適用于本題，也適用于其 他方面的數(shù)據(jù)預(yù)測，有實(shí)際背景，可運(yùn)用于實(shí)踐，具有廣泛適用性

22、。6.2模型的缺點(diǎn)本文忽略了除了所給因素之外的因素對銷售額的影響，與實(shí)際問題存在偏 差。同時(shí)是在假設(shè)各因素相互獨(dú)立的情況下對銷售額的影響進(jìn)行分析，可能會導(dǎo)致誤差7模型的改進(jìn)與推廣模型中得到最優(yōu)回歸方程的方法是從包含全部變量的回歸方程中逐次剔除 不顯著因子，這種方法是在不顯著因子不多時(shí)采用， 當(dāng)不顯著因子較多時(shí)，則工 作量將會相當(dāng)大，因?yàn)槊刻蕹粋€(gè)變量就得重新計(jì)算回歸系數(shù)。鑒于以上問題，我們引入了逐步回歸分析的方法，它的基本思想是將因子一 個(gè)個(gè)引入，弓I入因子的條件是，該因子的偏回歸平方和經(jīng)檢驗(yàn)時(shí)顯著的。同時(shí)， 每引入一個(gè)新因子后，要對老因子逐個(gè)檢驗(yàn)，將偏回歸平方和變?yōu)椴伙@著的因子 剔除。這種方

23、法不需要計(jì)算偏相關(guān)系數(shù)，計(jì)算較簡便，并且由于每步都作檢驗(yàn)， 因而保證了最后所得的方程中所有因子都是顯著的。若回歸方程是擬合好的， 就可以進(jìn)一步利用它來進(jìn)行預(yù)報(bào)和控制。 預(yù)報(bào)問題， 用統(tǒng)計(jì)數(shù)學(xué)的語言來說就是一個(gè)區(qū)間估計(jì)問題。 在建立氣象預(yù)報(bào)、 地震預(yù)報(bào)、 自 動控制等數(shù)學(xué)模型時(shí)，都可以用到本文的模型。8 參考文獻(xiàn)1 馬新民，王逸迅 . 概率與數(shù)理統(tǒng)計(jì) M. 北京：機(jī)械工業(yè)出版社， 2010.2 劉衛(wèi)國.MATLAB程序設(shè)計(jì)與應(yīng)用M.北京：高等教育出版社，2009.茆詩松. 回歸分析及其試驗(yàn)設(shè)計(jì) M. 上海：華東師范大學(xué)出版社， 1986.129 附錄1、篩選數(shù)據(jù)程序 %data(14,:)=;%

24、data(28,:)=;%data(8,:)=;n=35;m=8;alpha=0.05;y=data(:,9);x1=data(:,1);x2=data(:,2);x3=data(:,3);x4=data(:,4);x5=data(:,5);x6=data(:,6);x7=data(:,7);x8=data(:,8);X=ones(n,1),x1,x2,x3,x4,x5,x6,x7,x8;b,bint,r,rint,s=regress(y,X,alpha);% b 回歸系數(shù)% bint 回歸系數(shù)的區(qū)間估計(jì)% r 殘差% rint 殘差置信區(qū)間% stats 用于檢驗(yàn)回歸模型的統(tǒng)計(jì)量，有三個(gè)數(shù)值

25、：相關(guān)系數(shù)R2、 F 值、與 F對應(yīng)的概率p,相關(guān)系數(shù)R2越接近1,說明回歸方程越顯著；%F> F1- a ( k，n-k-1 )時(shí)拒絕HO, F越大，說明回歸方程越顯著；與 F對應(yīng)的 概率p時(shí)拒絕H0,回歸模型成立。% Y為n*1的矩陣；% X 為(on es( n,1),x1,xm )的矩陣；% alpha 顯著性水平s2=sum(r.A2)/( n-m-1);b,bint,s,s2rcoplot(r,rint);%用這個(gè)圖來來做參差及其置信區(qū)間的圖，如果數(shù)據(jù)的置信區(qū)間不包含零點(diǎn)， 則可認(rèn)為這個(gè)數(shù)據(jù)是異常的，應(yīng)把它剔除2、求多元回歸方程并且進(jìn)行顯著性檢驗(yàn)m,n=size(data);

26、Y=data(:,9);X=zeros(38,9);X(:,1)=1;Z=zeros(38,1);13t=zeros(1,8);Q=zeros(1,8);for i=1:mfor j=2:9X(i,j)=data(i,j-1);endendA=X'*X;C=inv(A);b=C*X'*Y; % for i=1:m求多元線性回歸方程的系數(shù)Z(i)=b(1)+b(2)*data(i,1)+b(3)*data(i,2)+b(4)*data(i,3)+b(5)*data(i,4)+b(6)*data(i,5)+b(7)*data(i,6)+b(8)*data(i,7)+b(9)*data(i,8); end%將數(shù)據(jù)代入回歸方程，求出理論值 for i