線性回歸建模過程.docx

模型的建立：多元線性回歸分析的模型為 （3-1）其中：都是與無關的未知參數(shù)，稱為回歸系數(shù)。現(xiàn)得到個獨立觀測數(shù)據(jù)，其中為的觀測值， 分別為的觀測值，由式（1）得 （3-2）記 （3-3）式（6）表為 （3-4）其中：為階單位矩陣。1. 參數(shù)估計模型（1）中的參數(shù)用最小二乘法估計，即應選取估計值，使當時，誤差平方和 (3-5)達到最小。為此，令得 (3-6)經(jīng)整理化為以下正規(guī)方程組： (3-7)正規(guī)方程組的矩陣形式為 (3-8)當矩陣列滿秩時, 為可逆方陣，式 的解為 (3-9)將代回原模型得到的估計值，而這組數(shù)據(jù)的擬合值為 (3-10)記擬合誤差稱為殘差，可作為隨機誤差的估計，殘差平方和為2.統(tǒng)計分析不加證明地給出以下結果：（1）是的線性無偏最小方差估計。指的是是的線性函數(shù)；的期望等于，在的線性無偏估計中，的方差最小。（2）服從正態(tài)分布 (3-11)記（3）對殘差平方和,，且 (3-12)由此得到的無偏估計 (3-13)是剩余方差（殘差的方差），稱為剩余標準差。（4）對總平方和進行分解，有, (3-14)其中殘差平方和，反映隨機誤差對的影響，稱為回歸平方和，反映自變量對的影響。上面的分解中利用了正規(guī)方程組?；貧w模型的檢驗，因變量與自變量之間是否存在線性關系是需要檢驗的，顯然，如果所有的都很小，與的線性關系就不明顯，所以可令原假設為當成立時由分解式(34)定義的滿足 (3-15)在顯著性水平下有上分位數(shù)，若,接受；否則，拒接。注意 接受只能說明與自變量的線性關系不明顯，可能存在非線性關系，如平方關系。還有一些衡量與自變量相關程度的指標，如用回歸平方和在總平方中的比值定義復判定系數(shù) (3-16)稱為復相關系數(shù)，越大，與自變量相關關系越密切，通常，大于0.8（或大于0.9）才認為相關關系成立?；貧w系數(shù)的假設檢驗和區(qū)間估計當上面的被拒絕時，不全為零，但是不排除其中若干個等于零。所以應進行一步作如下個檢驗：,是中的第元素，用代替，由（3-11）-（3-13）式,當成立時 (3-17)對給定的，若，接受；否則，拒絕。（3-17）式也可以用于對作區(qū)間估計，在置信水平下，的置信區(qū)間為 (3-18)其中3.利用回歸模型進行預測當回歸模型和系數(shù)通過檢驗后，可由給定的預測，是隨機的，顯然其預測值（點估計）為 (3-19)給定可以算出的預測區(qū)間（區(qū)間估計），結果較復雜，但當較大時且接近平均值時，的預測區(qū)間可簡化為 (3-20)其中是標準正態(tài)分布的上分位數(shù)。對的區(qū)間估計方法可用于給出已知數(shù)