對(duì)比分析最小二乘法與回歸分析教程文件

1、對(duì)比分析最小二乘法與回歸分析對(duì)比分析最小二乘法 與回歸分析摘要最小二乘法是在模型確定的情況下對(duì)未知參數(shù)由觀測(cè)數(shù)據(jù)來(lái)進(jìn) 行估計(jì)，而回歸分析則是研究變量間相關(guān)關(guān)系的統(tǒng)計(jì)分析方法。關(guān)鍵詞：最小二乘法回歸分析數(shù)據(jù)估計(jì)目錄對(duì)比分析最小二乘法與回歸分析 2摘要3目錄4一：最小二乘法 5主要內(nèi)容5基本原理5二：回歸分析法7回歸分析的主要內(nèi)容 7回歸分析原理8三：分析與總結(jié)12一：最小二乘法主要內(nèi)容最小二乘法又稱最小平方法是一種數(shù)學(xué)優(yōu)化技術(shù)。它通過(guò)定義殘差平方和的方式，最小化殘差的平方和以求尋找數(shù)據(jù)的最佳函數(shù)匹配，可以從一組測(cè)定的數(shù)據(jù)中尋求變量之間的依賴關(guān)系 ，這種函數(shù)關(guān) 系稱為經(jīng)驗(yàn)公式 利用最小二乘法可以十

2、分簡(jiǎn)便地求得未知的數(shù)據(jù)， 并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和為最小。最小 二乘法還可用于曲線擬合。其他一些優(yōu)化問(wèn)題也可通過(guò)最小化能量 或最大化嫡用最小二乘法來(lái)表達(dá)?；驹砜紤]超定方程組(超定指未知數(shù)大于方程個(gè)數(shù))： 耀X爐圖1,2.3.“打”其中m代表有m個(gè)等式，n代表有n個(gè)未知數(shù) 6 (m>n);將其進(jìn)行向量化后為：X外乎聞 伙 P = 乩一pl力y=> I .顯然該方程組一般而言沒(méi)有解，所以為了選取最合適的：讓該等式“盡量成立"，引入殘差平方和函數(shù)S玩所|肉一（在統(tǒng)計(jì)學(xué)中，殘差平方和函數(shù)可以看成 n倍的均方誤差當(dāng)邙步,S（階取最小值,記作：|S = fl

3、rwn（S（）通過(guò)對(duì)S（進(jìn)行微分求最值，可以得到：XTX=XTy如果矩陣非奇異則隋唯一解：8 二 （XX）T*。二：回歸分析法回歸分析是確定兩種或兩種以上變量間相互依賴的相關(guān)關(guān)系的 一種統(tǒng)計(jì)分析方法。回歸分析是應(yīng)用極其廣泛的數(shù)據(jù)分析方法之 一。它基于觀測(cè)數(shù)據(jù)建立變量間適當(dāng)?shù)囊蕾囮P(guān)系，建立不同的回歸 模型，確立不同的未知參數(shù)，之后使用最小二乘法等方法來(lái)估計(jì)模 型中的未知參數(shù)，以分析數(shù)據(jù)間的內(nèi)在聯(lián)系。當(dāng)自變量的個(gè)數(shù)等于 一時(shí)稱為一元回歸，大于1時(shí)稱為多元回歸，當(dāng)因變量個(gè)數(shù)大于 1 時(shí)稱為多重回歸，其次按自變量與因變量之間是否呈線性關(guān)系分為 線性回歸與非線性回歸。最簡(jiǎn)單的情形是一個(gè)自變量和一個(gè)因變

4、量，且它們大體上有線性關(guān)系，叫一元線性回歸?；貧w分析的主要內(nèi)容從一組數(shù)據(jù)出發(fā)，確定某些變量之間的定量關(guān)系式，即建立 數(shù)學(xué)模型并估計(jì)其中的未知參數(shù)。估計(jì)參數(shù)的常用方法是最小二乘 法。對(duì)這些關(guān)系式的可信程度進(jìn)行檢驗(yàn)。在許多自變量共同影響著一個(gè)因變量的關(guān)系中，判斷哪個(gè) （或哪些）自變量的影響是顯著的，哪些自變量的影響是不顯著 的，將影響顯著的自變量加入模型中，而剔除影響不顯著的變量， 通常用逐步回歸、向前回歸和向后回歸等方法。利用所求的關(guān)系式對(duì)某一生產(chǎn)過(guò)程進(jìn)行預(yù)測(cè)或控制裊】*3回婦分析的主霎內(nèi)容主要內(nèi)容方汪同奇的推幡空置的善符方皖向前甚而京法廄4向主成分注變看整型的事定島遍量含苗定性變JB腳網(wǎng)Hua

5、i雪電修堂的0*門(mén)悔解皿由虞如峋設(shè)建從般/推固性模爨拄本獸遮世魚(yú)卜1歸的同Q祕(mì)收格式福鹿邦菁*小一索法參購(gòu)的估11小二法加於鼻*-*江廣義觸小二垂時(shí)好牯此隹于是小一用的后歸怙計(jì)十成分解也偏微小一痛齒似然特H及其他后大做簿此什K地刷回植中的詒斷回M超暨器里也 皿日植巾的修正回歸分析原理在回歸分析中自變量x ("x2, ,xm)是影響因變量y的主要因素， 是人們能控制或能觀察的，而y還受到隨機(jī)因素的干擾，可以合理 地假設(shè)這種干擾服從零均值的正態(tài)分布，于是模型記作y 01 x1mxm2 N(0, 2)其中 未知?，F(xiàn)得到n個(gè)獨(dú)立觀測(cè)數(shù)據(jù)(yi,Xii, ,Xim), i 1, ,n,n m,

6、 由上式得yi01Xi1m ximi2i N(0, 2), i 1, ,n記表為1 x11X1 xn 1x1 mxnmy1YynmTY X_2N(0, 2)參數(shù)估計(jì) 用最小二乘法估計(jì)模型中的參數(shù) 由這組數(shù)據(jù)的誤差平方和為nQ( )i2 (Y X )T(Y X )i 1求 使Q()最小，得到 的最小二乘估計(jì)，記作?,可以推出T 1 T(X X) X Y將？代回原模型得到y(tǒng)的估計(jì)值y? 0 1 x1, mxm而這組數(shù)據(jù)的擬合值為Y? X?,擬合誤差e Y W稱為殘差，可作為 隨機(jī)誤差的估計(jì)，而nn_2_ 2Q ei(yi ?i)i 1i 1為殘差平方和(或剩余平方和)，即 Q( ?)(3統(tǒng)計(jì)分析不

7、加證明地給出以下結(jié)果：(i) .是 的線性無(wú)偏最小方差估計(jì)。指的是 .是Y的線性函數(shù);的期望等于；在的線性無(wú)偏估計(jì)中，.的方差最小(ii ),服從正態(tài)分布2 T 1N( ,(XX)2(iii )對(duì)殘差平方和Q, EQ (n m 1)，且2(n m 1)由此得到2的無(wú)偏估計(jì)?2S2是剩余方差(殘差的方差)，S稱為剩余標(biāo)準(zhǔn)差n(iv)對(duì)Y的樣本方差S(yi y)2進(jìn)行分解，有i 1nS Q U, U(?i y)2i 1其中Q殘差平方和，反映隨機(jī)誤差對(duì)y的影響，U稱為回歸平方和,反映自變量對(duì)y的影響 ©回歸模型的假設(shè)檢驗(yàn) 因變量y與自變量X, ,xm之間是否存在如模型所示的線性關(guān)系是需要檢驗(yàn)的，顯然，如果所有的|?j| (j 1, ,m)都很小，y與為，,xm的線性關(guān)系就不明顯，所以可令原假設(shè)為H。： j 0(j1, ,m)當(dāng)H0成立時(shí)由分解式定義的U,Q滿足U / mF F (m,n m 1)Q/(n m 1)在顯著性水平F F1 (m, n m下有1分位數(shù)Fi (m，n m 1),若1),接受H0 ；否則，拒絕。三：分析與總結(jié)最小二乘法是基于既定模型對(duì)未知參數(shù)的一種估計(jì)方法，以函 數(shù)殘差和最小的條件對(duì)未知參數(shù)進(jìn)行估計(jì)?；貧w分析包括：建立帶有參數(shù)的函數(shù)模型（即經(jīng)驗(yàn)公式），通 過(guò)最小二乘法