最小二乘法線性詳細(xì)說明

最小二乘法線性詳細(xì)說明第1頁，共45頁，2023年，2月20日，星期五在處理數(shù)據(jù)時(shí)，常要把實(shí)驗(yàn)獲得的一系列數(shù)據(jù)點(diǎn)描成曲線表反映物理量間的關(guān)系。為了使曲線能代替數(shù)據(jù)點(diǎn)的分布規(guī)律，則要求所描曲線是平滑的，既要盡可能使各數(shù)據(jù)點(diǎn)對(duì)稱且均勻分布在曲線兩側(cè)。由于目測(cè)有誤差，所以，同一組數(shù)據(jù)點(diǎn)不同的實(shí)驗(yàn)者可能描成幾條不同的曲線(或直線)，而且似乎都滿足上述平滑的條件。那么，究竟哪一條是最曲線呢？這一問題就是“曲線擬合”問題。一般來說，“曲線擬合”的任務(wù)有兩個(gè)：2第2頁，共45頁，2023年，2月20日，星期五一是物理量y與x間的函數(shù)關(guān)系已經(jīng)確定，只有其中的常數(shù)未定（及具體形式未定）時(shí)，根據(jù)數(shù)據(jù)點(diǎn)擬合出各常數(shù)的最佳值。二是在物理量y與x間函數(shù)關(guān)系未知時(shí)，從函數(shù)點(diǎn)擬合出y與x函數(shù)關(guān)系的經(jīng)驗(yàn)公式以及求出各個(gè)常數(shù)的最佳值。3第3頁，共45頁，2023年，2月20日，星期五解決問題的辦法尋找變量之間直線關(guān)系的方法很多。于是，再接下來則是從眾多方法中，尋找一種優(yōu)良的方法，運(yùn)用方法去求出線性模型—y=a+bx+u中的截距a=?；直線的斜率b=?正是是本章介紹的最小二乘法。所得直線可靠嗎？怎樣衡量所得直線的可靠性？最后才是如何運(yùn)用所得規(guī)律——變量的線性關(guān)系？4第4頁，共45頁，2023年，2月20日，星期五最小二乘法產(chǎn)生的歷史最小二乘法最早稱為回歸分析法。由著名的英國生物學(xué)家、統(tǒng)計(jì)學(xué)家道爾頓（F.Gallton）——達(dá)爾文的表弟所創(chuàng)。早年，道爾頓致力于化學(xué)和遺傳學(xué)領(lǐng)域的研究。他研究父親們的身高與兒子們的身高之間的關(guān)系時(shí)，建立了回歸分析法。5第5頁，共45頁，2023年，2月20日，星期五父親的身高與兒子的身高之間關(guān)系的研究1889年F.Gallton和他的朋友K.Pearson收集了上千個(gè)家庭的身高、臂長和腿長的記錄企圖尋找出兒子們身高與父親們身高之間關(guān)系的具體表現(xiàn)形式下圖是根據(jù)1078個(gè)家庭的調(diào)查所作的散點(diǎn)圖（略圖）6第6頁，共45頁，2023年，2月20日，星期五從圖上雖可看出，個(gè)子高的父親確有生出個(gè)子高的兒子的傾向，同樣地，個(gè)子低的父親確有生出個(gè)子低的兒子的傾向。得到的具體規(guī)律如下：如此以來，高的伸進(jìn)了天，低的縮入了地。他百思不得其解，同時(shí)又發(fā)現(xiàn)某人種的平均身高是相當(dāng)穩(wěn)定的。最后得到結(jié)論：兒子們的身高回復(fù)于全體男子的平均身高，即“回歸”——見1889年F.Gallton的論文《普用回歸定律》。后人將此種方法普遍用于尋找變量之間的規(guī)律7第7頁，共45頁，2023年，2月20日，星期五最小二乘法的地位與作用現(xiàn)在回歸分析法已遠(yuǎn)非道爾頓的本意，已經(jīng)成為探索變量之間關(guān)系最重要的方法，用以找出變量之間關(guān)系的具體表現(xiàn)形式。后來，回歸分析法從其方法的數(shù)學(xué)原理——誤差平方和最小出發(fā)，改稱為最小二乘法。8第8頁，共45頁，2023年，2月20日，星期五最小二乘法的思路1．為了精確地描述Y與X之間的關(guān)系，必須使用這兩個(gè)變量的每一對(duì)觀察值，才不至于以點(diǎn)概面。2．Y與X之間是否是直線關(guān)系（協(xié)方差或相關(guān)系數(shù)）？若是，將用一條直線描述它們之間的關(guān)系。3．什么是最好？—找出判斷“最好”的原則。最好指的是找一條直線使得這些點(diǎn)到該直線的縱向距離的和（平方和）最小。9第9頁，共45頁，2023年，2月20日，星期五第一節(jié)一元線性擬合第10頁，共45頁，2023年，2月20日，星期五1.已知函數(shù)為線性關(guān)系，其形式為：

y=a+bx（1）式中a,b為要用實(shí)驗(yàn)數(shù)據(jù)確定的常數(shù)。此類方程叫線性回歸方程，方程中的待定常數(shù)a,b叫線性回歸系數(shù)。由實(shí)驗(yàn)測(cè)得的數(shù)據(jù)是

x=x1,x2,……….xn時(shí)，對(duì)應(yīng)的y值是y=y1,y2,…….yn1.函數(shù)形式已知數(shù)學(xué)推證過程11第11頁，共45頁，2023年，2月20日，星期五由于實(shí)驗(yàn)數(shù)據(jù)總是存在著誤差，所以，把各組數(shù)據(jù)代入(1)式中，兩邊并不相等。相應(yīng)的作圖時(shí)，數(shù)據(jù)點(diǎn)也并不能準(zhǔn)確地落在公式對(duì)應(yīng)的直線上，如圖所示。由圖一還可以看出第i個(gè)數(shù)據(jù)點(diǎn)與直線的偏差為：

(1)如果測(cè)量時(shí)，使x較之y的偏差很小，以致可以忽略（即Δxi很?。r(shí)，我們可以認(rèn)為x的測(cè)量是準(zhǔn)確的，而數(shù)據(jù)的偏差，主要是y的偏差，因而有：

②12第12頁，共45頁，2023年，2月20日，星期五我們的目的是根據(jù)數(shù)據(jù)點(diǎn)確定回歸常數(shù)a和b，并且希望確定的a和b能使數(shù)據(jù)點(diǎn)盡量靠近直線能使v盡量的小。由于偏差v大小不一，有正有負(fù)，所以實(shí)際上只能希望總的偏差（）最小。所謂最小二乘法就是這樣一個(gè)法則，按照這個(gè)法則，最好地?cái)M合于各數(shù)據(jù)點(diǎn)的最佳曲線應(yīng)使各數(shù)據(jù)點(diǎn)與曲線偏差的平方和為最小。13第13頁，共45頁，2023年，2月20日，星期五首先，求偏差平方和，將②式兩邊平方后相加，得：③顯然，是a,b的函數(shù)。按最小二乘法，當(dāng)a,b選擇適當(dāng)，能使為最小時(shí)y=a+bx才是最佳曲線。由最小二乘法確定a和b

14第14頁，共45頁，2023年，2月20日，星期五根據(jù)二元函數(shù)求極值法，把③式對(duì)a和b分別求出偏導(dǎo)數(shù)。得：15第15頁，共45頁，2023年，2月20日，星期五令④等于零，得：解方程，得：⑥⑦16第16頁，共45頁，2023年，2月20日，星期五公式⑥⑦式中：從④不難求出對(duì)a,b的二階偏導(dǎo)數(shù)為：

17第17頁，共45頁，2023年，2月20日，星期五所以⑥⑦式求出的a,b可使為極小值。因而由a,b所確定的曲線y=a+bx就是用最小二乘法擬合的最佳曲線。由于已知函數(shù)形式為非線性時(shí)，可用變量代換法“曲線改直”使函數(shù)變?yōu)榫€性關(guān)系，因而最小二乘法就有更普遍的意義。18第18頁，共45頁，2023年，2月20日，星期五2.經(jīng)驗(yàn)公式的線性回歸—函數(shù)形式未知

由于經(jīng)驗(yàn)公式的函數(shù)形式是未知的，因而恰當(dāng)?shù)剡x擇經(jīng)驗(yàn)公式的函數(shù)形式就成了曲線擬合中的重要問題。在進(jìn)行經(jīng)驗(yàn)公式的回歸時(shí)，必須先確定函數(shù)的形式。確定函數(shù)形式一般是根據(jù)理論的推斷或者從實(shí)驗(yàn)數(shù)據(jù)的變化趨勢(shì)來推測(cè)判斷。如根據(jù)實(shí)驗(yàn)得到的一組數(shù)據(jù)（或其在xy坐標(biāo)上的數(shù)據(jù)點(diǎn)）初步判斷經(jīng)驗(yàn)公式為線性關(guān)系時(shí)，即可用最小二乘法按⑤，⑥式求出b,a值，并進(jìn)而擬合出直線的線性關(guān)系式：y=a+bx回歸方程。19第19頁，共45頁，2023年，2月20日，星期五3.回歸方程的精度和相關(guān)系數(shù)用最小二乘法確定a,b存在誤差。總結(jié)經(jīng)驗(yàn)公式時(shí)，我們初步分析判斷所假定的函數(shù)關(guān)系是正確，為了解決這些問題，就需要討論回歸方程的精度和相關(guān)性。為了估計(jì)回歸方程的精度，進(jìn)一步計(jì)算數(shù)據(jù)點(diǎn)偏離最佳直線y=a+bx的大小，我們引入概念——剩余標(biāo)準(zhǔn)差

，它反映著回歸方程與各數(shù)據(jù)點(diǎn)的擬合程度。20第20頁，共45頁，2023年，2月20日，星期五剩余標(biāo)準(zhǔn)差公式中：21第21頁，共45頁，2023年，2月20日，星期五R稱為相關(guān)系數(shù)。其值可正可負(fù)，一般有：a:當(dāng)R=±1時(shí)，=,即各數(shù)據(jù)點(diǎn)與最佳直線完全重合。b：0<R<1時(shí)，各數(shù)據(jù)點(diǎn)與最佳直線不完全重合。有兩種情況：一種可能是各數(shù)據(jù)點(diǎn)與該線偏差較小，一種可能是各數(shù)據(jù)點(diǎn)與該線偏差較大。當(dāng)時(shí)，減小，一般的數(shù)據(jù)點(diǎn)越靠近最佳值兩旁。兩變量間的關(guān)系線性相關(guān)，可以認(rèn)為是線性關(guān)系，最佳直線所反應(yīng)的函數(shù)關(guān)系也越接近兩變量間的客觀關(guān)系。同時(shí)還說明了測(cè)量的精密度高。當(dāng)時(shí)，增大，根據(jù)數(shù)據(jù)點(diǎn)的分布，也許能得到一條“最佳”直線。然而，數(shù)據(jù)點(diǎn)與“最佳”直線的偏差過大。22第22頁，共45頁，2023年，2月20日，星期五23第23頁，共45頁，2023年，2月20日，星期五這時(shí)“最佳”二字只能說明數(shù)據(jù)點(diǎn)距這直線的總偏差較小，但不能反映出數(shù)據(jù)點(diǎn)的分布規(guī)律。或者說，我們事先的初步判斷是錯(cuò)誤的。數(shù)據(jù)點(diǎn)的分布規(guī)律不是線形的,根本就不能用一條直線表示。為了幫助我們理解這一點(diǎn),我們?cè)儆懻摌O限情況。當(dāng)R=0時(shí)（最大）,,,所以b=0,a=,從而得到y(tǒng)=的錯(cuò)誤結(jié)論。這說明數(shù)據(jù)點(diǎn)的分布不是線性,不能擬合為線性關(guān)系曲線。24第24頁，共45頁，2023年，2月20日，星期五起碼相關(guān)系數(shù)--的值與數(shù)據(jù)點(diǎn)的個(gè)數(shù)n有關(guān)。書中P40表5-3中給出了起碼相關(guān)系數(shù)的值。如果有一組數(shù)據(jù)點(diǎn)初步觀測(cè)為線性分布。那么，為多大時(shí)，就可以用一條最佳直線來表示其分布呢？只有相關(guān)系數(shù)R≥時(shí)，才能用線性回歸方程y=a+bx來描述數(shù)據(jù)的的分布規(guī)律。否則毫無意義。25第25頁，共45頁，2023年，2月20日，星期五回歸方程的精密度根據(jù)統(tǒng)計(jì)理論還可以求出a和b的標(biāo)準(zhǔn)偏差分別為：26第26頁，共45頁，2023年，2月20日，星期五回歸分析法的運(yùn)算步驟首先計(jì)算R，判斷是否能擬合成線性曲線。R≥利用最小二乘法計(jì)算出b,a得出回歸方程即兩個(gè)變量之間的關(guān)系式。計(jì)算，并利用肖維涅準(zhǔn)則判斷有無粗差。如果有粗差，剔除后重復(fù)①，②，③步驟計(jì)算。如無粗差，計(jì)算,，給出最后的回歸方程。27第27頁，共45頁，2023年，2月20日，星期五〔例題〕用伏安法測(cè)電阻，測(cè)量數(shù)據(jù)如表。問能否擬合成線性關(guān)系曲線？若可以，試判斷有無粗差并計(jì)算出b,a,,.

表一Xu(V)0.001.002.003.004.005.00YI(mA)0.002.004.016.057.859.60Xu(V)6.007.008.009.0010.00YI(mA)11.8313.7516.0218.1019.9428第28頁，共45頁，2023年，2月20日，星期五解：已知n=11,首先計(jì)算下列量可以得到：29第29頁，共45頁，2023年，2月20日，星期五式中的0.735是n=11時(shí)的起碼相關(guān)系數(shù)R。所以x,y(即u,I)間是線性關(guān)系，可用y=a+bx表示。且:其次為了檢查粗差，先計(jì)算剩余標(biāo)準(zhǔn)偏差：取=0.08730第30頁，共45頁，2023年，2月20日，星期五利用肖維湟準(zhǔn)則剔除粗差，從§2(p12)表2-1可查的n=11時(shí),k=2.00,即位標(biāo)準(zhǔn)差的極限值。表三給出了此極限值下測(cè)量值y(I)的上下限。由表二，表三可知u=5.00v組數(shù)據(jù)的I值有粗差的壞值，應(yīng)予剔除。剔除后重新計(jì)算，并經(jīng)過檢查，得：R=0.9999b=1.993a=-0.007=0.055==0.00570.006==0.032表明>a是零結(jié)果，即a=0.因此,I-U間為線性關(guān)系即所測(cè)電阻為一線性電阻。由表二數(shù)據(jù)得回歸方程為y=bx,即I=1.993u（mA）其剩余標(biāo)準(zhǔn)差為=0.06而且:31第31頁，共45頁，2023年，2月20日，星期五第二節(jié)二元線性回歸已知函數(shù)形式(或判斷經(jīng)驗(yàn)公式的函數(shù)形式)為式中，均為獨(dú)立變量，故是二元線性回歸。若有實(shí)驗(yàn)數(shù)據(jù)：

32第32頁，共45頁，2023年，2月20日，星期五對(duì)應(yīng)的y值是y=y1,y2,…….yn。與一元線性回歸討論方法類似，求出總偏差：對(duì)a,b1和b2求偏導(dǎo)數(shù)，并令其等于零后，解方程則可得：

33第33頁，共45頁，2023年，2月20日，星期五公式中：34第34頁，共45頁，2023年，2月20日，星期五分別是y,x1和x2的算術(shù)平均值。同樣可證，由⑿⒀⒁式求出的b2,b1和a所確定的正是滿足最小二乘法最小條件的最佳曲線。相應(yīng)的剩余標(biāo)準(zhǔn)差:其中:35第35頁，共45頁，2023年，2月20日，星期五成為全相關(guān)系數(shù)。且.愈接近于1，則表示所得回歸方程比較理想。反之，愈接近于0，則說明所得回歸方程沒有多大的實(shí)際意義。根據(jù)統(tǒng)計(jì)方法也可以求出b1,b2及a的標(biāo)準(zhǔn)誤差，它們分別為:36第36頁，共45頁，2023年，2月20日，星期五第三節(jié)非線性回歸37第37頁，共45頁，2023年，2月20日，星期五設(shè)由實(shí)驗(yàn)獲得了兩個(gè)變量x,y的一組數(shù)據(jù)(xi,yi),且由數(shù)據(jù)點(diǎn)在x，y坐標(biāo)中的分布規(guī)律可以判斷出兩個(gè)變量間成非線性關(guān)系。怎樣用一條曲線（數(shù)學(xué)關(guān)系式）才能最佳地代替數(shù)據(jù)點(diǎn)的分布規(guī)律呢？（1）根據(jù)數(shù)據(jù)點(diǎn)的分布盡可能準(zhǔn)確地繪出一條曲線，并和已有確切數(shù)學(xué)表示式的曲線相比較，尋找合適的數(shù)學(xué)關(guān)系式（2）進(jìn)行變量替換，將使非線性關(guān)系線性化，在38第38頁，共45頁，2023年，2月20日，星期五（3）用線性關(guān)系曲線擬合辦法，求相關(guān)系數(shù)r，斜率B0

和截距A0，求出后反變換，就可計(jì)算出數(shù)學(xué)關(guān)系式中的常數(shù),若，不能擬合成線性關(guān)系曲線，須重新尋找