誤差理論與數(shù)據(jù)處理課件回歸分析PPT課件

1、6-1教學(xué)目標(biāo)回歸分析是處理變量之間相關(guān)關(guān)系的一種數(shù)理統(tǒng)計(jì)方法,也是廣泛用于獲得數(shù)學(xué)表達(dá)式的較好方法。本章介紹測(cè)量中常用的一元與多元線性回歸以及一元非線性回歸的基本方法。 第1頁(yè)/共45頁(yè)6-2v 回歸分析的基本概念v一元線性回歸分析v多元線性回歸分析v非線性回歸分析教學(xué)重點(diǎn)和難點(diǎn)第2頁(yè)/共45頁(yè)6-3第一節(jié)回歸分析的基本概念 變量間的關(guān)系可分為函數(shù)關(guān)系和相關(guān)關(guān)系。本節(jié)介紹這兩種關(guān)系，并對(duì)回歸分析的一些基本概念作一個(gè)簡(jiǎn)要的介紹。第3頁(yè)/共45頁(yè)6-4變量間的函數(shù)關(guān)系 1、是一一對(duì)應(yīng)的確定關(guān)系2、設(shè)有兩個(gè)變量和，變量隨變量一起變化，并完全依賴于，當(dāng)變量某個(gè)數(shù)值時(shí)，依確定的關(guān)系取相應(yīng)的值，則稱是的

2、函數(shù)，記為，其中稱為自變量，稱為因變量xyyxxxxyyy = f(x)xyv如以速度作勻速運(yùn)動(dòng)的物體，走過(guò)的距離與時(shí)間之間，有如下的函數(shù)關(guān)系 vstsvt第4頁(yè)/共45頁(yè)6-5變量間的相關(guān)關(guān)系 1、變量間關(guān)系不能用函數(shù)關(guān)系精確表達(dá)3、當(dāng)變量取某個(gè)數(shù)值時(shí)，變量的值可能有幾個(gè)xy2、一個(gè)變量的取值不能由另一個(gè)變量惟一確定v如人的身高( )與體重( )之間的關(guān)系 yx第5頁(yè)/共45頁(yè)6-6什么是回歸分析？v3、利用所求的關(guān)系式，根據(jù)一個(gè)或幾個(gè)變量的值，預(yù)測(cè)或控制另一個(gè)變量的值，并要知道這種預(yù)測(cè)或控制可達(dá)到的精密度。 一種處理變量間相關(guān)關(guān)系的數(shù)理統(tǒng)計(jì)方法。他主要解決以下幾個(gè)問(wèn)題v1、從一組樣本數(shù)據(jù)出

3、發(fā)，確定變量之間的數(shù)學(xué)關(guān)系式v2、對(duì)這些關(guān)系式的可信程度進(jìn)行各種統(tǒng)計(jì)檢驗(yàn)，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著第6頁(yè)/共45頁(yè)6-7回歸模型的類型回歸模型一元回歸線性回歸非線性回歸線性回歸非線性回歸多元回歸一個(gè)自變量?jī)蓚€(gè)及兩個(gè)以上自變量第7頁(yè)/共45頁(yè)6-8回歸模型1、回答“變量之間是什么樣的關(guān)系？”2、方程中運(yùn)用q1個(gè)數(shù)字的因變量q1個(gè)或多個(gè)數(shù)字的或分類的因變量3、主要用于預(yù)測(cè)或估計(jì)第8頁(yè)/共45頁(yè)6-9第二節(jié)一元線性回歸分析第9頁(yè)/共45頁(yè)6-10一、一元線性回歸方程 第10頁(yè)/共45頁(yè)6-11一元線性回歸模型概念1、當(dāng)只涉及一個(gè)自變量時(shí)稱為一元回歸，若因變量

4、與自變量之間為線性關(guān)系時(shí)稱為一元線性回歸3、描述因變量如何依賴于自變量和誤差項(xiàng)的方程稱為回歸模型。yx2、對(duì)于具有線性關(guān)系的兩個(gè)變量，可以用一個(gè)線性方程來(lái)表示它們之間的關(guān)系yx第11頁(yè)/共45頁(yè)6-12由實(shí)驗(yàn)獲得兩個(gè)變量和的一組樣本數(shù)據(jù)，構(gòu)造如下一元線性回歸模型 xy11( ,)x y22(,)xy(,)nnxyiiiyabx一元線性回歸模型概念一元線性回歸模型概念 v模型中，是的線性函數(shù)部分加上誤差項(xiàng)yxxyv線性部分反映了由于的變化而引起的變化v誤差項(xiàng)是隨機(jī)變量反映了除和之間的線性關(guān)系之外的隨機(jī)因素對(duì)的影響是不能由和之間的線性關(guān)系所解釋的變異性v和稱為模型的參數(shù)xyyxyab第12頁(yè)/共4

5、5頁(yè)6-131、誤差項(xiàng)是一個(gè)期望值為的隨機(jī)變量，即。對(duì)于一個(gè)給定的值，的期望值為( )0Eixiy()iiE yabx2、對(duì)所有的值，的方差都相同ixi23、誤差項(xiàng)是一個(gè)服從正態(tài)分布的隨機(jī)變量，且相互獨(dú)立。即i2(0,)iN獨(dú)立性意味著對(duì)于一個(gè)特定的值，它所對(duì)應(yīng)的與其它值所對(duì)應(yīng)的不相關(guān)ixijxj對(duì)于一個(gè)特定的值，它所對(duì)應(yīng)的值與其它值所對(duì)應(yīng)的不相關(guān)ixiyjxjy一元線性回歸模型基本假定一元線性回歸模型基本假定 第13頁(yè)/共45頁(yè)6-141、描述的平均值或期望值如何依賴于的方程稱為回歸方程yx2、簡(jiǎn)單線性回歸方程的形式如下( )E yabx方程的圖示是一條直線，因此也稱為直線回歸方程是回歸直線

6、在軸上的截距，是當(dāng)時(shí)的期望值是直線的斜率，表示當(dāng)每變動(dòng)一個(gè)單位時(shí)，的平均變動(dòng)值ay0 x bxy回歸方程概念要點(diǎn)第14頁(yè)/共45頁(yè)6-151、總體回歸參數(shù)和是未知的，必須利用樣本數(shù)據(jù)去估計(jì)他們ab2、用樣本統(tǒng)計(jì)量和代替回歸方程中的未知參數(shù)和，這時(shí)就得到了經(jīng)驗(yàn)的回歸方程 ab3、一元線性回歸的經(jīng)驗(yàn)的回歸方程 yabx是回歸直線在軸上的截距是直線的斜率，它表示對(duì)于給定的的值，是的估計(jì)值，也表示當(dāng)每變動(dòng)一個(gè)單位時(shí)，的平均變動(dòng)值 aybxyx yyab經(jīng)驗(yàn)的回歸方程第15頁(yè)/共45頁(yè)6-162()()xyxxln xyx ybln xx xaybx 2211112222221111111,()()()

7、()nnnniiiiiiiiinnxxiyyiiinxyiiixx yy xxxyx ynnnnlxxn xn xlyynynylxxyynxynx y 式中根據(jù)最小二乘法的要求，可得和的計(jì)算公式和的計(jì)算公式 ab第16頁(yè)/共45頁(yè)6-17回歸方程的穩(wěn)定性回歸方程的穩(wěn)定性 1、回歸值的波動(dòng)大小，波動(dòng)愈小，回歸方程的穩(wěn)定性愈好。 y2、回歸值的波動(dòng)大小的計(jì)算公式 y標(biāo)準(zhǔn)不確定度來(lái)表示。 y( )U y21( )xxxxU ysnl回歸值的波動(dòng)大小不僅與剩余標(biāo)準(zhǔn)差s有關(guān)，而且還取決于試驗(yàn)次數(shù)n及自變量取值范圍。 第17頁(yè)/共45頁(yè)6-18二、回歸方程的方差分析及顯著性檢驗(yàn) 第18頁(yè)/共45頁(yè)6-1

8、9偏差平方和的分解偏差平方和的分解 測(cè)量值之間的差異來(lái)源于兩個(gè)方面12,ny yy由于自變量取值的不同造成的x除以外的其它因素(如對(duì)的非線性影響、測(cè)量誤差等)的影響 iyyxy對(duì)一個(gè)具體的觀測(cè)值來(lái)說(shuō)，變異的大小可以通過(guò)該實(shí)際觀測(cè)值與其均值之差來(lái)表示x第19頁(yè)/共45頁(yè)6-20偏差平方和的分解圖示0yxyy = yab x = + y _ yy _ yy _ y第20頁(yè)/共45頁(yè)6-21()()iiiiyyyyyy兩端平方后求和得到222111nnniiiiiiiyyyyyy總偏差平方和 回歸平方和 殘余平方和 總回殘總殘回三個(gè)平方和的關(guān)系三個(gè)平方和的關(guān)系第21頁(yè)/共45頁(yè)6-22自由度1n總計(jì)

9、算公式y(tǒng)yl總在總的偏離中除了對(duì)線性影響之外的其它因素而引起變化的大小 xyy1回2xyxyxxlbll回在總的偏差中因和的線性關(guān)系而引起變化的大小 xyy2n總回殘 總回殘總偏差平方和 回歸平方和 殘余平方和 意義反映因變量的n個(gè)觀測(cè)值與其均值的總偏差三個(gè)平方和的意義三個(gè)平方和的意義第22頁(yè)/共45頁(yè)6-23回歸方程的顯著性檢驗(yàn)1、檢驗(yàn)自變量和因變量之間的線性關(guān)系是否顯著2、具體方法是將回歸平方和和殘余平方和加以比較，應(yīng)用F檢驗(yàn)來(lái)分析二者之間的差別是否顯著如果是顯著的，兩個(gè)變量之間存在線性關(guān)系如果不顯著，兩個(gè)變量之間不存在線性關(guān)系第23頁(yè)/共45頁(yè)6-242、計(jì)算檢驗(yàn)統(tǒng)計(jì)量 F回回剩剩12F

10、n回剩 3、在給定顯著性水平 下，由分布表查得臨界值 。1,2Fn4、作出決策。若，拒絕，則認(rèn)為該回歸效果顯著。反之，則不顯著。1,2FFn即檢驗(yàn)步驟1、提出假設(shè)線性關(guān)系不顯著0:H0H第24頁(yè)/共45頁(yè)6-25估計(jì)殘余標(biāo)準(zhǔn)誤差4、殘余標(biāo)準(zhǔn)差的計(jì)算公式 2sn殘xyy1、表征除了與線性關(guān)系之外其它因素影響值偏離的大小 2、反映實(shí)際觀測(cè)值在回歸直線周圍的分散狀況3、從另一個(gè)角度說(shuō)明了回歸直線的擬合程度第25頁(yè)/共45頁(yè)6-26偏離回歸殘余總和平方和xybl 回yyl 總 總回殘自由度1n2n標(biāo)準(zhǔn)差2sn殘統(tǒng)計(jì)量2Fs回置信限 1,2Fn0.10.05 0.01顯著否顯著否 顯著否方差分析表第26

11、頁(yè)/共45頁(yè)6-27三、回歸系數(shù)的不確定度 第27頁(yè)/共45頁(yè)6-28回歸系數(shù)的不確定度回歸系數(shù)的不確定度1、回歸系數(shù)的不確定度是描述回歸系數(shù)的分散性 21( )xxxU asnl1( )xxU bsl2 abxxxssl 2、回歸系數(shù)和的標(biāo)準(zhǔn)不確定度的計(jì)算公式 ab3、回歸系數(shù)和的協(xié)方差的計(jì)算公式 ab式中，是殘余標(biāo)準(zhǔn)差s第28頁(yè)/共45頁(yè)6-29提高回歸方程中各估計(jì)量穩(wěn)定性的方法提高回歸方程中各估計(jì)量穩(wěn)定性的方法(1) 提高觀察數(shù)據(jù)本身的準(zhǔn)確度(2) 盡可能增大觀測(cè)數(shù)據(jù)中自變量的取值范圍 (3) 增加觀測(cè)次數(shù) (4) 減小殘余誤差，即擬定合適回歸方程使其盡可能合乎實(shí)際數(shù)據(jù)的變化規(guī)律 第29

12、頁(yè)/共45頁(yè)6-30四、回歸預(yù)測(cè)值及其不確定度 第30頁(yè)/共45頁(yè)6-31回歸預(yù)測(cè)值回歸預(yù)測(cè)值及其不確定度及其不確定度xy、利用估計(jì)的回歸方程，對(duì)于自變量的一個(gè)給定值，求出因變量的一個(gè)估計(jì)值，就是回歸的預(yù)測(cè)值0 x0 y的標(biāo)準(zhǔn)不確定度來(lái)表述 yyabx21( )xxxxu ysnl2n的擴(kuò)展不確定度來(lái)表述 ypyabxU1,2pn 2、預(yù)測(cè)值與實(shí)際值之間存在偏差，因此給出預(yù)測(cè)值時(shí)，還必須給出其不確定度。有以下兩種表示方式0 yy第31頁(yè)/共45頁(yè)6-32【例9-19-1】試對(duì)下表所列實(shí)驗(yàn)數(shù)據(jù)做直線擬合，并作方差分析和預(yù)測(cè)。 ixiyixiyixiyixiy1802001451651231101

13、91205104100141135151180190220134135144160110130153145141125190190108110155160204235190210158130177185150170161145107115177205121125165195180240143160151135154150127135147155116100115120第32頁(yè)/共45頁(yè)6-33【解】直線擬合計(jì)算 11150.09,158.283434iixxyy225453xxilxx32325xyiilxxyy32.3aybx 250094,1.27yyixyxxlyybll32.3 1.2

14、70yx 故有直線擬合第33頁(yè)/共45頁(yè)6-34方差分析 50094yyl總241037xyxxll回9057 總回殘282.516.8s 偏離回歸殘余總和平方和自由度標(biāo)準(zhǔn)差 統(tǒng)計(jì)量2145.0Fs回置信限 1,32F0.01高度顯著41037905750094323316.8145.07.50第34頁(yè)/共45頁(yè)6-35預(yù)測(cè) 對(duì)于，查分布表得 232n0.01(32)2.74t0.05(32)2.04t0.10(32)1.69t21( )2.88xxxxsu ysnln( ) ( )pUtu y故有32.30 1.2707.89(0.99,32)yxp 32.30 1.2705.88(0.95

15、,32)yxp 32.301.2704.87(0.90,32)yxp 第35頁(yè)/共45頁(yè)6-36回歸直線及預(yù)測(cè)區(qū)間100120y240220180140100140160180200 xyx = 32.30 + 1.27第36頁(yè)/共45頁(yè)6-37第四節(jié) 一元非線性回歸分析 第37頁(yè)/共45頁(yè)6-38非線性回歸分析 5、 比較不同模型擬合所得的原剩余平方和，選最小者即為所求。 2、選擇回歸模型。根據(jù)實(shí)驗(yàn)數(shù)據(jù)散點(diǎn)圖分布的特點(diǎn)以及所掌握的物理規(guī)律，選擇可線化函數(shù)的模型。3、作線性化變量變換后，按一元線性回歸問(wèn)題計(jì)算待定的系數(shù)、原的剩余平方和。、如果對(duì)擬合結(jié)果不滿意，再選擇其它模型，重復(fù)以上步驟 。1、因變量與自變量之間不是線性關(guān)系yx第38頁(yè)/共45頁(yè)6-39幾種常見(jiàn)的非線性模型指數(shù)函數(shù)1、基本形式：bxyae2、線性化方法兩端取對(duì)數(shù)得lnlnyabx令lnyabx lnyy 、圖像b 0b 0第39頁(yè)/共45頁(yè)6-40幾種常見(jiàn)的非線性模型指數(shù)函數(shù)1、基本形式：2、線性化方法兩端取對(duì)數(shù)得令lnyabx1lnyyxx、圖像b xyaelnlnyab xb 0b 0第40頁(yè)/共45頁(yè)6-41幾種常見(jiàn)的非線性模型冪函數(shù)1、基本形式：byax2、線性化方法兩端取對(duì)數(shù)得logloglogyabx令logyabxlog ,logyy xx、圖像1b 0b