第6章 回歸分析(201362)

1、誤差理論與數(shù)據處理第6章 回歸分析誤差理論與數(shù)據處理l 回歸分析的基本概念l 一元線性回歸方程的求解l 回歸方程的方差分析和顯著性檢驗l一元非線性回歸分析方法重點與難點誤差理論與數(shù)據處理第一節(jié)回歸分析的基本概念第一節(jié)回歸分析的基本概念一、變量間的關系一、變量間的關系 在現(xiàn)實世界中存在大量的變量, 它們有相互依存、相互制約的關系，一般分為兩類：確定性關系與非確定性關系。 Ex.1 球的直徑 X 與球的體積 V 之間有確定的函數(shù)關系 ：361XV 變量間可以用明確的函數(shù)關系式精確地表示出來?；蛘哒f變量間存在著唯一確定的關系，稱存在著唯一確定的關系，稱為為確定性關系，又稱為函數(shù)關系。誤差理論與數(shù)據處

2、理第一節(jié)回歸分析的基本概念第一節(jié)回歸分析的基本概念一、變量間的關系一、變量間的關系 Ex.2 江河上游地區(qū)森林覆蓋面積Y與下游的水流量X之間的關系。 Ex.3 農作物產量Y與降雨量 X1 ，氮、磷、鉀的施肥量X2 、X3 、X4 之間的關系。 變量間存在著密切的關系，但不能用確定的不能用確定的函數(shù)式精確表達，稱為函數(shù)式精確表達，稱為不確定性關系，又稱為相關關系。 EX. 4 產品的價格X與需求量M之間存在關系。 特點 變量間的關系無法用確定的函數(shù)來明確表述。 EX. 5 零件的加工誤差與零件的直徑之間的關系。 誤差理論與數(shù)據處理 根據以上數(shù)據，分析人體內脂肪含量與年齡之間有怎根據以上數(shù)據，分析

3、人體內脂肪含量與年齡之間有怎樣的關系？樣的關系？如何研究變量間的相關關系？如何研究變量間的相關關系？實例1：人體脂肪含量與年齡之間的關系注：表中各年齡對應的脂肪數(shù)是這個年齡人群的樣本平均數(shù)。注：表中各年齡對應的脂肪數(shù)是這個年齡人群的樣本平均數(shù)。年齡年齡23273941454950脂肪9.517.821.225.927.526.328.2年齡年齡53545657586061脂肪 29.630.231.430.833.535.234.6誤差理論與數(shù)據處理x0202530354550 5560年齡年齡510152025303540y脂肪含量脂肪含量4065 下面我們以年齡為橫軸下面我們以年齡為橫軸,

4、 脂肪含量為縱軸建立脂肪含量為縱軸建立直角坐標系直角坐標系, 作出各個點作出各個點, 稱該圖為稱該圖為散點圖散點圖。年年齡齡23273941454950脂肪9.517.821.225.927.526.328.25354565758606129.630.231.430.833.535.234.6年齡越大年齡越大,體內脂體內脂肪含量越高，點肪含量越高，點的位置散布在的位置散布在從從左下角到右上角左下角到右上角的區(qū)域。稱它們的區(qū)域。稱它們成成正相關正相關誤差理論與數(shù)據處理 通過散點圖發(fā)現(xiàn)，通過散點圖發(fā)現(xiàn)，海平面以上，海拔高海平面以上，海拔高度越高，含氧量越少。度越高，含氧量越少。而且這些點而且這些點

5、散布在從散布在從左上角到右下角的區(qū)左上角到右下角的區(qū)域內，域內，稱它們成稱它們成負相負相關關.實例2：人體高原含氧量與海拔高度的相關關系海拔高度海拔高度含含氧氧量量誤差理論與數(shù)據處理思考：當人的年齡增大時，體內脂肪含量到底思考：當人的年齡增大時，體內脂肪含量到底是增加多少呢？是增加多少呢？0202530354550 5560 x年齡年齡510152025303540y脂肪含量脂肪含量4065 這些點大致分這些點大致分布在一條直線附近布在一條直線附近, 此時我們就稱這兩此時我們就稱這兩個變量之間具有個變量之間具有線線性相關性相關關系關系, 這條直這條直線叫做線叫做回歸直線回歸直線,， 這條直線的

6、方程叫這條直線的方程叫做做回歸方程?；貧w方程。誤差理論與數(shù)據處理0202530354550 5560 x年齡年齡510152025303540y脂肪含量脂肪含量4065怎么求回歸直線方程呢怎么求回歸直線方程呢誤差理論與數(shù)據處理二、回歸分析的含義二、回歸分析的含義 回歸分析：回歸分析：處理變量間相關關系的一種數(shù)理統(tǒng)計方法。也就處理變量間相關關系的一種數(shù)理統(tǒng)計方法。也就是找出一個能夠反映變量間變化關系的函數(shù)關系式，并據此進是找出一個能夠反映變量間變化關系的函數(shù)關系式，并據此進行估計和推算。行估計和推算。 分析過程分析過程 ：建立在大量的實驗數(shù)據基礎上，運用數(shù)理統(tǒng)計建立在大量的實驗數(shù)據基礎上，運用數(shù)

7、理統(tǒng)計方法，尋找一個數(shù)學模型來描述變量間的相關關系，根據最小方法，尋找一個數(shù)學模型來描述變量間的相關關系，根據最小二乘法原理，確定一個相應的數(shù)學表達式（回歸方程），然后二乘法原理，確定一個相應的數(shù)學表達式（回歸方程），然后再進行方差分析和顯著性檢驗。再進行方差分析和顯著性檢驗。樣本數(shù)據數(shù)學模型回歸一詞的由來回歸一詞的由來回歸方程最小二乘法原理最小二乘法原理顯著性檢驗誤差理論與數(shù)據處理三、回歸分析類型三、回歸分析類型按自變量的個數(shù)分按自變量的冪次分回回歸歸分分析析多元回歸多元回歸一元回歸一元回歸一元線性回歸一元線性回歸一元非線性回歸一元非線性回歸多元線性回歸多元線性回歸多元非線性回歸多元非線性回

8、歸一元線性回歸一元線性回歸非線性回歸非線性回歸線性回歸線性回歸誤差理論與數(shù)據處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸研究某大容量電容位移傳感器輸入量與輸出量間的關系1.抽取樣本數(shù)據抽取樣本數(shù)據表1 試驗數(shù)據序號12345678(位移)01234567（輸出電壓）00.080.190.290.450.520.590.71mmxi/Vyi/對該位移傳感器的輸入和輸出進行實際測量，測得8組試驗數(shù)據如下表：一元線性回歸：一元線性回歸：確定兩個變量之間的線性關系。直線擬合。直線擬合。誤差理論與數(shù)據處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸 2.建立數(shù)學模型建立數(shù)學模型ii0ixy 因變量（輸出電壓） 自變

9、量（位移）隨機誤差設測量數(shù)據有如下結構形式：x02468y0.20.40.60.8bxby0iiyx,iqiibxbx0,)(0iiiiibxbyyyq誤差理論與數(shù)據處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸 3.確定估計回歸方程確定估計回歸方程x02468y0.20.40.60.8 的最佳估計值。采用最小二乘法求解。思路：求電壓y與位移x的關系，即根據測量數(shù)據要求出0和點到直線距離的平方和最小點到直線距離的平方和最小誤差理論與數(shù)據處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸nininiiiiininiiiyxbxbxybxnb11120110nibxbyyyviiiii, 2 , 10應用最小二乘

10、法原理可得正規(guī)方程為：應用最小二乘法原理可得正規(guī)方程為：殘余誤差方程：殘余誤差方程：誤差理論與數(shù)據處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸估計回歸方程：解得：xbyb0bxby0 xxxyniniiininiiiniiillxnxyxnyxb121211111xbyb0誤差理論與數(shù)據處理求回歸直線方程的步驟求回歸直線方程的步驟2、列表、列表1、設回歸方程、設回歸方程bxby0誤差理論與數(shù)據處理3、計算、計算4、代入公式、代入公式 求求 的值的值5、寫出回歸方程、寫出回歸方程bb 和0?)(1?)(1?1?1111211211niiniiniiixyniiniixxniiniiyxnyxlxnx

11、lynyxnx?0 xbybllbxxxy?0bxby誤差理論與數(shù)據處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸表1 試驗數(shù)據序號12345678(位移)01234567（輸出電壓）00.080.190.290.450.520.590.71mmxi/Vyi/對該位移傳感器的輸入和輸出進行實際測量，測得8組試驗數(shù)據如下表：實例實例1計算計算誤差理論與數(shù)據處理解：解：2、列表、列表1、設回歸方程、設回歸方程bxby0誤差理論與數(shù)據處理3、計算、計算則回歸方程為：則回歸方程為：335. 4)(8142)(81354. 0815 . 3818181812818128181iiiiiiixyiiiixxii

12、iiyxyxlxxlyyxx016. 0103. 00 xbybllbxxxyxbxby103. 0016. 00誤差理論與數(shù)據處理實例實例2 有一個同學家開了一個小賣部，他為了研究有一個同學家開了一個小賣部，他為了研究氣溫對熱飲銷售的影響，經過統(tǒng)計，得到一個賣出的氣溫對熱飲銷售的影響，經過統(tǒng)計，得到一個賣出的熱飲杯數(shù)與當天氣溫的對比表：熱飲杯數(shù)與當天氣溫的對比表：攝氏溫度攝氏溫度-504712151923273136熱飲杯數(shù)156 150 132 128 130 116 10489937654第二節(jié)一元線性回歸第二節(jié)一元線性回歸求（求（1）回歸方程）回歸方程 （2）如果某天的氣溫是）如果某天

13、的氣溫是2攝氏度，預測這天賣出的熱飲杯數(shù)。攝氏度，預測這天賣出的熱飲杯數(shù)。誤差理論與數(shù)據處理 從散點圖從散點圖中發(fā)現(xiàn)氣溫與中發(fā)現(xiàn)氣溫與熱飲銷售杯數(shù)熱飲銷售杯數(shù)之間成線性負之間成線性負相關關系，即相關關系，即氣溫越高，賣氣溫越高，賣出去的熱飲杯出去的熱飲杯數(shù)越少。數(shù)越少。 攝氏溫度攝氏溫度-504712151923273136熱飲杯數(shù)156 150 132 128 130 116 10489937654020406080100120140160180-10 -50510152025303540熱飲杯數(shù)熱飲杯數(shù)xy誤差理論與數(shù)據處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸1、列表、列表 誤差理論與數(shù)據

14、處理3、當、當x=2時，時，y=143.068, 因此，某天的氣溫為因此，某天的氣溫為2攝氏度時，這天大約可以賣出攝氏度時，這天大約可以賣出143杯熱飲。杯熱飲。 第二節(jié)一元線性回歸第二節(jié)一元線性回歸2、求回歸方程、求回歸方程 4088)(1111738)(111636.111111364.1511111111111121111112111111iiiiiiixyiiiixxiiiiyxyxlxxlyyxx772.147352. 20 xbybllbxxxyxbxby352. 2772.1470誤差理論與數(shù)據處理二、回歸方程的方差分析及顯著性檢驗二、回歸方程的方差分析及顯著性檢驗第二節(jié)一元線性

15、回歸第二節(jié)一元線性回歸問題：這條回歸直線是否符合y 與x之間的客觀規(guī)律？回歸直線的精度如何？u對n個觀測值與其算術平均值之差的平方和進行分解；u用F檢驗法對所求回歸方程進行顯著性檢驗。方差分析法誤差理論與數(shù)據處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸（一）回歸方程的方差分析總的離差平方和（即n個觀測值之間的變差）niyyilyyS12)(1 nS 可以證明： S=U+Q其中nixyiblyyU12)(xyyyniiibllyyQ12)(1U2 nQ U回歸平方和，反映總變差中由于回歸平方和，反映總變差中由于x和和y的線性關的線性關 系而引起系而引起 y變化的部分。變化的部分。Q Q殘余平方和，反

16、映所有觀測點到回歸直線的殘殘余平方和，反映所有觀測點到回歸直線的殘 余誤差，即其它因素對余誤差，即其它因素對y y變差的影響。變差的影響。誤差理論與數(shù)據處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸（二）回歸方程顯著性檢驗 F檢驗法基本思路：方程是否顯著取決于U和Q的大小，U越大，Q越小，說明y與x的線性關系愈密切。計算統(tǒng)計量FQUQUF/對一元線性回歸，應為)2/(1/nQUF誤差理論與數(shù)據處理若 回歸在0.01的水平上高度顯著。第二節(jié)一元線性回歸第二節(jié)一元線性回歸),2, 1 (01. 0nFF),2, 1 ()2, 1 (01. 005. 0nFFnF回歸在0.05的水平上顯著。),2, 1

17、()2, 1 (05. 010. 0nFFnF回歸在0.1的水平上顯著。),2, 1 (10. 0nFF回歸不顯著。查F分布表，根據給定的顯著性水平 和已知的自由度1和n-2進行檢驗：誤差理論與數(shù)據處理（三）殘余方差與殘余標準差第二節(jié)一元線性回歸第二節(jié)一元線性回歸殘余方差：排除了x 對y的線性影響后，衡量y 隨機波動的特征量。22NQ殘余標準差：2NQ含義： 越小，回歸直線的精度越高。誤差理論與數(shù)據處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸（四）方差分析表來源平方和自由度方差 F顯著性回歸殘余 1 n-2 總計 n-1 2 xyblU xyyybllQyylS )2/(1/nQUF)2, 1 (

18、nF 誤差理論與數(shù)據處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸正應力x/Pa26.825.428.923.627.723.924.728.126.927.422.625.6抗剪強度y/Pa26.527.324.227.123.625.926.322.521.721.42.824.9誤差理論與數(shù)據處理126.826.5718.24702.25710.2225.427.3645.16745.29693.421225.624.9655.36620.01637.44311.6297.28134.37407.87687.8第二節(jié)一元線性回歸第二節(jié)一元線性回歸iixiy2ix2iyiiyx誤差理論與數(shù)據處理

19、第二節(jié)一元線性回歸第二節(jié)一元線性回歸97.256 .3111211ixnx77.242 .2971211iyny53.29121iiiixyyxyxl05.43)(12122iixxxxl誤差理論與數(shù)據處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸69. 0 xxxyllb58.420 xbybxxbby69. 058.420則當x=24.5Pa時Pay08.255 .24*69. 058.42誤差理論與數(shù)據處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸11115.47nlSsyy 方差分析15.47)(12122iyyyyli126.20UxyblU 10289.26nbllUSQQxyyy 顯著性檢驗

20、54. 71089.2626.20QUQUF 誤差理論與數(shù)據處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸查表04.10)10, 1 (01. 0F96. 4)10, 1 (05. 0F05. 005. 0FFF則回歸方程在0.05水平上顯著。69. 222nQ 方差方差分析表來源平方和自由度方差 F顯著性回歸殘余 1 10 總計 11 69. 226.20U89.26Q15.47S54. 705. 0 由于誤差理論與數(shù)據處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸分組法平均值法 將自變量按由小到大次序排列，分成個數(shù)相等或近于相 等的兩個組（分組數(shù)等于未知數(shù)個數(shù)），則可建立相應的兩 組觀測方程：kkbx

21、bybxby0101NNkkbxbybxby0101將兩組觀測方程分別相加，得NktNktttktktttxbbkNyxbkby110110)(b和b0四、回歸直線的簡便求法四、回歸直線的簡便求法誤差理論與數(shù)據處理第三節(jié)一元非線性回歸第三節(jié)一元非線性回歸2、求解未知參數(shù)。可化曲線回歸為直線回歸，用最小二乘法求解；可化曲線回歸為多項式回歸。1、確定函數(shù)類型。一、求解思路一、求解思路二、回歸曲線函數(shù)類型的選取和檢驗二、回歸曲線函數(shù)類型的選取和檢驗1、直接判斷法2、作圖觀察法，與典型曲線比較，確定其屬于何種類型，然后檢驗。誤差理論與數(shù)據處理第三節(jié)一元非線性回歸第三節(jié)一元非線性回歸3、直線檢驗法（適用

22、于待求參數(shù)不多的情況）a、預選回歸曲線b、c、求出幾對與x,y相對應的Z1,Z2值d、以Z1,Z2為坐標作圖，若為直線，則說明原選定的曲線類型是合適的，否則重新考慮。0),(bayxf0),(bayxf21BZAZ誤差理論與數(shù)據處理第三節(jié)一元非線性回歸第三節(jié)一元非線性回歸三、化曲線回歸為直線回歸問題三、化曲線回歸為直線回歸問題 用直線檢驗法檢驗的曲線回歸方程可以通過變量代換轉為直線回歸方程，再利用線性回歸 分 析 方 法 可 求 得 相 應 的 參 數(shù) 估 計 值 。誤差理論與數(shù)據處理第三節(jié)一元非線性回歸第三節(jié)一元非線性回歸回歸曲線方程的效果與精度：NtttyyQ12)(2NQ殘余平方和殘余標

23、準差相關指數(shù)NtttyyQR122)(1衡量回歸曲線效果好壞的指標可以作為根據回歸方程預報y值的精度指標誤差理論與數(shù)據處理誤差理論與數(shù)據處理冪函數(shù)曲線檢驗：誤差理論與數(shù)據處理對數(shù)曲線檢驗：誤差理論與數(shù)據處理誤差理論與數(shù)據處理誤差理論與數(shù)據處理誤差理論與數(shù)據處理誤差理論與數(shù)據處理誤差理論與數(shù)據處理誤差理論與數(shù)據處理對數(shù)曲線冪函數(shù)曲線誤差理論與數(shù)據處理題1：某含錫合金的熔點溫度與含錫量有關，實驗獲得如下數(shù)據：設錫含量的數(shù)據無誤差，求：熔點溫度與含錫量之間的關系。預測含錫量為60%時，合金的熔點溫度。誤差理論與數(shù)據處理誤差理論與數(shù)據處理題2：對一溫度測量儀進行標定，被測溫度x 由標準場提供，其誤差可忽略不計。通過試驗得到的被測溫度x 與測溫儀的輸出電壓y 的數(shù)