第6章 回歸分析(201362)

1、誤差理論與數(shù)據(jù)處理第6章 回歸分析誤差理論與數(shù)據(jù)處理l 回歸分析的基本概念l 一元線性回歸方程的求解l 回歸方程的方差分析和顯著性檢驗(yàn)l一元非線性回歸分析方法重點(diǎn)與難點(diǎn)誤差理論與數(shù)據(jù)處理第一節(jié)回歸分析的基本概念第一節(jié)回歸分析的基本概念一、變量間的關(guān)系一、變量間的關(guān)系 在現(xiàn)實(shí)世界中存在大量的變量, 它們有相互依存、相互制約的關(guān)系，一般分為兩類：確定性關(guān)系與非確定性關(guān)系。 Ex.1 球的直徑 X 與球的體積 V 之間有確定的函數(shù)關(guān)系 ：361XV 變量間可以用明確的函數(shù)關(guān)系式精確地表示出來(lái)。或者說(shuō)變量間存在著唯一確定的關(guān)系，稱存在著唯一確定的關(guān)系，稱為為確定性關(guān)系，又稱為函數(shù)關(guān)系。誤差理論與數(shù)據(jù)處

2、理第一節(jié)回歸分析的基本概念第一節(jié)回歸分析的基本概念一、變量間的關(guān)系一、變量間的關(guān)系 Ex.2 江河上游地區(qū)森林覆蓋面積Y與下游的水流量X之間的關(guān)系。 Ex.3 農(nóng)作物產(chǎn)量Y與降雨量 X1 ，氮、磷、鉀的施肥量X2 、X3 、X4 之間的關(guān)系。 變量間存在著密切的關(guān)系，但不能用確定的不能用確定的函數(shù)式精確表達(dá)，稱為函數(shù)式精確表達(dá)，稱為不確定性關(guān)系，又稱為相關(guān)關(guān)系。 EX. 4 產(chǎn)品的價(jià)格X與需求量M之間存在關(guān)系。 特點(diǎn) 變量間的關(guān)系無(wú)法用確定的函數(shù)來(lái)明確表述。 EX. 5 零件的加工誤差與零件的直徑之間的關(guān)系。 誤差理論與數(shù)據(jù)處理 根據(jù)以上數(shù)據(jù)，分析人體內(nèi)脂肪含量與年齡之間有怎根據(jù)以上數(shù)據(jù)，分析

3、人體內(nèi)脂肪含量與年齡之間有怎樣的關(guān)系？樣的關(guān)系？如何研究變量間的相關(guān)關(guān)系？如何研究變量間的相關(guān)關(guān)系？實(shí)例1：人體脂肪含量與年齡之間的關(guān)系注：表中各年齡對(duì)應(yīng)的脂肪數(shù)是這個(gè)年齡人群的樣本平均數(shù)。注：表中各年齡對(duì)應(yīng)的脂肪數(shù)是這個(gè)年齡人群的樣本平均數(shù)。年齡年齡23273941454950脂肪9.517.821.225.927.526.328.2年齡年齡53545657586061脂肪 29.630.231.430.833.535.234.6誤差理論與數(shù)據(jù)處理x0202530354550 5560年齡年齡510152025303540y脂肪含量脂肪含量4065 下面我們以年齡為橫軸下面我們以年齡為橫軸,

4、 脂肪含量為縱軸建立脂肪含量為縱軸建立直角坐標(biāo)系直角坐標(biāo)系, 作出各個(gè)點(diǎn)作出各個(gè)點(diǎn), 稱該圖為稱該圖為散點(diǎn)圖散點(diǎn)圖。年年齡齡23273941454950脂肪9.517.821.225.927.526.328.25354565758606129.630.231.430.833.535.234.6年齡越大年齡越大,體內(nèi)脂體內(nèi)脂肪含量越高，點(diǎn)肪含量越高，點(diǎn)的位置散布在的位置散布在從從左下角到右上角左下角到右上角的區(qū)域。稱它們的區(qū)域。稱它們成成正相關(guān)正相關(guān)誤差理論與數(shù)據(jù)處理 通過(guò)散點(diǎn)圖發(fā)現(xiàn)，通過(guò)散點(diǎn)圖發(fā)現(xiàn)，海平面以上，海拔高海平面以上，海拔高度越高，含氧量越少。度越高，含氧量越少。而且這些點(diǎn)而且這些點(diǎn)

5、散布在從散布在從左上角到右下角的區(qū)左上角到右下角的區(qū)域內(nèi)，域內(nèi)，稱它們成稱它們成負(fù)相負(fù)相關(guān)關(guān).實(shí)例2：人體高原含氧量與海拔高度的相關(guān)關(guān)系海拔高度海拔高度含含氧氧量量誤差理論與數(shù)據(jù)處理思考：當(dāng)人的年齡增大時(shí)，體內(nèi)脂肪含量到底思考：當(dāng)人的年齡增大時(shí)，體內(nèi)脂肪含量到底是增加多少呢？是增加多少呢？0202530354550 5560 x年齡年齡510152025303540y脂肪含量脂肪含量4065 這些點(diǎn)大致分這些點(diǎn)大致分布在一條直線附近布在一條直線附近, 此時(shí)我們就稱這兩此時(shí)我們就稱這兩個(gè)變量之間具有個(gè)變量之間具有線線性相關(guān)性相關(guān)關(guān)系關(guān)系, 這條直這條直線叫做線叫做回歸直線回歸直線,， 這條直線的

6、方程叫這條直線的方程叫做做回歸方程。回歸方程。誤差理論與數(shù)據(jù)處理0202530354550 5560 x年齡年齡510152025303540y脂肪含量脂肪含量4065怎么求回歸直線方程呢怎么求回歸直線方程呢誤差理論與數(shù)據(jù)處理二、回歸分析的含義二、回歸分析的含義 回歸分析：回歸分析：處理變量間相關(guān)關(guān)系的一種數(shù)理統(tǒng)計(jì)方法。也就處理變量間相關(guān)關(guān)系的一種數(shù)理統(tǒng)計(jì)方法。也就是找出一個(gè)能夠反映變量間變化關(guān)系的函數(shù)關(guān)系式，并據(jù)此進(jìn)是找出一個(gè)能夠反映變量間變化關(guān)系的函數(shù)關(guān)系式，并據(jù)此進(jìn)行估計(jì)和推算。行估計(jì)和推算。 分析過(guò)程分析過(guò)程 ：建立在大量的實(shí)驗(yàn)數(shù)據(jù)基礎(chǔ)上，運(yùn)用數(shù)理統(tǒng)計(jì)建立在大量的實(shí)驗(yàn)數(shù)據(jù)基礎(chǔ)上，運(yùn)用數(shù)

7、理統(tǒng)計(jì)方法，尋找一個(gè)數(shù)學(xué)模型來(lái)描述變量間的相關(guān)關(guān)系，根據(jù)最小方法，尋找一個(gè)數(shù)學(xué)模型來(lái)描述變量間的相關(guān)關(guān)系，根據(jù)最小二乘法原理，確定一個(gè)相應(yīng)的數(shù)學(xué)表達(dá)式（回歸方程），然后二乘法原理，確定一個(gè)相應(yīng)的數(shù)學(xué)表達(dá)式（回歸方程），然后再進(jìn)行方差分析和顯著性檢驗(yàn)。再進(jìn)行方差分析和顯著性檢驗(yàn)。樣本數(shù)據(jù)數(shù)學(xué)模型回歸一詞的由來(lái)回歸一詞的由來(lái)回歸方程最小二乘法原理最小二乘法原理顯著性檢驗(yàn)誤差理論與數(shù)據(jù)處理三、回歸分析類型三、回歸分析類型按自變量的個(gè)數(shù)分按自變量的冪次分回回歸歸分分析析多元回歸多元回歸一元回歸一元回歸一元線性回歸一元線性回歸一元非線性回歸一元非線性回歸多元線性回歸多元線性回歸多元非線性回歸多元非線性回

8、歸一元線性回歸一元線性回歸非線性回歸非線性回歸線性回歸線性回歸誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸研究某大容量電容位移傳感器輸入量與輸出量間的關(guān)系1.抽取樣本數(shù)據(jù)抽取樣本數(shù)據(jù)表1 試驗(yàn)數(shù)據(jù)序號(hào)12345678(位移)01234567（輸出電壓）00.080.190.290.450.520.590.71mmxi/Vyi/對(duì)該位移傳感器的輸入和輸出進(jìn)行實(shí)際測(cè)量，測(cè)得8組試驗(yàn)數(shù)據(jù)如下表：一元線性回歸：一元線性回歸：確定兩個(gè)變量之間的線性關(guān)系。直線擬合。直線擬合。誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸 2.建立數(shù)學(xué)模型建立數(shù)學(xué)模型ii0ixy 因變量（輸出電壓） 自變

9、量（位移）隨機(jī)誤差設(shè)測(cè)量數(shù)據(jù)有如下結(jié)構(gòu)形式：x02468y0.20.40.60.8bxby0iiyx,iqiibxbx0,)(0iiiiibxbyyyq誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸 3.確定估計(jì)回歸方程確定估計(jì)回歸方程x02468y0.20.40.60.8 的最佳估計(jì)值。采用最小二乘法求解。思路：求電壓y與位移x的關(guān)系，即根據(jù)測(cè)量數(shù)據(jù)要求出0和點(diǎn)到直線距離的平方和最小點(diǎn)到直線距離的平方和最小誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸nininiiiiininiiiyxbxbxybxnb11120110nibxbyyyviiiii, 2 , 10應(yīng)用最小二乘

10、法原理可得正規(guī)方程為：應(yīng)用最小二乘法原理可得正規(guī)方程為：殘余誤差方程：殘余誤差方程：誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸估計(jì)回歸方程：解得：xbyb0bxby0 xxxyniniiininiiiniiillxnxyxnyxb121211111xbyb0誤差理論與數(shù)據(jù)處理求回歸直線方程的步驟求回歸直線方程的步驟2、列表、列表1、設(shè)回歸方程、設(shè)回歸方程bxby0誤差理論與數(shù)據(jù)處理3、計(jì)算、計(jì)算4、代入公式、代入公式 求求 的值的值5、寫(xiě)出回歸方程、寫(xiě)出回歸方程bb 和0?)(1?)(1?1?1111211211niiniiniiixyniiniixxniiniiyxnyxlxnx

11、lynyxnx?0 xbybllbxxxy?0bxby誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸表1 試驗(yàn)數(shù)據(jù)序號(hào)12345678(位移)01234567（輸出電壓）00.080.190.290.450.520.590.71mmxi/Vyi/對(duì)該位移傳感器的輸入和輸出進(jìn)行實(shí)際測(cè)量，測(cè)得8組試驗(yàn)數(shù)據(jù)如下表：實(shí)例實(shí)例1計(jì)算計(jì)算誤差理論與數(shù)據(jù)處理解：解：2、列表、列表1、設(shè)回歸方程、設(shè)回歸方程bxby0誤差理論與數(shù)據(jù)處理3、計(jì)算、計(jì)算則回歸方程為：則回歸方程為：335. 4)(8142)(81354. 0815 . 3818181812818128181iiiiiiixyiiiixxii

12、iiyxyxlxxlyyxx016. 0103. 00 xbybllbxxxyxbxby103. 0016. 00誤差理論與數(shù)據(jù)處理實(shí)例實(shí)例2 有一個(gè)同學(xué)家開(kāi)了一個(gè)小賣部，他為了研究有一個(gè)同學(xué)家開(kāi)了一個(gè)小賣部，他為了研究氣溫對(duì)熱飲銷售的影響，經(jīng)過(guò)統(tǒng)計(jì)，得到一個(gè)賣出的氣溫對(duì)熱飲銷售的影響，經(jīng)過(guò)統(tǒng)計(jì)，得到一個(gè)賣出的熱飲杯數(shù)與當(dāng)天氣溫的對(duì)比表：熱飲杯數(shù)與當(dāng)天氣溫的對(duì)比表：攝氏溫度攝氏溫度-504712151923273136熱飲杯數(shù)156 150 132 128 130 116 10489937654第二節(jié)一元線性回歸第二節(jié)一元線性回歸求（求（1）回歸方程）回歸方程 （2）如果某天的氣溫是）如果某天

13、的氣溫是2攝氏度，預(yù)測(cè)這天賣出的熱飲杯數(shù)。攝氏度，預(yù)測(cè)這天賣出的熱飲杯數(shù)。誤差理論與數(shù)據(jù)處理 從散點(diǎn)圖從散點(diǎn)圖中發(fā)現(xiàn)氣溫與中發(fā)現(xiàn)氣溫與熱飲銷售杯數(shù)熱飲銷售杯數(shù)之間成線性負(fù)之間成線性負(fù)相關(guān)關(guān)系，即相關(guān)關(guān)系，即氣溫越高，賣氣溫越高，賣出去的熱飲杯出去的熱飲杯數(shù)越少。數(shù)越少。 攝氏溫度攝氏溫度-504712151923273136熱飲杯數(shù)156 150 132 128 130 116 10489937654020406080100120140160180-10 -50510152025303540熱飲杯數(shù)熱飲杯數(shù)xy誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸1、列表、列表 誤差理論與數(shù)據(jù)

14、處理3、當(dāng)、當(dāng)x=2時(shí)，時(shí)，y=143.068, 因此，某天的氣溫為因此，某天的氣溫為2攝氏度時(shí)，這天大約可以賣出攝氏度時(shí)，這天大約可以賣出143杯熱飲。杯熱飲。 第二節(jié)一元線性回歸第二節(jié)一元線性回歸2、求回歸方程、求回歸方程 4088)(1111738)(111636.111111364.1511111111111121111112111111iiiiiiixyiiiixxiiiiyxyxlxxlyyxx772.147352. 20 xbybllbxxxyxbxby352. 2772.1470誤差理論與數(shù)據(jù)處理二、回歸方程的方差分析及顯著性檢驗(yàn)二、回歸方程的方差分析及顯著性檢驗(yàn)第二節(jié)一元線性

15、回歸第二節(jié)一元線性回歸問(wèn)題：這條回歸直線是否符合y 與x之間的客觀規(guī)律？回歸直線的精度如何？u對(duì)n個(gè)觀測(cè)值與其算術(shù)平均值之差的平方和進(jìn)行分解；u用F檢驗(yàn)法對(duì)所求回歸方程進(jìn)行顯著性檢驗(yàn)。方差分析法誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸（一）回歸方程的方差分析總的離差平方和（即n個(gè)觀測(cè)值之間的變差）niyyilyyS12)(1 nS 可以證明： S=U+Q其中nixyiblyyU12)(xyyyniiibllyyQ12)(1U2 nQ U回歸平方和，反映總變差中由于回歸平方和，反映總變差中由于x和和y的線性關(guān)的線性關(guān) 系而引起系而引起 y變化的部分。變化的部分。Q Q殘余平方和，反

16、映所有觀測(cè)點(diǎn)到回歸直線的殘殘余平方和，反映所有觀測(cè)點(diǎn)到回歸直線的殘 余誤差，即其它因素對(duì)余誤差，即其它因素對(duì)y y變差的影響。變差的影響。誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸（二）回歸方程顯著性檢驗(yàn) F檢驗(yàn)法基本思路：方程是否顯著取決于U和Q的大小，U越大，Q越小，說(shuō)明y與x的線性關(guān)系愈密切。計(jì)算統(tǒng)計(jì)量FQUQUF/對(duì)一元線性回歸，應(yīng)為)2/(1/nQUF誤差理論與數(shù)據(jù)處理若 回歸在0.01的水平上高度顯著。第二節(jié)一元線性回歸第二節(jié)一元線性回歸),2, 1 (01. 0nFF),2, 1 ()2, 1 (01. 005. 0nFFnF回歸在0.05的水平上顯著。),2, 1

17、()2, 1 (05. 010. 0nFFnF回歸在0.1的水平上顯著。),2, 1 (10. 0nFF回歸不顯著。查F分布表，根據(jù)給定的顯著性水平 和已知的自由度1和n-2進(jìn)行檢驗(yàn)：誤差理論與數(shù)據(jù)處理（三）殘余方差與殘余標(biāo)準(zhǔn)差第二節(jié)一元線性回歸第二節(jié)一元線性回歸殘余方差：排除了x 對(duì)y的線性影響后，衡量y 隨機(jī)波動(dòng)的特征量。22NQ殘余標(biāo)準(zhǔn)差：2NQ含義： 越小，回歸直線的精度越高。誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸（四）方差分析表來(lái)源平方和自由度方差 F顯著性回歸殘余 1 n-2 總計(jì) n-1 2 xyblU xyyybllQyylS )2/(1/nQUF)2, 1 (

18、nF 誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸正應(yīng)力x/Pa26.825.428.923.627.723.924.728.126.927.422.625.6抗剪強(qiáng)度y/Pa26.527.324.227.123.625.926.322.521.721.42.824.9誤差理論與數(shù)據(jù)處理126.826.5718.24702.25710.2225.427.3645.16745.29693.421225.624.9655.36620.01637.44311.6297.28134.37407.87687.8第二節(jié)一元線性回歸第二節(jié)一元線性回歸iixiy2ix2iyiiyx誤差理論與數(shù)據(jù)處理

19、第二節(jié)一元線性回歸第二節(jié)一元線性回歸97.256 .3111211ixnx77.242 .2971211iyny53.29121iiiixyyxyxl05.43)(12122iixxxxl誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸69. 0 xxxyllb58.420 xbybxxbby69. 058.420則當(dāng)x=24.5Pa時(shí)Pay08.255 .24*69. 058.42誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸11115.47nlSsyy 方差分析15.47)(12122iyyyyli126.20UxyblU 10289.26nbllUSQQxyyy 顯著性檢驗(yàn)

20、54. 71089.2626.20QUQUF 誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸查表04.10)10, 1 (01. 0F96. 4)10, 1 (05. 0F05. 005. 0FFF則回歸方程在0.05水平上顯著。69. 222nQ 方差方差分析表來(lái)源平方和自由度方差 F顯著性回歸殘余 1 10 總計(jì) 11 69. 226.20U89.26Q15.47S54. 705. 0 由于誤差理論與數(shù)據(jù)處理第二節(jié)一元線性回歸第二節(jié)一元線性回歸分組法平均值法 將自變量按由小到大次序排列，分成個(gè)數(shù)相等或近于相 等的兩個(gè)組（分組數(shù)等于未知數(shù)個(gè)數(shù)），則可建立相應(yīng)的兩 組觀測(cè)方程：kkbx

21、bybxby0101NNkkbxbybxby0101將兩組觀測(cè)方程分別相加，得NktNktttktktttxbbkNyxbkby110110)(b和b0四、回歸直線的簡(jiǎn)便求法四、回歸直線的簡(jiǎn)便求法誤差理論與數(shù)據(jù)處理第三節(jié)一元非線性回歸第三節(jié)一元非線性回歸2、求解未知參數(shù)。可化曲線回歸為直線回歸，用最小二乘法求解；可化曲線回歸為多項(xiàng)式回歸。1、確定函數(shù)類型。一、求解思路一、求解思路二、回歸曲線函數(shù)類型的選取和檢驗(yàn)二、回歸曲線函數(shù)類型的選取和檢驗(yàn)1、直接判斷法2、作圖觀察法，與典型曲線比較，確定其屬于何種類型，然后檢驗(yàn)。誤差理論與數(shù)據(jù)處理第三節(jié)一元非線性回歸第三節(jié)一元非線性回歸3、直線檢驗(yàn)法（適用

22、于待求參數(shù)不多的情況）a、預(yù)選回歸曲線b、c、求出幾對(duì)與x,y相對(duì)應(yīng)的Z1,Z2值d、以Z1,Z2為坐標(biāo)作圖，若為直線，則說(shuō)明原選定的曲線類型是合適的，否則重新考慮。0),(bayxf0),(bayxf21BZAZ誤差理論與數(shù)據(jù)處理第三節(jié)一元非線性回歸第三節(jié)一元非線性回歸三、化曲線回歸為直線回歸問(wèn)題三、化曲線回歸為直線回歸問(wèn)題 用直線檢驗(yàn)法檢驗(yàn)的曲線回歸方程可以通過(guò)變量代換轉(zhuǎn)為直線回歸方程，再利用線性回歸 分 析 方 法 可 求 得 相 應(yīng) 的 參 數(shù) 估 計(jì) 值 。誤差理論與數(shù)據(jù)處理第三節(jié)一元非線性回歸第三節(jié)一元非線性回歸回歸曲線方程的效果與精度：NtttyyQ12)(2NQ殘余平方和殘余標(biāo)

23、準(zhǔn)差相關(guān)指數(shù)NtttyyQR122)(1衡量回歸曲線效果好壞的指標(biāo)可以作為根據(jù)回歸方程預(yù)報(bào)y值的精度指標(biāo)誤差理論與數(shù)據(jù)處理誤差理論與數(shù)據(jù)處理冪函數(shù)曲線檢驗(yàn)：誤差理論與數(shù)據(jù)處理對(duì)數(shù)曲線檢驗(yàn)：誤差理論與數(shù)據(jù)處理誤差理論與數(shù)據(jù)處理誤差理論與數(shù)據(jù)處理誤差理論與數(shù)據(jù)處理誤差理論與數(shù)據(jù)處理誤差理論與數(shù)據(jù)處理誤差理論與數(shù)據(jù)處理對(duì)數(shù)曲線冪函數(shù)曲線誤差理論與數(shù)據(jù)處理題1：某含錫合金的熔點(diǎn)溫度與含錫量有關(guān)，實(shí)驗(yàn)獲得如下數(shù)據(jù)：設(shè)錫含量的數(shù)據(jù)無(wú)誤差，求：熔點(diǎn)溫度與含錫量之間的關(guān)系。預(yù)測(cè)含錫量為60%時(shí)，合金的熔點(diǎn)溫度。誤差理論與數(shù)據(jù)處理誤差理論與數(shù)據(jù)處理題2：對(duì)一溫度測(cè)量?jī)x進(jìn)行標(biāo)定，被測(cè)溫度x 由標(biāo)準(zhǔn)場(chǎng)提供，其誤差可忽略不計(jì)。通過(guò)試驗(yàn)得到的被測(cè)溫度x 與測(cè)溫儀的輸出電壓y 的數(shù)