回歸分析趙小艷

1、2022-4-301線性回歸分析線性回歸分析 作作 者：者： 趙小艷趙小艷 電子郵箱：電子郵箱： 電電 話：話：2022-4-302一、引言一、引言 2004年全國(guó)數(shù)模競(jìng)賽的年全國(guó)數(shù)模競(jìng)賽的B題題 “電力市場(chǎng)的電力市場(chǎng)的輸電阻塞管理輸電阻塞管理” 第一個(gè)問題：第一個(gè)問題： 某電網(wǎng)有某電網(wǎng)有8臺(tái)發(fā)電機(jī)組，臺(tái)發(fā)電機(jī)組，6條主要線路，表?xiàng)l主要線路，表1和表和表2中的方案中的方案0給出了各機(jī)組的當(dāng)前出力和給出了各機(jī)組的當(dāng)前出力和各線路上對(duì)應(yīng)的有功潮流值，方案各線路上對(duì)應(yīng)的有功潮流值，方案132給出給出了了圍繞方案圍繞方案0的一些實(shí)驗(yàn)數(shù)據(jù)，試用這些數(shù)據(jù)確的一些實(shí)驗(yàn)數(shù)據(jù)，試用這些數(shù)據(jù)確定各線路上有功潮流關(guān)

2、于各發(fā)電機(jī)組出力的近定各線路上有功潮流關(guān)于各發(fā)電機(jī)組出力的近似表達(dá)式。似表達(dá)式。 2022-4-303表表1 各機(jī)組出力方案各機(jī)組出力方案 （單位：兆瓦，記作（單位：兆瓦，記作MW）方案方案機(jī)組機(jī)組123 4 5 6780120731808012512581.1901133.02731808012512581.1902129.63731808012512581.1903158.77731808012512581.1904145.32731808012512581.190512078.5961808012512581.190612075.451808012512581.190712090.487

3、1808012512581.190812083.8481808012512581.190912073231.398012512581.1901012073198.488012512581.1901112073212.648012512581.1901212073190.558012512581.190131207318075.85712512581.190141207318065.95812512581.190151207318087.25812512581.190161207318097.82412512581.190171207318080150.7112581.1902022-4-304

4、181207318080141.5812581.190191207318080132.3712581.190201207318080156.9312581.190211207318080125138.8881.190221207318080125131.2181.190231207318080125141.7181.190241207318080125149.2981.19025120731808012512560.5829026120731808012512570.9629027120731808012512564.8549028120731808012512575.529902912073

5、1808012512581.1104.8430120731808012512581.1111.2231120731808012512581.198.09232120731808012512581.1120.442022-4-305表表2 2 各線路的潮流值（各方案與表各線路的潮流值（各方案與表1 1相對(duì)應(yīng)，單位：相對(duì)應(yīng)，單位：MWMW）方案方案線路線路1234560164.78140.87-144.25119.09135.44157.691165.81140.13-145.14118.63135.37160.762165.51140.25-144.92118.7135.33159.983167

6、.93138.71-146.91117.72135.41166.814166.79139.45-145.92118.13135.41163.645164.94141.5-143.84118.43136.72157.226164.8141.13-144.07118.82136.02157.57165.59143.03-143.16117.24139.66156.598165.21142.28-143.49117.96137.98156.969167.43140.82-152.26129.58132.04153.610165.71140.82-147.08122.85134.21156.23111

7、66.45140.82-149.33125.75133.28155.0912165.23140.85-145.82121.16134.75156.7713164.23140.73-144.18119.12135.57157.214163.04140.34-144.03119.31135.97156.3115165.54141.1-144.32118.84135.06158.262022-4-30624167.69138.07-144.14119.19137.11157.6525162.21141.21-144.13116.03135.5154.2626163.54141-144.16117.5

8、6135.44155.9327162.7141.14-144.21116.74135.4154.8828164.06140.94-144.18118.24135.4156.6829164.66142.27-147.2120.21135.28157.6530164.7142.94-148.45120.68135.16157.6331164.67141.56-145.88119.68135.29157.6132164.69143.84-150.34121.34135.12157.6416166.88141.4-144.34118.67134.67159.2817164.07143.03-140.9

9、7118.75133.75158.8318164.27142.29-142.15118.85134.27158.3719164.57141.44-143.3119134.88158.0120163.89143.61-140.25118.64133.28159.1221166.35139.29-144.2119.1136.33157.5922165.54140.14-144.19119.09135.81157.6723166.75138.95-144.17119.15136.55157.592022-4-307 仔細(xì)分析題目，可以發(fā)現(xiàn)，該問題就是要找仔細(xì)分析題目，可以發(fā)現(xiàn)，該問題就是要找出出各線

10、路上有功潮流與各線路上有功潮流與8 8臺(tái)發(fā)電機(jī)出力的函數(shù)關(guān)臺(tái)發(fā)電機(jī)出力的函數(shù)關(guān)系系，這在數(shù)學(xué)上是一個(gè)函數(shù)擬合問題。，這在數(shù)學(xué)上是一個(gè)函數(shù)擬合問題。 對(duì)函數(shù)擬合，可以采用線性函數(shù)，也可以采對(duì)函數(shù)擬合，可以采用線性函數(shù)，也可以采用非線性函數(shù)，比如多項(xiàng)式函數(shù)，三角函數(shù)，指用非線性函數(shù)，比如多項(xiàng)式函數(shù)，三角函數(shù)，指數(shù)函數(shù)等等。在給出具體問題的具體數(shù)據(jù)時(shí)，首數(shù)函數(shù)等等。在給出具體問題的具體數(shù)據(jù)時(shí)，首先想到的還是最簡(jiǎn)單的方法下手，采用最簡(jiǎn)單的先想到的還是最簡(jiǎn)單的方法下手，采用最簡(jiǎn)單的函數(shù)去擬合，也就是線性函數(shù)來表達(dá)。函數(shù)去擬合，也就是線性函數(shù)來表達(dá)。1、模型的分析、模型的分析2022-4-308 由電網(wǎng)的

11、拓?fù)浣Y(jié)構(gòu)，線路上的有功潮流由機(jī)由電網(wǎng)的拓?fù)浣Y(jié)構(gòu)，線路上的有功潮流由機(jī)組出力決定。又根據(jù)功率的疊加原理，各線路組出力決定。又根據(jù)功率的疊加原理，各線路上有功潮流應(yīng)為各發(fā)電機(jī)組出力的線性組合，上有功潮流應(yīng)為各發(fā)電機(jī)組出力的線性組合，考慮對(duì)所有實(shí)驗(yàn)數(shù)據(jù)采用最小二乘法進(jìn)行線性考慮對(duì)所有實(shí)驗(yàn)數(shù)據(jù)采用最小二乘法進(jìn)行線性擬合，從而得到各線路有功潮流關(guān)于各發(fā)電機(jī)擬合，從而得到各線路有功潮流關(guān)于各發(fā)電機(jī)組出力的近似表達(dá)式。組出力的近似表達(dá)式。2022-4-3092、模型的建立與求解、模型的建立與求解1266, ,l llL L設(shè)設(shè) 條條主主要要線線路路有有功功潮潮流流為為1288,x xxL L臺(tái)臺(tái)機(jī)機(jī)組組出出

12、力力分分別別為為則則801,iiijjjlaa x L L i i= =1 1, ,2 2, , , ,6 6ija其其中中，是是待待確確定定的的系系數(shù)數(shù)。2022-4-3010 根據(jù)表根據(jù)表1 1和表和表2 2圍繞方案圍繞方案0 0的的1-321-32組實(shí)驗(yàn)數(shù)組實(shí)驗(yàn)數(shù)據(jù)，可以列出關(guān)于未知數(shù)的據(jù)，可以列出關(guān)于未知數(shù)的3232個(gè)方程的方程個(gè)方程的方程組，利用組，利用SASSAS或或MatlabMatlab編程求解方程組，得編程求解方程組，得2022-4-3011還需要根據(jù)樣本值運(yùn)用假設(shè)檢驗(yàn)來判斷，還需要根據(jù)樣本值運(yùn)用假設(shè)檢驗(yàn)來判斷，以確定求得的回歸方程是否有價(jià)值。以確定求得的回歸方程是否有價(jià)值。

13、18,ilxxL L為為了了確確定定 和和之之間間是是否否有有線線性性關(guān)關(guān)系系， 在許多國(guó)際國(guó)內(nèi)數(shù)學(xué)建模競(jìng)賽中，都有可在許多國(guó)際國(guó)內(nèi)數(shù)學(xué)建模競(jìng)賽中，都有可能用到回歸分析。因此，我們介紹線性回歸能用到回歸分析。因此，我們介紹線性回歸分析的基本原理，對(duì)模型好壞的評(píng)價(jià)指標(biāo)，分析的基本原理，對(duì)模型好壞的評(píng)價(jià)指標(biāo)，可線性化的回歸分析，利用統(tǒng)計(jì)軟件的實(shí)現(xiàn)可線性化的回歸分析，利用統(tǒng)計(jì)軟件的實(shí)現(xiàn)等具體問題。等具體問題。2022-4-3012二、回歸分析方法二、回歸分析方法 回歸分析是研究一個(gè)或一組變量（回歸分析是研究一個(gè)或一組變量（因變量，因變量，結(jié)果結(jié)果）與另一些變量（）與另一些變量（自變量或回歸變量，自變

14、量或回歸變量，原因原因）之間的依存關(guān)系。）之間的依存關(guān)系。 在回歸模型中，若變量之間的關(guān)系是線性關(guān)系，在回歸模型中，若變量之間的關(guān)系是線性關(guān)系，稱為稱為線性回歸模型線性回歸模型，否則，稱為非線性回歸模，否則，稱為非線性回歸模型。型。 當(dāng)自變量只有一個(gè)，稱為當(dāng)自變量只有一個(gè)，稱為一元線性回歸一元線性回歸， 如果如果自變量有多個(gè)，稱為自變量有多個(gè)，稱為多元線性回歸多元線性回歸。2022-4-30131 1、一元線性回歸、一元線性回歸一元線性回歸模型為一元線性回歸模型為01yx （1 1）012,(0,)N 其其中中x x是是自自變變量量，y y是是因因變變量量，為為未未知知的的待待定定常常數(shù)數(shù)，稱

15、稱為為回回歸歸系系數(shù)數(shù)， 是是隨隨機(jī)機(jī)誤誤差差，且且假假設(shè)設(shè)。1122(,),(,),(,)nnxyxyxy對(duì)對(duì)(x,y)(x,y)的的一一組組觀觀察察值值011 2iiiyxin ， ，滿足滿足212,(0,)niN L:L:其其中中相相互互獨(dú)獨(dú)立立，且且。2022-4-30140101,ii L L 如如何何根根據(jù)據(jù)樣樣本本觀觀察察值值( (x x , ,y y ) )( (i i= =1 1, , , ,n n) )來來求求的的估估計(jì)計(jì)值值？01220101,11()min()nniiiiiiyxyx0101, 通通常常采采用用最最小小二二乘乘估估計(jì)計(jì)來來做做，也也即即選選取取的的估估計(jì)

16、計(jì)值值使使其其隨隨機(jī)機(jī)誤誤差差的的平平方方和和達(dá)達(dá)到到最最小小，即即一元線性回歸一元線性回歸2022-4-3015201011(,)()niiiQyx 011001112()02()0niiiniiiiQyxQyx x 則則令令正規(guī)方程組正規(guī)方程組一元線性回歸一元線性回歸2022-4-3016整理得整理得0111201111nniiiinnniiiiiiinxyxxx y （2 2）一元線性回歸一元線性回歸2022-4-3017其中，其中，1111,nniiiixxyynn 0111122211()()()nniiiiiinniiiiyxx ynxyxxyyxnxxx （3 3）參數(shù)的最小二乘

17、估計(jì)參數(shù)的最小二乘估計(jì)一元線性回歸一元線性回歸2022-4-3018211() ,()(),nnxxixyiiiixxLxxyy 記記 L L則則有有如如下下結(jié)結(jié)論論01 yx 而而 稱作稱作y y關(guān)于關(guān)于x x的的一元經(jīng)驗(yàn)回歸方程一元經(jīng)驗(yàn)回歸方程。22001(1)(,();xxxNnL : :一元線性回歸一元線性回歸2022-4-3019211201(2)(,);(3)(,)xxxxNLxCovL : :0101, 顯顯然然，分分別別是是，的的無無偏偏估估計(jì)計(jì)量量。一元線性回歸一元線性回歸2022-4-302001iiyx 記記 2 下下面面來來求求的的估估計(jì)計(jì)。,iiiyyx 稱稱為為 的

18、的殘殘差差2201211()()22nniiiiiiyyyxnn 令令 （4 4）22 則則是是的的無無偏偏估估計(jì)計(jì)量量。一元線性回歸一元線性回歸2022-4-30212 2、多元線性回歸、多元線性回歸模型為：模型為： 201,n L L是是未未知知參參數(shù)數(shù)。011nnyxx （5 5）2(0,),N其其中中12,12,(1, )(, )niiipipxxxyinx xxy L LL LL L設(shè)設(shè)（）是是的的 個(gè)個(gè)觀觀察察值值，滿滿足足2022-4-30221011121211201212222201122ppppnnnpnpnyxxxyxxxyxxx （6 6）2(0,),1,2, .iNi

19、n 1n L L其其中中，相相互互獨(dú)獨(dú)立立，且且多元線性回歸多元線性回歸2022-4-3023令令01,p 12n 12,nyyYy 111212122212(1)11,1ppnnnpnpxxxxxxXxxx 多元線性回歸多元線性回歸注意：矩陣注意：矩陣X的第一列全是的第一列全是1.2022-4-3024YX （7 7）則（則（6 6）可用矩陣表達(dá)為）可用矩陣表達(dá)為 選選取取 的的估估計(jì)計(jì)值值 ，使使得得隨隨機(jī)機(jī)誤誤差差的的平平方方和和達(dá)達(dá)到到最最小小，即即02011,1() ()min() ()= min()pTTniipipiYXYXYXYXyxx L LL L 多元線性回歸多元線性回歸2

20、022-4-3025TTX XX Y （8 8）對(duì)應(yīng)對(duì)應(yīng)正規(guī)方程組正規(guī)方程組為為 Xm18TX X 在在矩矩陣陣 的的秩秩等等于于，即即列列滿滿秩秩時(shí)時(shí)，可可逆逆，正正規(guī)規(guī)方方程程組組（ ）有有唯唯一一解解，得得參參數(shù)數(shù)的的估估計(jì)計(jì)值值為為1()TTX XX Y 在在X不是列滿秩時(shí)，其解雖然不唯一，但對(duì)任意不是列滿秩時(shí)，其解雖然不唯一，但對(duì)任意一組解都使得殘差平方和最小。一組解都使得殘差平方和最小。多元線性回歸多元線性回歸2022-4-3026TXX X 即即使使 列列滿滿秩秩，但但是是行行列列值值很很小小，這這時(shí)時(shí)正正規(guī)規(guī)方方程程組組會(huì)會(huì)變變成成病病態(tài)態(tài)方方程程，雖雖然然能能求求解解參參數(shù)數(shù)

21、的的估估計(jì)計(jì)值值 ，但但是是由由于于誤誤差差很很大大，無無實(shí)實(shí)用用價(jià)價(jià)值值，此此時(shí)時(shí)稱稱這這些些變變量量之之間間具具有有多多重重共共線線性性，即即X X的的列列向向量量之之間間有有近近似似的的線線性性關(guān)關(guān)系系。多元線性回歸多元線性回歸關(guān)于多重共線性的知識(shí)請(qǐng)參閱韓中庚關(guān)于多重共線性的知識(shí)請(qǐng)參閱韓中庚數(shù)學(xué)建模數(shù)學(xué)建模方法及其應(yīng)用方法及其應(yīng)用。2022-4-3027 當(dāng)當(dāng) p=1 p=1 時(shí)，多元線性回歸就變成一元線性回時(shí)，多元線性回歸就變成一元線性回歸分析了，這時(shí)參數(shù)的求解和誤差的方差的無偏歸分析了，這時(shí)參數(shù)的求解和誤差的方差的無偏估計(jì)與一元得到的結(jié)論是一樣的，類似地也有估計(jì)與一元得到的結(jié)論是一樣

22、的，類似地也有經(jīng)經(jīng)驗(yàn)回歸平面方程驗(yàn)回歸平面方程。22011211()()11nniiiiippiiyyyxxnpnp 2 類類似似地地，可可以以求求的的無無偏偏估估計(jì)計(jì)多元線性回歸多元線性回歸2022-4-30283 3、回歸模型的假設(shè)檢驗(yàn)、回歸模型的假設(shè)檢驗(yàn) 在許多實(shí)際問題中，我們事先并不能斷定在許多實(shí)際問題中，我們事先并不能斷定因變量與自變量之間是否確有線性關(guān)系，而前因變量與自變量之間是否確有線性關(guān)系，而前面建立的因變量與多個(gè)自變量間的線性關(guān)系只面建立的因變量與多個(gè)自變量間的線性關(guān)系只是一種假設(shè)，盡管這種假設(shè)常常不是沒有根據(jù)是一種假設(shè)，盡管這種假設(shè)常常不是沒有根據(jù)的。這就意味，所求得的經(jīng)驗(yàn)

23、回歸方程是否有的。這就意味，所求得的經(jīng)驗(yàn)回歸方程是否有實(shí)用價(jià)值，需要經(jīng)過假設(shè)檢驗(yàn)才能確定。實(shí)用價(jià)值，需要經(jīng)過假設(shè)檢驗(yàn)才能確定。2022-4-3029主要從以下幾個(gè)方面進(jìn)行檢驗(yàn)：主要從以下幾個(gè)方面進(jìn)行檢驗(yàn)： a a、 回歸方程的檢驗(yàn)；回歸方程的檢驗(yàn)； b b、 回歸系數(shù)的檢驗(yàn)；回歸系數(shù)的檢驗(yàn)； c c、 回歸好壞程度的度量?；貧w好壞程度的度量。2022-4-3030a a、回歸方程的檢驗(yàn)、回歸方程的檢驗(yàn)是否全為零。若全為零，則認(rèn)為線性回歸不是否全為零。若全為零，則認(rèn)為線性回歸不顯著，否則認(rèn)為線性回歸顯著。為此，在上顯著，否則認(rèn)為線性回歸顯著。為此，在上述模型中作假設(shè)述模型中作假設(shè)12,p0121

24、12:0:,ppHH 不不全全為為零零 要檢驗(yàn)（要檢驗(yàn)（6 6）的變量間有沒有這種線性關(guān)系，）的變量間有沒有這種線性關(guān)系，只要檢驗(yàn)只要檢驗(yàn)p p個(gè)系數(shù)個(gè)系數(shù)2022-4-3031考慮總偏差平方和，利用正規(guī)方程組，有考慮總偏差平方和，利用正規(guī)方程組，有2211()()nniiiiiiSyyyyyy T T0112211,niiiipipiyyyxxxn 為了構(gòu)造檢驗(yàn)統(tǒng)計(jì)量，記為了構(gòu)造檢驗(yàn)統(tǒng)計(jì)量，記經(jīng)驗(yàn)回歸方程經(jīng)驗(yàn)回歸方程回歸方程的檢驗(yàn)回歸方程的檢驗(yàn)2022-4-30322211()()nniiiiiyyyy2211()()nneiiiiiSyySyy R R記記 , , TeRSSS 則則 回歸

25、方程的檢驗(yàn)回歸方程的檢驗(yàn)2022-4-3033 它是由自變量它是由自變量X X的取值變化且通過線性回的取值變化且通過線性回歸模型對(duì)歸模型對(duì)y y的影響所構(gòu)成的誤差平方和。的影響所構(gòu)成的誤差平方和。eS 稱稱為為殘殘差差平平方方和和。RS 稱稱為為回回歸歸平平方方和和。 它是由隨機(jī)誤差和其他未加控制的因素所它是由隨機(jī)誤差和其他未加控制的因素所引起的誤差平方和。引起的誤差平方和。回歸方程的檢驗(yàn)回歸方程的檢驗(yàn)2022-4-30342212222122()(1),()( )niiiniiyySnpyySp e eR R0H在在成成立立的的條條件件下下，可可以以證證明明eRSS且且與與相相互互獨(dú)獨(dú)立立。

26、回歸方程的檢驗(yàn)回歸方程的檢驗(yàn)2022-4-3035( ,1)1SpFF p npSnp R Re e構(gòu)造檢驗(yàn)統(tǒng)計(jì)量為構(gòu)造檢驗(yàn)統(tǒng)計(jì)量為FeS 當(dāng)當(dāng)自自變變量量和和因因變變量量之之間間符符合合線線性性回回歸歸模模型型時(shí)時(shí)，殘殘差差平平方方和和 比比較較小小，上上述述統(tǒng)統(tǒng)計(jì)計(jì)量量的的取取值值有有偏偏大大傾傾向向，否否則則， 的的取取值值很很可可能能偏偏小小?；貧w方程的檢驗(yàn)回歸方程的檢驗(yàn)2022-4-3036( ,1)FFp np ( ,1)FFp np 反反之之，若若 相應(yīng)的檢驗(yàn)法則為相應(yīng)的檢驗(yàn)法則為： 對(duì)對(duì)事事先先給給定定的的檢檢驗(yàn)驗(yàn)水水平平 ，若若0H則則拒拒絕絕，即即認(rèn)認(rèn)為為各各系系數(shù)數(shù)不不為

27、為零零，線線性性回回歸歸方方程程顯顯著著；0H則則接接受受，即即認(rèn)認(rèn)為為各各系系數(shù)數(shù)都都為為零零，所所假假設(shè)設(shè)的的線線性性回回歸歸方方程程不不顯顯著著；回歸方程的檢驗(yàn)回歸方程的檢驗(yàn)2022-4-303701p,H L L在在拒拒絕絕的的情情況況下下，即即認(rèn)認(rèn)為為回回歸歸系系數(shù)數(shù)，不全為零，但這并不意味著每個(gè)自變量不全為零，但這并不意味著每個(gè)自變量1,pXXyL L對(duì)對(duì) 的的影影響響都都相相同同，其其中中有有的的自自變變量量可能會(huì)起重要作用，而有的可能起的作用不大可能會(huì)起重要作用，而有的可能起的作用不大或者不起作用?；蛘卟黄鹱饔?。110Xy 例例如如，若若，則則對(duì)對(duì) 沒沒有有影影響響。因此，在通

28、過前面的線性回歸模型的檢驗(yàn)，因此，在通過前面的線性回歸模型的檢驗(yàn)，1,pyXXL L認(rèn)認(rèn)為為 與與符符合合線線性性回回歸歸模模型型之之后后，回歸方程的檢驗(yàn)回歸方程的檢驗(yàn)2022-4-3038還有必要從線性回歸模型中剔除那些次要的、還有必要從線性回歸模型中剔除那些次要的、可有可無的自變量，只保留那些起重要作用的可有可無的自變量，只保留那些起重要作用的自變量，以從新建立更為簡(jiǎn)練的線性回歸模型，自變量，以從新建立更為簡(jiǎn)練的線性回歸模型，使之有利于實(shí)際應(yīng)用。使之有利于實(shí)際應(yīng)用。回歸方程的檢驗(yàn)回歸方程的檢驗(yàn)2022-4-3039b b、回歸系數(shù)的檢驗(yàn)、回歸系數(shù)的檢驗(yàn)01:0:0(1,2, )jjHHjp

29、 檢驗(yàn)假設(shè)檢驗(yàn)假設(shè)0jHxy原原假假設(shè)設(shè)未未被被拒拒絕絕，則則表表明明自自變變量量對(duì)對(duì) 的的作作用用不不顯顯著著，在在回回歸歸模模型型中中可可以以去去掉掉。01jHHxy當(dāng)當(dāng)拒拒絕絕，即即接接受受，則則表表明明對(duì)對(duì) 起起作作用用，在在回回歸歸模模型型中中不不能能去去掉掉。2022-4-3040下面的任務(wù)是選取檢驗(yàn)統(tǒng)計(jì)量。下面的任務(wù)是選取檢驗(yàn)統(tǒng)計(jì)量。2(,)nYN XI 121()( ,() )TTTX XX YNX X E ,0,1,jjEjp由（由（7 7）所以，所以，jj 即即估估計(jì)計(jì)量量是是的的無無偏偏估估計(jì)計(jì)量量。回歸系數(shù)的檢驗(yàn)回歸系數(shù)的檢驗(yàn)2022-4-30411 ()TCX X ，

30、2(,)jjjjNc (0,1)jjjjNc 22(1),Snp e e1jjcj 為為C C的的主主對(duì)對(duì)角角線線上上的的第第個(gè)個(gè)元元素素，則可以證明則可以證明jeS 且且與與相相互互獨(dú)獨(dú)立立。注意：矩陣注意：矩陣C的下標(biāo)都是從的下標(biāo)都是從0開始的！開始的！回歸系數(shù)的檢驗(yàn)回歸系數(shù)的檢驗(yàn)2022-4-3042(1)1jjjeTt npc Snp 2(1),ttnp 0H因因此此，在在成成立立的的件件下下， 對(duì)對(duì)于于檢檢驗(yàn)驗(yàn)水水平平 ，若若0jH 則則拒拒絕絕，即即認(rèn)認(rèn)為為顯顯著著的的不不為為零零?；貧w系數(shù)的檢驗(yàn)回歸系數(shù)的檢驗(yàn)2022-4-3043 如果回歸方程的檢驗(yàn)結(jié)果是顯著的，而且各個(gè)如果回歸

31、方程的檢驗(yàn)結(jié)果是顯著的，而且各個(gè)回歸系數(shù)的檢驗(yàn)結(jié)果都為顯著時(shí)，說明各個(gè)自變量回歸系數(shù)的檢驗(yàn)結(jié)果都為顯著時(shí)，說明各個(gè)自變量對(duì)因變量的單純影響都是顯著的。對(duì)因變量的單純影響都是顯著的。 若有回歸系數(shù)經(jīng)顯著性檢驗(yàn)為不顯著時(shí)，說明若有回歸系數(shù)經(jīng)顯著性檢驗(yàn)為不顯著時(shí)，說明其對(duì)應(yīng)的自變量在回歸方程中是不重要的，此時(shí)應(yīng)其對(duì)應(yīng)的自變量在回歸方程中是不重要的，此時(shí)應(yīng)該剔除。該剔除。2(1)ttnp 若若 0jH 則則接接受受，即即認(rèn)認(rèn)為為等等于于零零?；貧w系數(shù)的檢驗(yàn)回歸系數(shù)的檢驗(yàn)2022-4-3044在對(duì)變量進(jìn)行剔除時(shí)，需要注意：在對(duì)變量進(jìn)行剔除時(shí)，需要注意：1 1）一次只能剔除一個(gè)不顯著的回歸系數(shù)對(duì)應(yīng)）一次只

32、能剔除一個(gè)不顯著的回歸系數(shù)對(duì)應(yīng)的自變量，而且被剔除的自變量，應(yīng)該是所的自變量，而且被剔除的自變量，應(yīng)該是所有不顯著的回歸系數(shù)中的有不顯著的回歸系數(shù)中的t t值最小者。值最小者。2 2）重新進(jìn)行少一個(gè)自變量的多元線性回歸分析。重新進(jìn)行少一個(gè)自變量的多元線性回歸分析?；貧w系數(shù)的檢驗(yàn)回歸系數(shù)的檢驗(yàn)2022-4-3045 前面說的是剔除變量，也會(huì)有變量因素考慮前面說的是剔除變量，也會(huì)有變量因素考慮不周的情況，這時(shí)應(yīng)該考慮引入新的變量，那么不周的情況，這時(shí)應(yīng)該考慮引入新的變量，那么如何引入新的變量？如何引入新的變量？ 對(duì)于模型的選擇，目前普遍采用的是對(duì)于模型的選擇，目前普遍采用的是逐步回逐步回歸法歸法。

33、也即，每引入一個(gè)變量，要進(jìn)行逐個(gè)檢驗(yàn)，。也即，每引入一個(gè)變量，要進(jìn)行逐個(gè)檢驗(yàn)，將不顯著的變量剔除。將不顯著的變量剔除。詳細(xì)情況請(qǐng)參閱韓中庚詳細(xì)情況請(qǐng)參閱韓中庚數(shù)學(xué)建模方法及其應(yīng)數(shù)學(xué)建模方法及其應(yīng)用用第九章。第九章。回歸系數(shù)的檢驗(yàn)回歸系數(shù)的檢驗(yàn)2022-4-3046c c、復(fù)相關(guān)系數(shù)、復(fù)相關(guān)系數(shù) 對(duì)一個(gè)回歸方程來說，即使回歸顯著，但還對(duì)一個(gè)回歸方程來說，即使回歸顯著，但還涉及到回歸好壞程度的度量。對(duì)于一個(gè)因變量涉及到回歸好壞程度的度量。對(duì)于一個(gè)因變量和一組自變量之間相關(guān)程度，則要采用的復(fù)相關(guān)和一組自變量之間相關(guān)程度，則要采用的復(fù)相關(guān)系數(shù)來度量。系數(shù)來度量。 研究一個(gè)變量與多個(gè)變量的線性相關(guān)稱為復(fù)

34、研究一個(gè)變量與多個(gè)變量的線性相關(guān)稱為復(fù)相關(guān)分析。相關(guān)分析。 2022-4-304721eRTTSSRSS21SR e e殘殘差差平平方方和和越越小小，復(fù)復(fù)相相關(guān)關(guān)系系數(shù)數(shù)越越大大，且且0 0。 復(fù)相關(guān)系數(shù)定義為復(fù)相關(guān)系數(shù)定義為21R 越越接接近近 ，因因變變量量與與自自變變量量之之間間的的線線性性相相關(guān)關(guān)程程度度越越強(qiáng)強(qiáng)。復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)2022-4-30482111eaTSnpRSn 但是復(fù)相關(guān)系數(shù)也有一些缺點(diǎn)。當(dāng)采用的自變量但是復(fù)相關(guān)系數(shù)也有一些缺點(diǎn)。當(dāng)采用的自變量2eSR增增多多時(shí)時(shí)，其其就就會(huì)會(huì)減減少少，從從而而導(dǎo)導(dǎo)致致增增大大，而而有有些些自變量的引入可能是多余的。自變量的引入可

35、能是多余的。為了更準(zhǔn)確地反映參數(shù)個(gè)數(shù)的影響，采用調(diào)整的為了更準(zhǔn)確地反映參數(shù)個(gè)數(shù)的影響，采用調(diào)整的2復(fù)復(fù)相相關(guān)關(guān)系系數(shù)數(shù)（a ad dj ju us st t R R ）, ,其其定定義義如如下下：221aRR與與越越接接近近 ，因因變變量量和和自自變變量量之之間間線線性性相相關(guān)關(guān)程程度度越越強(qiáng)強(qiáng)。復(fù)相關(guān)系數(shù)復(fù)相關(guān)系數(shù)2022-4-30494 4、預(yù)測(cè)、預(yù)測(cè) 如果經(jīng)檢驗(yàn)，認(rèn)為線性回歸方程是可信的，而如果經(jīng)檢驗(yàn)，認(rèn)為線性回歸方程是可信的，而且擬合的又好，那么接下來就要用它進(jìn)行預(yù)測(cè)。且擬合的又好，那么接下來就要用它進(jìn)行預(yù)測(cè)。 12,pxxxxxx L L0 01 10 02 20 0p p所所謂謂預(yù)

36、預(yù)測(cè)測(cè)，是是指指當(dāng)當(dāng)20012000012,(0,)ppyxxxNyxxxX L L: :L L0 01 10 02 20 0p p0 01 10 02 20 0p p記記 時(shí)對(duì)時(shí)對(duì)y y做區(qū)間估計(jì)，即以一定的置信度預(yù)測(cè)做區(qū)間估計(jì)，即以一定的置信度預(yù)測(cè)y y的觀察值的取值范圍，也即的觀察值的取值范圍，也即y y的預(yù)測(cè)區(qū)間。的預(yù)測(cè)區(qū)間。2022-4-305020012(,)pyNxxx : :L L0 01 10 02 20 0p p01,nyyyL L且且假假設(shè)設(shè) 與與相相互互獨(dú)獨(dú)立立。00,yy 相相互互獨(dú)獨(dú)立立，分分別別服服從從正正態(tài)態(tài)分分布布。001220011(,1()()pppiji

37、ijjijyNxxxcxxxxn :L:L01020p01020p 預(yù)測(cè)預(yù)測(cè)2022-4-30510001111()()ppijiijjijdcxxxxn 000(1)1eyyTt npSdnp : :1 對(duì)對(duì)給給定定的的置置信信度度，有有2000(0,)yyNd : :因而因而其中其中此時(shí)此時(shí)預(yù)測(cè)預(yù)測(cè)2022-4-30520000022(1)(1)111eeSSP ytnpdyytnpdnpnp 000022(1),(1)11eeSSytnpdytnpdnpnp1y 0 0即即 的的置置信信度度為為的的置置信信區(qū)區(qū)間間為為預(yù)測(cè)預(yù)測(cè)2022-4-30530,xx 顯顯然然，對(duì)對(duì)給給定定的的 ，

38、越越靠靠近近樣樣本本均均值值0y 的的預(yù)預(yù)測(cè)測(cè)區(qū)區(qū)間間長(zhǎng)長(zhǎng)度度越越小小，預(yù)預(yù)測(cè)測(cè)效效果果越越好好。預(yù)測(cè)預(yù)測(cè)2022-4-3054三、可線性化的一元非線性回歸模型三、可線性化的一元非線性回歸模型 上面主要講的是線性回歸，而對(duì)于一元回歸，上面主要講的是線性回歸，而對(duì)于一元回歸，非線性回歸的情形也是很常見的，對(duì)這些問題做回非線性回歸的情形也是很常見的，對(duì)這些問題做回歸就是曲線回歸。歸就是曲線回歸。 配置曲線回歸的一個(gè)基本方法是通過適當(dāng)?shù)淖兣渲们€回歸的一個(gè)基本方法是通過適當(dāng)?shù)淖兞看鷵Q把非線性回歸化為線性回歸。具體如下：先量代換把非線性回歸化為線性回歸。具體如下：先畫出觀察值的散點(diǎn)圖，通過與常見的函數(shù)

39、曲線對(duì)比，畫出觀察值的散點(diǎn)圖，通過與常見的函數(shù)曲線對(duì)比，經(jīng)驗(yàn)的選擇曲線類型。經(jīng)驗(yàn)的選擇曲線類型。 常見的是下面六類曲線：常見的是下面六類曲線：2022-4-3055（1 1）雙曲線）雙曲線 1bayx可線性化的一元非線性回歸模型可線性化的一元非線性回歸模型2022-4-3056（2 2）冪函數(shù)曲線）冪函數(shù)曲線,0,0byaxxa 可線性化的一元非線性回歸模型可線性化的一元非線性回歸模型2022-4-3057（3 3）指數(shù)曲線：）指數(shù)曲線：,0bxyaea 可線性化的一元非線性回歸模型可線性化的一元非線性回歸模型2022-4-3058（4 4）倒指數(shù)曲線：）倒指數(shù)曲線：,0bxyaea 可線性化

40、的一元非線性回歸模型可線性化的一元非線性回歸模型2022-4-3059（5 5）對(duì)數(shù)曲線：）對(duì)數(shù)曲線：log ,0yabx x 可線性化的一元非線性回歸模型可線性化的一元非線性回歸模型2022-4-3060（6 6）S S型曲線：型曲線：1xyabe 可線性化的一元非線性回歸模型可線性化的一元非線性回歸模型2022-4-306121,(0,)baNyx : :11,uvxy 做做變變量量代代換換，則則上上述述模模型型轉(zhuǎn)轉(zhuǎn)化化成成2,(0,)vabuN : :(,)(1,2, ),iiu vin 設(shè)有模型設(shè)有模型線性回歸模型：線性回歸模型：實(shí)驗(yàn)數(shù)據(jù)按上面的變量代換算出實(shí)驗(yàn)數(shù)據(jù)按上面的變量代換算出

41、可線性化的一元非線性回歸模型可線性化的一元非線性回歸模型2022-4-30622,ln(0,)bxyaeN: :1,ln ,uvyx 可可做做變變量量代代換換lnAa 并并記記，則則有有2,(0,)vAbuN : :再按前面的線性回歸公式計(jì)算參數(shù)估計(jì)，得再按前面的線性回歸公式計(jì)算參數(shù)估計(jì)，得1bayx當(dāng)當(dāng)y y與與x x適合模型適合模型可線性化的一元非線性回歸模型可線性化的一元非線性回歸模型2022-4-3063 其他幾種曲線都可通過適當(dāng)?shù)淖兞看鷵Q轉(zhuǎn)化為其他幾種曲線都可通過適當(dāng)?shù)淖兞看鷵Q轉(zhuǎn)化為線性回歸模型。這類回歸模型就稱為可線性化的線性回歸模型。這類回歸模型就稱為可線性化的一元非線性回歸模型

42、。一元非線性回歸模型。 2,(0,)bxyaeN : : 表面上看，該模型比上面的模型簡(jiǎn)單，表面上看，該模型比上面的模型簡(jiǎn)單，然而然而它卻無法化成線性回歸，因?yàn)樗撬^本質(zhì)上非它卻無法化成線性回歸，因?yàn)樗撬^本質(zhì)上非線性的模型。線性的模型?？删€性化的一元非線性回歸模型可線性化的一元非線性回歸模型 值得注意的是，并非所有的曲線回歸問題都可值得注意的是，并非所有的曲線回歸問題都可線性化，例如線性化，例如 2022-4-3064 多項(xiàng)式回歸的處理方法和前面的曲線回歸類多項(xiàng)式回歸的處理方法和前面的曲線回歸類似，通過變量轉(zhuǎn)換化成多元線性回歸來解決。似，通過變量轉(zhuǎn)換化成多元線性回歸來解決。2yabxcx

43、 其其實(shí)實(shí)，還還有有一一種種曲曲線線，這這樣樣的的回回歸歸稱稱作作。如如果果自自變變量量只只有有一一個(gè)個(gè)，稱稱為為一一元元多多項(xiàng)項(xiàng)式式回回歸歸；如如果果自自變變量量有有多多個(gè)個(gè)，稱稱為為多多元元多多項(xiàng)項(xiàng)多多項(xiàng)項(xiàng)式式回回歸歸式式回回歸歸。2012 mmy bbx b xb x L L對(duì)于一元對(duì)于一元m m次多項(xiàng)式回歸，次多項(xiàng)式回歸，212,mmxx xxxx L L令令則則上上式式化化為為可線性化的一元非線性回歸模型可線性化的一元非線性回歸模型2022-4-306501122 mmybb xb xb x L L因此可以用前面的方法解決多項(xiàng)式回歸問題。因此可以用前面的方法解決多項(xiàng)式回歸問題。二元多

44、項(xiàng)式回歸處理方法類似。二元多項(xiàng)式回歸處理方法類似。 值得注意的是，隨著自變量個(gè)數(shù)的增加值得注意的是，隨著自變量個(gè)數(shù)的增加, ,多元多元多項(xiàng)式回歸分析的計(jì)算量急劇增加。因此，在多多項(xiàng)式回歸分析的計(jì)算量急劇增加。因此，在多項(xiàng)式回歸中較為常用的是一元二次多項(xiàng)式回歸和項(xiàng)式回歸中較為常用的是一元二次多項(xiàng)式回歸和一元三次多項(xiàng)式回歸。一元三次多項(xiàng)式回歸。 可線性化的一元非線性回歸模型可線性化的一元非線性回歸模型2022-4-3066四、軟件應(yīng)用四、軟件應(yīng)用 解決線性回歸問題的常用軟件有：解決線性回歸問題的常用軟件有：MatlabMatlab，統(tǒng)計(jì)軟件統(tǒng)計(jì)軟件SPSSSPSS和和SASSAS。SPSSSPSS

45、的求解與的求解與SASSAS相同。相同。這里介紹這里介紹MatlabMatlab和和SASSAS的求解方法。的求解方法。2022-4-30671 1、線性回歸的、線性回歸的matlabmatlab實(shí)現(xiàn)實(shí)現(xiàn) 回歸分析的求解在回歸分析的求解在MatlabMatlab中可用中可用regressregress實(shí)現(xiàn)，實(shí)現(xiàn)，其使用格式為：其使用格式為：其中其中y y為列向量，表示因變量的取值；為列向量，表示因變量的取值；X X為矩陣，代表自變量的取值；為矩陣，代表自變量的取值；( (注意：第一列全注意：第一列全是是1)1)alphaalpha為置信水平，缺省時(shí)取為置信水平，缺省時(shí)取0.050.05。b,b

46、int,r,rint,stats = regress(y,X,alpha) b- 參參數(shù)數(shù) 的的估估計(jì)計(jì)值值，為為列列向向量量。bint-alpha 參參數(shù)數(shù) 的的置置信信度度為為（1 1）的的置置信信區(qū)區(qū)間間，2022-4-3068 當(dāng)置信區(qū)間包含當(dāng)置信區(qū)間包含0 0時(shí)，說明該參數(shù)未通過時(shí)，說明該參數(shù)未通過T T檢檢驗(yàn)，可認(rèn)為驗(yàn)，可認(rèn)為0 0。r-r-殘差向量，取值為殘差向量，取值為Y-XY-X* *b b。rint-rint-殘差的置信度為殘差的置信度為1-alpha1-alpha的置信區(qū)間。的置信區(qū)間。stats-stats-回歸方程的統(tǒng)計(jì)量，回歸方程的統(tǒng)計(jì)量，stats(1)stats

47、(1)為復(fù)為復(fù)相關(guān)系數(shù)，相關(guān)系數(shù)， stats(2)stats(2)為為F F值，值， stats(3)stats(3)為為F F值對(duì)應(yīng)的概率值，值對(duì)應(yīng)的概率值，stats(4)stats(4)為誤差方差的估為誤差方差的估計(jì)值。計(jì)值。線性回歸的線性回歸的matlabmatlab實(shí)現(xiàn)實(shí)現(xiàn)2022-4-3069 對(duì)照前面所講的參數(shù)意義，采用對(duì)照前面所講的參數(shù)意義，采用MatlabMatlab可方便求解可方便求解該問題。第一個(gè)回歸模型計(jì)算結(jié)果如下，其他類似。該問題。第一個(gè)回歸模型計(jì)算結(jié)果如下，其他類似。第第 1條線路回歸方程參數(shù)條線路回歸方程參數(shù):系數(shù)，系數(shù)， 置信下限，置信下限， 置信上限置信上限

48、110.29651，109.37571，111.21731 0.08284， 0.08109， 0.08459 0.04828， 0.04432， 0.05224 0.05297， 0.05164， 0.05430 0.11993， 0.11684， 0.12303-0.02544，-0.02737，-0.02351 0.12201， 0.11939， 0.12463 0.12158， 0.11855， 0.12461-0.00123，-0.00335， 0.00090線性回歸的線性回歸的matlabmatlab實(shí)現(xiàn)實(shí)現(xiàn)2022-4-3070統(tǒng)計(jì)量值統(tǒng)計(jì)量值R2=0.9995,F=5861.5

49、1944,p=0.00000R2=0.9995,F=5861.51944,p=0.00000方案方案0 0的原始值，預(yù)測(cè)值，相對(duì)誤差百分比的原始值，預(yù)測(cè)值，相對(duì)誤差百分比: :164.7800 164.7120 0.0413164.7800 164.7120 0.0413140.8700 140.8238 0.0328140.8700 140.8238 0.0328-144.2500 -144.2051 0.0312-144.2500 -144.2051 0.0312119.0900 119.0412 0.0410119.0900 119.0412 0.0410線性回歸的線性回歸的matlabmatlab實(shí)現(xiàn)實(shí)現(xiàn)2022-4-30712 2、SASv9SASv9求解過程求解過程（1 1）啟動(dòng)）啟動(dòng)SASSAS軟件，鼠標(biāo)點(diǎn)擊軟件，鼠標(biāo)點(diǎn)擊Solutions-Solutions-Analysis-AnalystAnalysis-Analyst，啟動(dòng)分析家。，啟動(dòng)分析家。2022-4-3072（2 2）在彈出的表中輸入數(shù)據(jù)，結(jié)果如圖）在彈出的表中輸入數(shù)據(jù)，結(jié)果如圖4.24.2。其中其中1-321-32行為行為3232組