逐步回歸和通徑分析課件

逐步回歸與通徑分析1逐步回歸與通徑分析1目錄逐步回歸通徑分析逐步回歸通徑分析2目錄逐步回歸通徑分析逐步回歸通徑分析2逐步回歸通徑分析概念：逐步回歸分析方法是針對(duì)多個(gè)自變量建立最優(yōu)回歸方程的一種統(tǒng)計(jì)方法。在有p個(gè)自變量的情況下，根據(jù)自變量的不同組合可能建立的回歸方程眾多。這些回歸方程的效果有好有壞，而人們希望的是回歸效果最好的，即“最優(yōu)”的回歸方程。要求：（1）回歸效果最佳（2）自變量的個(gè)數(shù)最少

一方面對(duì)因變量起顯著作用的自變量都選進(jìn)回歸

方程，另一方面對(duì)因變量作用不顯著的自變量都剔除

回歸方程，選擇一個(gè)最佳的變量組合。3逐步回歸通徑分析概念：逐步回歸分析方法是針對(duì)多個(gè)自變量建立最逐步回歸通徑分析方法逐步剔除法逐步引入法逐步剔除法主要步驟：（1）從包含全部p個(gè)自變量組合的回歸方程中逐個(gè)檢驗(yàn)回歸系數(shù)，剔除對(duì)因變量作用不顯著的自變量；（2）對(duì)剔除后剩下的q個(gè)自變量建立對(duì)因變量的多元回歸方程，再逐個(gè)檢驗(yàn)回歸系數(shù)，剔除不顯著的變量；（3）重復(fù)上述步驟，直到保留在回歸方程中自變量的作用都顯著為止缺點(diǎn)：一開始把全部自變量都要引入回歸方程，計(jì)算量很大，實(shí)際上有些不重要的就不必引入4逐步回歸通徑分析方法逐步剔除法逐步引入法逐步剔除法主要步驟：逐步回歸通徑分析逐步引入法基本步驟：（1）先逐個(gè)比較xl,…,xp對(duì)y的回歸方程哪些是顯著的，從顯著的方程中挑選F值最大的，相應(yīng)的自變量x就被“引入”方程。無妨設(shè)x就是x1（2）再逐個(gè)比較(x1,x2)、(x1,x3)、…、(x1,xp)對(duì)y的回歸方程，看有沒有F值顯著的，此時(shí)的F就是考慮添加xi之后，xi的回歸系數(shù)是否顯著地不為0，將顯著的F中最大的F所相應(yīng)的變量“引入”方程。無妨設(shè)第二次“引入”的自變量是x2（3）再考察以x1、x2為基礎(chǔ)，逐個(gè)添加x3、x4、…、xp之后的回歸方程，是否較x1、x2的方程有顯著的改進(jìn)，有就再“引入”新的自變量……，這樣下去，終于到某一步就沒有可以再“引入”的自變量了。這時(shí)就獲得了最后的回歸方程.缺點(diǎn)：不能反映后來變化的狀況，設(shè)想x1、x2、x3引入后，又引入了x6，也許x3、x6引入后，x1的作用就不重要了，應(yīng)該予以剔除，而“逐步引入”法不能達(dá)到這個(gè)要求5逐步回歸通徑分析逐步引入法基本步驟：缺點(diǎn)：不能反映后來變化的逐步回歸通徑分析例14.1測(cè)定了”豐產(chǎn)3號(hào)“小麥15株的單株穗數(shù)x1、每穗結(jié)實(shí)小穗數(shù)x2、百粒重x3（g）、株高x4（cm）、單株籽粒產(chǎn)量y（g），結(jié)果列于表14-1，試建立y依xi的最優(yōu)回歸方程。P2546逐步回歸通徑分析例14.1測(cè)定了”豐產(chǎn)3號(hào)“小麥15株的單

逐步回歸通徑分析1、逐步剔除法（1）建立m元線性回歸方程表1表14-1資料四元線性回歸和偏回歸系數(shù)的假設(shè)檢驗(yàn)表1表明，四元線性回歸方程達(dá)極顯著，但x2和x4偏回歸系數(shù)都不顯著，其中以x4的偏回歸平方和最小，所以，應(yīng)首先剔除x4。7逐步回歸通徑分析1、逐步剔除法表1表14-1資料四元線性逐步回歸通徑分析（2）建立m-1元線性回歸方程：表2表14-1資料三元線性回歸和偏回歸系數(shù)的假設(shè)檢驗(yàn)表2表明，三元線性回歸方程和三個(gè)自變量的偏回歸系數(shù)均極顯著或者顯著，因此不需要再作自變量的剔除。最優(yōu)線性回歸方程：y=-46.9663+2.013139x1+0.674643x2+7.830227x38逐步回歸通徑分析（2）建立m-1元線性回歸方程：表2表14逐步回歸通徑分析2、逐步引入法P260（1）計(jì)算相關(guān)矩陣（2）選擇第一個(gè)自變量首先，計(jì)算各自變量的標(biāo)準(zhǔn)偏回歸平方和。其次，對(duì)偏回歸平方和最大的變量進(jìn)行F檢驗(yàn)。題中x1的最大，經(jīng)檢驗(yàn)引入該變量。最后，變換相關(guān)矩陣（3）選擇第二個(gè)自變量：先計(jì)算余下自變量的標(biāo)準(zhǔn)偏回歸平方和。接下來是重復(fù)（2）過程。選入x3（4）選擇第三個(gè)自變量。選入x2（5）選擇第四個(gè)自變量。x4不顯著，不選入。（6）選擇計(jì)算偏回歸系數(shù)，建立最優(yōu)回歸方程。

最優(yōu)線性回歸方程：y=-46.9713+2.0131x1+0.6746x2+7.8302x3

9逐步回歸通徑分析2、逐步引入法P2609逐步回歸通徑分析通徑系數(shù)的基本概念多元線性回歸系數(shù)間不能直接比較各因子間的效應(yīng)大小,因?yàn)楦骰貧w系數(shù)間都帶有不同的量綱,再者多變量的關(guān)系中,往往都不是獨(dú)立的,有時(shí)還要研究xi通過xj對(duì)依變量y的影響,而通徑系數(shù)就能有效的表示相關(guān)變量間原因?qū)Y(jié)果的直接影響或間接影響的效應(yīng),從而區(qū)分因子的相對(duì)重要性及其關(guān)系。通徑圖yx1x2圖14-1a

x1與x2獨(dú)立時(shí)yx1x2圖14-1b

x1與x2不獨(dú)立時(shí)直接通徑:間接通徑:x1x2y,x2x1y符號(hào)：[

]表示通徑線x1

y,x2y10逐步回歸通徑分析通徑系數(shù)的基本概念多元線性回歸系數(shù)間逐步回歸通徑分析通徑系數(shù)的概念表示各條通徑對(duì)于改變y變量的相對(duì)重要性的統(tǒng)計(jì)量稱通徑系數(shù),常用q表示。直接通徑系數(shù)就是逐步回歸中的偏回歸系數(shù)bi。通徑系數(shù)的性質(zhì)1.當(dāng)自變量為p時(shí),共有p個(gè)直接通徑,p(p-1)個(gè)間接通徑系數(shù)。2.通徑系數(shù)能夠表示變量間的因果關(guān)系,所以具有回歸系數(shù)的性質(zhì)。

3.通徑系數(shù)是相對(duì)數(shù),且有方向性,因而具有相關(guān)系數(shù)的性質(zhì)。11逐步回歸通徑分析通徑系數(shù)的概念表示各條通徑對(duì)于改變y變量的相逐步回歸通徑分析通徑系數(shù)的計(jì)算過程1、通徑系數(shù)正規(guī)方程組

前面已經(jīng)提過,直接通徑系數(shù)就是逐步回歸分析中變量標(biāo)準(zhǔn)化變換后的偏回歸系數(shù),所以可解下列正規(guī)方程組求得q,q

,…,q。(q=b)每個(gè)自變量xi與y的相關(guān)系數(shù)均可剖分為xi對(duì)y的直接作用和間接作用的代數(shù)和。12逐步回歸通徑分析通徑系數(shù)的計(jì)算過程前面已經(jīng)提過,直接逐步回歸通徑分析①

xi

對(duì)

y

的直接通徑xiy②

xi

對(duì)

y

的間接通徑xixjy由方程1可看出第1個(gè)自變量x1與y的相關(guān)關(guān)系r可看成

x1對(duì)y的直接通徑部分q;還有x1與x2;x1與x3的間接通徑

rq和

rq

部分。如：當(dāng)

P=3

時(shí)xi對(duì)y的相關(guān)關(guān)系可列出方程式

通式:122

133

1y113逐步回歸通徑分析①xi對(duì)y的直接通徑xi逐步回歸通徑分析例題：計(jì)算例14.1資料的通徑系數(shù)P265

前面已經(jīng)計(jì)算出相關(guān)系數(shù)，將其帶入方程，得標(biāo)準(zhǔn)正規(guī)方程組（由于x4已經(jīng)剔除，不再參加通徑分析）。yx3x2x1e14逐步回歸通徑分析例題：計(jì)算例14.1資料的通徑系數(shù)P265y逐步回歸通徑分析通徑分析的假設(shè)檢驗(yàn)回歸方程的檢驗(yàn)通徑系數(shù)的檢驗(yàn)15逐步回歸通徑分析通徑分析的假設(shè)檢驗(yàn)回歸方程的檢驗(yàn)通徑系數(shù)的檢逐步回歸通徑分析（1）對(duì)（1）進(jìn)行標(biāo)準(zhǔn)化變換，令：標(biāo)準(zhǔn)化變量的m元線性回歸方程為：（2）16逐步回歸通徑分析（1）對(duì)（1）進(jìn)行標(biāo)準(zhǔn)化變換，令：標(biāo)準(zhǔn)化變量逐步回歸通徑分析令則（2）可改為（3）決定系數(shù)自變量通過對(duì)依變量y的間接決定系數(shù)而決定系數(shù)R2等于各直接與間接決定系數(shù)之和。17逐步回歸通徑分析令則（2）可改為（3）決定系數(shù)自變量逐步回歸通徑分析回歸平方和U‘為：剩余因子e假設(shè)與各個(gè)xi獨(dú)立，其通徑系數(shù)qe為：則有：剩余平方和則對(duì)標(biāo)準(zhǔn)化變量多元線性回歸方程檢驗(yàn)的F值為：18逐步回歸通徑分析回歸平方和U‘為：剩余因子e假設(shè)與各個(gè)xi逐步回歸通徑分析各xi對(duì)y的通徑系數(shù)qi的檢驗(yàn)可用F檢驗(yàn)和t檢驗(yàn)兩種方法。1、F檢驗(yàn)2、t檢驗(yàn)先求出通徑系數(shù)的標(biāo)準(zhǔn)誤sqi其t值為：注意：這里介紹的F檢驗(yàn)和t檢驗(yàn)是等價(jià)的，在實(shí)際進(jìn)行通徑系數(shù)假設(shè)檢驗(yàn)時(shí)，只須選其中一種方法即可。19逐步回歸通徑分析各xi對(duì)y的通徑系數(shù)qi的檢驗(yàn)可用F檢驗(yàn)和t逐步回歸通徑分析例題：對(duì)上個(gè)例題所計(jì)算的通徑系數(shù)進(jìn)行顯著性檢驗(yàn)p268（1）對(duì)標(biāo)準(zhǔn)化變量多元線性回歸方程檢驗(yàn)的F值為：

F=42.4388**說明每株穗數(shù)x1、每穗結(jié)實(shí)小穗數(shù)x2、百粒重x3標(biāo)準(zhǔn)化后的多元線性回歸方程呈極顯著水平。（2）對(duì)通徑系數(shù)進(jìn)行檢驗(yàn)F1=58.5276**，F(xiàn)2=5.3443*，F(xiàn)3=11.9710**t1=7.6503**，t2=2.3118*，t3=3.4599**從以上數(shù)據(jù)可看出，F(xiàn)檢驗(yàn)與t檢驗(yàn)的結(jié)果是一樣的，皆為通徑系數(shù)q1、q3達(dá)到極顯著的水平，而q2僅達(dá)顯著水平。20逐步回歸通徑分析例題：對(duì)上個(gè)例題所計(jì)算的通徑系數(shù)進(jìn)行顯著性檢謝謝！21謝謝！21逐步回歸與通徑分析22逐步回歸與通徑分析1目錄逐步回歸通徑分析逐步回歸通徑分析23目錄逐步回歸通徑分析逐步回歸通徑分析2逐步回歸通徑分析概念：逐步回歸分析方法是針對(duì)多個(gè)自變量建立最優(yōu)回歸方程的一種統(tǒng)計(jì)方法。在有p個(gè)自變量的情況下，根據(jù)自變量的不同組合可能建立的回歸方程眾多。這些回歸方程的效果有好有壞，而人們希望的是回歸效果最好的，即“最優(yōu)”的回歸方程。要求：（1）回歸效果最佳（2）自變量的個(gè)數(shù)最少

一方面對(duì)因變量起顯著作用的自變量都選進(jìn)回歸

方程，另一方面對(duì)因變量作用不顯著的自變量都剔除

回歸方程，選擇一個(gè)最佳的變量組合。24逐步回歸通徑分析概念：逐步回歸分析方法是針對(duì)多個(gè)自變量建立最逐步回歸通徑分析方法逐步剔除法逐步引入法逐步剔除法主要步驟：（1）從包含全部p個(gè)自變量組合的回歸方程中逐個(gè)檢驗(yàn)回歸系數(shù)，剔除對(duì)因變量作用不顯著的自變量；（2）對(duì)剔除后剩下的q個(gè)自變量建立對(duì)因變量的多元回歸方程，再逐個(gè)檢驗(yàn)回歸系數(shù)，剔除不顯著的變量；（3）重復(fù)上述步驟，直到保留在回歸方程中自變量的作用都顯著為止缺點(diǎn)：一開始把全部自變量都要引入回歸方程，計(jì)算量很大，實(shí)際上有些不重要的就不必引入25逐步回歸通徑分析方法逐步剔除法逐步引入法逐步剔除法主要步驟：逐步回歸通徑分析逐步引入法基本步驟：（1）先逐個(gè)比較xl,…,xp對(duì)y的回歸方程哪些是顯著的，從顯著的方程中挑選F值最大的，相應(yīng)的自變量x就被“引入”方程。無妨設(shè)x就是x1（2）再逐個(gè)比較(x1,x2)、(x1,x3)、…、(x1,xp)對(duì)y的回歸方程，看有沒有F值顯著的，此時(shí)的F就是考慮添加xi之后，xi的回歸系數(shù)是否顯著地不為0，將顯著的F中最大的F所相應(yīng)的變量“引入”方程。無妨設(shè)第二次“引入”的自變量是x2（3）再考察以x1、x2為基礎(chǔ)，逐個(gè)添加x3、x4、…、xp之后的回歸方程，是否較x1、x2的方程有顯著的改進(jìn)，有就再“引入”新的自變量……，這樣下去，終于到某一步就沒有可以再“引入”的自變量了。這時(shí)就獲得了最后的回歸方程.缺點(diǎn)：不能反映后來變化的狀況，設(shè)想x1、x2、x3引入后，又引入了x6，也許x3、x6引入后，x1的作用就不重要了，應(yīng)該予以剔除，而“逐步引入”法不能達(dá)到這個(gè)要求26逐步回歸通徑分析逐步引入法基本步驟：缺點(diǎn)：不能反映后來變化的逐步回歸通徑分析例14.1測(cè)定了”豐產(chǎn)3號(hào)“小麥15株的單株穗數(shù)x1、每穗結(jié)實(shí)小穗數(shù)x2、百粒重x3（g）、株高x4（cm）、單株籽粒產(chǎn)量y（g），結(jié)果列于表14-1，試建立y依xi的最優(yōu)回歸方程。P25427逐步回歸通徑分析例14.1測(cè)定了”豐產(chǎn)3號(hào)“小麥15株的單

逐步回歸通徑分析1、逐步剔除法（1）建立m元線性回歸方程表1表14-1資料四元線性回歸和偏回歸系數(shù)的假設(shè)檢驗(yàn)表1表明，四元線性回歸方程達(dá)極顯著，但x2和x4偏回歸系數(shù)都不顯著，其中以x4的偏回歸平方和最小，所以，應(yīng)首先剔除x4。28逐步回歸通徑分析1、逐步剔除法表1表14-1資料四元線性逐步回歸通徑分析（2）建立m-1元線性回歸方程：表2表14-1資料三元線性回歸和偏回歸系數(shù)的假設(shè)檢驗(yàn)表2表明，三元線性回歸方程和三個(gè)自變量的偏回歸系數(shù)均極顯著或者顯著，因此不需要再作自變量的剔除。最優(yōu)線性回歸方程：y=-46.9663+2.013139x1+0.674643x2+7.830227x329逐步回歸通徑分析（2）建立m-1元線性回歸方程：表2表14逐步回歸通徑分析2、逐步引入法P260（1）計(jì)算相關(guān)矩陣（2）選擇第一個(gè)自變量首先，計(jì)算各自變量的標(biāo)準(zhǔn)偏回歸平方和。其次，對(duì)偏回歸平方和最大的變量進(jìn)行F檢驗(yàn)。題中x1的最大，經(jīng)檢驗(yàn)引入該變量。最后，變換相關(guān)矩陣（3）選擇第二個(gè)自變量：先計(jì)算余下自變量的標(biāo)準(zhǔn)偏回歸平方和。接下來是重復(fù)（2）過程。選入x3（4）選擇第三個(gè)自變量。選入x2（5）選擇第四個(gè)自變量。x4不顯著，不選入。（6）選擇計(jì)算偏回歸系數(shù)，建立最優(yōu)回歸方程。

最優(yōu)線性回歸方程：y=-46.9713+2.0131x1+0.6746x2+7.8302x3

30逐步回歸通徑分析2、逐步引入法P2609逐步回歸通徑分析通徑系數(shù)的基本概念多元線性回歸系數(shù)間不能直接比較各因子間的效應(yīng)大小,因?yàn)楦骰貧w系數(shù)間都帶有不同的量綱,再者多變量的關(guān)系中,往往都不是獨(dú)立的,有時(shí)還要研究xi通過xj對(duì)依變量y的影響,而通徑系數(shù)就能有效的表示相關(guān)變量間原因?qū)Y(jié)果的直接影響或間接影響的效應(yīng),從而區(qū)分因子的相對(duì)重要性及其關(guān)系。通徑圖yx1x2圖14-1a

x1與x2獨(dú)立時(shí)yx1x2圖14-1b

x1與x2不獨(dú)立時(shí)直接通徑:間接通徑:x1x2y,x2x1y符號(hào)：[

]表示通徑線x1

y,x2y31逐步回歸通徑分析通徑系數(shù)的基本概念多元線性回歸系數(shù)間逐步回歸通徑分析通徑系數(shù)的概念表示各條通徑對(duì)于改變y變量的相對(duì)重要性的統(tǒng)計(jì)量稱通徑系數(shù),常用q表示。直接通徑系數(shù)就是逐步回歸中的偏回歸系數(shù)bi。通徑系數(shù)的性質(zhì)1.當(dāng)自變量為p時(shí),共有p個(gè)直接通徑,p(p-1)個(gè)間接通徑系數(shù)。2.通徑系數(shù)能夠表示變量間的因果關(guān)系,所以具有回歸系數(shù)的性質(zhì)。

3.通徑系數(shù)是相對(duì)數(shù),且有方向性,因而具有相關(guān)系數(shù)的性質(zhì)。32逐步回歸通徑分析通徑系數(shù)的概念表示各條通徑對(duì)于改變y變量的相逐步回歸通徑分析通徑系數(shù)的計(jì)算過程1、通徑系數(shù)正規(guī)方程組

前面已經(jīng)提過,直接通徑系數(shù)就是逐步回歸分析中變量標(biāo)準(zhǔn)化變換后的偏回歸系數(shù),所以可解下列正規(guī)方程組求得q,q

,…,q。(q=b)每個(gè)自變量xi與y的相關(guān)系數(shù)均可剖分為xi對(duì)y的直接作用和間接作用的代數(shù)和。33逐步回歸通徑分析通徑系數(shù)的計(jì)算過程前面已經(jīng)提過,直接逐步回歸通徑分析①

xi

對(duì)

y

的直接通徑xiy②

xi

對(duì)

y

的間接通徑xixjy由方程1可看出第1個(gè)自變量x1與y的相關(guān)關(guān)系r可看成

x1對(duì)y的直接通徑部分q;還有x1與x2;x1與x3的間接通徑

rq和

rq

部分。如：當(dāng)

P=3

時(shí)xi對(duì)y的相關(guān)關(guān)系可列出方程式

通式:122

133

1y134逐步回歸通徑分析①xi對(duì)y的直接通徑xi逐步回歸通徑分析例題：計(jì)算例14.1資料的通徑系數(shù)P265

前面已經(jīng)計(jì)算出相關(guān)系數(shù)，將其帶入方程，得標(biāo)準(zhǔn)正規(guī)方程組（由于x4已經(jīng)剔除，不再參加通徑分析）。yx3x2x1e35逐步回歸通徑分析例題：計(jì)算例14.1資料的通徑系數(shù)P265y逐步回歸通徑分析通徑分析的假設(shè)檢驗(yàn)回歸方程的檢驗(yàn)通徑系數(shù)的檢驗(yàn)36逐步回歸通徑分析通徑分析的假設(shè)檢