數理統(tǒng)計CH7回歸分析1.ppt

山西農業(yè)大學,應用數理統(tǒng)計 第7章,1,第七章 回歸分析 regression analysis,山西農業(yè)大學,應用數理統(tǒng)計 第7章,2,7.1 變量間的關系 7.2 一元線性回歸 7.3 多元線性回歸 7.4 回歸注意事項,本章內容,7 回歸分析,山西農業(yè)大學,應用數理統(tǒng)計 第7章,3,7.2.3 回歸預測 Response Estimate by Linear Regression Model,7.2 一元線性回歸,山西農業(yè)大學,應用數理統(tǒng)計 第7章,4,7.2.3 回歸預測,(1)預測問題,當回歸方程檢驗顯著并有較大的決定系數時可將其用于回歸預測,給定x，求y的估計值和置信區(qū)間稱作回歸預測,山西農業(yè)大學,應用數理統(tǒng)計 第7章,5,7.2.3 回歸預測,(2)響應y的點預測,點預測公式,山西農業(yè)大學,應用數理統(tǒng)計 第7章,6,7.2.3 回歸預測,(3)點預測的期望和方差,山西農業(yè)大學,應用數理統(tǒng)計 第7章,7,7.2.3 回歸預測,(4)響應統(tǒng)計量分布,響應預測的分布,響應預測差的分布,引用獨立性,響應模型,山西農業(yè)大學,應用數理統(tǒng)計 第7章,8,7.2.3 回歸預測,(5)響應的區(qū)間預測,t 統(tǒng)計量,山西農業(yè)大學,應用數理統(tǒng)計 第7章,9,7.2.3 回歸預測,(5)響應的區(qū)間預測,響應區(qū)間估計,響應預測差的置信區(qū)間和置信度,山西農業(yè)大學,應用數理統(tǒng)計 第7章,10,7.2.3 回歸預測,(5)響應的區(qū)間預測,響應區(qū)間估計,響應的置信區(qū)間和置信度,山西農業(yè)大學,應用數理統(tǒng)計 第7章,11,7.2.3 回歸預測,(6)回歸預測案例,響應的點預測和區(qū)間預測,山西農業(yè)大學,應用數理統(tǒng)計 第7章,12,7.2.3 回歸預測,(6)回歸預測案例,響應的點預測和區(qū)間預測,y0的點預測和區(qū)間預測,山西農業(yè)大學,應用數理統(tǒng)計 第7章,13,7.2.3 回歸預測,(6)回歸預測案例,試驗范圍內響應預測,x0=2:0.2:6.4,山西農業(yè)大學,應用數理統(tǒng)計 第7章,14,7.2.3 回歸預測,(6)回歸預測案例,禁止試驗范圍外對響應進行預測,x0=0:0.5:25,山西農業(yè)大學,應用數理統(tǒng)計 第7章,15,7.2 一元線性回歸,7.2.4 可線性化非線性回歸 Linear Regression by Transformed Nonlinear Models,山西農業(yè)大學,應用數理統(tǒng)計 第7章,16,7.2.4 可線性化非線性回歸,(1)問題的提出,變量y與x不線性相關但可能非線性相關,山西農業(yè)大學,應用數理統(tǒng)計 第7章,17,試驗觀測本是非線性相關，雖然也能擬合一條直線(線性回歸)，但對變量間關系的描述是錯誤的，用于預測將會導致有害的結論。因此，對于具有非線性相關趨勢的試驗觀測，應在其散點圖的點云“中間”擬合一條曲線(非線性回歸)，該曲線方程的參數應使殘差平方和達最小，即曲線與試驗觀測點的總距離為最小,用最小二乘法解決問題。,7.2.4 可線性化非線性回歸,(1)問題的提出,變量y與x是非線性相關做線性回歸無意義,山西農業(yè)大學,應用數理統(tǒng)計 第7章,18,非線性回歸模型有兩種，一種是可線性化模型，另一種是不可線性化模型?？删€性化模型，指可變換為線性模型的非線性模型，能借用線性回歸進行分析。不可線性化模型，則需借助優(yōu)化方法進行回歸分析，稱作本質非線性回歸。本節(jié)討論可線性化模型的線性回歸方法。,7.2.4 可線性化非線性回歸,(1)問題的提出,可線性化模型 不可線性化模型,山西農業(yè)大學,應用數理統(tǒng)計 第7章,19,步驟1：寫出非線性模型(示例),步驟2：對非線性模型做線性變換(線性化),7.2.4 可線性化非線性回歸,(2)非線性模型線性回歸步驟,為區(qū)分計，原變量用大寫，它的變換用小寫,山西農業(yè)大學,應用數理統(tǒng)計 第7章,20,步驟3：樣本數據做相同變換,7.2.4 可線性化非線性回歸,(2)非線性模型線性回歸步驟,步驟4：利用線性變換后的樣本數據做線性回歸,回歸參數估計,山西農業(yè)大學,應用數理統(tǒng)計 第7章,21,7.2.4 可線性化非線性回歸,(2)非線性模型線性回歸步驟,步驟5：寫出線性回歸方程,步驟6：線性回歸方程還原為非線性回歸方程,山西農業(yè)大學,應用數理統(tǒng)計 第7章,22,The ANOVA Table,7.2.4 可線性化非線性回歸,(2)非線性模型線性回歸步驟,步驟7：利用線性變換后的樣本數據進行方差分析，檢驗回歸顯著性,山西農業(yè)大學,應用數理統(tǒng)計 第7章,23,7.2.4 可線性化非線性回歸,(3)可線性化非線性回歸案例,案例：出鋼時，鋼水對耐火材料的侵蝕使鋼包容積不斷增加。成對測定了鋼包使用次數(X)和容積增大量(Y)數據，試求描述響應變量Y與自變量X關系的經驗公式(回歸方程)。,山西農業(yè)大學,應用數理統(tǒng)計 第7章,24,7.2.4 可線性化非線性回歸,(4)案例雙曲線回歸,根據試驗觀測散點圖的特征選雙曲線模型,線性化變換,山西農業(yè)大學,應用數理統(tǒng)計 第7章,25,7.2.4 可線性化非線性回歸,(4)案例雙曲線回歸,試驗觀測的線性化變換,山西農業(yè)大學,應用數理統(tǒng)計 第7章,26,7.2.4 可線性化非線性回歸,(4)案例雙曲線回歸,線性回歸數據計算,山西農業(yè)大學,應用數理統(tǒng)計 第7章,27,SSx=0.58433-0.37785=0.20648, n=15 SP=0.27265-2.38071.5469/15=0.02714 b=SP/SSx=0.02714/0.20648=0.13144 a=1.5469/15-b2.3807/15=0.08227 SST=SSy=0.16333-0.15953=0.00380 SSR=SP2/SSx=0.027142/0.20648=0.00357 SSE=SST-SSR=0.0038-0.00357=0.00023,7.2.4 可線性化非線性回歸,(4)案例雙曲線回歸,線性回歸估計和平方和計算,山西農業(yè)大學,應用數理統(tǒng)計 第7章,28,R2=SSR/SST=0.00357/0.0038=0.9395,方差分析表,7.2.4 可線性化非線性回歸,(4)案例雙曲線回歸,回歸方程和顯著性檢驗,山西農業(yè)大學,應用數理統(tǒng)計 第7章,29,R2=SSR/SST=0.00357/0.0038=0.9395,方差分析表,7.2.4 可線性化非線性回歸,(4)案例雙曲線回歸,回歸方程和顯著性檢驗,山西農業(yè)大學,應用數理統(tǒng)計 第7章,30,7.2.4 可線性化非線性回歸,(4)案例雙曲線回歸,雙曲線回歸的擬合效果,山西農業(yè)大學,應用數理統(tǒng)計 第7章,31,7.2.4 可線性化非線性回歸,(5)案例指數回歸,根據試驗觀測散點圖特征選指數曲線模型,線性化變換,山西農業(yè)大學,應用數理統(tǒng)計 第7章,32,7.2.4 可線性化非線性回歸,(5)案例指數回歸,試驗觀測的線性化變換,山西農業(yè)大學,應用數理統(tǒng)計 第7章,33,7.2.4 可線性化非線性回歸,(5)案例指數回歸,線性回歸數據計算,山西農業(yè)大學,應用數理統(tǒng)計 第7章,34,SSx=0.58433-0.37785=0.20648 SP=5.20223-2.380734.2226/15=-0.22935 b=SP/SSx=-0.22935/0.20648=-1.11076 a=34.2226/15+1.110762.3807/15=2.4578 SST=SSy=78.34477-78.07909=0.26568 SSR=SP2/SSx=(-0.22935)2/0.20648=0.25475 SSE=SST-SSR=0.26568-0.25475=0.01093,7.2.4 可線性化非線性回歸,(5)案例指數回歸,線性回歸估計和平方和計算,山西農業(yè)大學,應用數理統(tǒng)計 第7章,35,方差分析表,R2=SSR/SST=0.25457/0.26568=0.9582,7.2.4 可線性化非線性回歸,回歸方程和顯著性檢驗,(5)案例指數回歸,山西農業(yè)大學,應用數理統(tǒng)計 第7章,36,方差分析表,R2=SSR/SST=0.25457/0.26568=0.9582,7.2.4 可線性化非線性回歸,回歸方程和顯著性檢驗,(5)案例指數回歸,山西農業(yè)大學,應用數理統(tǒng)計 第7章,37,7.2.4 可線性化非線性回歸,(5)案例指數回歸,指數曲線回歸的擬合效果,山西農業(yè)大學,應用數理統(tǒng)計 第7章,38,同一案例可采用不同非線性模型回歸，這就帶來一個問題，究竟哪個模型更適合作回歸函數的估計？根據最小二乘法原理，選模型線性化后決定系數最大的哪個模型較合理。本案例采用指數模型比采用雙曲線模型擬合效果更好，由此可見，選擇合適的回歸模型是非線性回歸的一項重要技能。,雙曲線模型 R2=0.9395 指數模型 R2=0.9582,7.2.4 可線性化非線性回歸,(6)模型對比,山西農業(yè)大學,應用數理統(tǒng)計 第7章,39,若根據試驗觀測的變化特征選擇多個非線性模型進行非線性回歸，一個合理的做法是，選決定系數最大或回歸殘差平方和最小的模型作為最終的結果。其中，決定系數是數據變換后線性模型的決定系數，回歸殘差平方和是原響應變量Y 的觀測值與預測值之差的平方和，兩種方法等價。,7.2.4 可線性化非線性回歸,(6)模型對比,決定系數和回歸殘差平方和,山西農業(yè)大學,應用數理統(tǒng)計 第7章,40,7.2.4 可線性化非線性回歸,(6)模型對比,決定系數較大則殘差平方和較小,山西農業(yè)大學,應用數理統(tǒng)計 第7章,41,7.2.4 可線性化非線性回歸,(6)模型對比,雙曲線回歸對比指數曲線回歸,山西農業(yè)大學,應用數理統(tǒng)計 第7章,42,7 回歸分析,7.3 多元線性回歸 Multiple Linear Regression,山西農業(yè)大學,應用數理統(tǒng)計 第7章,43,7.3 多元線性回歸,(1)案例和問題,Hald水泥問題觀測數據,Hald水泥問題：觀測水泥凝固過程中不同組分樣品的熱量釋放，獲得樣本數據。定義表示組分含量和釋放熱量的變量如下： X1=3CaOAl2O3(%) X2=3CaOSiO2(%) X3=4CaOAl2O3Fe2O3(%) X4=2CaOSiO2 (%) Y=釋放的熱量(cal/g),山西農業(yè)大學,應用數理統(tǒng)計 第7章,44,7.3 多元線性回歸,(1)案例和問題,Hald水泥問題觀測數據,Hald水泥問題：假定樣品釋放的熱量與組分含量是線性相關關系，即： Y= +1X1+2X2+3X3+4X4+e 試做回歸分析。,山西農業(yè)大學,應用數理統(tǒng)計 第7章,45,響應變量Y與自變量X1,X2,Xm及隨機偏差e的線性相關關系表為下面的線性模型：,7.3 多元線性回歸,(2)線性回歸模型,Y-響應變量 Xj-自變量 j-回歸系數,j變量編號,山西農業(yè)大學,應用數理統(tǒng)計 第7章,46,第i次試驗的響應變量值記作Yi，自變量值記作Xi1,Xi2,Xim，隨機偏差值記作ei，則變量間的相關關系可表為下面的模型：,7.3 多元線性回歸,(2)線性回歸模型,Y-響應變量 Xj-自變量 j-回歸系數,i觀測編號 j變量編號,山西農業(yè)大學,應用數理統(tǒng)計 第7章,47,7.3 多元線性回歸,(2)線性回歸模型,山西農業(yè)大學,應用數理統(tǒng)計 第7章,48,7.3 多元線性回歸,(2)線性回歸模型,山西農業(yè)大學,應用數理統(tǒng)計 第7章,49,7.3 多元線性回歸,(3)參數估計,求使殘差平方和達最小的回歸參數：,回歸參數的 最小二乘估計,山西農業(yè)大學,應用數理統(tǒng)計 第7章,50,7.3 多元線性回歸,(4)統(tǒng)計假設,線性模型假設 回歸參數假設,檢驗模型的假設,檢驗參數的假設,山西農業(yè)大學,應用數理統(tǒng)計 第7章,51,(5)平方和計算,7.3 多元線性回歸,平方和計算是完成顯著性檢驗的關鍵技術,矯正數是平方和計算需要的一個數據,為平方和計算準備一個數據：,山西農業(yè)大學,應用數理統(tǒng)計 第7章,52,(5)平方和計算,7.3 多元線性回歸,Model SS:,Corrected Total SS:,山西農業(yè)大學,應用數理統(tǒng)計 第7章,53,Error SS:,(5)平方和計算,7.3 多元線性回歸,誤差均方,山西農業(yè)大學,應用數理統(tǒng)計 第7章,54,(6)回歸模型檢驗,7.3 多元線性回歸,山西農業(yè)大學,應用數理統(tǒng)計 第7章,55,模型檢驗方差分析表,7.3 多元線性回歸,(6)回歸模型檢驗,山西農業(yè)大學,應用數理統(tǒng)計 第7章,56,(7)回歸參數檢驗,7.3 多元線性回歸,山西農業(yè)大學,應用數理統(tǒng)計 第7章,57,7.3 多元線性回歸,(8)Hald水泥問題回歸分析,山西農業(yè)大學,應用數理統(tǒng)計 第7章,58,7.3 多元線性回歸,(8)Hald水泥問題回歸分析,山西農業(yè)大學,應用數理統(tǒng)計 第7章,59,7.3 多元線性回歸,(8)Hald水泥問題回歸分析,Hald水泥問題模型檢驗方差分析表,回歸模型 顯著性檢驗,山西農業(yè)大學,應用數理統(tǒng)計 第7章,60,7.3 多元線性回歸,(8)Hald水泥問題回歸分析,Hald水泥問題模型檢驗方差分析表,回歸模型 顯著性檢驗,山西農業(yè)大學,應用數理統(tǒng)計 第7章,61,7.3 多元線性回歸,(8)Hald水泥問題回歸分析,Hald水泥問題參數估計和檢驗,回歸參數 顯著性檢驗,山西農業(yè)大學,應用數理統(tǒng)計 第7章,62,模型檢驗的方差分析結果表明，線性模型零假設在0.0001水平上被拒絕，且決定系數達0.9824，說明響應變量與自變量間存在很強的線性關系，響應觀測值與回歸預測值之間的殘差較小。因此，回歸模型擬合良好并具有較高的預測精度。,7.3 多元線性回歸,(8)Hald水泥問題回歸分析,山西農業(yè)大學,應用數理統(tǒng)計 第7章,63,回歸參數的t檢驗結果表明，回歸系數零假設在0.05水平上均被接受，即回歸系數都不顯著，這與響應變量與自變量間存在很強線性關系的結論矛盾，說明自變量之間存在較強的線性相關。因此，需要選用其它回歸方法來改進回歸分析的結果。,7.3 多元線性回歸,(8)Hald水泥問題回歸分析,山西農業(yè)大學,應用數理統(tǒng)計 第7章,64,7 回歸分析,7.4 回歸注意事項 Taking Notice to Something,山西農業(yè)大學,應用數理統(tǒng)計 第7章,65,在實際中應用回歸方程應謹慎： (1)禁止回歸方程外推； (2)試驗實施和應用場合的非處理因素(條件)應大致相當； (3)禁止回歸方程逆向使用； (4)x和y均為隨機變量時，只有部分回歸公式仍適用。,7.4 回歸注意事項,(1)回歸方程的應用,山西農業(yè)大學,應用數理統(tǒng)計 第7章,66,7.4 回歸注意事項,自變量x增加或減少1個單位則y平均增加或減少1個單位的說法應謹慎！,(2)回歸系數的應用,山西農業(yè)大學,應用數理統(tǒng)計 第7章,67,回歸方程是在一定的自變量觀測范圍內建立的，在自變量觀測范圍之外使用回歸方程，稱作回歸的外推；如果在自變量觀測范圍之內使用，就叫做內插。內插使用上一般沒什么問題，但外推使用有可能存在很大的偏差，故一般不主張對回歸方程做外推使用，沒把握就不要使用。,7.4 回歸注意事項,(3)禁止回歸方程外推,山西農業(yè)大學,應用數理統(tǒng)計 第7章,68,7.4 回歸注意事項,(3)禁止回歸方程外推,用x從4到16的試驗觀測得一條決定系數達0.9508的回歸直線，由此預測x=24 處的響應 y 會導致很大偏差，而且y與x為線性關系的結論也是錯誤的。,山西農業(yè)大學,應用數理統(tǒng)計 第7章,69,7.4 回歸注意事項,(3)禁止回歸方程外推,用x從2到16的試驗觀測得到一條決定系數0.9582的指數回歸曲線，由此做出y與x是指數關系的結論較恰當。,山西農業(yè)大學,應用數理統(tǒng)計 第7章,70,禁止超越x 的試驗范圍解釋回歸系數，超范圍解釋可能造成與實際的嚴重偏離。例如，產量y的平均值大致隨施肥量x的增加呈線性增長。但超出一定范圍，如施肥量過大，則進一步增加施肥量不僅不能促進增產，反而可能產生肥害導致減產。,7.4 回歸注意事項,合理解釋回歸系數,(3)禁止回歸方程外推,山西農