回歸分析曲線擬合

1、關于回歸分析曲線擬合第1頁，共73頁，2022年，5月20日，4點51分，星期四什么是回歸分析？1、重點考察一個特定的變量(因變量)，而把其他變量(自變量)看作是影響這一變量的因素，并通過適當?shù)臄?shù)學模型將變量間的關系表達出來2、利用樣本數(shù)據(jù)建立模型的估計方程3、對模型進行顯著性檢驗4、進而通過一個或幾個自變量的取值來估計或預測因變量的取值回歸分析第2頁，共73頁，2022年，5月20日，4點51分，星期四回歸分析的模型 一、分類按是否線性分：線性回歸模型和非線性回歸模型按自變量個數(shù)分：簡單的一元回歸和多元回歸 二、基本的步驟 利用SPSS得到模型關系式，是否是我們所要的？ 要看回歸方程的顯著性

2、檢驗（F檢驗） 回歸系數(shù)b的顯著性檢驗(T檢驗) 擬合程度R2 (注：相關系數(shù)的平方，一元回歸用R Square，多元回歸用Adjusted R Square)第3頁，共73頁，2022年，5月20日，4點51分，星期四回歸分析的過程 在回歸過程中包括：Liner：線性回歸Curve Estimation：曲線估計 Binary Logistic： 二分變量邏輯回歸 Multinomial Logistic：多分變量邏輯回歸； Ordinal 序回歸；Probit：概率單位回歸； Nonlinear：非線性回歸； Weight Estimation：加權估計； 2-Stage Least sq

3、uares：二段最小平方法； Optimal Scaling 最優(yōu)編碼回歸我們只講前面2個簡單的（一般教科書的講法）第4頁，共73頁，2022年，5月20日，4點51分，星期四線性回歸 線性回歸分為一元線性回歸和多元線性回歸。一、一元線性回歸：1、涉及一個自變量的回歸2、因變量y與自變量x之間為線性關系被預測或被解釋的變量稱為因變量(dependent variable)，用y表示用來預測或用來解釋因變量的一個或多個變量稱為自變量(independent variable)，用x表示 3、因變量與自變量之間的關系用一個線性方程來表示第5頁，共73頁，2022年，5月20日，4點51分，星期四線

4、性回歸的過程 一元線性回歸模型確定過程 一、做散點圖(Graphs -Scatter-Simple) 目的是為了以便進行簡單地觀測（如： Salary與Salbegin的關系)。 二、建立方程 若散點圖的趨勢大概呈線性關系，可以建立線性方程，若不呈線性分布，可建立其它方程模型，并比較R2 (-1)來確定一種最佳方程式（曲線估計）。 多元線性回歸一般采用逐步回歸方法-Stepwise。第6頁，共73頁，2022年，5月20日，4點51分，星期四(一) 一元線性回歸模型(linear regression model)1、描述因變量 y 如何依賴于自變量 x 和誤差項 的方程稱為回歸模型2、一元線

5、性回歸模型可表示為 y = b0 + b1 x + e注：線性部分反映了由于x的變化而引起的y的變化；誤差項反映了除x和y之間的線性關系之外的隨機因素對y的影響，它是不能由x和y之間的線性關系所解釋的變異性。Y是x 的線性函數(shù)(部分)加上誤差項0 和 1 稱為模型的參數(shù)誤差項 是隨機變量第7頁，共73頁，2022年，5月20日，4點51分，星期四一元線性回歸模型（基本假定）1、因變量x與自變量y之間具有線性關系2、在重復抽樣中，自變量x的取值是固定的，即假定x是非隨機的3 、誤差項 滿足條件第8頁，共73頁，2022年，5月20日，4點51分，星期四誤差項 滿足條件正態(tài)性。 是一個服從正態(tài)分布

6、的隨機變量，且期望值為0，即 N(0 , 2 ) 。對于一個給定的 x 值，y 的期望值為E(y)=0+ 1x方差齊性。對于所有的 x 值， 的方差一個特定的值，的方差也都等于 2 都相同。同樣，一個特定的x 值， y 的方差也都等于2獨立性。獨立性意味著對于一個特定的 x 值，它所對應的與其他 x 值所對應的不相關；對于一個特定的 x 值，它所對應的 y 值與其他 x 所對應的 y 值也不相關第9頁，共73頁，2022年，5月20日，4點51分，星期四估計的回歸方程(estimated regression equation)總體回歸參數(shù)0和1是未知的，必須利用樣本數(shù)據(jù)去估計用樣本統(tǒng)計量 和

7、 代替回歸方程中的未知參數(shù)0和1 ，就得到了估計的回歸方程一元線性回歸中估計的回歸方程為其中： 是估計的回歸直線在 y 軸上的截距， 是直線的斜率，它表示對于一個給定的 x 的值， 是 y 的估計值，也表示 x 每變動一個單位時， y 的平均變動值 xy1b0b+=0by1b1b0b第10頁，共73頁，2022年，5月20日，4點51分，星期四SPSS 線性回歸分析多元線性回歸分析基本結構與一元線性回歸相同。而他們在SPSS下的功能菜單是集成在一起的。下面通過SPSS操作步驟解釋線性回歸分析問題。第11頁，共73頁，2022年，5月20日，4點51分，星期四SPSS過程步驟一：錄入數(shù)據(jù)，選擇分

8、析菜單中的Regression=liner 打開線性回歸分析對話框；步驟二：選擇被解釋變量和解釋變量。其中因變量列表框中為被解釋變量，自變量為回歸分析解釋變量。注：要對不同的自變量采用不同引入方法時，選NEXT按鈕把自變量歸入不同自變量塊中。第12頁，共73頁，2022年，5月20日，4點51分，星期四第三步：選擇個案標簽。在變量列表中選擇變量至個案標簽中，而被選擇的變量的標簽用于在圖形中標注點的值。第四步：選擇加權二乘法（WLS）。在變量列表框中選擇變量至WLS中。但是該選項僅在被選變量為權變量時選擇。第五步：如果點擊OK，可以執(zhí)行線性回歸分析操作。第13頁，共73頁，2022年，5月20日

9、，4點51分，星期四Method選項Enter：強迫引入法，默認選項。全部被選變量一次性進入回歸模型。Stepwise：強迫剔除法。每一次引入變量時，概率F最小值的變量將引入回歸方程，如果已引入回歸方程的變量的F大于設定值，將被剔除回歸方程。當無變量被引入或剔除，時終止回歸方程Remove：剔除變量。不進入方程模型的被選變量剔除。Backward：向后消去Forward：向前引入第14頁，共73頁，2022年，5月20日，4點51分，星期四Rule選項選擇一個用于指定分析個案的選擇規(guī)則的變量。選擇規(guī)則包括：等于、不等于、大于、小于、大于或等于、小于或等于。Value中輸入相應變量的設定規(guī)則的臨

10、界值。第15頁，共73頁，2022年，5月20日，4點51分，星期四Statistics 選項回歸系數(shù)框估計值：顯示回歸系數(shù)的估計值、回歸系數(shù)的標準差、標準化回歸系數(shù)、回歸系數(shù)的的t估計值和雙尾顯著性水平。置信區(qū)間協(xié)方差矩陣模型擬合：復相關系數(shù)、判定系數(shù)、調整R2、估計值的標準誤及方差分析R2改變量：增加或刪除一個自變量產生的改變量描述性統(tǒng)計量：變量的均數(shù)、標準差、相關系數(shù)矩陣、單尾檢驗部分及偏相關系數(shù)：顯示零階相關、偏相關、部分相關系數(shù)共線性診斷：顯示變量容差、方差膨脹因子和共線性的診斷表殘差統(tǒng)計量D-W檢驗統(tǒng)計量：顯示殘差相關的D-W檢驗和殘差與預測值的綜述統(tǒng)計。個案診斷：1、超過n倍標準

11、差以上的個案為奇異值；2、顯示所有變量的標準化殘差、觀測值和預測值、殘差第16頁，共73頁，2022年，5月20日，4點51分，星期四Plots選項該對話框可以分析資料的正態(tài)性、線性和方差齊性，還可以檢測奇異值或異常值等。1、因變量2、標準化預測值3、標準化殘差4、刪除殘差5、調整預測值6、Student殘差7、Student刪除殘差Histogram：標準化殘差的直方圖，并給出正態(tài)曲線。Normal probality plot：標準化殘差的正態(tài)概率圖Produce all partial plots：產生所有偏殘差圖，生成每個自變量殘差與因變量殘差的散點圖。第17頁，共73頁，2022年，

12、5月20日，4點51分，星期四Save對話框預測值包括非標準化的預測值、標準化的預測值、調整預測值、預測值均數(shù)標準誤距離包括自變量個案值與所有個案平均值距離、一個個案參與計算回歸線系數(shù)時，所有個案殘差變化的大小。杠桿值殘差非標準化殘差標準化殘差Student殘差刪除殘差Student刪除殘差影響統(tǒng)計量DFBeta值，刪除一個個案后回歸系數(shù)改變的大小。標準化DfBetaDfFit值，擬合值之差標準化DfFit協(xié)方差矩陣的比率預測區(qū)間平均預測區(qū)間個體預測區(qū)間第18頁，共73頁，2022年，5月20日，4點51分，星期四Options選項逐步回歸方法準則使用F顯著水平值Entry：當候選變量中最大F

13、值概率小于等于引入值時，引入相應變量。Removal:剔除相應變量第19頁，共73頁，2022年，5月20日，4點51分，星期四實例分析例：某單位對8名女工進行體檢，體檢項目包括體重和肺活量，數(shù)據(jù)如下： 利用回歸分析描述其關系。體重4242464646505050肺活量2.552.22.752.42.82.813.413.1第20頁，共73頁，2022年，5月20日，4點51分，星期四第21頁，共73頁，2022年，5月20日，4點51分，星期四結果分析描述性統(tǒng)計量第22頁，共73頁，2022年，5月20日，4點51分，星期四相關系數(shù)表中Pearson相關系數(shù)為0.613，單尾顯著性檢驗的概率

14、p值為0.000，小于0.05.所以體重和肺活量之間具有較強的相關性第23頁，共73頁，2022年，5月20日，4點51分，星期四引入或剔除變量表表中顯示回歸分析的方法以及變量被剔除或引入的信息。Method項為Enter，表明顯示回歸方法用得是強迫引入法引入變量。這里自變量只有一個，所以此表意義不大。第24頁，共73頁，2022年，5月20日，4點51分，星期四模型摘要兩變量相關系數(shù)為0.613，判定系數(shù)為0.375，調整判定系數(shù)為0.352，估計值的標準誤差為360.997第25頁，共73頁，2022年，5月20日，4點51分，星期四方差分析表該表為回歸分析的方差分析表?？梢钥闯龌貧w的均方

15、為2115016.203，剩余的均方為130318.685，F(xiàn)檢驗統(tǒng)計量的觀察值為16.230，p值為0.000小于0.05，可以認為體重和肺活量之間存在線性關系。第26頁，共73頁，2022年，5月20日，4點51分，星期四回歸系數(shù)下表給出了回歸方程中的參數(shù)和常數(shù)項的估計值。其中常數(shù)項系數(shù)為405.819，回歸系數(shù)為47.835，線性回歸參數(shù)的標準誤差為11.874，標準化回歸系數(shù)為0.613，回歸系數(shù)t檢驗的t統(tǒng)計量觀察值為4.029，t檢驗的p值為0.00，小于0.05可以認為回歸系數(shù)有顯著意義第27頁，共73頁，2022年，5月20日，4點51分，星期四回歸診斷下表對全部的觀察單位進行

16、回歸診斷，結果表明，每一例的標準化殘差、因變量觀測值和預測值以及殘差第28頁，共73頁，2022年，5月20日，4點51分，星期四殘差統(tǒng)計量表中顯示了預測值、標準化預測值、殘差、標準化殘差等統(tǒng)計量的最小值、最大值、均數(shù)、標準差第29頁，共73頁，2022年，5月20日，4點51分，星期四回歸標準化殘差的直方圖在回歸標準化殘差的直方圖中，正態(tài)曲線也被顯示，用來判斷標準化殘差是否呈正態(tài)分布第30頁，共73頁，2022年，5月20日，4點51分，星期四回歸標準化的正態(tài)P-P圖圖中給出了觀察值的殘差分布與假設的正態(tài)分布比較，如果標準化殘差呈正態(tài)分布，則標準化殘差點應該分布在直線上或靠近直線第31頁，共

17、73頁，2022年，5月20日，4點51分，星期四因變量與回歸標準化預測值的散點圖其中橫坐標變量為標準化預測值第32頁，共73頁，2022年，5月20日，4點51分，星期四數(shù)據(jù)編輯窗口新增變量從表中可以看到非標準化預測值，非標準化殘差，預測值均數(shù)的標準誤差，均值的預測區(qū)間、個體預測區(qū)間。第33頁，共73頁，2022年，5月20日，4點51分，星期四在十九世紀四、五十年代，蘇格蘭物理學家James D.Forbes，試圖通過水的沸點來估計海拔高度。由于可以通過氣壓來估計海拔，他在阿爾卑斯山以及蘇格蘭收集了沸點及海拔的數(shù)據(jù)如表所示?，F(xiàn)在通過線形回歸擬合氣壓與沸點的關系。 第34頁，共73頁，202

18、2年，5月20日，4點51分，星期四散點圖第35頁，共73頁，2022年，5月20日，4點51分，星期四執(zhí)行【Analyze】/【Regression】/【Linear】命令,彈出【Linear】對話框 第36頁，共73頁，2022年，5月20日，4點51分，星期四程序第37頁，共73頁，2022年，5月20日，4點51分，星期四結果解讀模型擬合度檢驗第38頁，共73頁，2022年，5月20日，4點51分，星期四方差分析表第39頁，共73頁，2022年，5月20日，4點51分，星期四回歸分析結果第40頁，共73頁，2022年，5月20日，4點51分，星期四對殘差統(tǒng)計量的分析數(shù)據(jù)中無離群值，且數(shù)

19、據(jù)的標準差比較小，可以認為模型是健康的。第41頁，共73頁，2022年，5月20日，4點51分，星期四殘差統(tǒng)計量檢驗第42頁，共73頁，2022年，5月20日，4點51分，星期四多元線性回歸的例子某大型金融機構中做了一項關于雇員對其主管滿意度的調查，其中一個問題設計為對主管的工作業(yè)績的綜合評價，另外若干個問題涉及主管與其雇員間相互關系的具體方面。該研究試圖解釋主管性格與雇員對其整體滿意度之間的關系。第43頁，共73頁，2022年，5月20日，4點51分，星期四雇員對其主管滿意度的調查第44頁，共73頁，2022年，5月20日，4點51分，星期四第45頁，共73頁，2022年，5月20日，4點5

20、1分，星期四模型擬合度檢驗第46頁，共73頁，2022年，5月20日，4點51分，星期四方差分析第47頁，共73頁，2022年，5月20日，4點51分，星期四回歸分析結果擬合結果為：Y=A*X1+B*X2+C*X3+D ?第48頁，共73頁，2022年，5月20日，4點51分，星期四結果解讀 剔除變量列表第49頁，共73頁，2022年，5月20日，4點51分，星期四共線性檢驗指標第50頁，共73頁，2022年，5月20日，4點51分，星期四共線性檢驗結果第51頁，共73頁，2022年，5月20日，4點51分，星期四曲線估計基本原理 兩變量之間的關系并不總是以線性形式表現(xiàn)出來的，更多的時候呈現(xiàn)出

21、非線性關系，利用圖形可表示為曲線。 對非線性關系無法直接通過建立線性回歸模型解決。雖然如此。但仍然存在一些非線性關系可以通過變量變換化成線性關系，并最終形成變換后的線性模型。第52頁，共73頁，2022年，5月20日，4點51分，星期四SPSS過程第一步：錄入數(shù)據(jù)，選擇分析菜單中的Regression=liner 打開線性曲線估計對話框。第二步：選擇被解釋變量和解釋變量第53頁，共73頁，2022年，5月20日，4點51分，星期四第三步：選擇曲線估計模型Linear：擬合直線方程，實際上與Linear過程的二元直線回歸相同；Quadratic：擬合二次方程Y = b0+b1t+b2t2；Com

22、pound：擬合復合曲線模型Y =b0X （ b1 ）t ；Growth：擬合等比級數(shù)曲線模型Y = exp(b0+b1t)；Logarithmic：擬合對數(shù)方程Y = b0+b1lnt；第54頁，共73頁，2022年，5月20日，4點51分，星期四Cubic：擬合三次方程Y = b0+b1t+b2t2+b3t3；S：擬合S形曲線Y = exp(b0+b1/t)；Exponential：擬合指數(shù)方程Y = b0 exp(b1t)；Inverse：數(shù)據(jù)按Y =b0+b1/t進行變換；Power：擬合乘冪曲線模型Y = b0Xb1；Logistic：擬合Logistic曲線模型Y = 1/ （ 1

23、/u + b0（b1）t ） ，如選擇該線型則要求輸入上界。第55頁，共73頁，2022年，5月20日，4點51分，星期四Save選項預測個案，用于設定值變量為時間序列時的預測值保存變量第56頁，共73頁，2022年，5月20日，4點51分，星期四實例在不同溫度下，對金屬強度進行了8次測試，數(shù)據(jù)如下利用曲線參數(shù)估計方法分析溫度和強度的關系溫度50100150200250300400500強度0.9770.5660.2840.1720.1280.0720.0290.014第57頁，共73頁，2022年，5月20日，4點51分，星期四第58頁，共73頁，2022年，5月20日，4點51分，星期四結

24、果分析線性模型的主要結果模型摘要該表顯示模型的擬合情況。其中判定系數(shù)為0.67375，調整系數(shù)為0.61938，估計值的標準誤差為93.909第59頁，共73頁，2022年，5月20日，4點51分，星期四方差分析表從表中可以看出，回歸的均方為109273.91，剩余的均方為8818.93，F(xiàn)檢驗統(tǒng)計量的觀察值為12.391，p值為0.125第60頁，共73頁，2022年，5月20日，4點51分，星期四回歸系數(shù)常數(shù)項系數(shù)為348.69，回歸系數(shù)為-374.43，線性回歸參數(shù)的標準誤差為106.37，標準化回歸系數(shù)為-0.821第61頁，共73頁，2022年，5月20日，4點51分，星期四三次函數(shù)模型的主要結果模型摘要判定系數(shù)是多少？校正系數(shù)是多少？標準誤差？第62頁，共73頁，2022年，5月20日，4點