回歸分析與經(jīng)驗公式擬合和分析步驟

1、回歸分析與經(jīng)驗公式擬合和分析步驟主菜單結(jié)束教學目標回歸分析是處理變量之間相關(guān)關(guān)系的一種數(shù)理統(tǒng)計方法,也是廣泛用于獲得數(shù)學表達式的較好方法。本章介紹測量中常用的一元與多元線性回歸以及一元非線性回歸的基本方法。 主菜單結(jié)束教學重點和難點 回歸分析的基本概念一元線性回歸分析多元線性回歸分析非線性回歸分析主菜單結(jié)束第一節(jié)回歸分析的基本概念 變量間的關(guān)系可分為函數(shù)關(guān)系和相關(guān)關(guān)系。本節(jié)介紹這兩種關(guān)系，并對回歸分析的一些基本概念作一個簡要的介紹。主菜單結(jié)束4變量間的函數(shù)關(guān)系 1、是一一對應的確定關(guān)系2、設有兩個變量和，變量隨變量一起變化，并完全依賴于，當變量某個數(shù)值時，依確定的關(guān)系取相應的值，則稱是的函數(shù)，

2、記為，其中稱為自變量，稱為因變量如以速度作勻速運動的物體，走過的距離與時間之間，有如下的函數(shù)關(guān)系 主菜單結(jié)束5變量間的相關(guān)關(guān)系 1、變量間關(guān)系不能用函數(shù)關(guān)系精確表達3、當變量取某個數(shù)值時，變量的值可能有幾個2、一個變量的取值不能由另一個變量惟一確定如人的身高( )與體重( )之間的關(guān)系 主菜單結(jié)束6什么是回歸分析？3、利用所求的關(guān)系式，根據(jù)一個或幾個變量的值，預測或控制另一個變量的值，并要知道這種預測或控制可達到的精密度。 一種處理變量間相關(guān)關(guān)系的數(shù)理統(tǒng)計方法。他主要解決以下幾個問題1、從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學關(guān)系式2、對這些關(guān)系式的可信程度進行各種統(tǒng)計檢驗，并從影響某一特定變量

3、的諸多變量中找出哪些變量的影響顯著，哪些不顯著主菜單結(jié)束回歸模型的類型回歸模型一元回歸線性回歸非線性回歸線性回歸非線性回歸多元回歸一個自變量兩個及兩個以上自變量主菜單結(jié)束回歸模型1、回答“變量之間是什么樣的關(guān)系？”2、方程中運用1個數(shù)字的因變量1個或多個數(shù)字的或分類的因變量3、主要用于預測或估計主菜單結(jié)束第二節(jié)一元線性回歸分析主菜單結(jié)束一、一元線性回歸方程主菜單結(jié)束一元線性回歸模型概念1、當只涉及一個自變量時稱為一元回歸，若因變量與自變量之間為線性關(guān)系時稱為一元線性回歸3、描述因變量如何依賴于自變量和誤差項的方程稱為回歸模型。2、對于具有線性關(guān)系的兩個變量，可以用一個線性方程來表示它們之間的關(guān)

4、系主菜單結(jié)束由實驗獲得兩個變量和的一組樣本數(shù)據(jù)，構(gòu)造如下一元線性回歸模型 一元線性回歸模型概念 模型中，是的線性函數(shù)部分加上誤差項線性部分反映了由于的變化而引起的變化誤差項是隨機變量反映了除和之間的線性關(guān)系之外的隨機因素對的影響是不能由和之間的線性關(guān)系所解釋的變異性和稱為模型的參數(shù)主菜單結(jié)束1、誤差項是一個期望值為的隨機變量，即。對于一個給定的值，的期望值為2、對所有的值，的方差都相同3、誤差項是一個服從正態(tài)分布的隨機變量，且相互獨立。即獨立性意味著對于一個特定的值，它所對應的與其它值所對應的不相關(guān)對于一個特定的值，它所對應的值與其它值所對應的不相關(guān)一元線性回歸模型基本假定 主菜單結(jié)束1、描述

5、的平均值或期望值如何依賴于的方程稱為回歸方程2、簡單線性回歸方程的形式如下方程的圖示是一條直線，因此也稱為直線回歸方程是回歸直線在軸上的截距，是當時的期望值是直線的斜率，表示當每變動一個單位時，的平均變動值回歸方程概念要點主菜單結(jié)束1、總體回歸參數(shù)和是未知的，必須利用樣本數(shù)據(jù)去估計他們2、用樣本統(tǒng)計量和代替回歸方程中的未知參數(shù)和，這時就得到了經(jīng)驗的回歸方程3、一元線性回歸的經(jīng)驗的回歸方程 是回歸直線在軸上的截距是直線的斜率，它表示對于給定的的值，是的估計值，也表示當每變動一個單位時，的平均變動值經(jīng)驗的回歸方程主菜單結(jié)束式中根據(jù)最小二乘法的要求，可得和的計算公式主菜單結(jié)束二、回歸效果F檢驗主菜單

6、結(jié)束偏差平方和的分解 測量值之間的差異來源于兩個方面由于自變量取值的不同造成的除以外的其它因素(如對的非線性影響、測量誤差等)的影響 對一個具體的觀測值來說，變異的大小可以通過該實際觀測值與其均值之差來表示主菜單結(jié)束偏差平方和的分解圖示主菜單結(jié)束兩端平方后求和得到總偏差平方和 回歸平方和 殘余平方和 三個平方和的關(guān)系主菜單結(jié)束自由度計算公式在總的偏離中除了對線性影響之外的其它因素而引起變化的大小 在總的偏差中因和的線性關(guān)系而引起變化的大小 總偏差平方和 回歸平方和 殘余平方和 意義反映因變量的n個觀測值與其均值的總偏差三個平方和的意義主菜單結(jié)束回歸方程的顯著性檢驗1、檢驗自變量和因變量之間的線

7、性關(guān)系是否顯著2、具體方法是將回歸平方和和殘余平方和加以比較，應用F檢驗來分析二者之間的差別是否顯著如果是顯著的，兩個變量之間存在線性關(guān)系如果不顯著，兩個變量之間不存在線性關(guān)系主菜單結(jié)束2、計算檢驗統(tǒng)計量 3、在給定顯著性水平 下，由分布表查得臨界值 。4、作出決策。若，拒絕，則認為該回歸效果顯著。反之，則不顯著。即檢驗步驟1、提出假設線性關(guān)系不顯著主菜單結(jié)束估計殘余標準誤差4、殘余標準差的計算公式 1、表征除了與線性關(guān)系之外其它因素影響值偏離的大小 2、反映實際觀測值在回歸直線周圍的分散狀況3、從另一個角度說明了回歸直線的擬合程度主菜單結(jié)束偏離回歸殘余總和平方和自由度標準差統(tǒng)計量置信限 顯著

8、否顯著否顯著否方差分析表主菜單結(jié)束三、回歸系數(shù)的不確定度與回歸方程的穩(wěn)定性主菜單結(jié)束回歸系數(shù)的不確定度1、回歸系數(shù)的不確定度是描述回歸系數(shù)的分散性 2、回歸系數(shù)和的標準不確定度的計算公式3、回歸系數(shù)和的協(xié)方差的計算公式式中，是殘余標準差主菜單結(jié)束回歸方程的穩(wěn)定性 1、回歸值的波動大小，波動愈小，回歸方程的穩(wěn)定性愈好。 2、回歸值的波動大小的計算公式標準不確定度來表示。 回歸值的波動大小不僅與剩余標準差s有關(guān)，而且還取決于試驗次數(shù)n及自變量取值范圍。 提高回歸方程中各估計量穩(wěn)定性的方法(1) 提高觀察數(shù)據(jù)本身的準確度(2) 盡可能增大觀測數(shù)據(jù)中自變量的取值范圍 (3) 增加觀測次數(shù) (4) 減小

9、殘余誤差，即擬定合適回歸方程使其盡可能合乎實際數(shù)據(jù)的變化規(guī)律 主菜單結(jié)束四、回歸預測值及其不確定度主菜單結(jié)束回歸預測值及其不確定度、利用估計的回歸方程，對于自變量的一個給定值，求出因變量的一個估計值，就是回歸的預測值的標準不確定度來表述 的擴展不確定度來表述 2、預測值與實際值之間存在偏差，因此給出預測值時，還必須給出其不確定度。有以下兩種表示方式主菜單結(jié)束【例9-1】試對下表所列實驗數(shù)據(jù)做直線擬合，并作方差分析和預測。 180200145165123110191205104100141135151180190220134135144160110130153145141125190190108

10、110155160204235190210158130177185150170161145107115177205121125165195180240143160151135154150127135147155116100115120主菜單結(jié)束【解】直線擬合計算 故有直線擬合主菜單結(jié)束方差分析 偏離回歸殘余總和平方和自由度標準差統(tǒng)計量置信限 高度顯著410379057500943233主菜單結(jié)束預測 對于，查分布表得 故有主菜單結(jié)束回歸直線及預測區(qū)間主菜單結(jié)束第三節(jié)多元線性回歸分析主菜單結(jié)束一、多元線性回歸方程主菜單結(jié)束多元線性回歸模型概念要點 1、一個因變量與兩個及兩個以上自變量之間的回歸2

11、、描述因變量如何依賴于自變量和誤差項的方程稱為多元線性回歸模型3、涉及個自變量的多元線性回歸模型可表示為是參數(shù)是被稱為誤差項的隨機變量是的線性函數(shù)加上誤差項說明了包含在里面但并不能被個自變量的線性關(guān)系所解釋的變異性主菜單結(jié)束多元線性回歸模型概念要點 對于組實際觀測數(shù)據(jù)，多元線性回歸模型可表示為式中主菜單結(jié)束多元線性回歸模型基本假定1、自變量是確定性變量，不是隨機變量2、隨機誤差項的期望值為，且方差都相同3、誤差項是一個服從正態(tài)分布的隨機變量，即，且相互獨立主菜單結(jié)束多元線性回歸方程概念要點1、描述的平均值或期望值如何依賴于的方程稱為多元線性回歸方程2、多元線性回歸方程的形式為稱為偏回歸系數(shù)表示

12、假定其他變量不變，當每變動一個單位時，的平均變動值主菜單結(jié)束多元線性回歸的估計(經(jīng)驗)方程1、總體回歸參數(shù)是未知的，利用樣本數(shù)據(jù)去估計2、用樣本統(tǒng)計量代替回歸方程的未知數(shù)，即得到估計的回歸方程是的估計值是的估計值主菜單結(jié)束參數(shù)的最小二乘估計主菜單結(jié)束計算過程 主菜單結(jié)束二、線性回歸效果檢驗主菜單結(jié)束回歸方程的顯著性檢驗1、檢驗因變量和所有的自變量之間的是否存在一個顯著的線性關(guān)系，也被稱為總體的顯著性檢驗2、具體方法是將回歸平方和和殘余平方和加以比較，應用F檢驗來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系主菜單結(jié)束檢驗的步驟

13、2、計算檢驗統(tǒng)計量 1、提出假設線性關(guān)系不顯著至少有一個不等于 3、在給定顯著性水平 下，由分布表查得臨界值 4、作出決策。若，拒絕，則認為該回歸效果顯著。反之，則不顯著。主菜單結(jié)束偏離回歸殘余總和平方和自由度標準差統(tǒng)計量置信限 顯著否方差分析表 主菜單結(jié)束三、每個自變量在多元回歸中所起的作用主菜單結(jié)束 1、一個多元線性回歸方程是顯著的，并不意味著每個自變量 對因變量的影響都是重要的,可能其中有某些變量的作用很小。 2、用偏回歸平方和來考察每個特定因素在總回歸中所起的作用偏回歸平方和 回歸平方和，反映了所有 個回歸自變量對因變量 的總影響 舍棄某，其余個回歸自變量可擬合出元線性回歸方程，其相應

14、的回歸平方和，它反映了其余個回歸自變量所起的總作用。 表示出單獨對回歸因變量的影響 主菜單結(jié)束偏回歸平方和的實用計算公式 原元回歸的正規(guī)方程系數(shù)矩陣L的逆矩陣 中的第列元素 回歸方程的回歸系數(shù) 1、直接利用定義式計算偏回歸平方和非常繁雜2、可利用實用公式計算主菜單結(jié)束分析步驟(1) 計算每個自變量的偏回歸平方和(2) 凡是偏回歸平方和大的變量，一定是對有重要影響的因素。可用殘余平方和對它進行檢驗。計算統(tǒng)計量當時，則認為變量對的影響在水平上顯著 (3) 偏回歸平方和小的變量，不一定不顯著。但偏回歸平方和最小的那個變量，肯定是所有變量中對作用最小的一個，假如此時變量檢驗結(jié)果又不顯著，那可以將該變量剔除。剔除一個變量后，得重新建立元新回歸方程，計算回歸系數(shù)和偏回歸平方和。 主菜單結(jié)束在對的多元回歸中，當取消一個變量后，個變量新的回歸系數(shù)（），與原來的回歸系數(shù)之間有如下關(guān)系 新老回歸系數(shù)間的關(guān)系，原元回歸的正規(guī)方程系數(shù)矩陣L的逆矩陣 中的元素 主菜單結(jié)束第四節(jié) 非線性回歸分析主菜單結(jié)束非線性回歸分析 5、 比較不同模型擬合所得的原剩余平方和，選最小者即為所求。 2、選擇回歸模型。根據(jù)實驗數(shù)據(jù)散點圖分布的特點以及所掌握的物理規(guī)律，選擇可線化函數(shù)的模型。3、作線性化變量變換后，按一元線性回歸問題計算待定的系數(shù)、原的剩余平方和。、如果對擬合結(jié)果不滿意，再選擇其它模