線性回歸分析

回歸YOUTHGRADUATION分析JAPANESEPUREANDFRESH

——線性回歸匯報人：目錄CONTENTS01020304相關(guān)與回歸基本概念一元線性回歸模型多元線性回歸模型非線性回歸模型Part01相關(guān)與回歸基本概念01相關(guān)與回歸基本概念1.函數(shù)關(guān)系與相關(guān)關(guān)系函數(shù)關(guān)系（確定關(guān)系）：一個變量能被其他變量按某一規(guī)律唯一確定，對應(yīng)的關(guān)系，y完全依賴x,各觀測點落在一條線上。例如：當每噸水的價格為P元時，居民應(yīng)繳納的水費Y（元）與用水量X（噸）之間的關(guān)系可表示為Y=PX。相關(guān)關(guān)系（非確定性關(guān)系）：變量之間確實存在著數(shù)量關(guān)系，但不是嚴格確定的關(guān)系，各觀測點分布在直線周圍。例如：消費支出Y與可支配收入X之間有一定的關(guān)系，在一定范圍內(nèi)，收入增加，在理論上可以估計出增加的消費支出額。但應(yīng)看到，可支配收入雖然是影響消費支出的重要因素，卻不是唯一的因素。因此，根據(jù)可支配收入并不能精確的求出消費支出，也就不能用精確的函數(shù)關(guān)系表達式來表示這兩個變量之間的關(guān)系。

01相關(guān)關(guān)系的類型01相關(guān)分析

相關(guān)是指變量與變量之間關(guān)聯(lián)性的強弱，來描述線性關(guān)系的密切程度。一般所說的相關(guān)分析均是指兩個連續(xù)變量的相關(guān)性，但實際上任意測量尺度的兩個變量都可以有相應(yīng)的指標來描述其相關(guān)程度大小，并且也可以對兩組甚至多組變量進行相關(guān)分析。如果要用統(tǒng)計指標對變量數(shù)量聯(lián)系的密切程度進行表述，則應(yīng)當進行相關(guān)分析。相關(guān)系數(shù)用r表示，是反映兩個變量之間關(guān)系的量化指標。r值的范圍[-1,1]，r>0是正相關(guān)，r<0是負相關(guān)。相關(guān)系數(shù)的絕對值反映相關(guān)的強度，r的絕對值越接近1，說明相關(guān)性越好；r的絕對值越接近0，說明相關(guān)性越差。01回歸分析1.回歸分析是研究某一被解釋變量（因變量）與另一個或多個解釋變量（自變量）間的依存關(guān)系，其目的在于根據(jù)已知的解釋變量值或固定的解釋變量值（重復(fù)抽樣）來估計和預(yù)測被解釋變量的總體平均值。在研究某一社會經(jīng)濟現(xiàn)象的發(fā)展變化規(guī)律時，所研究的現(xiàn)象或?qū)ο蠓Q為被解釋變量，它是分析的對象，把引起這一現(xiàn)象變化的因素稱為解釋變量，它是引起這一現(xiàn)象變化的原因。

2.回歸模型的分類?（1）按模型中自變量的多少，分為一元回歸模型和多元回歸模型。（2）按模型中參數(shù)與被解釋變量之間是否線性，分為線性回歸模型和非線性回歸模型。01相關(guān)方法演示

“分析”“相關(guān)”“雙變量”“偏相關(guān)”“距離”雙變量：用于進行兩個/多個變量間的參數(shù)/非參數(shù)相關(guān)分析，計算兩個變量之間相關(guān)性的強弱,如果是多個變量，則給出兩兩相關(guān)的分析結(jié)果。偏相關(guān)：如果需要進行相關(guān)分析的兩個變量其取值均受到其他變量的影響，就可以利用偏相關(guān)分析對其他變量進行控制，輸出控制其他變量影響后的相關(guān)系數(shù)。距離：比較特殊的中間過程，調(diào)用此過程可對同一變量內(nèi)部各觀察單位間的數(shù)值或各個不同變量間進行相似性或不相似性（距離）分析，前者用于檢測觀測值的接近程度，后者則常用于考察各變量的內(nèi)在聯(lián)系和結(jié)構(gòu)。01回歸方法演示

“分析”“回歸”線性、曲線估計、二元Logistic...Part02一元線性回歸模型02

02線性回歸模型的基本假定

假定2.在給定Xi的條件下，Xi和μi不相關(guān)。即，Cov(μi,?Xi)=0。?假定5.對于每一個μi?都服從于均值為零、方差為σ2正態(tài)分布。即，μi?～?N（0，σ2）

假定4.等方差假定對于每一個Xi，μi的條件方差是一個等于σ2的常數(shù)。即，Var(μi?|?Xi)=σ2?。

假定1.正交假定在給定Xi的條件下，μi的條件均值為零。即，E(μi?|?Xi)=0。

假定3獨立同分布假定.在給定任意Xi、Xj的條件下，μi?、μj不相關(guān)。即，Cov(μi,?μj)=0。以一元線性回歸模型Yi=?β0?+?β1Xi?+?μi為例正態(tài)分布假定正交假定Part03多元線性回歸模型03多元線性回歸模型

03最小二乘法原理原理：利用樣本回歸函數(shù)估計總體回歸函數(shù)，是根據(jù)一個給定的包含n組X和Y觀測數(shù)據(jù)的樣本，建立樣本回歸函數(shù)，使估計值盡可能接近觀測值YiY?i。最小二乘原理就是根據(jù)使樣本剩余的平方和達到最小的準則，確定模型中的參數(shù)，建立樣本回歸函數(shù)（回歸系數(shù)的最小二乘估計，包括截距系數(shù)和斜率系數(shù)）。

累加值

（殘差平方和）微分求解截距系數(shù)和斜率系數(shù)03模型檢驗

1.擬合優(yōu)度檢驗：擬合優(yōu)度是指樣本回歸直線對觀測數(shù)據(jù)擬合的優(yōu)劣程度。2.t檢驗(回歸系數(shù)估計量的檢驗）3.F檢驗:檢驗因變量Y和自變量Xi的線性關(guān)系是否顯著。（謝宇）(F分布表）t分布表

t分布表

F分布表03模型適用條件

多元線性回歸模型的適用條件和簡單一元線性回歸模型類似，但為了保證參數(shù)估計值的穩(wěn)定，還需要注意模型的樣本量的要求。比如說模型中需要納入5個自變量，則樣本量應(yīng)當在100以上（記錄數(shù)應(yīng)當在希望分析的自變量數(shù)的20倍以上為宜），少于此數(shù)可能會出現(xiàn)檢驗效能不足的問題。Part04非線性回歸模型03非線性回歸模型

非線性回歸模型一般可以表示為：

期望函數(shù)1.首先為所有未知參數(shù)指定一個初始值，然后將原方程按泰勒級數(shù)展開，并只取一階各項作為線性函數(shù)的逼近，其余項均歸入誤差。2.然后采用最小二乘法對模型中的參數(shù)進行估計。3.用參數(shù)估計值替代初始值，將方程再次展開，進行線性化，從而又可以求出一批參數(shù)估計值。4.如此反復(fù)，直至參數(shù)估計值收斂為止。在數(shù)學(xué)中，泰勒級數(shù)（英語：Taylorseries）用無限項連加式——級數(shù)來表示一個函數(shù)，這些相加的項由函數(shù)在某一點的導(dǎo)數(shù)求得。04總結(jié)

模型表達形式

模型的基本假定

模型的估計

模型的檢驗

回歸模型的原理及應(yīng)用05案例

05案例

05案例

學(xué)生化殘差是殘差除以它的標準差后得到的數(shù)值，用以直觀地判斷誤差項服從正態(tài)分布這一假定是否成立，若假定成立，學(xué)生化殘差的分布也應(yīng)服從正態(tài)分布。學(xué)