數(shù)據(jù)挖掘原理與SPSS Clementine應(yīng)用寶典第6章 回歸分析.ppt

1、,數(shù)據(jù)挖掘原理與SPSS Clementine應(yīng)用寶典 元昌安 主編 鄧松李文敬劉海濤編著 電子工業(yè)出版社,第六章 回歸分析,本章內(nèi)容,回歸分析的基本原理,一元線性回歸分析,多元線性回歸分析,非線性回歸分析,回歸分析的基本原理,所謂回歸分析法，利用數(shù)理統(tǒng)計方法建立因變量與自變量之間的回歸關(guān)系函數(shù)表達式。 對于下表中的數(shù)據(jù)： 利用回歸分析方法，得到如下的函數(shù)關(guān)系式：,一元線性回歸分析,一元線性回歸模型 模型參數(shù)估計和平均誤差估計 一元線性回歸模型的檢驗,一元線性回歸模型,滿足一元線性回歸的基本條件： 所有的 的分布的均值都正好在一條直線上，稱之為總體的（真實的）回歸直線； 所有的分布都有同樣的形

2、狀； 隨機變量 是相互獨立的； 給定 X 時 分布的形狀是正態(tài)的，即 服從正態(tài)分布。 滿足這些條件的回歸模型稱為一元線性回歸模型。 根據(jù)樣本觀測值，采用最小二乘法，得到了一條估 計的樣本回歸直線 。,模型參數(shù)估計和平均誤差估計,參數(shù)估計： 經(jīng)過最小二乘法計算可得： 求出參數(shù)a,b以后，就可以得到回歸模型:,模型參數(shù)估計和平均誤差估計,平均誤差估計：,一元線性回歸模型的檢驗,線性方程的顯著性檢驗 關(guān)于回歸系數(shù)b的統(tǒng)計推斷,一元線性回歸模型的檢驗,線性方程的顯著性檢驗的方法有： 方差分解法 相關(guān)分析法 F檢驗 t檢驗 D-W檢驗,一元線性回歸模型的檢驗-方差分解法,一元線性回歸模型的檢驗-相關(guān)分析

3、法,一元線性回歸模型的檢驗-F檢驗,一元線性回歸模型的檢驗-t檢驗,一元線性回歸模型的檢驗-D-W檢驗,多元線性回歸分析,多元線性回歸模型 參數(shù)估計 多元回歸方差分析和顯著性檢驗 多元回歸模型的殘差分析,多元線性回歸模型,參數(shù)估計,多元回歸方差分析和顯著性檢驗,總離差平方和的分解和多元相關(guān)系數(shù) 回歸離差平方和與偏相關(guān)系數(shù),總離差平方和的分解和多元相關(guān)系數(shù),回歸離差平方和與偏相關(guān)系數(shù),多元回歸模型的殘差分析,在這里我們主要考慮以下幾種情形： 線性與非線性 共方差與異方差 獨立與非獨立 正態(tài)與非正態(tài) 多重共線性,非線性回歸分析,非線性模型 非線性模型的線性化,非線性模型,主要的非線性模型有： 拋物線模型 雙曲線模型 冪函數(shù)模型 指數(shù)函數(shù)模型 對數(shù)函數(shù)模型 邏輯曲線模型 多項式模型,非線性模型,拋物線模型 雙曲線模型 冪函數(shù)模型 指數(shù)函數(shù)模型 對數(shù)函數(shù)模型,邏輯曲線模型 多項式模型,非線性模型的線性化,倒數(shù)變換 倒數(shù)變換是用新的變量來替換原模型中變量的倒數(shù)，從而使原模型變成線 性模型的一種方法。 半對數(shù)變換 這種方法主要應(yīng)用于對數(shù)函數(shù)模型的線性變換。 雙對數(shù)變換 這種方法