數(shù)據(jù)挖掘原理與SPSS Clementine應(yīng)用寶典第6章 回歸分析.ppt

1、,數(shù)據(jù)挖掘原理與SPSS Clementine應(yīng)用寶典 元昌安 主編 鄧松李文敬劉海濤編著 電子工業(yè)出版社,第六章 回歸分析,本章內(nèi)容,回歸分析的基本原理,一元線性回歸分析,多元線性回歸分析,非線性回歸分析,回歸分析的基本原理,所謂回歸分析法，利用數(shù)理統(tǒng)計(jì)方法建立因變量與自變量之間的回歸關(guān)系函數(shù)表達(dá)式。 對(duì)于下表中的數(shù)據(jù)： 利用回歸分析方法，得到如下的函數(shù)關(guān)系式：,一元線性回歸分析,一元線性回歸模型 模型參數(shù)估計(jì)和平均誤差估計(jì) 一元線性回歸模型的檢驗(yàn),一元線性回歸模型,滿足一元線性回歸的基本條件： 所有的 的分布的均值都正好在一條直線上，稱之為總體的（真實(shí)的）回歸直線； 所有的分布都有同樣的形

2、狀； 隨機(jī)變量 是相互獨(dú)立的； 給定 X 時(shí) 分布的形狀是正態(tài)的，即 服從正態(tài)分布。 滿足這些條件的回歸模型稱為一元線性回歸模型。 根據(jù)樣本觀測(cè)值，采用最小二乘法，得到了一條估 計(jì)的樣本回歸直線 。,模型參數(shù)估計(jì)和平均誤差估計(jì),參數(shù)估計(jì)： 經(jīng)過最小二乘法計(jì)算可得： 求出參數(shù)a,b以后，就可以得到回歸模型:,模型參數(shù)估計(jì)和平均誤差估計(jì),平均誤差估計(jì)：,一元線性回歸模型的檢驗(yàn),線性方程的顯著性檢驗(yàn) 關(guān)于回歸系數(shù)b的統(tǒng)計(jì)推斷,一元線性回歸模型的檢驗(yàn),線性方程的顯著性檢驗(yàn)的方法有： 方差分解法 相關(guān)分析法 F檢驗(yàn) t檢驗(yàn) D-W檢驗(yàn),一元線性回歸模型的檢驗(yàn)-方差分解法,一元線性回歸模型的檢驗(yàn)-相關(guān)分析

3、法,一元線性回歸模型的檢驗(yàn)-F檢驗(yàn),一元線性回歸模型的檢驗(yàn)-t檢驗(yàn),一元線性回歸模型的檢驗(yàn)-D-W檢驗(yàn),多元線性回歸分析,多元線性回歸模型 參數(shù)估計(jì) 多元回歸方差分析和顯著性檢驗(yàn) 多元回歸模型的殘差分析,多元線性回歸模型,參數(shù)估計(jì),多元回歸方差分析和顯著性檢驗(yàn),總離差平方和的分解和多元相關(guān)系數(shù) 回歸離差平方和與偏相關(guān)系數(shù),總離差平方和的分解和多元相關(guān)系數(shù),回歸離差平方和與偏相關(guān)系數(shù),多元回歸模型的殘差分析,在這里我們主要考慮以下幾種情形： 線性與非線性 共方差與異方差 獨(dú)立與非獨(dú)立 正態(tài)與非正態(tài) 多重共線性,非線性回歸分析,非線性模型 非線性模型的線性化,非線性模型,主要的非線性模型有： 拋物線模型 雙曲線模型 冪函數(shù)模型 指數(shù)函數(shù)模型 對(duì)數(shù)函數(shù)模型 邏輯曲線模型 多項(xiàng)式模型,非線性模型,拋物線模型 雙曲線模型 冪函數(shù)模型 指數(shù)函數(shù)模型 對(duì)數(shù)函數(shù)模型,邏輯曲線模型 多項(xiàng)式模型,非線性模型的線性化,倒數(shù)變換 倒數(shù)變換是用新的變量來替換原模型中變量的倒數(shù)，從而使原模型變成線 性模型的一種方法。 半對(duì)數(shù)變換 這種方法主要應(yīng)用于對(duì)數(shù)函數(shù)模型的線性變換。 雙對(duì)數(shù)變換 這種方法