大數(shù)據(jù)管理與應(yīng)用 課件 第六章 數(shù)據(jù)回歸分析

第六章數(shù)據(jù)回歸分析大數(shù)據(jù)管理與應(yīng)用——主編：王剛副主編：劉婧、邵臻數(shù)據(jù)回歸分析作為大數(shù)據(jù)分析中的一個重要的分支，在管理科學(xué)，社會經(jīng)濟(jì)學(xué)領(lǐng)域中被廣泛使用。在本章中您將了解數(shù)據(jù)回歸分析的整體概述，掌握常用的回歸分析方法包括線性回歸分析，嶺回歸分析和LASSO回歸分析，廣義線性回歸，非線性回歸的基本概念以及建模過程。數(shù)據(jù)回歸分析概述線性回歸分析嶺回歸和LASSO回歸分析廣義線性回歸分析非線性回歸分析第六章

數(shù)據(jù)回歸分析01數(shù)據(jù)回歸分析概述02線性回歸分析03嶺回歸和LASSO回歸分析04廣義線性回歸分析05非線性回歸分析

1.1回歸分析概念回歸描述了兩種及兩種以上的變量間的相關(guān)關(guān)系。按照涉及的特征變量的多少，可以將回歸分為一元回歸分析和多元回歸分析；按照變量間的關(guān)系類型，分為線性回歸分析和非線性回歸分析。嶺回歸分析及LASSO分析是基于正則化的回歸方法。并且，由于線性回歸模型通常需要滿足樣本標(biāo)簽服從正態(tài)分布的假設(shè)前提，然而在實際問題中，樣本標(biāo)簽的分布有時并不能滿足上述假設(shè)，因而可以用來分析連續(xù)型樣本標(biāo)簽和任意型特征變量之間關(guān)系的廣義線性回歸方法，也是回歸分析中的一類經(jīng)典方法。1.2回歸分析的基本類型變量間關(guān)系變量的數(shù)量回歸類型線性回歸單個樣本標(biāo)簽，單個特征變量一元線性回歸單個樣本標(biāo)簽，多個特征變量多元線性回歸多個樣本標(biāo)簽，多個特征變量多個樣本標(biāo)簽與多個特征變量的回歸非線性回歸單個樣本標(biāo)簽，單個特征變量一元非線性回歸單個樣本標(biāo)簽，單個特征變量多元非線性回歸表6-1回歸分析基本類型回歸分析方法是用來研究變量間關(guān)系，結(jié)構(gòu)分析以及模型預(yù)測的有效工具，在經(jīng)濟(jì)，管理，金融等各個領(lǐng)域中應(yīng)用廣泛。從回歸分析方法應(yīng)用的形式來看，回歸分析方法可以描述各個變量之間的關(guān)系，研究對樣本標(biāo)簽造成影響的最主要因素，其影響方向以及影響程度等?；貧w分析方法可以進(jìn)行結(jié)構(gòu)分析，即利用回歸模型的回歸系數(shù)來解釋各變量之間的數(shù)量關(guān)系?；貧w分析方法通常是利用歷史數(shù)據(jù)對已經(jīng)發(fā)生的現(xiàn)象活動進(jìn)行模擬，找出變化的規(guī)律，進(jìn)而通過特征變量在未來一段時間的估計值來預(yù)測樣本標(biāo)簽，達(dá)到模型預(yù)測的目的。從回歸分析方法應(yīng)用的場景來看，回歸分析方法的應(yīng)用涉及多個方面，是輔助管理決策的有效工具。回歸分析方法是進(jìn)行人口預(yù)測分析的一類經(jīng)典方法回歸分析方法在輔助市場參與者進(jìn)行需求預(yù)測以及規(guī)劃倉儲方案上具有實際的應(yīng)用利用學(xué)生的校園行為數(shù)據(jù)，結(jié)合回歸分析方法，可以優(yōu)化學(xué)生培養(yǎng)和管理工作。1.3回歸分析的應(yīng)用線性回歸（LinearRegression）是回歸分析方法中的一類，主要是對一個或多個特征變量和樣本標(biāo)簽之間的關(guān)系進(jìn)行建模的一種回歸分析方法。在線性回歸過程中，使用線性回歸方程對已知數(shù)據(jù)進(jìn)行建模，并利用這些數(shù)據(jù)對未知的模型參數(shù)進(jìn)行估計，最終模擬關(guān)于特征變量和樣本標(biāo)簽的線性變化關(guān)系。線性回歸函數(shù)是一個或多個回歸系數(shù)與特征變量的線性組合，當(dāng)線性回歸函數(shù)中只有一個特征變量時稱之為一元線性回歸，當(dāng)有大于一個特征變量的情況稱之為多元線性回歸。實現(xiàn)方法直接，建模速度快，計算簡單?？山忉屝詮?qiáng)，各個特征變量對樣本標(biāo)簽的影響強(qiáng)弱都可以通過特征變量前面的系數(shù)進(jìn)行體現(xiàn)。對特征變量和樣本標(biāo)簽之間的相關(guān)性進(jìn)行量化，識別出與樣本標(biāo)簽不相關(guān)的特征變量以及對樣本標(biāo)簽具有重要影響力的特征變量。2.1線性回歸分析概述線性回歸分析的應(yīng)用場景廣泛，在金融預(yù)測、經(jīng)濟(jì)預(yù)測以及探究觀測數(shù)據(jù)的因果關(guān)系的觀察性研究中被普遍應(yīng)用。

2.2線性回歸分析建模過程圖6-1一元線性回歸模型

2.2線性回歸分析建模過程

2.2線性回歸分析建模過程

2.2線性回歸分析建模過程

2.2線性回歸分析建模過程

2.2線性回歸分析建模過程

3.1嶺回歸分析

3.1嶺回歸分析

3.1嶺回歸分析

3.1嶺回歸分析嶺回歸的算法偽代碼：3.1嶺回歸分析LASSO回歸分析概述LASSO（LeastAbsoluteShrinkageandSelectionOperator），是由1996年RobertTibshirani首次提出，其主要是通過在最小二乘法的基礎(chǔ)上添加一個懲罰函數(shù)，壓縮回歸系數(shù)，使得其同時具有子集選擇和嶺回歸的優(yōu)點(diǎn)。LASSO回歸的主要思想是通過限制回歸系數(shù)絕對值之和小于某個固定值來實現(xiàn)對最小二乘的約束，其同時能夠使一些回歸系數(shù)為零，從而實現(xiàn)其變量選擇的作用。由此可以看出，LASSO具有較好的防止過擬合的作用。因為在樣本的特征變量過多的情況下，通過訓(xùn)練模型能夠較好地擬合訓(xùn)練數(shù)據(jù)，達(dá)到損失函數(shù)接近于0，而這一過程也會造成使訓(xùn)練的模型無法在新的數(shù)據(jù)樣本中繼續(xù)保持較好的預(yù)測效果。在這種情況下，LASSO通過加入正則項，對樣本的特征變量實現(xiàn)變量選擇的作用，降低在訓(xùn)練模型過程中的過擬合風(fēng)險。3.2LASSO回歸分析

3.2LASSO回歸分析

3.2LASSO回歸分析

3.2LASSO回歸分析圖6-3LASSO及嶺回歸模型示意圖

3.2LASSO回歸分析

4.1廣義線性回歸分析概述

4.1廣義線性回歸分析概述

4.2泊松回歸分析

4.2泊松回歸分析

4.2泊松回歸分析

4.2泊松回歸分析非線性回歸是線性回歸分析的一種擴(kuò)展，當(dāng)非線性回歸中只有單個特征變量時稱為一元非線性回歸，當(dāng)含有多個特征變量時則稱為多元非線性回歸。非線性回歸問題一般可分為將非線性變換成線性和不能變換成線性兩大類。常用的可轉(zhuǎn)換為線性回歸模型的非線性回歸模型有冪函數(shù)，指數(shù)函數(shù)，對