《機(jī)器學(xué)習(xí)-Python實(shí)戰(zhàn)（微課版）》課件 第三章 線性回歸

第三章線性回歸本章主要講述機(jī)器學(xué)習(xí)中回歸概念，并展開介紹線性回歸。通過本節(jié)學(xué)習(xí)可以：熟悉機(jī)器學(xué)習(xí)中線性回歸熟悉一元線性回歸掌握梯度下降方法熟悉多元線性回歸及非線性回歸學(xué)習(xí)目標(biāo)一元線性回歸代價(jià)函數(shù)梯度下降法標(biāo)準(zhǔn)方程法多元線性回歸非線性回歸介紹利用該數(shù)據(jù)集，我們可以訓(xùn)練一個(gè)線性方程，無限逼近所有數(shù)據(jù)點(diǎn)，然后利用該方程與給定的某一自變量（本例中為面積），可以預(yù)測因變量。（本例中為房價(jià)）回歸分析案例

預(yù)測二手車價(jià)格的系統(tǒng)。該系統(tǒng)的輸入是我們認(rèn)為會影響車價(jià)的屬性信息：品牌、年齡、發(fā)動(dòng)機(jī)性能、里程以及其他信息。輸出是車的價(jià)格。這種輸出為數(shù)值的問題是回歸問題?；貧w預(yù)測線性回歸是種通過擬合自變量與因變量之間最佳線性關(guān)系，來預(yù)測目標(biāo)變量的方法。回歸過程是給出一個(gè)樣本集，用函數(shù)擬合這個(gè)樣本集，使樣本集與擬合函數(shù)間的誤差最小?；貧w分析包括以下內(nèi)容：確定輸入變量與目標(biāo)變量間的回歸模型，即變量間相關(guān)關(guān)系的數(shù)學(xué)表達(dá)式。根據(jù)樣本估計(jì)并檢驗(yàn)回歸模型及未知參數(shù)。從眾多的輸入變量中，判斷哪些變量對目標(biāo)變量的影響是顯著的。根據(jù)輸入變量的已知值來估計(jì)目標(biāo)變量的平均值并給出預(yù)測精度。線性回歸概念線性回歸的類型包括簡單線性回歸和多元線性回歸。簡單線性回歸使用一個(gè)自變量，通過擬合最佳線性關(guān)系來預(yù)測因變量。多元線性回歸使用多個(gè)獨(dú)立變量，通過擬合最佳線性關(guān)系來預(yù)測因變量。線性回歸分類汽車賣家通過電視廣告數(shù)量來預(yù)測賣出的汽車數(shù)量，如下圖所示，可以預(yù)測廣告數(shù)量為“6”時(shí)，賣出的汽車數(shù)量是多少。一元線性回歸案例一元線性回歸包含一個(gè)自變量(X)和一個(gè)因變量(Y)。一元線性回歸方程：這個(gè)方程對應(yīng)的圖像是一條直線，稱作回歸線，其中

是回歸線的截距，是回歸線的斜率，E(y)是在一個(gè)給定x值下y的期望值（均值）。一元線性回歸一元線性回歸代價(jià)函數(shù)梯度下降法標(biāo)準(zhǔn)方程法多元線性回歸非線性回歸介紹法國數(shù)學(xué)家，阿德里安-馬里·勒讓德（1752－1833）提出讓總的誤差的平方最小的y就是真值，這是基于如果誤差是隨機(jī)的，應(yīng)該圍繞真值上下波動(dòng)。最小二乘法圖1中各個(gè)點(diǎn)沿y軸到那條直線的距離更遠(yuǎn)，而圖2中各個(gè)點(diǎn)到線的距離更近。損失函數(shù)定義在單個(gè)樣本上的，計(jì)算一個(gè)樣本的誤差。代價(jià)函數(shù)是定義在整個(gè)訓(xùn)練集上的，是所有樣本誤差的平均。公式如下：代價(jià)函數(shù)（損失函數(shù)）一元線性回歸代價(jià)函數(shù)梯度下降法標(biāo)準(zhǔn)方程法多元線性回歸非線性回歸介紹梯度下降法是一個(gè)最優(yōu)化算法，通常也稱為最速下降法。最速下降法是求解無約束優(yōu)化問題最簡單和最古老的方法之一，雖然現(xiàn)在已經(jīng)不具有實(shí)用性，但是許多有效算法都是以它為基礎(chǔ)進(jìn)行改進(jìn)和修正而得到的。最速下降法是用負(fù)梯度方向?yàn)樗阉鞣较虻?，最速下降法越接近目?biāo)值，步長越小，前進(jìn)越慢?？梢杂糜谇蠼夥蔷€性方程組。梯度下降假設(shè)一個(gè)場景：一個(gè)人需要從山的某處開始下山，盡快到達(dá)山底。在下山之前他需要確認(rèn)兩件事：下山的方向下山的距離梯度下降步長（Learningrate）特征（feature）假設(shè)函數(shù)（hypothesisfunction）損失函數(shù)（lossfunction）梯度下降相關(guān)概念批量梯度下降法（BGD）隨機(jī)梯度下降法（SGD）小批量梯度下降法（MBGD）常用梯度下降方法一元線性回歸代價(jià)函數(shù)梯度下降法標(biāo)準(zhǔn)方程法多元線性回歸非線性回歸介紹假設(shè)我們有一個(gè)n*n的矩陣，這個(gè)矩陣代表著每個(gè)因子具體的值，比如有一個(gè)關(guān)于身高預(yù)測的模型，其中一個(gè)人的身高的影響因素有：父親升高，母親升高，以及自己年齡的大小。標(biāo)準(zhǔn)方程法每一行代表一組數(shù)據(jù)，跟我們真實(shí)數(shù)據(jù)很像，每一行第一個(gè)是father身高，第二列是mother身高，第三列是孩子現(xiàn)在年齡。得到矩陣：標(biāo)準(zhǔn)方程法一元線性回歸代價(jià)函數(shù)梯度下降法標(biāo)準(zhǔn)方程法多元線性回歸非線性回歸介紹在線性回歸中，我們通過建立自變量x的一次方程來擬合數(shù)據(jù)。而非線性回歸中，則需要建立因變量和自變量之間的非線性關(guān)系。多元回歸導(dǎo)入線性擬合

非線性擬合機(jī)器學(xué)習(xí)中一種常見的模式，是使用線性模型訓(xùn)練數(shù)據(jù)的非線性函數(shù)。這種方法保持了一般快速的線性方法的性能，同時(shí)允許它們適應(yīng)更廣泛的數(shù)據(jù)范圍。在標(biāo)準(zhǔn)線性回歸的情況下，你可能有一個(gè)類似于二維數(shù)據(jù)的模型:

多元回歸介紹如果我們想把拋物面擬合成數(shù)據(jù)而不是平面，我們可以結(jié)合二階多項(xiàng)式的特征，使模型看起來像這樣：仔細(xì)觀察這兩個(gè)模型會發(fā)現(xiàn)，我們可以想象創(chuàng)造一個(gè)新的變量：多元回歸有了這些重新標(biāo)記的數(shù)據(jù)，我們可以將原多項(xiàng)式問題寫成：因此我們可以將原始數(shù)據(jù)轉(zhuǎn)換后再使用線性回歸訓(xùn)練構(gòu)成多項(xiàng)式回歸模型，其中PolynomialFeatures方法將數(shù)據(jù)進(jìn)行轉(zhuǎn)換。多元回歸介紹

多元線性回歸案例年份人均耐用消費(fèi)品支出

y人均全年可支配收入x1耐用消費(fèi)品價(jià)格指數(shù)x21988137.161181.4115.961989124.561375.7133.351990107.911510.2128.211991102.961700.6124.851992125.242026.6122.491993162.452577.4129.861994217.433496.2139.521995253.424283.0140.441996251.074838.9139.121997285.855160.3133.351998327.265425.1126.39多元線性回歸案例估計(jì)的回歸方程

線性回歸檢驗(yàn)

議程一元線性回歸代價(jià)函數(shù)梯度下降法標(biāo)準(zhǔn)方程法多元線性回歸非線性回歸介紹在統(tǒng)計(jì)學(xué)中，非線性回歸是回歸分析的一種形式，非線性模型是由一個(gè)或多個(gè)自變量非線性組合。一些常見非線性模型：階躍函數(shù)分段函數(shù)樣條曲線廣義加性模型非線性回歸非線性回歸是指在因變量與一系列自變量之間建立非線性模型。線性與非線性并不是說因變量與自變量間是直線或曲線關(guān)系，而是說因變量是否能用自變量的線性組合來表示。如果經(jīng)過變量轉(zhuǎn)換，兩個(gè)變量可以用線性來表達(dá)去關(guān)系，那么可以用之前章節(jié)中介紹的方法進(jìn)行擬合回歸方程。但經(jīng)過變量變化后，兩個(gè)變量關(guān)系仍然不能用線