監(jiān)督式學習 省賽獲獎

監(jiān)督式學主講：陳治宇習監(jiān)督式學習之回歸模型回歸通俗一點就是，對已經(jīng)存在的點（訓(xùn)練數(shù)據(jù)）進行分析，擬合出適當?shù)暮瘮?shù)模型y=f(x)，這里y就是數(shù)據(jù)的標簽，而對于一個新的自變量x，通過這個函數(shù)模型得到標簽y。五種常見的回歸模型的概念及其優(yōu)缺點，包括線性回歸(LinearRegression),多項式回歸(PloynomialRegression),嶺回歸(RidgeRegression)，Lasso回歸和彈性回歸網(wǎng)絡(luò)(ElasticNetRegression).本章節(jié)首先介紹線性回歸(LinearRegression),多項式回歸(PloynomialRegression)監(jiān)督式學習之回歸模型線性回歸的幾個特點：

1.建模速度快，不需要很復(fù)雜的計算，在數(shù)據(jù)量大的情況下依然運行速度很快。

2.可以根據(jù)系數(shù)給出每個變量的理解和解釋

3.對異常值很敏感多項式回歸的特點：

1.能夠擬合非線性可分的數(shù)據(jù)，更加靈活的處理復(fù)雜的關(guān)系

2.因為需要設(shè)置變量的指數(shù)，所以它是完全控制要素變量的建模

3.需要一些數(shù)據(jù)的先驗知識才能選擇最佳指數(shù)

4.如果指數(shù)選擇不當容易出現(xiàn)過擬合回歸模型之線性回歸回歸是在建模過程中用于分析變量之間的關(guān)系、以及變量是如何影響結(jié)果的一種技術(shù)。線性回歸是指全部由線性變量組成的回歸模型。例如，最簡單的單變量線性回歸(SingleVariableLinearRegression)是用來描述單個變量和對應(yīng)輸出結(jié)果的關(guān)系,可以簡單的表示成下面的式子：

因為在實際的建模過程中遇到的問題往往更加復(fù)雜，用單個變量不能滿足描述輸出便變量的關(guān)系，所以需要用到更多的變量來表示與輸出之間的關(guān)系，也就是多變量線性回歸(MultiVariableLinearRegression)。多變量線性回歸模型如下：

其中a為系數(shù)，x是變量，b為偏置。因為這個函數(shù)只有線性關(guān)系，所以只適用于建模線性可分數(shù)據(jù)。我們只是使用系數(shù)權(quán)重來加權(quán)每個特征變量的重要性。我們使用隨機梯度下降(SGD)來確定這些權(quán)重a和偏置b，過程如圖所示?；貧w模型之線性回歸回歸模型之多項式回歸線性回歸適合于線性可分的數(shù)據(jù)，當我們處理非線性可分的數(shù)據(jù)時可以使用多項式回歸。在這種回歸中，我們是要找到一條曲線來擬合數(shù)據(jù)點。選擇每個變量的確切的質(zhì)數(shù)需要當前數(shù)據(jù)集合與最終輸出的一些先驗知識。下面兩個圖描述了線性回歸與多項式回歸的比較?？梢郧宄吹?，多項式回歸能夠擬合非線性可分的數(shù)據(jù)，更加靈活的處理復(fù)雜的關(guān)系?；貧w模型之多項式回歸多項式回歸在回歸分析中很重要，因為任意一個函數(shù)至少在一個較小的范圍內(nèi)都可以用多項式任意逼近，因此在比較復(fù)雜的實際問題中，有時不問y與諸元素的確切關(guān)系如何，而用回歸分析進行分析運算。比如，