機(jī)器學(xué)習(xí)簡介總結(jié)

1、1任梓涵任梓涵Xiamen University2Content1 機(jī)器學(xué)機(jī)器學(xué)習(xí)的定義習(xí)的定義2 建立模型的步驟建立模型的步驟3感知器與前饋神經(jīng)網(wǎng)絡(luò)感知器與前饋神經(jīng)網(wǎng)絡(luò)31機(jī)器學(xué)習(xí)的定機(jī)器學(xué)習(xí)的定義義4研究如何使計(jì)算機(jī)從給定的數(shù)據(jù)中學(xué)習(xí)規(guī)律，即從觀測數(shù)據(jù)（樣本）中尋找規(guī)律，并利用學(xué)習(xí)到的規(guī)律（模型）對未知或無法觀測的數(shù)據(jù)進(jìn)行預(yù)測52建立模型的步驟建立模型的步驟6 尋找決策函數(shù)建立x和y之間的關(guān)系 評價(jià)決策函數(shù)的好壞定義損失函數(shù)，然后在所有的訓(xùn)練樣本上來評價(jià)決策函數(shù)的風(fēng)險(xiǎn) 經(jīng)驗(yàn)風(fēng)險(xiǎn)（訓(xùn)練集上的平均損失） 最優(yōu)模型經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化7 0-1損失函數(shù)：分類問題 平方損失函數(shù)：線性回歸 交叉熵?fù)p失函數(shù)

2、：Logistic 回歸、SoftMax回歸. Hinge 損失函數(shù)：SVM.8問題：過擬合模型在訓(xùn)練集上錯(cuò)誤率很低，但是在未知數(shù)據(jù)上錯(cuò)誤率很高解決：結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則在經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的原則上加上參數(shù)的正則化正則化項(xiàng)一般是模型復(fù)雜度的單調(diào)遞增函數(shù)，模型越復(fù)雜，正則化值越大。（L1范數(shù)，L2范數(shù)）9學(xué)習(xí)參數(shù) ，使得經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化 梯度下降法 隨機(jī)梯度下降法 動量法 AdaGrad算法 AdaDelta算法10adagrad相比于sgd和momentum更加穩(wěn)定，即不需要怎么調(diào)參。而精調(diào)的sgd和momentum系列方法無論是收斂速度還是precision都比adagrad要好一些。在精調(diào)參數(shù)下m

3、omentum優(yōu)于sgd。而adagrad一方面不用怎么調(diào)參，另一方面其性能穩(wěn)定優(yōu)于其他方法。11TP（True Positive ） - 將正類預(yù)測為正類數(shù)FN（False Negative） - 將正類預(yù)測為負(fù)類數(shù) FP（False Positive ） - 將負(fù)類預(yù)測為正類數(shù)TN（True Negative） - 將負(fù)類預(yù)測為負(fù)類數(shù)（對于正類來說）準(zhǔn)確率 TP/(TP+FP)召回率 TP/(TP+FN) 123感知器與前饋神經(jīng)網(wǎng)絡(luò)感知器與前饋神經(jīng)網(wǎng)絡(luò)13與神經(jīng)元相比：權(quán)重（突觸）、偏置（閾值）及激活函數(shù)（細(xì)胞體），輸出為0 或1。1415損失函數(shù)是誤分類點(diǎn)到平面的距離采用隨機(jī)梯度下降法，更新W和b16Novikoff 證明對于兩類問題，如果訓(xùn)練集是線性可分的，那么感知器算法可以在有限次迭代后收斂。然而，如果訓(xùn)練集不是線性分隔的，那