機(jī)器學(xué)習(xí) 課件 第1章 基礎(chǔ)知識

第1章基礎(chǔ)知識主講：胡曉（教授）廣州大學(xué)，機(jī)械與電氣工程學(xué)院，類腦機(jī)器視覺研究室《論語·述而》：三人行，必有我?guī)熝?。擇其善者而從之，其不善者而改之?.1什么是機(jī)器學(xué)習(xí)

學(xué)習(xí)算法

1.1什么是機(jī)器學(xué)習(xí)

屬性(Attribute)，也成為特征。構(gòu)成的向量為特征向量或?qū)傩韵蛄?/p>

屬性值都是隨機(jī)的，通常假設(shè)樣本集獲得屬性向量是獨(dú)立同分布

標(biāo)簽(label)

1.2機(jī)器學(xué)習(xí)分類

分類回歸

1.3模型評估

學(xué)習(xí)算法

2.準(zhǔn)確率和錯(cuò)誤率

三角形區(qū)

三角形區(qū)

4.均方差和峰值信噪比

1.4優(yōu)化

學(xué)習(xí)算法

通過訓(xùn)練樣本，獲得模型參數(shù)的過程稱為參數(shù)學(xué)習(xí)

1.損失函數(shù)

2.目標(biāo)函數(shù)

3.最小二乘法

《機(jī)器學(xué)習(xí)》學(xué)習(xí)時(shí)長與考試成績的關(guān)系學(xué)習(xí)天數(shù)1012015818考試成績8210989365904.梯度下降法

4.梯度下降法

每次迭代，從訓(xùn)練集中隨機(jī)抽取一小部分樣本計(jì)算目標(biāo)函數(shù)，計(jì)算梯度、更新參數(shù)。5.梯度修正梯度修正動(dòng)量法Nesterov加速梯度法

目標(biāo)函數(shù)曲面沿不同方向變化快慢不一致。在隨機(jī)(小批量)梯度下降法中，如果每次選取樣本數(shù)量比較少，迭代步長則具有隨機(jī)性。如果梯度方向處于急變區(qū)，則變化快；如果處于平坦區(qū)，則變化慢，導(dǎo)致?lián)p失函數(shù)以振蕩方式下降。此外，一旦進(jìn)入損失函數(shù)的局部最小點(diǎn)或鞍點(diǎn)，也可能難以跳出。動(dòng)量法為解決或緩解上述問題提供可能：通過使用最近一段時(shí)間內(nèi)的平均梯度來代替當(dāng)前的隨機(jī)梯度。動(dòng)量法

動(dòng)量法Nesterov加速梯度法，NAG

5.學(xué)習(xí)率調(diào)整學(xué)習(xí)率調(diào)整學(xué)習(xí)率衰減，學(xué)習(xí)率退火Adagrad算法Adadelta算法Adam算法

Adagrad算法是由JohnDuchi等人提出的一種自適應(yīng)學(xué)習(xí)率的梯度下降法：對不同的參數(shù)采用不同學(xué)習(xí)率，低頻出現(xiàn)參數(shù)采用大學(xué)習(xí)率，高頻出現(xiàn)參數(shù)采用小學(xué)習(xí)率。

5.學(xué)習(xí)率調(diào)整學(xué)習(xí)率調(diào)整學(xué)習(xí)率衰減，學(xué)習(xí)率退火Adagrad算法Adadelta算法Adam算法

由MatthewD.Zeiler提出的旨在解決Adagrad學(xué)習(xí)率不斷下降問題的一種改進(jìn)算法，該算法僅計(jì)算在近期梯度值的累積和

5.學(xué)習(xí)率調(diào)整學(xué)習(xí)率調(diào)整學(xué)習(xí)率衰減，學(xué)習(xí)率退火Adagrad算法Adadelta算法Adam算法

Die