深度學(xué)習(xí)案例教程 課件5.6不同優(yōu)化器對比

第六節(jié)

不同優(yōu)化器對比神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)目的是找到使損失函數(shù)的值盡可能小的參數(shù)，這是尋找最優(yōu)參數(shù)的問題，解決這個(gè)問題的過程稱為最優(yōu)化。優(yōu)化器是用來更新和計(jì)算模型參數(shù)以最小化損失函數(shù)的工具。有許多不同的優(yōu)化器，包括最基本的梯度下降(SGD)、帶動(dòng)量的梯度下降、RMSProp、Adam等。參數(shù)的更新第六節(jié)

不同優(yōu)化器對比有一個(gè)性情古怪的探險(xiǎn)家。他在廣袤的干旱地帶旅行，堅(jiān)持尋找幽深的山谷。他的目標(biāo)是要到達(dá)最深的谷底(他稱之為“至深之地”)。并且，他給自己制定了兩個(gè)嚴(yán)格的“規(guī)定”：一個(gè)是不看地圖；另一個(gè)是把眼睛蒙上。因此，他并不知道最深的谷底在這個(gè)廣袤的大地的何處，而且什么也看不見。在這么嚴(yán)苛的條件下，這位探險(xiǎn)家如何前往“至深之地”呢?他要如何邁步，才能迅速找到“至深之地”呢?探險(xiǎn)家的故事第六節(jié)

不同優(yōu)化器對比探險(xiǎn)家雖然看不到周圍的情況，但是能夠知道當(dāng)前所在位置的坡度（通過腳底感受地面的傾斜情況）。于是，朝著當(dāng)前所在位置的坡度最大的方向前進(jìn)，就是SGD的策略。勇敢的探險(xiǎn)家心里可能想著只要重復(fù)這一策略，總有一天可以到達(dá)“至深之地”。探險(xiǎn)家的故事第六節(jié)

不同優(yōu)化器對比SGD(StochasticGradientDescent)：最基本的梯度下降方法，每次更新都使用一部分樣本(一個(gè)或多個(gè))來計(jì)算梯度。SGD第六節(jié)

不同優(yōu)化器對比每一輪迭代使用的訓(xùn)練數(shù)據(jù)一般是小批量的，沒有使用全部的訓(xùn)練數(shù)據(jù)，因此更新方向會(huì)發(fā)生鋸齒狀甚至隨機(jī)震蕩狀；某些梯度分量的值比另外一些分量的值要大的多，導(dǎo)致個(gè)別分量主導(dǎo)了梯度的更新方向，而期望的梯度更新方向卻行進(jìn)的非常緩慢。SGD的缺點(diǎn)第六節(jié)

不同優(yōu)化器對比Momentum：一種帶動(dòng)量的梯度下降方法，它在更新參數(shù)時(shí)不僅考慮當(dāng)前的梯度，還考慮上一次的梯度方向，這樣可以加速收斂，并有可能跳過局部最小值。將一段時(shí)間內(nèi)的梯度向量進(jìn)行了加權(quán)平均，一定程度上消除了更新過程中的不確定性因素（如擺動(dòng)現(xiàn)象），使得梯度更新朝著一個(gè)越來越明確的方向前進(jìn)。Momentum第六節(jié)

不同優(yōu)化器對比RMSProp：一種自適應(yīng)學(xué)習(xí)率的方法，它通過調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率來加速訓(xùn)練。RMSProp第六節(jié)

不同優(yōu)化器對比Adam(AdaptiveMomentEstimation)：結(jié)合了Momentum和RMSProp的思想，既考慮了過去的梯度的指數(shù)衰減平均值，也考慮了過去的平方梯度的指數(shù)衰減平均值。Adam以下是一個(gè)簡單的使用SGD的例子：importtorch.optimasoptimmodel=...

#createyourmodel#createyouroptimizeroptimizer=optim.SGD(model.parameters(),lr=0.01)#inyourtrainingloop:optimizer.zero_grad()#zerothegradientbuffersoutput=model(input)loss=criterion(output,target)loss.backward()optimizer.step()#Doestheupdate#createyouroptimizeroptimizer=optim.Adam(model.parameters(),lr=0.01)第六節(jié)

不同優(yōu)化器對比以下是一個(gè)簡單的使用SGD的例子：importtorch.optimasoptimmodel=...

#createyourmodel#createyouroptimizeroptimizer=optim.SGD(model.parameters(),lr=0.01)#inyourtrainingloop:optimizer.zero_grad()#zerothegradientbuffersoutput=model(input)loss=criterion(output,target)loss.backward()optimizer.step()#Doestheupdate#createyouroptimizeroptimizer=optim.Adam(model.parameters(),lr=0.01)第六節(jié)

不同優(yōu)化器對比以下是一個(gè)簡單的使用SGD的例子：importtorch.optimasoptimmodel=...

#createyourmodel#createyouroptimizeroptimizer=optim.SGD(model.parameters(),lr=0.01)#inyourtrainingloop:optimizer.zero_grad()#zerothegradientbuffersoutput=model(input)loss=criterion(output,target)loss.backward()optimizer.step()#Doestheupdate#createyouroptimizeroptimizer=optim.Adam(model.parameters(),lr=0.01)第六節(jié)

不同優(yōu)化器對比以下是一個(gè)簡單的使用SGD的例子：importtorch.optimasoptimmodel=...

#createyourmodel#createyouroptimizeroptimizer=optim.SGD(model.parameters(),lr=0.01)#inyourtrainingloop:optimizer.zero_grad()#zerothegradientbuffersoutput=model(input)loss=criterion(output,target)loss.backward()optimizer.step()#Doestheupdate#createyouroptimizeroptimizer=optim.Adam(model.parameters(),lr=0.01)第六節(jié)

不同優(yōu)化器對比以下是一個(gè)簡單的使用SGD的例子：importtorch.optimasoptimmodel=...

#createyourmodel#createyouroptimizeroptimizer=optim.SGD(model.parameters(),lr=0.01)#inyourtrainingloop:optimizer.zero_grad()#zerothegradientbuffersoutput=model(input)loss=criterio