深度學(xué)習(xí)案例教程 課件5.1梯度下降算法

目標(biāo)檢測第五章01理解圖像分類、目標(biāo)檢測和實(shí)例分割的關(guān)系學(xué)習(xí)目標(biāo)CONTENTS01理解圖像分類、目標(biāo)檢測和實(shí)例分割的關(guān)系02掌握傳統(tǒng)方法在目標(biāo)檢測領(lǐng)域的應(yīng)用學(xué)習(xí)目標(biāo)CONTENTS01理解圖像分類、目標(biāo)檢測和實(shí)例分割的關(guān)系02掌握傳統(tǒng)方法在目標(biāo)檢測領(lǐng)域的應(yīng)用03

了解深度學(xué)習(xí)中目標(biāo)檢測和實(shí)例分割的基本原理學(xué)習(xí)目標(biāo)CONTENTS01理解圖像分類、目標(biāo)檢測和實(shí)例分割的關(guān)系02掌握傳統(tǒng)方法在目標(biāo)檢測領(lǐng)域的應(yīng)用03

了解深度學(xué)習(xí)中目標(biāo)檢測和實(shí)例分割的基本原理04熟悉R-CNN、FastR-CNN、FasterR-CNN和MaskR-CNN模型的工作原理學(xué)習(xí)目標(biāo)CONTENTS01提高自主學(xué)習(xí)能力，通過閱讀相關(guān)文獻(xiàn)和實(shí)踐操作來提高自己的專業(yè)素養(yǎng)素質(zhì)目標(biāo)CONTENTS01提高自主學(xué)習(xí)能力，通過閱讀相關(guān)文獻(xiàn)和實(shí)踐操作來提高自己的專業(yè)素養(yǎng)02增強(qiáng)團(tuán)隊(duì)協(xié)作意識，與他人分享所學(xué)知識，共同進(jìn)步素質(zhì)目標(biāo)CONTENTS01提高自主學(xué)習(xí)能力，通過閱讀相關(guān)文獻(xiàn)和實(shí)踐操作來提高自己的專業(yè)素養(yǎng)02增強(qiáng)團(tuán)隊(duì)協(xié)作意識，與他人分享所學(xué)知識，共同進(jìn)步03提高解決問題的能力，能夠獨(dú)立分析和解決實(shí)際問題素質(zhì)目標(biāo)CONTENTS使用Pytorch實(shí)現(xiàn)行人的目標(biāo)檢測使用Pytorch實(shí)現(xiàn)行人的實(shí)例分割

實(shí)踐任務(wù)第一節(jié)

梯度下降法基于梯度的優(yōu)化就是優(yōu)化一個函數(shù)的最終取值。假設(shè)θ是函數(shù)的輸入?yún)?shù)，f(θ)是需要優(yōu)化的函數(shù)，那么基于梯度的優(yōu)化是指改變θ以得到最小或最大的f(θ)。梯度下降算法是指沿著函數(shù)值下降變化最快的方向，改變θ而獲得更小的f(θ)的技術(shù)。梯度下降法描述第一節(jié)

梯度下降法梯度下降的過程類似于下山的過程，我們找到一個最陡峭的方向，從此方向下山，下到山腰的某一點(diǎn)，又開始新的搜索，尋找另一個更加陡峭的方向，從那個更加陡峭的地方下山，不斷重復(fù)這個過程，直到成功抵達(dá)山腳下。梯度下降法描述把整個樣本切分為若干份，然后在每一份樣本上實(shí)施梯度下降算法進(jìn)行參數(shù)更新。批量梯度下降算法梯度下降法指每個批量只有一個樣本，并且只在這一個樣本上實(shí)施梯度下降算法進(jìn)行參數(shù)更新。采取SGD，雖然模型訓(xùn)練起來更靈活，但壞處是算法很難收斂，由于每次只處理一個樣本，效率很低。隨機(jī)梯度下降算法一個理想的情形是縱軸的震蕩減少，即學(xué)習(xí)變慢，而橫軸的學(xué)習(xí)加快。批量梯度下降算法的改進(jìn)有三種，分別是動量梯度下降算法、均方根加速算法和自適應(yīng)矩估計(jì)算法。批量梯度下降算法的改進(jìn)第一節(jié)

梯度下降法批量梯度下降算法(BatchGradientDescent,BGD)，就是把整個樣本切分為若干份，然后在每一份樣本上實(shí)施梯度下降算法進(jìn)行參數(shù)更新。假設(shè)有10萬個樣本，隨機(jī)排序后，按照5000大小切分成20份，每一份稱為一個批量(Batch),在每一個Batch上計(jì)算梯度并優(yōu)化，這樣網(wǎng)絡(luò)的訓(xùn)練效率會大大提高。批量梯度下降算法第一節(jié)

梯度下降法隨機(jī)梯度下降算法(StochasticGradientDescent,SGD)，是指每個批量只有一個樣本，并且只在這一個樣本上實(shí)施梯度下降算法進(jìn)行參數(shù)更新。采取SGD，雖然模型訓(xùn)練起來更靈活，但壞處是算法很難收斂，由于每次只處理一個樣本，效率很低。隨機(jī)梯度下降算法第一節(jié)

梯度下降法梯度下降、批量梯度下降與隨機(jī)梯度下降算法之間的聯(lián)系與區(qū)別：聯(lián)系：都是基于梯度下降算法的策略。區(qū)別：執(zhí)行一次計(jì)算所需的樣本量不同。

聯(lián)系與區(qū)別第一節(jié)

梯度下降法無論是批量梯度下降，還是隨機(jī)梯度下降，都無法避免在縱軸上的震蕩問題。一個理想的情形是縱軸的震蕩減少，即學(xué)習(xí)變慢，而橫軸的學(xué)習(xí)加快。批量梯度下降算法的改進(jìn)第一節(jié)

梯度下降法(1)動量梯度下降(GradientDescentwithMomentum)算法：考慮了歷史梯度的加權(quán)平均作為速率進(jìn)行優(yōu)化的方法。批量梯度下降算法的改進(jìn)第一節(jié)

梯度下降法(1)動量梯度下降(GradientDescentwithMomentum)算法：考慮了歷史梯度的加權(quán)平均作為速率進(jìn)行優(yōu)化的方法。(2)均方根加速(RootMeanSquareProp,RMSProp)算法：指對歷史梯度加權(quán)時，對當(dāng)前梯度取了平方，并在參數(shù)更新時，讓當(dāng)前梯度對歷史梯度開根號后的值做了除法運(yùn)算。批量梯度下降算法的改進(jìn)第一節(jié)

梯度下降法(1)動量梯度下降(GradientDescentwithMomentum)算法：考慮了歷史梯度的加權(quán)平均作為速率進(jìn)行優(yōu)化的方法。(2)均方根加速(RootMeanSquareProp,RMSProp)算法：指對歷史梯度加權(quán)時，對當(dāng)前梯度取了平方，并在參數(shù)更新時，讓當(dāng)前梯度對歷史梯度開根號后的值做了除法運(yùn)算