版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
Chapter4網(wǎng)絡(luò)優(yōu)化與正則化第四章DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第2頁4.4數(shù)據(jù)預(yù)處理4.1網(wǎng)絡(luò)優(yōu)化4.3參數(shù)初始化方法4.2優(yōu)化方法4.5逐層歸一化目錄Content4.6超參數(shù)優(yōu)化4.7網(wǎng)絡(luò)正則化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第3頁深度學(xué)習(xí)的矛與盾正則化優(yōu)化降低模型復(fù)雜度經(jīng)驗風(fēng)險最小DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第4頁4.1網(wǎng)絡(luò)優(yōu)化結(jié)構(gòu)差異大沒有通用的優(yōu)化算法超參數(shù)多非凸優(yōu)化問題參數(shù)初始化逃離局部最優(yōu)梯度消失(爆炸)問題平坦最小值(FlatMinima)一個平坦最小值的鄰域內(nèi),所有點對應(yīng)的訓(xùn)練損失都比較接近大部分的局部最小解是等價的局部最小解對應(yīng)的訓(xùn)練損失都可能非常接近于全局最小解對應(yīng)的訓(xùn)練損失DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第5頁4.1網(wǎng)絡(luò)優(yōu)化高維空間的非凸優(yōu)化問題鞍點(SaddlePoint)駐點(StationaryPoint):梯度為0的點DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第6頁4.1網(wǎng)絡(luò)優(yōu)化VISUALIZINGTHELOSSLANDSCAPEOFNNwithoutskipconnectionswithskipconnectionsLiH,XuZ,TaylorG,etal.Visualizingthelosslandscapeofneuralnets[C]//AdvancesinNeuralInformationProcessingSystems.2018:6389-6399.DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第7頁4.1網(wǎng)絡(luò)優(yōu)化神經(jīng)網(wǎng)絡(luò)優(yōu)化的改善方法更有效的優(yōu)化算法來提高優(yōu)化方法的效率和穩(wěn)定性動態(tài)學(xué)習(xí)率調(diào)整梯度估計修正更好的參數(shù)初始化方法、數(shù)據(jù)預(yù)處理方法來提高優(yōu)化效率修改網(wǎng)絡(luò)結(jié)構(gòu)來得到更好的優(yōu)化地形優(yōu)化地形(OptimizationLandscape)指在高維空間中損失函數(shù)的曲面形狀好的優(yōu)化地形通常比較平滑使用ReLU激活函數(shù)、殘差連接、逐層歸一化等使用更好的超參數(shù)優(yōu)化方法DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第8頁4.2優(yōu)化方法隨機梯度下降DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第9頁4.2優(yōu)化方法小批量隨機梯度下降minibatch
幾個關(guān)鍵因素:小批量樣本數(shù)量梯度學(xué)習(xí)率DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第10頁4.2優(yōu)化方法批量大小的影響批量大小不影響隨機梯度的期望,但是會影響隨機梯度的方差批量越大,隨機梯度的方差越小,引入的噪聲也越小,訓(xùn)練也越穩(wěn)定,因此可以設(shè)置較大的學(xué)習(xí)率而批量較小時,需要設(shè)置較小的學(xué)習(xí)率,否則模型會不收斂4種批量大小對應(yīng)的學(xué)習(xí)率設(shè)置不同,因此并不是嚴(yán)格對比小批量梯度下降中,每次選取樣本數(shù)量對損失下降的影響DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第11頁4.2優(yōu)化方法改進(jìn)方法標(biāo)準(zhǔn)的(小批量)梯度下降學(xué)習(xí)率學(xué)習(xí)率衰減AdagradAdadeltaRMSprop梯度Momentum計算負(fù)梯度的“加權(quán)移動平均”作為參數(shù)的更新方向Nesterovacceleratedgradient梯度截斷Adamisbetterchoice!Adam梯度方向?qū)嶋H更新方向DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第12頁4.2優(yōu)化方法學(xué)習(xí)率的影響DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第13頁4.2優(yōu)化方法學(xué)習(xí)率的衰減梯級衰減(stepdecay)線性衰減(LinearDecay)衰減示意圖DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第14頁4.2優(yōu)化方法周期性學(xué)習(xí)率的調(diào)整DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第15頁4.2優(yōu)化方法CyclicalLearningRatesDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第16頁4.2優(yōu)化方法自適應(yīng)學(xué)習(xí)率AdagradRMSpropAdadeltaDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第17頁5.2優(yōu)化方法梯度方向優(yōu)化動量法(MomentumMethod)用之前積累動量來替代真正的梯度。每次迭代的梯度可以看作是加速度DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第18頁4.2優(yōu)化方法梯度方向優(yōu)化Nesterov加速梯度DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第19頁4.2優(yōu)化方法梯度方向優(yōu)化Adam算法≈動量法+RMSprop先計算兩個移動平均偏差修正更新DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第20頁4.2優(yōu)化方法鞍點幾種方法的對比DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第21頁4.2優(yōu)化方法梯度截斷梯度截斷是一種比較簡單的啟發(fā)式方法,把梯度的模限定在一個區(qū)間,當(dāng)梯度的模小于或大于這個區(qū)間時就進(jìn)行截斷按值截斷按模截斷DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第22頁4.2優(yōu)化方法小結(jié)大部分優(yōu)化算法可以使用下面公式來統(tǒng)一描述概括:gt為第t步的梯度αt為第t步的學(xué)習(xí)率DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第23頁4.3參數(shù)初始化方法參數(shù)初始化參數(shù)不能初始化為0!為什么?對稱權(quán)重問題!初始化方法預(yù)訓(xùn)練初始化隨機初始化固定值初始化偏置(Bias)通常用0來初始化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第24頁4.3參數(shù)初始化方法隨機初始化Gaussian分布初始化
Gaussian初始化方法是最簡單的初始化方法,參數(shù)從一個固定均值(比如0)和固定方差(比如0.01)的Gaussian分布進(jìn)行隨機初始化。均勻分布初始化參數(shù)可以在區(qū)間[?r,r]內(nèi)采用均勻分布進(jìn)行初始化。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第25頁4.3參數(shù)初始化方法隨機初始化范數(shù)保持性(Norm-Preserving)一個??層的等寬線性網(wǎng)絡(luò)為了避免梯度消失或梯度爆炸問題,我們希望誤差項基于方差縮放的參數(shù)初始化正交初始化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第26頁5.3參數(shù)初始化方法隨機初始化基于方差縮放的參數(shù)初始化Xavier初始化和He初始化正交初始化1)用均值為0、方差為1的高斯分布初始化一個矩陣2)將這個矩陣用奇異值分解得到兩個正交矩陣,并使用其中之一作為權(quán)重矩陣DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第27頁5.4數(shù)據(jù)預(yù)處理5.1網(wǎng)絡(luò)優(yōu)化5.3參數(shù)初始化方法5.2優(yōu)化方法5.5逐層歸一化目錄Content5.6超參數(shù)優(yōu)化5.7網(wǎng)絡(luò)正則化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第28頁5.4數(shù)據(jù)預(yù)處理數(shù)據(jù)歸一化
數(shù)據(jù)歸一化最小最大值歸一化標(biāo)準(zhǔn)化PCA
數(shù)據(jù)歸一化對梯度的影響DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第29頁5.5逐層歸一化逐層歸一化
目的更好的尺度不變性內(nèi)部協(xié)變量偏移更平滑的優(yōu)化地形
歸一化方法批量歸一化(BatchNormalization,BN)層歸一化(LayerNormalization)權(quán)重歸一化(WeightNormalization)局部響應(yīng)歸一化(LocalResponseNormalization,LRN)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第30頁5.5逐層歸一化批量歸一化給定一個包含K個樣本的小批量樣本集合,計算均值和方差批量歸一化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第31頁5.5逐層歸一化層歸一化
DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第32頁5.5逐層歸一化批量歸一化VS層歸一化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第33頁5.5逐層歸一化其他歸一化方法DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第34頁5.4數(shù)據(jù)預(yù)處理5.1網(wǎng)絡(luò)優(yōu)化5.3參數(shù)初始化方法5.2優(yōu)化方法5.5逐層歸一化目錄Content5.6超參數(shù)優(yōu)化5.7網(wǎng)絡(luò)正則化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第35頁5.6超參數(shù)優(yōu)化超參數(shù)層數(shù)每層神經(jīng)元個數(shù)激活函數(shù)學(xué)習(xí)率(以及動態(tài)調(diào)整算法)正則化系數(shù)mini-batch大小優(yōu)化方法網(wǎng)格搜索隨機搜索貝葉斯優(yōu)化動態(tài)資源分配神經(jīng)架構(gòu)搜索DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第36頁5.6超參數(shù)優(yōu)化超參數(shù)假設(shè)總共有K個超參數(shù),第k個超參數(shù)的可以取??_??個值如果參數(shù)是連續(xù)的,可以將參數(shù)離散化,選擇幾個“經(jīng)驗”值。比如學(xué)習(xí)率α,我們可以設(shè)置
這些超參數(shù)可以有??_1×??_2×···×??_??個取值組合網(wǎng)格搜索α∈{0.01,0.1,0.5,1.0}DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第37頁4.7網(wǎng)絡(luò)正則化神經(jīng)網(wǎng)絡(luò)過度參數(shù)化擬合能力強泛化性差ZhangC,BengioS,HardtM,etal.Understandingdeeplearningrequiresrethinkinggeneralization[J].arXivpreprintarXiv:1611.03530,2016.DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用第38頁5.7網(wǎng)絡(luò)正則化L1/L2約束、數(shù)據(jù)增強權(quán)重衰減、隨機梯度下降、提前停止所有損害優(yōu)化的方法都是正則化。增加優(yōu)化約束干擾優(yōu)化過程DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用4.7網(wǎng)絡(luò)正則化
DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用5.7網(wǎng)絡(luò)正則化L1和L2正則化
DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用4.7網(wǎng)絡(luò)正則化神經(jīng)網(wǎng)絡(luò)示例不同的正則化系數(shù)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用4.7網(wǎng)絡(luò)正則化提前停止我們使用一個驗證集(ValidationDataset)來測試每一次迭代的參數(shù)在驗證集上是否最優(yōu)。如果在驗證集上的錯誤率不再下降,就停止迭代DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用5.7網(wǎng)絡(luò)正則化權(quán)重衰減
DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用4.7網(wǎng)絡(luò)正則化丟棄法(DropoutMethod)
DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動駕駛應(yīng)用4.7網(wǎng)絡(luò)正則化循環(huán)神經(jīng)網(wǎng)絡(luò)上的丟棄法(DropoutMethod)當(dāng)在循環(huán)神經(jīng)網(wǎng)絡(luò)上應(yīng)用丟棄法,不能直接對每個時刻的隱狀態(tài)進(jìn)行隨機丟棄,這樣會損害循環(huán)網(wǎng)絡(luò)在時間維度上記憶能力變分Dropout根據(jù)貝葉斯學(xué)習(xí)的解釋,丟棄法是一種對參數(shù)θ的采樣每次采樣的參數(shù)需要
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 小動物流行病知識競賽考試題庫300題(含答案)
- 2025年新型電力系統(tǒng)(配電自動化)職業(yè)技能競賽參考試題庫(含答案)
- 2025年安徽省職教高考《語文》核心考點必刷必練試題庫(含答案)
- 2025年桂林山水職業(yè)學(xué)院高職單招職業(yè)技能測試近5年??及鎱⒖碱}庫含答案解析
- 2025年昆明幼兒師范高等??茖W(xué)校高職單招職業(yè)技能測試近5年??及鎱⒖碱}庫含答案解析
- 2025年新疆建設(shè)職業(yè)技術(shù)學(xué)院高職單招語文2018-2024歷年參考題庫頻考點含答案解析
- 中班冬季主題活動策劃方案五篇
- 全新合同式環(huán)保管家服務(wù)下載
- 食品銷售代理合同范本
- 商品房買賣合同預(yù)售
- 蘇教版四年級數(shù)學(xué)下冊第三單元第二課時《常見的數(shù)量關(guān)系》課件
- 浙江省臺州市2021-2022學(xué)年高一上學(xué)期期末質(zhì)量評估政治試題 含解析
- 中國高血壓防治指南(2024年修訂版)解讀課件
- 2024年浙江省中考科學(xué)試卷
- 初三科目綜合模擬卷
- 2024年全國高考新課標(biāo)卷物理真題(含答案)
- 勞動合同薪酬與績效約定書
- 足療店營銷策劃方案
- 學(xué)校安全一崗雙責(zé)
- 交通工程公司乳化瀝青儲油罐拆除工程安全協(xié)議書
- YS/T 441.1-2014有色金屬平衡管理規(guī)范第1部分:銅選礦冶煉
評論
0/150
提交評論