一種新的優(yōu)化機(jī)制：Rain.docx

1、卜計(jì)算機(jī)科學(xué)COMPUTERSCIENCEvwwvjjgoc.ocrnDC®3!O.1iagj<x2D11G0CB2一種新的優(yōu)化機(jī)制Tfemm劉華玲皮常鵬劉夢(mèng)瑤湯新上海對(duì)外經(jīng)貿(mào)大學(xué)統(tǒng)計(jì)與信息學(xué)院上海2D160OLHSLi3&GcL摘要在機(jī)器學(xué)習(xí)領(lǐng)域傳統(tǒng)模型的損失函數(shù)為凸函數(shù)故具有全局最優(yōu)解通過(guò)傳統(tǒng)的梯度下降算法可以求得最優(yōu)解.但在深度學(xué)習(xí)領(lǐng)域由于模型函數(shù)的隱式表達(dá)及同層神經(jīng)元的可交換性其損失函數(shù)為非凸函數(shù)傳統(tǒng)的梯度下降算法無(wú)法求得最優(yōu)解吏是較為先進(jìn)的SGDM45SC電由月MAQ等優(yōu)化算法也無(wú)法逃脫局部最優(yōu)解的局限性靠收斂速度上雖然己經(jīng)有很大的提升但仍不能滿足現(xiàn)實(shí)需求.現(xiàn)

2、有的-系列優(yōu)化算法都是針對(duì)己有優(yōu)化算法的缺陷或局限性進(jìn)行改進(jìn)優(yōu)化效果有些許提升如對(duì)于不同數(shù)據(jù)集的表現(xiàn)不一致文中提出一種新的優(yōu)化機(jī)制該機(jī)制結(jié)合深度神經(jīng)網(wǎng)絡(luò)中的機(jī)制并融入到優(yōu)化算法上得以實(shí)現(xiàn).該機(jī)制并不是原有優(yōu)化算法的改進(jìn)版而是獨(dú)立于所有優(yōu)化算法的第三方機(jī)制但可以和所有優(yōu)化算法搭配使用從而提高其對(duì)于數(shù)據(jù)集的適應(yīng)性.該機(jī)制旨在對(duì)模型在訓(xùn)練集上的表現(xiàn)進(jìn)行優(yōu)化測(cè)試集上的泛化問(wèn)題并不作為該機(jī)制的關(guān)注點(diǎn).文中利用和FM兩個(gè)模型搭配5種優(yōu)化算法,分別在Req和Mcgnw兩個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)垢果表明頊口入g機(jī)制的模型在訓(xùn)練集上的損失函數(shù)值明顯減小5.收斂速度加快，但其在測(cè)試集上的表現(xiàn)與原模型相差無(wú)幾卸泛化性較差

3、.關(guān)鍵詞探度學(xué)習(xí)就化算法gjafc機(jī)制專v機(jī)制攻斂速度中圖法分類(lèi)號(hào)-TP991bfevCFtimKMxjnMeeHnKn聯(lián)ainTheIzsErfErctisncfltetEscftBsrditeeMiattfdcfTnsdiTe«>fchEsafJiF<sddticrxTHecjdtinszttSzyiaanbecfcfcTBcHtroLvthB'tEacitijTF4aAeuer-the_fdcfcbDfeEnnr<±crtDlt3BicOtt;nuU.二！iJILl盲ludu住日土.-dicrro匚i)tltziSErrefeGr4tek&a

4、mp;eErrtiDnroonu&c_lErrtizn.Hracftizrrfgecfacfe833rtyftbrrs<3aTctf»nd_tteqdti7sdstian«uan_tt?erroeadGvaToedQdtBrinyitTnsajdnaBSCjDMcfemRMjrcaTTdteacqcettTeslJGtiors.heBkBEnGdti/iTproued4h/SIcErrciLmadt=tteactLnssck.AsBrfescfargcitwr»£t»nritbmsaorrprouGdhRmdonrtjhecfef

5、e±scr-fcTftOTBcf=WhBproJc>_ecyJftrKEtiznsncrtheodtirrnGfiznBTyouedixfcttepoarnTaxecFcWfeQ-tzcHaadtsMHocrfetertTFfcatifepjcpKBesanei/vfoadTeue；THbrredTaTerjsndtLanTprousdx>asfcjncf:ttecHQhdl.Kz.artt»xflycert<madnaTBriinoparcfartzcfHqdt>7wizr)3<trns4oL±JtjGanbeLSBdiacrrti

6、Etia-iwAtieflcjdtBrfcEiiarBtrnstDBTTOweftsacdtcS"ttocttasdts.Utsmodha-fenewrsrtDcidtwrfeEfttepEHoTraTOExfthBrTcnMonrthEfteisdtllTBrofeianFTtJcfcmcothErteFtf<<-七ndLlt。fcDLS<JRtismacha-fem."TkfcartizfeusGSCbz>OceBrandFM-twz>mooAdtTf>uecjJt>TiEiz>)Gr>imTGrtoacr<&

7、#177;idb&$2awT»-ts<Dn-theFtqceandMoujaneThereskJtsncw-ttrtherrooHIvxAtvthetidtaspar&rnaTOBcrTtttedtsdbfeTcdtttesaTieaEfecrrfmocHbrf«=A=：rr»?=fcF*w-r-ifepaor:KcwjtcfeOtncvtrnadra-fe-n4HrrttkafanOrxopnoBcBsd通信作者我常蹈冬芬1750189鹽口erm機(jī)器學(xué)習(xí)<Mad-re對(duì)能通過(guò)自動(dòng)改進(jìn)的計(jì)算機(jī)算法的研究13:1姻俗來(lái)講毗計(jì)算機(jī)從數(shù)據(jù)中進(jìn)

8、行自動(dòng)學(xué)習(xí)制到某種知識(shí)（或規(guī)律-在最早期幾器學(xué)習(xí)被稱為模式識(shí)別直到2。世紀(jì)5。年末,'機(jī)器學(xué)習(xí)二詞才被提出來(lái).隨著機(jī)器學(xué)習(xí)技術(shù)的應(yīng)用越來(lái)e)nj80201004060epochuzalo-al-022£2OSGD今A<hmOAdnm*Rjun個(gè)RMSprop9RMSpropRain。AdagradOAdagrad*R>inOSGD*RainOSGDMOSGDMg20S04060epoch100-SqaB_FM_'Trs»Lx3HFi圖5FM模型在Rv©上的訓(xùn)練集損失曲線及損失值減小量曲線F.5TraHrRsdtfcEEOLieanciF

9、MrrocHIonRarefi«%-rtroL*«a70£a504a302al2-EM。AdamOAdam，Ruin。RMSprop9RMSprop4Ruin。Ad&grad0AdarAdRainOSGD0SGD*IUinOSGDMSGDMRAMactivate(Rain)1003QK's'y。Adam0AdamRain-9-RMSprop9RMSprop，RainOAdagrnd0A(Uftnid*RAinOSGD0SGD»RninOSGDM。SGDMMm100圖6峰>6巨模型在日林口上的訓(xùn)練集損失曲線及損失值減小由曲線F

10、.6Ir-w-gsdttHscrj-eaTdfcHsx-erecLdfcnoLrecf3!rrooHIonFtqce表3gRS數(shù)據(jù)集上優(yōu)化模型的性能對(duì)比F2fe3GtrrpjHHcy-icfcyJtwrKdmocHperfo-mEroBcnc±±asdt.on位必優(yōu)化器FMxmciL：XOVLt：KJDVJCAzfem+Ftwn91.1C8420.260687.605735.3728SD.5BD48.8615RM9cp>+F-i2D.lienQD.SGB99B.K691.QB19QD.QBQ5SD/2777.3SB1SD.7775R.0D1577.906585.SG6

11、6"Z2.1CBOSGD+R»iB.ZZ347.517.5182.CEB8se.1589R.81SGDM+FH6isax布.919157.370320.9339-K3D.CCOOSD.SE27平均布.'Z329明.05442.3332.8D.571895.63J786.5068值得注意的是在兩個(gè)數(shù)據(jù)集上原模型的訓(xùn)練損失曲線和損失值減小量曲線都是光滑的如加入8機(jī)制模型的兩種曲線都是震蕩的出不過(guò)在Mcgo數(shù)據(jù)集上震蕩較小.在斤宥祚數(shù)據(jù)集上震蕩較大-對(duì)于這種現(xiàn)象Jk文未做更深入的研究-表4列出了優(yōu)化模型在測(cè)試集上的RM壬以看出加入行機(jī)制的模型和原模型的測(cè)試集效果相差不大&

12、#39;說(shuō)明加入M機(jī)制并不能很好地解決泛化性的問(wèn)題-如何解決21機(jī)制的泛化性問(wèn)題是后續(xù)研究的重點(diǎn)-表4優(yōu)化模型測(cè)試集的RMSETzfcARMcFthBcydAviaBdmo(±fl1c£bj9el=.MoufeLongcptinccZctem,.一，整0.2222fVW0.1814L-4JL|_V-*Uek>0.2841nvr0.2411Acfem+FH0.2135O.1S750.2944O.2M9RMS=¥c|：0.22460.1844O.2B370.2492RMSR>+Fi0.2219O.19D80.28350.280.23350.1006O.29

13、B2o.aesZk±t?xi+Rjr'i0.22320.18280.28430.2455SGD0.26770.21140.32700.25779GD+F->0.23060.19160.29720.2605SGDMO.3JB20.20540.332402538SCX2>M+Fi0.26260.23270.29380.2527結(jié)束語(yǔ)加入做人機(jī)制的模型靠訓(xùn)練集上損失函數(shù)的收斂速度大大加快并旦收斂值更小但是該結(jié)果是通過(guò)增加子模型的數(shù)雖來(lái)獲得的因此其參數(shù)數(shù)量成比例的增長(zhǎng)優(yōu)化的時(shí)間復(fù)雜度也成比例的增長(zhǎng).如何平衡時(shí)空復(fù)雜度和損失函數(shù)值下降速度成為了非常重要的問(wèn)題木文未對(duì)該問(wèn)題做

14、進(jìn)一步探討-但從實(shí)驗(yàn)結(jié)果上看懷實(shí)驗(yàn)在機(jī)制的基礎(chǔ)上初始化了5個(gè)子模型帝25個(gè)qxxK就達(dá)到了原模型10O1、中h的效果貞然看似這種犧牲時(shí)空復(fù)雜度換取的損失函數(shù)值下降速度的措施是并不值得的如是加入機(jī)制的模型在最低損失函數(shù)值上遠(yuǎn)低于原模型從損失值減小量曲線中可以看出損失值的進(jìn)一步降低并不是靠訓(xùn)練時(shí)間就可以獲得的封此機(jī)制在最低損失值上的表現(xiàn)是不可比擬的-從多個(gè)模型、數(shù)據(jù)集、優(yōu)化算法上的實(shí)驗(yàn)可以看出機(jī)制具有強(qiáng)大的可移植性_通過(guò)實(shí)驗(yàn)可以發(fā)現(xiàn)-些問(wèn)題這也為未來(lái)研究指明了方向-G>11何平衡時(shí)空復(fù)雜度和損失函數(shù)值下降速度的問(wèn)題-機(jī)制的優(yōu)化效果顯著如泛化能力不強(qiáng)加何提升其泛化能力成為了亟需解決的問(wèn)題.數(shù)據(jù)

15、集上功口入機(jī)制后刀同的模型、優(yōu)化器組合都出現(xiàn)損失值下降振幅過(guò)大的問(wèn)題初步猜想是由于Eg數(shù)據(jù)集異常值過(guò)多的原因俱體原因需要進(jìn)一步研究.若確實(shí)是由于數(shù)據(jù)異常值過(guò)多但在原模型中卻未出現(xiàn)該現(xiàn)象是否可將加入尋機(jī)制的模型作為判斷數(shù)據(jù)集優(yōu)良的一個(gè)標(biāo)準(zhǔn)可做進(jìn)一步思考-。為入M機(jī)制的模型在兩個(gè)數(shù)據(jù)集上都出現(xiàn)了損失曲線震蕩現(xiàn)象但原模型的損失仙線卻是光滑的該現(xiàn)象的具體原因需要進(jìn)一步探討.前M機(jī)制采用的是固定時(shí)間間隔召集分派的方法在召集的過(guò)程中直接略過(guò)了很大的參數(shù)群考慮是否可以采用逐步靠近的方法從而盡可能降低直接略過(guò)較優(yōu)參數(shù)組合的可能性-前機(jī)制完全依賴模型中Ocjncuii機(jī)制的隨機(jī)性世J了提高8機(jī)制的泛化性是否可以

16、彌補(bǔ)這一缺陷也值得思考.參考文獻(xiàn)E3MITCHELl-rOMM.MedHrterw；CmZIMcOxa-Oi*TSO7.員S»_XRD4HUANGAJADCEONC.MatoitheTecv<aticbona_rsdlndtwzt+sa-citreeseacKLil3D16，.t££Xzd87z®Q®0._B3HUANGY4JUDYJHUANGK氏m.CXofe/v6ate口JGAAI"Timoi2019iS>ca9.&CSUYP.ndfcOTtaTdcta3feariWK/nMEd-wneWsE-aZED.&am

17、p;DAUPH1MYPASCANURZ3ULCEHREC<mje<c|dt>TKtkjnLjJAzLaoesSNsltsJS-fcTTEtiaFcGass»ribems2D1427.&LEQVJMC3ZM7IJODZTACHcjdfrriiyirreitocfefc-ch>femnrfc3SarxiKrElCtrfeoTaso»MarHreLeaTTrg.2D11.已JRUDERS.Anou»xcwcscfocfemEr-tLCflvrKEticr-irabrnUzQaDIG.felYOU90FFSNMSAHARTJAwAEDULL

18、AHA.Arfewcnt»rwmdttxadi-iW«dldlajIOTFEMBSCtrfroxeonEfcrrecfcrfrrxyi-.andStiyoeB2D17.FLETCHERR.rrtHocfccrKlirijiQlUjLrrrfcF"theFtseack-iSncrlvSDV33376OlJNOUzOALJ.Utxrjpr<4UBd3netA*onmriassfc-rftadcFCtrrpMti>n-H9BD35C1517Z3S782-SBlJGOYALPDOLLARPO=KHK2KR土4.ftr-errw-irfdnlntTrg；iTDn

19、dtin1Hxr-CIQAJt5.CE6772DT7.一s-sEz3I_C6HCH1_OVIHUTTERF.ScFStadrifcracfetsasrtvUttivamredtatsEO/I-tomrfDjbHtCtrfeenaecyiZrtgLfclf，rt3B.2316.DUCHIJJdZZANELINGERY.AMs-tacfe-trrttG<Mad-reLsarwFtseatiSDII1443TE-EMANTJ-UhTTONG.LtkIuo6.33172,arcr»Trgcfitsmos-trrEAi-cfeloHCOURSERAMarircsLfiar.2312.ZH

20、LERDM.IdterrEtizrEiJtS-tCtrferoecnA*giIltL_pur2312.G61G®XNN.Orttnenxxna-tLrnlrninacfe-tLctesaa-tLfearw目gTtTYsQlNaHhfetwJSGOJ2<3)=1432151.B"71h'STEROV'iK.trt±ftktjcfefcjrmh/tetbenMFRaarrr»；2D134<Xd>125561.B81SLrra<EVERIARTEMSJJDAHLGOvttvsirpoQlaoscfv-dKfcEikyan

21、dmcmaLmch2>feainrg(c3KStorstBsndCty-ftoxKscnMacHroLxjErrnr.2D13.felRAS3ANURMXOLOVT£EN(3DY.c«kx>vbtcrrfcrrfCtrfecmeonMatf-wTeLaaTTrg；.2D13.K1NGMADZtfen4rr或cjU后dtod匚-JDJsrz=Mn2.eeBD2D14.21RH3CT：SJJ<ALES4<UMARS.OvttoocrxroDcfefanaTJbecndEiFxaoHedrjcftheS-torijTdlCtrfeoToecnLaarnrg

22、F»®HEy-tUon6.2D19.fellLJJOl_>»DNGY4JHJYetlsafetrrtftrxfeaA£icAnarfchoLTTdcffeaTTrrteRxjaaHciTcFtteliGtonrfizrCtj-feonoecnLear>->3EFresBiz>nB.aD19.&33ZHANGMR4JJQASUJH1NTONGtsdi.LochedcfJtvnGJjbacRlCLJRxMJHecFxcfltTBNacrLBJl_JZXNGHJHEPL.OmhevawT®cFttTeacM»

23、«efeErrwtstesrcibcnd(C3FRaoaacS-cFtteHarrtizrElfelRUMQ_HARTDEHBSTTONGEA/VM_UAMSRJ.Ltw-rrteBETtijnBbecK<y<yr>orosLLlIbLre-1966.felHW4TONGES=®v7XSEAVANJ<F1ZHEVSKYAchtedtosCllCtnxvtoOTae2D123。212223.&7JFEMDLJESFrfcrtofcnrrerW-esEO/TFFFXt»rx3tk>-dCtrisrenaBO-i.felSHANY4

24、4OENSTRJAOCocra»-g；=VVdd&=femoo®v>Jttcx±irrerAoifedcrTrtiTEtoia-fedti-tsIC-!22hidADMSK3KEDJrtBvxCt>feo&.2D16.1291XIAOH4HEX<1函1=二LfiwHrxttevMe%4ticrTfeaL>eidadtKinBv»ndtGMoi>sE0/26*X*torB7JtA-tCtrfeenaeonZMKziKslijinae.23T7.OLJLJILtGlirief'kiBri«-i1

25、964-4=h.Dx<GfeaaorUs-rriresaatdbiiteredts»i3dLcfeo<cv_oidtadtfc>ncHarnHrg-andK&tel_fru«JL4ilLM|_ptirrvyiG、/FlCltr低Rig43cmin1906q曳cL.l-fcrasaacKit&edtsdximscHhefaarvjzfaqoIgaTnrg;andssTTadfcraacQTMan.&i6fearv-<=itad-EdiDcrtBinEdkv-iIjZljbLrrrfcf越廣模式識(shí)別己經(jīng)逐漸被機(jī)器學(xué)習(xí)這一概念所替代

26、.深度學(xué)習(xí)是機(jī)器學(xué)習(xí)發(fā)展過(guò)程中的一個(gè)分支由于具有強(qiáng)大的非線性擬合能力其開(kāi)始慢慢演化為一個(gè)新的研究領(lǐng)域.深度學(xué)習(xí)在發(fā)展中也經(jīng)過(guò)了兒次比較大的發(fā)展浪潮815年,使用深度學(xué)習(xí)方法在圍棋比賽中擊敗了歐洲圍棋冠軍財(cái)J1I此深度學(xué)習(xí)的影響更加廣泛_比較機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法哪種更好是沒(méi)有意義的，因?yàn)閮煞N方法看待問(wèn)題的角度是不同的.機(jī)器學(xué)習(xí)很少進(jìn)行特征變換或只能依靠上游處理來(lái)進(jìn)行特征的變換3業(yè)就是說(shuō)它的模型訓(xùn)練和特征變換是獨(dú)立的并旦特征變換往往需要手動(dòng)解決對(duì)先驗(yàn)知識(shí)依賴程度很大.深度學(xué)習(xí)通過(guò)其網(wǎng)絡(luò)結(jié)構(gòu)來(lái)執(zhí)行端到端曰PR勺學(xué)習(xí)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)特征變換并旦這種特征變換往往是深度的ME線性的其面臨的問(wèn)題變?yōu)槿绾卧O(shè)計(jì)一

27、個(gè)好的網(wǎng)絡(luò)結(jié)構(gòu).從手動(dòng)特征變換到設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)是機(jī)器學(xué)習(xí)到深度學(xué)習(xí)看待問(wèn)題角度的變化.深度學(xué)習(xí)基于其非線性擬合特性具有非常強(qiáng)的表達(dá)能力但是將深度學(xué)習(xí)應(yīng)用到機(jī)器學(xué)習(xí)領(lǐng)域仍然面臨著一些難題怎些問(wèn)題主要分為兩大類(lèi)耽化問(wèn)題和泛化問(wèn)題四-本文主要討論優(yōu)化問(wèn)題-常用的損失函數(shù)為QGI損失函數(shù)、平方損失函數(shù)和交叉嫡損失函數(shù).在機(jī)器學(xué)習(xí)中平方損失函數(shù)和交叉炳損失函數(shù)是凸函數(shù)CEI損失函數(shù)由于不可微固此也常常由平方損失函數(shù)和交叉燔損失函數(shù)所替代-常用LJ和L2正則項(xiàng)是仿射函數(shù)也是凸函數(shù).為了充分利用凸優(yōu)化中一些成熟高效的優(yōu)化方法很多機(jī)器學(xué)習(xí)方法都傾向于選擇合適的模型和損失函數(shù)#以構(gòu)造一個(gè)凸函數(shù)作為優(yōu)化目標(biāo)即_在機(jī)

28、器學(xué)習(xí)中最簡(jiǎn)單和常用的算法是梯度下降方法借助凸函數(shù)的特性以優(yōu)化問(wèn)題能得到很好的解決一深度學(xué)習(xí)的優(yōu)化問(wèn)題是非常復(fù)雜的.首先由于模型函數(shù)的隱式表達(dá)及同層神經(jīng)元的可交換性其損失函數(shù)為非凸函數(shù)找到全局最優(yōu)解很困難.其次應(yīng)于參數(shù)規(guī)模、訓(xùn)練數(shù)據(jù)數(shù)量巨大無(wú)法使用計(jì)算代價(jià)很高的二階優(yōu)化方法而-階優(yōu)化方法訓(xùn)練效率又很低.最后深度學(xué)習(xí)存在梯度消失和梯度爆炸的問(wèn)題導(dǎo)致基于梯度的優(yōu)化方法經(jīng)常失效在低維參數(shù)空間中非凸優(yōu)化問(wèn)題的主要難點(diǎn)是如何選擇初始化參數(shù)和逃離局部最優(yōu)解在高維參數(shù)空間中非凸優(yōu)化的難點(diǎn)在玄夕I何酒離鞍點(diǎn)通過(guò)在梯攜方向須入機(jī)性可以有致地逃離鞍出面-針對(duì)深度學(xué)習(xí)優(yōu)化I可成鹽要的經(jīng)驗(yàn)性改善方法有使用更有效的優(yōu)化

29、方法吏用好的參數(shù)初始化方法和通過(guò)數(shù)據(jù)預(yù)處理方法、修改網(wǎng)絡(luò)結(jié)構(gòu)來(lái)得到更好的優(yōu)BdLTcf2'-傳統(tǒng)的梯度下降E算法*每個(gè)參數(shù)的學(xué)習(xí)率都設(shè)為-樣的初始值并且參數(shù)更新時(shí)對(duì)應(yīng)的學(xué)習(xí)率并不更新這種方法不能考慮到參數(shù)的特殊性因而造成損失函數(shù)收斂速度慢.心算法是一種自適應(yīng)學(xué)習(xí)率的方法拄參數(shù)更新時(shí)它給予每個(gè)參數(shù)不同的學(xué)習(xí)率該給予方式是基于其偏導(dǎo)數(shù)累積值決定的.由于參數(shù)偏導(dǎo)數(shù)累積值隨著時(shí)間累枳到很高時(shí)該參數(shù)學(xué)習(xí)率接近于。成而該參數(shù)不能進(jìn)行學(xué)習(xí)更新.深度學(xué)習(xí)網(wǎng)絡(luò)損失函數(shù)也不能收斂該問(wèn)題被稱為學(xué)習(xí)率的早衰減問(wèn)題-為了解決心E算法中學(xué)習(xí)率的早衰減問(wèn)題被提出來(lái)將算法中偏導(dǎo)數(shù)累積方式變成了指數(shù)衰減移動(dòng)平均方式有效

30、解決了學(xué)習(xí)率的早衰減問(wèn)題-同樣是針對(duì)心Xd算法中學(xué)習(xí)率的早衰減問(wèn)題A:比4由不僅采用了指數(shù)衰減移動(dòng)平均而且考慮參數(shù)的平方值以完全擺脫學(xué)習(xí)率可根據(jù)歷史參數(shù)更新數(shù)據(jù)和當(dāng)前計(jì)算的梯度來(lái)更新參數(shù)是在梯度下降算法上引入了一階動(dòng)量因子對(duì)某個(gè)參數(shù)與當(dāng)前的梯度方向和最近一段時(shí)間內(nèi)的梯度方向是否一致起到參數(shù)更新幅度增大、減小的作用.使參數(shù)更新更加穩(wěn)定-A町迥算法將RKG§十和動(dòng)量因子結(jié)合起來(lái)卷合考慮到了學(xué)習(xí)率調(diào)整和梯度估計(jì)修正兩種優(yōu)化方式快速訓(xùn)練的特性使其成為了許多深度學(xué)習(xí)框架的默認(rèn)優(yōu)化方法文獻(xiàn)巨寸心m算法進(jìn)行了強(qiáng)烈抨擊指責(zé)其存在可能不收斂和可能收斂到次優(yōu)解兩個(gè)問(wèn)題才對(duì)其缺陷進(jìn)行修正眺出了AMSXd算

31、法一上述自適應(yīng)算法都是比較主流的優(yōu)化算法它們有兩個(gè)相同的特點(diǎn)在訓(xùn)練開(kāi)始時(shí)收斂很快泛化性不夠好.而傳統(tǒng)的梯度下降算法和SGDM雖然收斂速度比較慢但其泛化性很好.為了解決這個(gè)問(wèn)題和AMSdrc/50被提出宅們分別是Azfan和的變體-這兩個(gè)變體在Azfan和AMSOad算法的學(xué)習(xí)率上使用動(dòng)態(tài)邊界歹T以看成訓(xùn)練升始時(shí)的自適應(yīng)方法隨著時(shí)間平穩(wěn)地轉(zhuǎn)換為SGDM這樣能保證正的方法有二AzfemS七七七AMS2化地形等-本文主要介紹優(yōu)化方法-深度學(xué)習(xí)中對(duì)于不同的數(shù)據(jù)與模型最適合的優(yōu)化方法是不同的曰-常用的優(yōu)化方法又可以分為兩類(lèi)h階優(yōu)化方法和二階優(yōu)化方法二階優(yōu)化方法考慮了損失函數(shù)的二階導(dǎo)數(shù)信息訓(xùn)練效率更高如牛

32、頓法、共鈕梯度法算法囹山3EFGS算法03等以隨機(jī)梯度下降有更快的收斂速度曰-由于深度學(xué)習(xí)中參數(shù)數(shù)量、訓(xùn)練數(shù)據(jù)數(shù)量巨大耽法使用計(jì)算代價(jià)很高的二階優(yōu)化方法經(jīng)常會(huì)使用計(jì)算代價(jià)較低的一階優(yōu)化方法.常用的一階優(yōu)化方法都是在梯度下降方法上進(jìn)行改進(jìn)JT以分為3類(lèi)n潮整學(xué)習(xí)率吏得優(yōu)化更穩(wěn)定了2)梯度估計(jì)修正尤化訓(xùn)練速度合學(xué)習(xí)率調(diào)整和梯度估計(jì)修正保證優(yōu)化的穩(wěn)定性和快速性.調(diào)整學(xué)習(xí)率的方法主要有二學(xué)習(xí)率衰減、學(xué)習(xí)率預(yù)熱13口、周期性學(xué)習(xí)率調(diào)整口以及一些自適應(yīng)調(diào)整學(xué)習(xí)率的方法田只MAkj'出問(wèn)-梯度修正的方法主要包括響、cz加速梯度13力、梯度截?cái)?3企等-組合學(xué)習(xí)率調(diào)整和梯度修訓(xùn)練開(kāi)始時(shí)速度較快訓(xùn)練結(jié)束

33、時(shí)泛化能力較好-LegGSr/E在不改變優(yōu)化器的基礎(chǔ)上。用兩套權(quán)重進(jìn)行參數(shù)更新攻驗(yàn)表明我算法具有很好的優(yōu)化效果-%敞湘使用學(xué)習(xí)率預(yù)熱13口的方法來(lái)解決Aztar,容易收斂到局部最優(yōu)解的問(wèn)題司時(shí)前期采用SGDM算法進(jìn)行訓(xùn)練-上述所有的優(yōu)化算法都有一個(gè)共同的特點(diǎn)針對(duì)先前的優(yōu)化算法的缺陷或局限性進(jìn)行改進(jìn).本文提出了一種新的優(yōu)化機(jī)制心打破算法改進(jìn)的傳統(tǒng)頊&過(guò)建立第三方機(jī)制.配合原有的優(yōu)化算法進(jìn)行優(yōu)化訓(xùn)練.該機(jī)制避開(kāi)了深度神經(jīng)網(wǎng)絡(luò)中一階優(yōu)化和二階優(yōu)化方法直接改進(jìn)的優(yōu)化思路選擇一種優(yōu)化器隨機(jī)初始化若干組模型參數(shù)組合子模型利用深度神經(jīng)網(wǎng)絡(luò)中g(shù)xzit機(jī)制的隨機(jī)性間隔一段時(shí)間進(jìn)行召集分派搜索-本文利用

34、和FM兩個(gè)模型罪配5種優(yōu)化算法分別在日8。和Mc&qw兩個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)盤(pán)果表明功口入機(jī)制的模型在訓(xùn)練集上的損失函數(shù)值明顯減小且收斂速度加快但其在測(cè)試集上的表現(xiàn)與原模型相差無(wú)幾出II泛化性較差-本文的主要?jiǎng)?chuàng)新和貢獻(xiàn)有以下幾點(diǎn)-G為往的優(yōu)化算法的改進(jìn)都是針對(duì)先前某個(gè)優(yōu)化算法的缺陷或局限性進(jìn)行改進(jìn)-本文提出的口!機(jī)制是一個(gè)獨(dú)立于所有優(yōu)化算法的第三方機(jī)制它可以與所有優(yōu)化算法搭配使用眺高了對(duì)數(shù)據(jù)集的適用性-。規(guī)過(guò)實(shí)驗(yàn)問(wèn)以發(fā)現(xiàn)該機(jī)制的優(yōu)化效果明顯提升北對(duì)于兩個(gè)模型5個(gè)優(yōu)化算法都有很強(qiáng)的遷移性-M過(guò)對(duì)主流優(yōu)化算法研究思路的梳理虢出建立第三方機(jī)制的想法為廣大研充者提供了研究新思路-2深度學(xué)習(xí)常用優(yōu)

35、化算法自適應(yīng)調(diào)整學(xué)習(xí)率就是針對(duì)每個(gè)參數(shù)設(shè)置不同的學(xué)習(xí)率使每個(gè)參數(shù)都以合適的學(xué)習(xí)率收斂到穩(wěn)定值.隨機(jī)梯度下降方法中每次迭代的梯度估計(jì)方向和整個(gè)訓(xùn)練集上的最優(yōu)梯度方向并不一致具有一定的隨機(jī)性可通過(guò)梯度的修正來(lái)提高優(yōu)化速度-實(shí)踐中常用的優(yōu)化算法有梯度下降E0OGDM節(jié)對(duì)這些算法進(jìn)行詳細(xì)的討論_2.1梯度下降深度學(xué)習(xí)的優(yōu)化問(wèn)題是使目標(biāo)函數(shù)式G*到最小其中N是樣本數(shù)目d表示樣本序號(hào)猊每個(gè)樣本關(guān)于參數(shù)0的損失值淀總體樣本損失值.算目漏嬲堿隅嘛踐臆嫩翻臆髀降法、批最梯度下降法.2.1.1標(biāo)準(zhǔn)梯度下降法標(biāo)準(zhǔn)梯度下降是每次參數(shù)更新都要計(jì)算所有樣本的損失值如式=所示-因?yàn)槊看味枷蜃顑?yōu)的方向更新參數(shù)所以收斂速度快.

36、但因?yàn)槊看胃滦枰?jì)算整個(gè)數(shù)據(jù)集的損失，對(duì)于一段時(shí)間內(nèi)梯度的加權(quán)平均值對(duì)某個(gè)參數(shù)當(dāng)前的梯度方向和最近一段時(shí)間內(nèi)的梯度方向不一致時(shí)其真實(shí)的參數(shù)更新幅度會(huì)變小相反當(dāng)兩者梯度方向一致時(shí)其其實(shí)的參數(shù)更新幅度會(huì)變大起到加速作用.一般而擊在迭代初期兩者梯度方向一致動(dòng)量起到了加速作用加快了收斂速度.但在迭代后期因?yàn)殡S機(jī)性等因素兩者梯度方向不一致參數(shù)會(huì)在收斂值附近震蕩此時(shí)動(dòng)量可以起到減速的作用增加秘定性-ru=i7Trit-iqVLq_i,=ot+mmo=O其中表示動(dòng)量因子頊a常設(shè)為o.q-2.3/VtClrrl在梯度下降算法中每個(gè)參數(shù)每次迭代時(shí)都擁有相同的學(xué)習(xí)率但實(shí)際情況為每個(gè)參數(shù)維度上的收斂情況都不相同，

37、因此需要根據(jù)不同參數(shù)的收斂情況分別設(shè)置.學(xué)習(xí)率-如式示不心XI算法中Jill果某個(gè)參數(shù)的偏導(dǎo)數(shù)累積比較大其學(xué)習(xí)率相對(duì)較小相反如果其偏導(dǎo)數(shù)累積較小其學(xué)習(xí)率相對(duì)較大.但整體是隨著迭代次數(shù)的增加學(xué)習(xí)率逐漸縮小-心XI算法的缺點(diǎn)是若經(jīng)過(guò)一定次數(shù)的迭代依然沒(méi)有找到最優(yōu)由于這時(shí)的學(xué)習(xí)率已經(jīng)非常小很難再繼續(xù)找到最優(yōu)點(diǎn)-1j=>1一、乏c信C>j=°其中V.LOt-.表示第L-1次迭代的損失值對(duì)參數(shù)S的梯度包與義表示第t次迭代時(shí)參數(shù)們的值二n表示初始學(xué)習(xí)率$是為了保持?jǐn)?shù)值穩(wěn)定性而設(shè)置的非常小的大數(shù)據(jù)集義是不可接受的”計(jì)算起來(lái)非常慢-常數(shù)廣般取值為。強(qiáng)蛆一化_Ol=Ol_i其中F表示學(xué)習(xí)率

38、土表示迭代次數(shù)序號(hào),V.L示次于0的梯度一2.1.2隨機(jī)梯度下降法與標(biāo)準(zhǔn)梯度下降法不同的是隨機(jī)梯度下降法每次只輸入一個(gè)樣本值計(jì)算損失值與梯度世行參數(shù)更新項(xiàng)11式有示.雖然其計(jì)算效率得到了很大的提升但因?yàn)槊看螀?shù)更新不一定沿者最優(yōu)的方向進(jìn)行所以其收斂速度會(huì)比較慢.0t=0L_|-n滅。引。<3>2.1.3批量梯度下降法批量梯度下降法綜合了標(biāo)準(zhǔn)梯度F降法和隨機(jī)梯度下降法的優(yōu)點(diǎn)每次只利用一小批樣本即對(duì)多個(gè)樣本進(jìn)行梯度下降計(jì)算力I式。有示一這樣一方面可以降低參數(shù)更新時(shí)的方差收斂更穩(wěn)定坊一方面可以充分利用深度學(xué)習(xí)庫(kù)中高度優(yōu)化的矩陣操作來(lái)進(jìn)行更有效的梯度計(jì)算-01=011-。V，L<U,

39、_n<4->2.2S3DM是在梯度卜.降法的基礎(chǔ)上引入了動(dòng)量5如式示-每個(gè)參數(shù)的實(shí)際更新差值取決最近2.4針對(duì)心XI算法中學(xué)習(xí)率在不斷下降以至于出現(xiàn)過(guò)早衰減難以繼續(xù)找到最優(yōu)點(diǎn)的I'可題研究者們提出了RMG算法也是一種自適應(yīng)學(xué)習(xí)率方法項(xiàng)II式O胡i示-gj-i=)V】=aV._1J+6a一1QFlJ=0u-14-10-1j6=o九+£vbt其中皿是衰減率h般取值為0.9-從式AN可以看出算法和算法的區(qū)別在于將V,的計(jì)算由累積方式變成了指數(shù)衰減移動(dòng)平均.在迭代的過(guò)程中每個(gè)參數(shù)的學(xué)習(xí)率并不是呈衰減趨勢(shì)既可以變小也可以變大-2.5 AimAzfan算法綜合了算法和動(dòng)量。余

40、了像RM3AP-樣儲(chǔ)存過(guò)去梯度平方的指數(shù)衰減平均值外也儲(chǔ)存了像動(dòng)量一樣的過(guò)去梯度的指數(shù)衰減平均值如式Oi示-國(guó)T】=V(1.L<Ot_1>VU=aVl-1】+Ga2)-1Q<>,+一8«-ii但泛化能力卻大大減弱.針對(duì)這兩個(gè)問(wèn)題似乎損失函數(shù)值1-aiAti_rrv1-PVbw=OJTlOj=O速度更低的損失函數(shù)值對(duì)于訓(xùn)練集上的泛化問(wèn)題未作更多的考慮-常用的優(yōu)化算法建過(guò)隨機(jī)初始不考慮預(yù)訓(xùn)練-個(gè)模型參數(shù)組合來(lái)迭代搜索最優(yōu)的參數(shù)配置組合使得損失函數(shù)值達(dá)到最小.但同時(shí)存在一些問(wèn)題在參數(shù)空間內(nèi)極易遇到局部最小值點(diǎn)或鞍點(diǎn)從而導(dǎo)致?lián)p失函數(shù)值下降速度變慢和陷入局部最優(yōu)解.為了

41、加快損失函數(shù)值下降速度并逃離局部最優(yōu)解懷文提出了一種新的機(jī)制機(jī)制_F機(jī)2>fcjEBrtLrEE.其中Qflip分別為兩個(gè)指數(shù)移動(dòng)平均的衰減率航常取值為3EkcjRjuL機(jī)制在機(jī)器學(xué)習(xí)中常常會(huì)因?yàn)閰?shù)過(guò)多訓(xùn)練樣本數(shù)據(jù)過(guò)少而出現(xiàn)過(guò)擬合現(xiàn)象.而在深度學(xué)習(xí)中參數(shù)規(guī)模數(shù)以萬(wàn)計(jì)如此大的參數(shù)規(guī)模很容易造成過(guò)擬合現(xiàn)象若只是簡(jiǎn)申地減小參數(shù)規(guī)模模型訓(xùn)練的效果會(huì)差強(qiáng)人意.解決過(guò)擬合問(wèn)題的方法;一般采用模型集成但同時(shí)該方法會(huì)非常耗時(shí).因此建I對(duì)深度學(xué)習(xí)中的過(guò)擬合問(wèn)題J-frfcnf2O12fr提出了機(jī)制該機(jī)制同時(shí)也是集成模型的一個(gè)典型范例龍很好地解決了集成模型費(fèi)時(shí)的問(wèn)題-該機(jī)制通過(guò)引入超參數(shù)P進(jìn)行運(yùn)作該參數(shù)代

42、表著CVcgk率41其在模型訓(xùn)練階段和測(cè)試階段有著不同的具體含義.如圖1所示在模型訓(xùn)練時(shí)超參數(shù)P表示該層的每個(gè)神經(jīng)元以P概率和下一層神經(jīng)元進(jìn)行連接沒(méi)有被選中進(jìn)行連接的神經(jīng)元失活而在模型測(cè)試時(shí)超參數(shù)P表示該層的每個(gè)神經(jīng)元的權(quán)重乘P傳輸?shù)较乱粚由窠?jīng)元中.值得注意的是每一輪訓(xùn)練每一神經(jīng)元是以概率P被隨機(jī)選擇的上一輪訓(xùn)練失活的神經(jīng)元本輪訓(xùn)練仍可以被激活.本文提出的機(jī)制HE是借助于gaocti機(jī)制的隨機(jī)性才得以實(shí)現(xiàn)-具體的實(shí)現(xiàn)方法見(jiàn)第4節(jié)-模型訓(xùn)練時(shí)3殳型測(cè)試時(shí)圖1機(jī)制訓(xùn)練測(cè)試時(shí)超參數(shù)所代表的不同含義F.lDBfeorreBTrpcf=tthvpe»p0snidter-I*cLrwthe4Ig

43、in機(jī)制梯度下降SGDM具有良好的泛化能力但其損失函數(shù)值下降速度比較慢憤使用的自適應(yīng)優(yōu)化算法RM幸哼Afen然收斂速度得到了大幅提升.制的取名是因?yàn)樗裼曛橐粯涌梢宰詣?dòng)流淌到地面的深洼處,通過(guò)陽(yáng)光蒸發(fā)又可以重新回到水循環(huán)系統(tǒng)中并移動(dòng)到下一個(gè)地點(diǎn)進(jìn)行降落-gjoct機(jī)制的作用是賦予它隨機(jī)性，若沒(méi)有g(shù)xidt機(jī)制韋干了模型參數(shù)在經(jīng)過(guò)第一次召集后將無(wú)法進(jìn)行各自不同的更新-機(jī)制的主要思想見(jiàn)圖2寸莫型表示未開(kāi)始訓(xùn)練的模型我型13表示訓(xùn)練過(guò)程中的子模型我i型表示訓(xùn)練結(jié)束的模型.在不改變?cè)純?yōu)化方法的基礎(chǔ)上隨機(jī)初始化若干個(gè)模型參數(shù)組合（T模型讓它們分別按照自己的優(yōu)化方法進(jìn)行參數(shù)搜索在間隔一定的迭代次數(shù)時(shí)召集

44、所有子模型到損失函數(shù)值最低的子模型參數(shù)組合處卷合gaodz機(jī)制的隨機(jī)性讓它們向不同方向再次搜索循環(huán)往復(fù)直到達(dá)到固定的迭代次數(shù)停止.算法步驟如算法1和算法2所示.圖2機(jī)制訓(xùn)練流程F.2算法MaotfTrn輸入立bMoofeirLrrtErsTn=M«n.xnK£*sGtiers*i3ttBrtdi-tiTes輸出力nacHIpasndbsts1toN<±>VHaisMoomMaotikA.otHo5c»2i=1lomct>6.-fcr-5=1-tDN<±>7.Lces=Mao«<X/>8.6t*

45、QjtvTKorXxsqIO.g=i%r»=Oa"<dj11.g=atT»-l<i-CES127f&i=11oNct>TS.apctt-i14.F-iSAaoHkIvlacrnS.ancHaTG.ancHa-算法2raH輸入補(bǔ)*>Mat±flMaofcft百h*>Ma(±flMcxiJSKcptmto-Qdliitteb-b輸出>t-is_k)McxtiiMaomtisJDMaayMocHUtKqdt«TiB-Q±ST»aBrRMooHk-MacHL1. OdtArfco

46、iQdtirSaa5實(shí)證5.1數(shù)據(jù)集在兩個(gè)公開(kāi)的數(shù)據(jù)集和Mcxo上進(jìn)行實(shí)驗(yàn)_gae數(shù)據(jù)集擁有不同文本下的90333個(gè)用戶行為日志再了用戶R應(yīng)用卜每個(gè)日志還包括8個(gè)場(chǎng)景變量如天氣城市0ZX時(shí)辰采用編碼轉(zhuǎn)化每個(gè)日志為特征向量h共包含5382個(gè)特征一標(biāo)簽為1表示用戶在該場(chǎng)景下使用了該應(yīng)用數(shù)據(jù)集包含1ROS、用戶在23734部電影上個(gè)觀看評(píng)分記錄-同樣采用編碼轉(zhuǎn)化每個(gè)觀看行為為特征向量廣共包含90445個(gè)特征標(biāo)簽值為1表示用戶對(duì)該電影進(jìn)行了評(píng)分-由于這兩個(gè)數(shù)據(jù)集都只包含正樣本所以需要添加負(fù)樣本以增強(qiáng)訓(xùn)練效果設(shè)定負(fù)樣本數(shù)量是正樣本數(shù)量的兩倍.在數(shù)據(jù)集上戈們?yōu)橛脩綦S機(jī)選取該場(chǎng)景下沒(méi)有使用的兩個(gè)應(yīng)用乍為負(fù)樣

47、本3寸于McAfeLow數(shù)據(jù)集值機(jī)選取用戶未評(píng)分的電影作為負(fù)樣本-負(fù)樣本的標(biāo)簽CfeoelRj-1-數(shù)據(jù)集的具體參數(shù)見(jiàn)表_表1數(shù)據(jù)集參數(shù)1=191Ctetasctx»emEtos2EB6CD53B29574C82MouidLxrePTTFiffiRSO445T7CM523TJ35.2評(píng)估準(zhǔn)則隨機(jī)將數(shù)據(jù)集分為訓(xùn)練集驗(yàn)證集C%：X測(cè)試集Gc%AM中訓(xùn)練集用丁訓(xùn)練模型措僉證集用來(lái)調(diào)整超參數(shù)并執(zhí)行早停機(jī)制保存最優(yōu)模型液測(cè)試集上比較不同模型的執(zhí)行效果.對(duì)于模型的評(píng)價(jià)準(zhǔn)則我們選用均方根誤差更低的RM壬有更好的效果-為了綜合評(píng)價(jià)加入模型和原模型在訓(xùn)練集上的相對(duì)收斂效果這里提出了3個(gè)指標(biāo)：2S9CJ

48、GSOCW/ICOCO弟體見(jiàn)式。_25Min1GDALC=1GDALC=XTMiriTOCMui其中Uir衣4?！縒94in分別表示加入FH機(jī)制模型和原模型在訓(xùn)練集上前25個(gè)qK的訓(xùn)練過(guò)程中損失值達(dá)到的最小值?iin1GCMinICCMin為加入機(jī)制模型和原模型在訓(xùn)練集上前105、牛寸達(dá)到的最小值_若在心。大于零項(xiàng)U說(shuō)明在前25個(gè)qEn中加入機(jī)制模型將優(yōu)于原模型刀、于零則相反值越大巽型的優(yōu)勢(shì)越明顯點(diǎn)大值為ICC%當(dāng)達(dá)到1OC%時(shí)項(xiàng)說(shuō)明加入機(jī)制模型己經(jīng)收斂到全局最優(yōu)解-1CDVI：與解釋相同-EGCAGC：大于零項(xiàng)說(shuō)明加入機(jī)制模型前25個(gè)中皿到達(dá)的最好效果己經(jīng)優(yōu)于原模型需要1OO個(gè)牛廿所達(dá)到的最

49、好效果疝越大一模型的優(yōu)勢(shì)越明顯很大值為1CCM策明加入g機(jī)制模型已經(jīng)收斂到全局最優(yōu)解-5.3lifctdio選用FM和兩個(gè)模型J苔配SODSGDM=月優(yōu)化方法刎成1O個(gè)模型-再在該1。個(gè)模型的基礎(chǔ)上分別加入機(jī)制匕較模型效果一GN-FOL2模型大部分特征的權(quán)重缺乏有效的數(shù)據(jù)進(jìn)行訓(xùn)練無(wú)法收斂且訓(xùn)練復(fù)雜度極大增加.為了彌補(bǔ)上述缺陷201（5Fcfe提出fFM127】模型-與FOL2Y2的主要區(qū)別是利用兩個(gè)向量?jī)?nèi)積取代了單一的權(quán)重系數(shù)-細(xì)節(jié)上是FM為每個(gè)特征學(xué)習(xí)了一個(gè)相應(yīng)特征隱向量在進(jìn)行特征交叉時(shí)用兩個(gè)特征隱向星的內(nèi)積作為交叉特征的權(quán)重.通過(guò)引入特征隱向量的方式使訓(xùn)練的復(fù)雜度顯著降低，同時(shí)也更好地解決了數(shù)據(jù)稀疏性問(wèn)題-0X3Ocsht；-2016年微軟提出的國(guó)手至以心模型是深度學(xué)習(xí)框架在推薦系統(tǒng)上的次完整應(yīng)用它完整地解決了從特征工程林疏向量稠密化遂層神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化目標(biāo)擬合等一系列深度學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用問(wèn)題-5.4參數(shù)設(shè)置FM模型和皮牛6尊模型均采用gjocti機(jī)制，gxit率分別為0.3與0.5且模型的mrteDtf維度為2激活函數(shù)采用R1_j函數(shù)模型模型!11dcpcct機(jī)制分別放石：重-taadtfcri121層和隱藏層幻0）6巳模型設(shè)定