人工智能導論作業(yè)1Key_第1頁
人工智能導論作業(yè)1Key_第2頁
人工智能導論作業(yè)1Key_第3頁
人工智能導論作業(yè)1Key_第4頁
免費預覽已結束，剩余1頁可下載查看

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權，請進行舉報或認領

文檔簡介

1、1、CNN中，對全連接層做批量歸一化（BN。設全連接層的輸？為 u ,權重參數(shù)和偏差參數(shù)分別為 W和 b ,仿射變換為 x = Wit + bB =?？紤]由 m個樣本組成的小批量，川也）。 a;e 帆1 i （）是-個很小的常數(shù)，保證彌大干o0在上面標準化的基礎上，批景歸-化層引入r 兩個可以學習的鯉參氨拉升（scale）參站和翩（shift）參數(shù)仇這兩個參數(shù)和拙）蹴 相鳳皆為“維向量它們與於分別做按元素乘袪（符號0）和加法計算：2、正則化的作用主要是什么？如果已知經(jīng)驗風險是，請分別給出厶和厶范數(shù)的正則化形式。答: ?正則化通過為模型損失函數(shù)添加懲罰項使得學出的模型參數(shù)值較小，是應對過擬合的常

2、？ ？段。/正則化是指我們修改學習算法,使其降低泛化誤差而非訓練誤差。（以上兩種解法都ok）?厶范數(shù)正則化。（&）= |訓1 = 52 働兒范數(shù)正則化3、請簡單給出隨機梯度下降SGD算法的原理，給出它的梯度下降估計。答:隨機梯度下 ( SGD )及H變種觀吋能足-fcfJlffi學打中應川赧為的優(yōu)化算達. 持別是在深度學勺中克如第節(jié)中所討論的*按照數(shù)鋸于成分布抽取優(yōu)/小批 疑(獨玄同分布的)樣本，通過計算它們梯度均俏.我們可以得到梯度的無傭佔譏、算法農(nóng)L展示了如何沿著這個梯度的怙計 m.算送&1隨機獨下降(SGD)金第個訓練送代的 Roquiro!學習率(kRequire：初始參數(shù)円while停止準則*滿越do從訓練集中采包含m個樣本糾，的的小批hL其中曲)対應目標為 l/o汁算梯度估計：-桔VL(f(曲冋許)應用更新：0 i- 0 -tgend while或者隨機梯度下降的核心是.梯度是期望。期望可便用小規(guī)模的樣本近似估計。具 休而言.在算法的每一步*我們從訓練集中均勻抽岀一小批 (mtoibatch)樣本 図=卻*詔旳。小批雖的數(shù)目皿通常是一個桶肘較小的數(shù).從一到幾乂 巫 要的是.當訓練集大小m増長時5 通常是固定的。我們可能東擬合兒卜億的樣 本時.曲次更新計算貝用到兒耳個禪本。梯度的佔卄可以喪示雀1卅9 = V嵐円叫飾(5.98)rrr1 = 1使用來自小批址E的樣本。然

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權或不適當內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論