人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)_第1頁
人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)_第2頁
人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)_第3頁
人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)_第4頁
人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)_第5頁
已閱讀5頁,還剩17頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)是一種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進行信息處理的數(shù)學(xué)模型,由大量的神經(jīng)元之間相互聯(lián)接構(gòu)成,每兩個神經(jīng)元間的連接都代表一個對于通過該連接信號的加權(quán)值反向傳播算法,使用梯度下降來調(diào)節(jié)網(wǎng)絡(luò)參數(shù)以最佳擬合由輸入-輸出對組成的訓(xùn)練集合先用樣本數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)時,它自動地將輸出值與期望值進行比較,得到誤差信號,再根據(jù)誤差信號,從后向前調(diào)節(jié)各神經(jīng)網(wǎng)絡(luò)層神經(jīng)元之間的連接強度,然后再進行運算,使誤差減小,再將新的輸出值與期望值進行比較,得到新的比先前小的誤差信號,再根據(jù)較小的誤差信號,從后向前重新調(diào)節(jié)各神經(jīng)網(wǎng)絡(luò)層神經(jīng)元之間的連接強度,依此不斷地多次進行,直到誤差滿足要求為止感知器感知器以一個實數(shù)值向量作為輸入,計算這些輸入的線性組合,如果結(jié)果大于某個閾值,就輸出1,否則輸出-1。其中每個wi是一個實數(shù)常量,或叫做權(quán)值,用來決定輸入xi對感知器輸出的貢獻率。特別地,-w0是閾值。f(v)x1x2xnX0=1w0w1w2wn附加一個常量輸入x0=1,前面的不等式寫成或感知器的表征能力可以把感知器看作是n維實例空間(即點空間)中的超平面決策面對于超平面一側(cè)的實例,感知器輸出1,對于另一側(cè)的實例,輸出-1這個決策超平面方程是可以被某個超平面分割的樣例集合,稱為線性可分樣例集合感知器訓(xùn)練法則雖然我們的目的是學(xué)習(xí)由多個單元互連的網(wǎng)絡(luò),但我們還是要從如何學(xué)習(xí)單個感知器的權(quán)值開始單個感知器的學(xué)習(xí)任務(wù),決定一個權(quán)向量,它可以使感知器對于給定的訓(xùn)練樣例輸出正確的1或-1我們主要考慮兩種算法感知器法則delta法則這兩種算法保證收斂到可接受的假設(shè),在不同的條件下收斂到的假設(shè)略有不同這兩種算法提供了學(xué)習(xí)多個單元構(gòu)成的網(wǎng)絡(luò)的基礎(chǔ)感知器法則為得到可接受的權(quán)向量,一種辦法是從隨機的權(quán)值開始,然后反復(fù)地應(yīng)用這個感知器到每個訓(xùn)練樣例,只要它誤分類樣例就修改感知器的權(quán)值。感知器法則:其中,t是當前訓(xùn)練樣例的目標輸出,o是感知器的輸出,η是一個正的常數(shù)稱為學(xué)習(xí)速率(0.1)delta法則delta法則克服感應(yīng)器法則的不足,在線性不可分的訓(xùn)練樣本上,收斂到目標概念的最佳近似delta法則的關(guān)鍵思想是,使用梯度下降來搜索可能的權(quán)向量的假設(shè)空間,以找到最佳擬合訓(xùn)練樣例的權(quán)向量把delta訓(xùn)練法則理解為訓(xùn)練一個無閾值的感知器(一個線性單元)指定一個度量標準來衡量假設(shè)相對于訓(xùn)練樣例的訓(xùn)練誤差其中,D是訓(xùn)練樣例集合,是訓(xùn)練樣例d

的目標輸出,是線性單元對訓(xùn)練樣例d的輸出經(jīng)貝葉斯論證,對于給定的訓(xùn)練數(shù)據(jù)使E最小化的假設(shè)也就是H中最可能的假設(shè)梯度下降搜索從一個任意的初始權(quán)向量開始,然后沿誤差曲面最陡峭下降的方向,以很小的步伐反復(fù)修改這個向量,直到得到全局的最小誤差點梯度下降法則的推導(dǎo)如何發(fā)現(xiàn)沿誤差曲面最陡峭下降的方向?通過計算E相對向量的每個分量的導(dǎo)數(shù),這個向量導(dǎo)數(shù)被稱為E對于的梯度,記作當梯度被解釋為權(quán)空間的一個向量時,它確定了使E最陡峭上升的方向,所以這個向量的反方向給出了最陡峭下降的方向梯度訓(xùn)練法則

其中訓(xùn)練法則的分量形式:

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論