神經(jīng)網(wǎng)絡(luò)設(shè)計(jì).ppt

1、神經(jīng)元模型和網(wǎng)絡(luò)結(jié)構(gòu),第二章,單輸入神經(jīng)元,傳輸函數(shù)：硬極限傳輸函數(shù),傳輸函數(shù)：線性傳輸函數(shù),傳輸函數(shù)：對(duì)數(shù)S-形傳輸函數(shù),常用傳輸函數(shù),常用傳輸函數(shù),多輸入神經(jīng)元,簡(jiǎn)化記號(hào),神經(jīng)網(wǎng)絡(luò)的層,簡(jiǎn)化記號(hào),多層神經(jīng)網(wǎng)絡(luò),簡(jiǎn)化記號(hào),遞歸網(wǎng)絡(luò)：延時(shí)模塊,遞歸網(wǎng)絡(luò)：積分器模塊,遞歸網(wǎng)絡(luò),如何選擇一種網(wǎng)絡(luò)結(jié)構(gòu),網(wǎng)絡(luò)的輸入個(gè)數(shù)=應(yīng)用問(wèn)題的輸入個(gè)數(shù) 輸出層神經(jīng)元的數(shù)目=應(yīng)用問(wèn)題的輸出數(shù)目 輸出層的傳遞函數(shù)選擇至少部分依賴于應(yīng)用問(wèn)題的輸出描述,一個(gè)說(shuō)明性實(shí)例,第三章,蘋果/橘子分類器,問(wèn)題描述,特征向量,標(biāo)準(zhǔn)橘子向量,標(biāo)準(zhǔn)蘋果向量,方案1：感知機(jī)實(shí)現(xiàn),兩輸入單層感知機(jī),判定邊界：,蘋果/橘子實(shí)例,判定邊界：,網(wǎng)絡(luò)

2、測(cè)試,蘋果：,蘋果：,橘子：,橢圓的橘子：,方案2：Hamming網(wǎng)絡(luò),前饋層,Hamming(漢明)距離：,兩個(gè)向量中不同元素的個(gè)數(shù),遞歸層,Hamming網(wǎng)絡(luò)測(cè)試,橢圓的橘子：,前饋層：,前饋層：,遞歸層：,方案3：Hopfield網(wǎng)絡(luò),Hopfield網(wǎng)絡(luò)測(cè)試,橢圓的橘子：,擴(kuò)展的問(wèn)題,當(dāng)輸入較多而判定邊界無(wú)法用圖示方法表示的情況下，如何設(shè)計(jì)多輸入感知機(jī)的權(quán)值和偏置值？ 如果要識(shí)別的問(wèn)題不是線性可分的，能否通過(guò)擴(kuò)展標(biāo)準(zhǔn)感知機(jī)來(lái)解決這類問(wèn)題？ 當(dāng)不知道標(biāo)準(zhǔn)模式時(shí)，Hamming網(wǎng)絡(luò)如何學(xué)習(xí)權(quán)值和偏置值？ 如何確定Hopfield網(wǎng)絡(luò)的權(quán)值矩陣和偏置值向量？ 如何知道Hopfield網(wǎng)絡(luò)最終

3、是否會(huì)收斂？,感知機(jī)學(xué)習(xí)規(guī)則,第四章,學(xué)習(xí)規(guī)則,監(jiān)督學(xué)習(xí)學(xué)習(xí)規(guī)則由一組描述網(wǎng)絡(luò)行為的實(shí)例集合（輸入、輸出對(duì)；訓(xùn)練集）給出 增強(qiáng)學(xué)習(xí)對(duì)網(wǎng)絡(luò)的某些輸入序列進(jìn)行評(píng)分，來(lái)作為網(wǎng)絡(luò)的性能測(cè)度 無(wú)監(jiān)督學(xué)習(xí)學(xué)習(xí)算法僅依賴于網(wǎng)絡(luò)輸入，通常是對(duì)輸入進(jìn)行聚類,感知機(jī)的結(jié)構(gòu),單神經(jīng)元感知機(jī),判定邊界,判定邊界上的點(diǎn)與權(quán)值向量的內(nèi)積相等 判定邊界上的點(diǎn)到權(quán)值向量上的投影相等，即它們應(yīng)該位于正交于權(quán)值向量的直線上 權(quán)值向量總是指向神經(jīng)元輸出為1的區(qū)域,例：或運(yùn)算(OR),多神經(jīng)元感知機(jī),每個(gè)神經(jīng)元都有自己的判定邊界 單神經(jīng)元能將輸入向量分為兩類 多神經(jīng)元（S個(gè)）感知機(jī)能將輸入向量分為2S類,學(xué)習(xí)規(guī)則：測(cè)試問(wèn)題,起始點(diǎn),隨機(jī)生成初始權(quán)重向量,輸入第一個(gè)向量p1,錯(cuò)誤的分類！,學(xué)習(xí)規(guī)則的嘗試,將1w置為p1 將1w加上p1 嘗試性規(guī)則：,第二個(gè)輸入向量,(錯(cuò)誤的分類),修正學(xué)習(xí)規(guī)則:,第三個(gè)輸入向量,模式被正確分類時(shí),(錯(cuò)誤的分類),統(tǒng)一的學(xué)習(xí)規(guī)則,偏置值可視為輸入1的權(quán)重,令,多神經(jīng)元感知機(jī)學(xué)習(xí)規(guī)則,更新第i行權(quán)值矩陣:,矩陣形式:,蘋果/橘子分類器,訓(xùn)練集,初始權(quán)重,第一次迭代,第二次迭代,第三次迭代,感知機(jī)學(xué)習(xí)規(guī)則收斂性,感知機(jī)規(guī)則總能收斂到能夠完成分類的權(quán)值和偏置值，如果這些值存在的話證明 P45 什么時(shí)候感知機(jī)能完成分類的權(quán)值和偏置值存在？即感知機(jī)能