第五講 從感知器算法到機(jī)器學(xué)習(xí)

第五講從感知器算法到機(jī)器學(xué)習(xí)第1頁，共16頁，2023年，2月20日，星期三§5.1人工神經(jīng)元的構(gòu)造依據(jù)兩態(tài)工作:興奮----抑制閾值作用:超過閾值才興奮多輸入/單輸出:獲得其他神經(jīng)元的眾多輸入,由軸突輸出。空間/時間疊加：激勵/響應(yīng)關(guān)系的互動作用與交互疊加。可塑性連接：突觸部分的連接強(qiáng)度可以調(diào)節(jié)。第2頁，共16頁，2023年，2月20日，星期三第3頁，共16頁，2023年，2月20日，星期三第4頁，共16頁，2023年，2月20日，星期三第5頁，共16頁，2023年，2月20日，星期三第6頁，共16頁，2023年，2月20日，星期三§5.2M-P模型1943年，McCulloch和Pitts提出了一種神經(jīng)元模型：其中輸入向量為：權(quán)值向量為：神經(jīng)元的輸入/輸出關(guān)系為：第7頁，共16頁，2023年，2月20日，星期三§5.3構(gòu)造人工神經(jīng)網(wǎng)絡(luò)的基本要素（1）神經(jīng)元的激勵函數(shù)（輸入/輸出特性）（2）網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)（3）確定權(quán)值的方法——學(xué)習(xí)算法第8頁，共16頁，2023年，2月20日，星期三§5.4感知器算法原理（1）歷史背景

1958年,FrankRosenblatt提出了感知機(jī)(Perceptron)。史稱第一個機(jī)器學(xué)習(xí)模型。標(biāo)志著對學(xué)習(xí)過程進(jìn)行數(shù)學(xué)研究的開端。（2）單個神經(jīng)元的的感知機(jī)利用McCulloch和Pitts神經(jīng)元模型，選激勵函數(shù)為：令則第9頁，共16頁，2023年，2月20日，星期三（3）感知器學(xué)習(xí)算法（學(xué)習(xí)規(guī)則）

Step1，隨機(jī)初始化權(quán)值和域值

Step2，在樣本集合或中任選一個類屬已知的樣本作為感知器的輸入，計(jì)算其實(shí)際輸出

Step3，對Step2中所得輸出結(jié)果進(jìn)行甄別檢驗(yàn)，若分類正確，則不需要進(jìn)行權(quán)值調(diào)整，若分類出錯，則按Step4中的算式進(jìn)行權(quán)值調(diào)整。（可見，感知過程是一個有錯必改的過程。）

第10頁，共16頁，2023年，2月20日，星期三Step4，設(shè)n0為當(dāng)前迭代次數(shù)，則權(quán)值調(diào)整算式為

其中為類屬標(biāo)志的期望輸出，為學(xué)習(xí)率。Step5，重新從已知類屬的樣本集合或中選取另一樣本進(jìn)行學(xué)習(xí)，即重復(fù)Step2至Step

5，直到對于所有i=1，2，…,(n+1),恒有

則學(xué)習(xí)過程結(jié)束，權(quán)值調(diào)整完畢。

第11頁，共16頁，2023年，2月20日，星期三§5.5感知器分類的示例第12頁，共16頁，2023年，2月20日，星期三練習(xí)題設(shè)有4個訓(xùn)練樣本分屬兩個不同的類別:試用感知器算法求出其分類判決函數(shù).第13頁，共16頁，2023年，2月20日，星期三§5.6局限性和功能的擴(kuò)展感知器學(xué)習(xí)算法的局限性

只能勝任線性分類,不具備直接的非線性分類功能。進(jìn)一步的功能擴(kuò)展

1）加入隱層；

2）尋求新的更有效的學(xué)習(xí)算法。第14頁，共16頁，2023年，2月20日，星期三§5.7機(jī)器學(xué)習(xí)的一般原理和方法（1）機(jī)器學(xué)習(xí)的原理圖（2）關(guān)鍵性問題

1）學(xué)習(xí)的策略和算法；

2）樣本數(shù)據(jù)的完備性；

3）先驗(yàn)知識的利用。完。第15頁，共16頁，2023年，2月20日，星期三§5.8可以涉獵的參考書[1]TomM.Mitchell,機(jī)器學(xué)習(xí)，(曾華軍,張銀奎譯),機(jī)械工業(yè)出版社，2003年[2]TomM.Mitchell,MachineLearning，McGraw-HillInternationalEditions，China