信息工程概論課件 第九講 機(jī)器學(xué)習(xí)-神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

第9講機(jī)器學(xué)習(xí)-神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介9.1概述機(jī)器學(xué)習(xí)(MachineLearning)是人工智能的核心問(wèn)題，是信息獲取的一種高級(jí)形式。其應(yīng)用遍及工業(yè)過(guò)程控制、信息安全、機(jī)器人、生物學(xué)、金融學(xué)等各個(gè)領(lǐng)域，對(duì)科學(xué)研究的整個(gè)過(guò)程起到越來(lái)越大的支持作用。1959年美國(guó)的塞繆爾(Samuel)設(shè)計(jì)了一個(gè)具有學(xué)習(xí)能力的跳棋程序，它可以在不斷的對(duì)奕中改善自己的棋藝。4年后，這個(gè)程序戰(zhàn)勝了設(shè)計(jì)者本人。又過(guò)了3年，這個(gè)程序戰(zhàn)勝了美國(guó)一個(gè)保持8年之久的常勝不敗的冠軍。這個(gè)程序向人們展示了機(jī)器學(xué)習(xí)的魅力。2信息科學(xué)導(dǎo)論9.2機(jī)器學(xué)習(xí)原理學(xué)習(xí)系統(tǒng)模型3信息科學(xué)導(dǎo)論9.2機(jī)器學(xué)習(xí)原理工作原理:感知系統(tǒng)感受到環(huán)境有關(guān)事物運(yùn)動(dòng)狀態(tài)及其變化方式，就產(chǎn)生相應(yīng)的響應(yīng)輸入給學(xué)習(xí)與決策系統(tǒng)。學(xué)習(xí)與決策系統(tǒng)根據(jù)目的需求從這些輸入中選擇出適當(dāng)?shù)男畔?，并?duì)這些信息進(jìn)行加工，形成相應(yīng)的策略，然后按照策略控制環(huán)境的變化或調(diào)節(jié)自身的狀態(tài)，以便達(dá)到預(yù)定的目的。如果控制和調(diào)節(jié)的結(jié)果不能達(dá)到目的，就要從感知環(huán)節(jié)選擇新的信息，并進(jìn)行與上述相似的加工、決策、控制和調(diào)節(jié)等過(guò)程，直至達(dá)到目的為止。4信息科學(xué)導(dǎo)論9.2機(jī)器學(xué)習(xí)原理為了使“學(xué)習(xí)與決策”模塊能夠把語(yǔ)法信息轉(zhuǎn)變?yōu)槿畔?，需要為系統(tǒng)配置一個(gè)全信息的“知識(shí)庫(kù)”和相應(yīng)的“理解子系統(tǒng)”?！皩W(xué)習(xí)與決策”環(huán)節(jié)的模塊5信息科學(xué)導(dǎo)論9.2機(jī)器學(xué)習(xí)原理在信息獲取領(lǐng)域，機(jī)器學(xué)習(xí)的基本原理可以歸納為：第一，機(jī)器學(xué)習(xí)系統(tǒng)必須設(shè)置明確的目的。以指導(dǎo)學(xué)習(xí)的方向；機(jī)器學(xué)習(xí)系統(tǒng)必須有反饋機(jī)制，以便通過(guò)學(xué)習(xí)效果與學(xué)習(xí)目的的比較來(lái)改進(jìn)學(xué)習(xí)的性能。第二,

機(jī)器學(xué)習(xí)系統(tǒng)應(yīng)當(dāng)充分利用全信息，使系統(tǒng)能夠理解學(xué)習(xí)的“目的”，并根據(jù)全信息做出學(xué)習(xí)的性能判斷。第三,在系統(tǒng)不能利用全信息的情況下，機(jī)器學(xué)習(xí)就只能采用“大量統(tǒng)計(jì)”的方法和“隨機(jī)湊試”的技術(shù)途徑。這是目前大多數(shù)機(jī)器學(xué)習(xí)的共同特征。6信息科學(xué)導(dǎo)論9.3機(jī)器學(xué)習(xí)策略幾種系統(tǒng)（當(dāng)然不限于此）就是現(xiàn)在已經(jīng)可以實(shí)現(xiàn)的機(jī)器學(xué)習(xí)系統(tǒng)。監(jiān)督型學(xué)習(xí)系統(tǒng)無(wú)監(jiān)督學(xué)習(xí)系統(tǒng)條件反射型學(xué)習(xí)系統(tǒng)類比式學(xué)習(xí)系統(tǒng)演繹學(xué)習(xí)系統(tǒng)歸納學(xué)習(xí)系統(tǒng)7信息科學(xué)導(dǎo)論9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介人工神經(jīng)網(wǎng)絡(luò)是近年來(lái)得到迅速發(fā)展的一個(gè)前沿課題。神經(jīng)網(wǎng)絡(luò)由于其大規(guī)模并行處理、容錯(cuò)性、自組織和自適應(yīng)能力和聯(lián)想功能強(qiáng)等特點(diǎn)，已成為解決很多問(wèn)題的有力工具。定義：“人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)?！?信息科學(xué)導(dǎo)論9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介(1)第一次熱潮(40-60年代未)

1943年,美國(guó)心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitts在提出了一個(gè)簡(jiǎn)單的神經(jīng)元模型，即MP模型。1958年，F(xiàn).Rosenblatt等研制出了感知機(jī)(Perceptron）。(2)低潮(70-80年代初):(3)第二次熱潮

1982年，美國(guó)物理學(xué)家J.J.Hopfield提出Hopfield模型，它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò).他解決問(wèn)題的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過(guò)程,這是符號(hào)邏輯處理方法所不具備的性質(zhì).9信息科學(xué)導(dǎo)論9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介人腦由一千多億（1011億－1014億）個(gè)神經(jīng)細(xì)胞（神經(jīng)元）交織在一起的網(wǎng)狀結(jié)構(gòu)組成，其中大腦皮層約140億個(gè)神經(jīng)元，小腦皮層約1000億個(gè)神經(jīng)元。神經(jīng)元約有1000種類型，每個(gè)神經(jīng)元大約與103－104個(gè)其他神經(jīng)元相連接，形成極為錯(cuò)綜復(fù)雜而又靈活多變的神經(jīng)網(wǎng)絡(luò)。人的智能行為就是由如此高度復(fù)雜的組織產(chǎn)生的。浩瀚的宇宙中，也許只有包含數(shù)千憶顆星球的銀河系的復(fù)雜性能夠與大腦相比。10信息科學(xué)導(dǎo)論9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介（輸入）（輸出）神經(jīng)脈沖生物神經(jīng)元結(jié)構(gòu)11信息科學(xué)導(dǎo)論9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介神經(jīng)元的信息傳遞和處理是一種電化學(xué)活動(dòng)．樹(shù)突由于電化學(xué)作用接受外界的刺激；通過(guò)胞體內(nèi)的活動(dòng)體現(xiàn)為軸突電位，當(dāng)軸突電位達(dá)到一定的值則形成神經(jīng)脈沖或動(dòng)作電位；再通過(guò)軸突末梢傳遞給其它的神經(jīng)元．從控制論的觀點(diǎn)來(lái)看；這一過(guò)程可以看作一個(gè)多輸入單輸出非線性系統(tǒng)的動(dòng)態(tài)過(guò)程。12信息科學(xué)導(dǎo)論9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介神經(jīng)元的數(shù)學(xué)模型

其中x＝（x1，…xm）T

輸入向量，y為輸出，wi是權(quán)系數(shù)；輸入與輸出具有如下關(guān)系：θ為閾值，f（x）是激發(fā)函數(shù)；它可以是線性函數(shù)，也可以是非線性函數(shù)．13信息科學(xué)導(dǎo)論9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介例如，若記取激發(fā)函數(shù)為符號(hào)函數(shù)則14信息科學(xué)導(dǎo)論9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介S型激發(fā)函數(shù)：注：若將閾值看作是一個(gè)權(quán)系數(shù)，-1是一個(gè)固定的輸入，另有m-1個(gè)正常的輸入，則神經(jīng)元模型也可表示為：15信息科學(xué)導(dǎo)論9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介眾多神經(jīng)元之間組合形成神經(jīng)網(wǎng)絡(luò)，例如下圖的含有中間層（隱層）的B-P網(wǎng)絡(luò)。16信息科學(xué)導(dǎo)論9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介基本BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)b1bia1c1cqcjahbpan………………Wp1WiqWpjW1qW1jWijV11W11WpqWi1Vh1VhiV1iVn1VniV1pVhpVnp輸出層LC隱含層LB輸入層LAWV17信息科學(xué)導(dǎo)論9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

一般而言,ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越,只有當(dāng)常規(guī)方法解決不了或效果不佳時(shí)ANN方法才能顯示出其優(yōu)越性。尤其對(duì)問(wèn)題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障診斷、特征提取和預(yù)測(cè)等問(wèn)題,ANN往往是最有利的工具。另一方面,ANN對(duì)處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問(wèn)題,表現(xiàn)出極大的靈活性和自適應(yīng)性。18信息科學(xué)導(dǎo)論9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介例1981年生物學(xué)家格若根（W．Grogan）和維什（W．Wirth）發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)．他們測(cè)量了這兩類蚊子每個(gè)個(gè)體的翼長(zhǎng)和觸角長(zhǎng)，數(shù)據(jù)如下：翼長(zhǎng)觸角長(zhǎng)類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼長(zhǎng)觸角長(zhǎng)類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af19信息科學(xué)導(dǎo)論9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介問(wèn)：如果抓到三只新的蚊子，它們的觸角長(zhǎng)和翼長(zhǎng)分別為(l.24,1.80);

(l.28，1.84)；（1.40，2.04）．問(wèn)它們應(yīng)分別屬于哪一個(gè)種類？

解法一：把翼長(zhǎng)作縱坐標(biāo)，觸角長(zhǎng)作橫坐標(biāo)；那么每個(gè)蚊子的翼長(zhǎng)和觸角決定了坐標(biāo)平面的一個(gè)點(diǎn).其中6個(gè)蚊子屬于APf類；用黑點(diǎn)“·”表示；9個(gè)蚊子屬Af類；用小圓圈“。”表示．飛蠓的觸角長(zhǎng)和翼長(zhǎng)20信息科學(xué)導(dǎo)論9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介思路：作一直線將兩類飛蠓分開(kāi).例如；取A＝（1.44，2.10）和B＝(1.10，1.16)，過(guò)AB兩點(diǎn)作一條直線：

y＝1.47x-0.017其中x表示觸角長(zhǎng)；y表示翼長(zhǎng)．分類規(guī)則：設(shè)一個(gè)蚊子的數(shù)據(jù)為（x,y）如果y≥1.47x-0.017，則判斷蚊子屬Apf類；如果y＜1.47x-0.017；則判斷蚊子屬Af類．21信息科學(xué)導(dǎo)論9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于Apf類．分類直線圖

22信息科學(xué)導(dǎo)論9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介?缺陷：根據(jù)什么原則確定分類直線？

若取A=(1.46,2.10),B=(1.1,1.6)不變，則分類直線變?yōu)閥=1.39x+0.071分類結(jié)果變?yōu)椋?1.24,1.80)，(1.40,2.04)屬于Apf類；(1.28,1.84)屬于Af類

哪一分類直線才是正確的呢？

因此如何來(lái)確定這個(gè)判別直線是一個(gè)值得研究的問(wèn)題．一般地講，應(yīng)該充分利用已知的數(shù)據(jù)信息來(lái)確定判別直線．23信息科學(xué)導(dǎo)論9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介再如，如下的情形已經(jīng)不能用分類直線的辦法：

新思路：將問(wèn)題看作一個(gè)系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關(guān)系。24信息科學(xué)導(dǎo)論輸入數(shù)據(jù)有15個(gè)，即,p=1,…,15;j=1,2;對(duì)應(yīng)15個(gè)輸出。建立神經(jīng)網(wǎng)絡(luò)9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介25信息科學(xué)導(dǎo)論規(guī)定目標(biāo)為：當(dāng)t(1)=0.9時(shí)表示屬于Apf類，t(2)=0.1表示屬于Af類。設(shè)兩個(gè)權(quán)重系數(shù)矩陣為：為閾值

其中9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介26信息科學(xué)導(dǎo)論分析如下：

為第一層的輸出，同時(shí)作為第二層的輸入。其中，為閾值，為激勵(lì)函數(shù)若令（作為一固定輸入）（閾值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)）9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介27信息科學(xué)導(dǎo)論則有：取激勵(lì)函數(shù)為=則同樣，取

28信息科學(xué)導(dǎo)論（1）隨機(jī)給出兩個(gè)權(quán)矩陣的初值；例如用MATLAB軟件時(shí)可以用以下語(yǔ)句：令p=0具體算法：=rand(2,3);=rand(1,3);(2)根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出=9.4人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介29信息科學(xué)導(dǎo)論?。?）計(jì)算因?yàn)樗?/p>

（4）取