第18講 人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)課件

18人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)西班牙解剖學(xué)家Cajal于十九世紀(jì)末創(chuàng)立了神經(jīng)元學(xué)說。

20世紀(jì)60年代后期“神經(jīng)科學(xué)”細(xì)胞與分子水平的研究20世紀(jì)90年代開始，腦科學(xué)研究中整合性第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元的結(jié)構(gòu)第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元具有以下的特性與功能

信息傳遞的方向性：在每一個神經(jīng)元中，信息都是以預(yù)知的確定方向傳遞，即從信息接受部分（樹突）傳到軸突的起始部分，再傳到突觸，最后傳給另一神經(jīng)元。這稱為神經(jīng)元的動態(tài)激化原則。時空整合：神經(jīng)元的細(xì)胞體能對不同時間由同一突觸傳入的神經(jīng)沖動進(jìn)行整合（稱時間整合）和對同一時間由不同突觸傳入的神經(jīng)沖動進(jìn)行整合（稱空間整合）。興奮與抑制：神經(jīng)元傳入沖動的時空整合使細(xì)胞膜的電位升高，并超過閾值時產(chǎn)生神經(jīng)沖動并由軸突輸出（稱神經(jīng)元處于興奮狀態(tài)）。當(dāng)傳入沖動的時空整合使細(xì)胞膜的電位下降，并低于閾值時將不產(chǎn)生神經(jīng)沖動且無輸出（稱神經(jīng)元處于抑制狀態(tài)）。延時和不應(yīng)期：神經(jīng)元在相鄰兩次神經(jīng)沖動之間有時間間隔，該間隔稱為神經(jīng)元的不應(yīng)期。在此期間，神經(jīng)元不響應(yīng)、不處理、不傳遞神經(jīng)沖動，神經(jīng)元出現(xiàn)延時。結(jié)構(gòu)可塑性：突觸傳遞信息的特性是可變的。隨著神經(jīng)沖動傳遞方式的變化，其傳遞作用可強(qiáng)可弱，所以神經(jīng)元間的連接是柔性的，這稱為結(jié)構(gòu)的可塑性。學(xué)習(xí)、遺忘和疲勞：由于結(jié)構(gòu)可塑性，突觸的傳遞作用有增強(qiáng)、減弱和飽和，對應(yīng)于神經(jīng)元具有學(xué)習(xí)、遺忘和疲勞功能。神經(jīng)元經(jīng)突觸與樹突連接起來便形成了神經(jīng)網(wǎng)絡(luò)。

第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是利用人工的方式對生物神經(jīng)網(wǎng)絡(luò)的模擬。神經(jīng)元的M-P模型

y輸出eeii興奮性輸入抑制性輸入………………第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元結(jié)構(gòu)模型人工神經(jīng)元的工作過程是：從輸入端接收輸入信號xi根據(jù)連接權(quán)值

i，求出所有輸入的加權(quán)和

用某一非線性特征函數(shù)f進(jìn)行轉(zhuǎn)換，獲得輸出y

yx1……x2

1

2xn

ns第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元互連基本形式…………………前向網(wǎng)絡(luò)反饋網(wǎng)絡(luò)層內(nèi)互連網(wǎng)絡(luò)互連網(wǎng)絡(luò)輸入層輸出層隱層輸入層輸出層隱層輸入層輸出層隱層輸入層輸出層隱層第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)在以下方面體現(xiàn)了人腦的基本特性：人工神經(jīng)網(wǎng)絡(luò)為廣泛連接的巨型系統(tǒng)，它更適合于形象思維的模擬。人工神經(jīng)網(wǎng)絡(luò)基于大規(guī)模并行協(xié)同處理機(jī)制，這使得人工神經(jīng)網(wǎng)絡(luò)可以較好地模擬人腦神經(jīng)系統(tǒng)的處理能力。人工神經(jīng)網(wǎng)絡(luò)具有和人腦一樣的容錯和聯(lián)想能力。人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、自組織、自適應(yīng)功能。在人工神經(jīng)網(wǎng)絡(luò)中，可以通過改變神經(jīng)元之間的連接權(quán)值來有效地模擬人類的學(xué)習(xí)過程。理論研究表明，選擇合適的神經(jīng)元之間的連接權(quán)值可以使人工神經(jīng)網(wǎng)絡(luò)以任意小的誤差逼近任何連續(xù)函數(shù)。這意味著神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的自學(xué)習(xí)能力、自組織能力和自適應(yīng)能力。第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)計算機(jī)的特點神經(jīng)計算機(jī)又稱為第六代計算機(jī)，它的研制開始于20世紀(jì)80年代后期。美國、歐共體和日本都把它作為一項國家計劃項目開發(fā)研究，并作為21世紀(jì)的關(guān)鍵技術(shù)。1988年，美國國防部制定了8年計劃，投資4億美元用于神經(jīng)網(wǎng)絡(luò)計算機(jī)的研究和開發(fā)；1990年，又提出了神經(jīng)網(wǎng)絡(luò)的“風(fēng)暴計劃”，計劃為期兩年，主要研究神經(jīng)計算機(jī)在軍事領(lǐng)域的應(yīng)用。日本，神經(jīng)計算機(jī)作為“新信息處理技術(shù)開發(fā)計劃”中的一項基礎(chǔ)技術(shù)被高度重視。從1992年起，計劃為期10年，投資1000億日元研究和開發(fā)神經(jīng)計算機(jī)。日本在1992年就已成功研制出一部“通用神經(jīng)網(wǎng)絡(luò)計算機(jī)”。歐共體，作為歐洲信息技術(shù)研究開發(fā)戰(zhàn)略的一環(huán)，廣泛開展了神經(jīng)網(wǎng)絡(luò)計算機(jī)研發(fā)。第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)計算機(jī)的特點神經(jīng)網(wǎng)絡(luò)計算機(jī)有下列特征：具有快速、準(zhǔn)確的信息處理能力具有自學(xué)習(xí)、自適應(yīng)和自組織能力具有近似人腦的信息處理能力適合于智能信息處理第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)計算機(jī)的實現(xiàn)方式神經(jīng)網(wǎng)絡(luò)計算機(jī)分類神經(jīng)網(wǎng)絡(luò)計算機(jī)通用神經(jīng)網(wǎng)絡(luò)計算機(jī)專用神經(jīng)網(wǎng)絡(luò)計算機(jī)全神經(jīng)網(wǎng)絡(luò)計算機(jī)前后端神經(jīng)網(wǎng)絡(luò)計算機(jī)第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)計算機(jī)的實現(xiàn)方式通用神經(jīng)網(wǎng)絡(luò)計算機(jī)并行廣播總線總線接口系統(tǒng)狀態(tài)物理處理器虛擬處理器互連及連接權(quán)值存儲器總線接口系統(tǒng)狀態(tài)物理處理器虛擬處理器互連及連接權(quán)值存儲器總線接口系統(tǒng)狀態(tài)物理處理器虛擬處理器互連及連接權(quán)值存儲器系統(tǒng)控制單元物理處理器……12n第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)計算機(jī)的實現(xiàn)方式前后端神經(jīng)網(wǎng)絡(luò)計算機(jī)視覺模型(模式識別)聽覺模型(語音分析)語音模型(語音合成)運動模型觸角模型數(shù)值運算文字處理推理指令認(rèn)知模型(判斷、聯(lián)想)數(shù)據(jù)壓縮圖像采集設(shè)備圖像顯示設(shè)備語音采集設(shè)備語音輸出設(shè)備機(jī)器人…………前端神經(jīng)網(wǎng)絡(luò)計算機(jī)馮·諾依曼體系結(jié)構(gòu)計算機(jī)…………后端神經(jīng)網(wǎng)絡(luò)計算機(jī)第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)計算機(jī)的實現(xiàn)方式中科院預(yù)言神1號神經(jīng)網(wǎng)絡(luò)處理機(jī)硬件結(jié)構(gòu)第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)計算機(jī)的實現(xiàn)方式全神經(jīng)網(wǎng)絡(luò)計算機(jī)全神經(jīng)網(wǎng)絡(luò)計算機(jī)由全硬件實現(xiàn)。該類計算機(jī)物理上的處理單元及通訊通道與具體的神經(jīng)網(wǎng)絡(luò)模型中的神經(jīng)元及其連接一一對應(yīng)，每一神經(jīng)元及連接都有與之對應(yīng)的物理器件。近些年來，神經(jīng)計算機(jī)的研究發(fā)展很快，已有產(chǎn)品進(jìn)入市場。將光技術(shù)應(yīng)用于神經(jīng)網(wǎng)絡(luò)計算機(jī)從而開發(fā)出光神經(jīng)計算機(jī)也成為一種趨勢。光神經(jīng)計算機(jī)的特征：光具有并行性，它與神經(jīng)計算吻合；光波的傳播無交叉失真,傳播容量大；可能實現(xiàn)超高速運算。第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)計算機(jī)的實現(xiàn)方式重要的神經(jīng)網(wǎng)絡(luò)模型書P.172第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)BP網(wǎng)路第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)BP網(wǎng)絡(luò)機(jī)制學(xué)習(xí)建立網(wǎng)絡(luò)模型通過樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)將學(xué)習(xí)獲得的知識保存在神經(jīng)元間的連接權(quán)中計算（工作）應(yīng)用保存在神經(jīng)元間連接權(quán)中的知識進(jìn)行計算第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)BP網(wǎng)絡(luò)學(xué)習(xí)通過樣本數(shù)據(jù)（I，T）訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以建立輸入與輸出的關(guān)系，這種關(guān)系保存在神經(jīng)元之間的連接權(quán)之中。符號一個隱層輸入層單元i的輸入為Ii，輸入層單元i到隱層單元j的權(quán)為W’ij隱層單元j到輸出的輸出為Hj隱層單元j到輸出層單元k的權(quán)為W”jk輸出層單元k的輸出為Ok激活函數(shù)為f(x)第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)BP網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)過程隱層學(xué)習(xí)輸出層學(xué)習(xí)第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)BP網(wǎng)絡(luò)學(xué)習(xí)權(quán)值修正：輸出O與教師信號T的的誤差記為：

E=||O-T||

按最速下降法求出對W“和W’的修正量ζjk，ηij，可得：

W”jk=Wjk+ζjkW’ij=Wij+ηij學(xué)習(xí)結(jié)束的條件為：對所有的樣本（I，T）均有：

E<ε激活函數(shù)f可取如下形式：第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)BP網(wǎng)絡(luò)計算利用學(xué)習(xí)獲得的權(quán)值及函數(shù)f，計算：Hj=f(∑W’il*Ii)Ok=f(∑W”jk*Hj)輸出為數(shù)組O=(O1,O2,……,Op)第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)BP網(wǎng)路學(xué)習(xí)的分析定理：對于任意的連續(xù)函數(shù)g，可以構(gòu)造BP網(wǎng)路任意逼近它。學(xué)習(xí)過程可能存在的問題算法的解不一定是最優(yōu)算法中隱層神經(jīng)元的數(shù)目確定困難第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)學(xué)習(xí)與機(jī)器學(xué)習(xí)學(xué)習(xí)過程：一個具有特定目標(biāo)的知識獲取過程內(nèi)在行為：獲取知識、積累經(jīng)驗、發(fā)現(xiàn)規(guī)律外在表現(xiàn)：改進(jìn)性能、適應(yīng)環(huán)境、自我完善機(jī)器學(xué)習(xí)使計算機(jī)或智能系統(tǒng)模擬人類的學(xué)習(xí)行為，自動獲取知識和技能，不斷改善系統(tǒng)性能，實現(xiàn)系統(tǒng)自我完善基本問題：用于獲取、表示、修改和應(yīng)用知識或技能的形式與方法主要研究方向?qū)W習(xí)機(jī)理研究：研究人類學(xué)習(xí)的機(jī)制和如何在智能系統(tǒng)中實現(xiàn)學(xué)習(xí)方法研究：研究人類學(xué)習(xí)過程、方法和如何在智能系統(tǒng)中實現(xiàn)學(xué)習(xí)系統(tǒng)研究：面向特定的任務(wù)或問題，如何建立學(xué)習(xí)系統(tǒng)第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)學(xué)習(xí)系統(tǒng)概念學(xué)習(xí)系統(tǒng)是一個能夠通過與其所處環(huán)境的相互作用獲得有關(guān)信息，并將這些信息用于提高自身性能的智能系統(tǒng)構(gòu)成學(xué)習(xí)環(huán)境：向系統(tǒng)提供有關(guān)的外部信息——外部信息源學(xué)習(xí)機(jī)構(gòu)：從環(huán)境中提取信息知識庫：存放由學(xué)習(xí)獲得的知識執(zhí)行與評價機(jī)構(gòu)執(zhí)行：應(yīng)用所學(xué)到的知識解決問題的過程評價：驗證和評判所學(xué)知識的應(yīng)用效果——所學(xué)知識的正確性自動評價：系統(tǒng)通過內(nèi)部的評價指標(biāo)體系自動完成評價人工評價：人工完成評價第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)具備的條件和能力適當(dāng)?shù)膶W(xué)習(xí)環(huán)境一定的學(xué)習(xí)能力應(yīng)用學(xué)到知識求解問題提高系統(tǒng)性能第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)方法按學(xué)習(xí)方法分類：機(jī)械式學(xué)習(xí)、指導(dǎo)式學(xué)習(xí)、示例學(xué)習(xí)、類比學(xué)習(xí)、解釋學(xué)習(xí)按推理方法分類：演繹學(xué)習(xí)、歸納學(xué)習(xí)按綜合屬性分類：歸納學(xué)習(xí)、分析學(xué)習(xí)、連接學(xué)習(xí)、遺傳學(xué)習(xí)、分類器學(xué)習(xí)第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)TheAprioriAlgorithmCk:Candidateitemsetofsizek.Lk:frequentitemsetofsizek.L1={frequentitems};for

(k=1;Lk!=

;k++)dobegin

Ck+1=NewcandidatesgeneratedfromLk;

foreachtransactiontindatabasedoincrementthecountofallcandidatesinCk+1thatarecontainedint

Lk+1=candidatesinCk+1withmin.support

endreturn

k

Lk;第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)AprioriCandidateGenerationMonotonicityProperty:AllsubsetofafrequentsetarefrequentGivenLk,Ck+1canbegeneratedintwosteps:Join:JoinLkwithLk,withthejoinconditionthatthefirstk-1itemsshouldbethesamePrune:deleteallcandidateswhosesupportislowerthentheminimumsupportspecified第18講人工神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)MiningAssociationRules--ExampleForruleA

C:support=sup