ch4機(jī)器學(xué)習(xí)課件

1、第六章 機(jī)器學(xué)習(xí)概述決策樹學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)器學(xué)習(xí) 概述1.機(jī)器學(xué)習(xí)的基本概念：按照人工智能大師西蒙的觀點(diǎn)，學(xué)習(xí)就是系統(tǒng)在不斷重復(fù)的工作中對本身能力的增強(qiáng)或者改進(jìn)，使得系統(tǒng)在下一次執(zhí)行同樣任務(wù)或類似任務(wù)時，會比現(xiàn)在做得更好或效率更高。2.機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來模擬人類學(xué)習(xí)活動的一門學(xué)科。稍為嚴(yán)格的提法是：機(jī)器學(xué)習(xí)是一門研究機(jī)器獲取新知識和新技能，并識別現(xiàn)有知識的學(xué)問。機(jī)器能否象人類一樣能具有學(xué)習(xí)能力呢？1959年美國的塞繆爾(Samuel)設(shè)計了一個下棋程序，這個程序具有學(xué)習(xí)能力，它可以在不斷的對奕中改善自己的棋藝。4年后，這個程序戰(zhàn)勝了設(shè)計者本人。又過了3年，這個程序戰(zhàn)勝

2、了美國一個保持8年之久的常勝不敗的冠軍。這個程序向人們展示了機(jī)器學(xué)習(xí)的能力，提出了許多令人深思的社會問題與哲學(xué)問題。 機(jī)器學(xué)習(xí) 概述機(jī)器學(xué)習(xí)的任務(wù)獲得對于輸入的數(shù)據(jù)進(jìn)行分類的能力。獲得解決問題，行為計劃和行為控制等的能力。 機(jī)器學(xué)習(xí) 概述為什么要研究機(jī)器學(xué)習(xí)？當(dāng)前人工智能研究的主要障礙和發(fā)展方向之一就是機(jī)器學(xué)習(xí)。包括學(xué)習(xí)的計算理論和構(gòu)造學(xué)習(xí)系統(tǒng)?，F(xiàn)在的人工智能系統(tǒng)還完全沒有或僅有很有限的學(xué)習(xí)能力。系統(tǒng)中的知識由人工編程送入系統(tǒng)，知識中的錯誤也不能自動改正。也就是說，現(xiàn)有的大多數(shù)人工智能是演繹的、沒有歸納推理，因而不能自動獲取和生成知識。機(jī)器學(xué)習(xí) 概述實現(xiàn)的困難： 預(yù)測難：學(xué)習(xí)后知識庫發(fā)生了什么

3、變化，系統(tǒng)功能的變化的預(yù)測。 歸納推理：現(xiàn)有的歸納推理只保證假，不保證真。演繹推理保真。而且，歸納的結(jié)論是無限多的，其中相當(dāng)多是假的，給生成的知識帶來不可靠性。 機(jī)器目前很難觀察什么重要、什么有意義。 機(jī)器學(xué)習(xí) 概述發(fā)展歷史50年代中期60年代中期（熱烈時期）學(xué)習(xí)的統(tǒng)計計算模型自組織、自適應(yīng)方法模式識別的產(chǎn)生(指紋、掌心、頭骨骼等)，至今還在沿用60年代中期70年代中期（冷清時期）Winston積木世界學(xué)習(xí)系統(tǒng) Michalski 大豆病診斷規(guī)則程序 概念學(xué)習(xí)過程，高級知識的符號描述 70年代中期80年代中期（復(fù)興時期） 多個概念的學(xué)習(xí)，多種學(xué)習(xí)策略 機(jī)器學(xué)習(xí)與各種應(yīng)用結(jié)合起來 80年：CMU

4、召開了第一次機(jī)器學(xué)習(xí)研討會 86年：Machine Learning創(chuàng)刊機(jī)器學(xué)習(xí)的最新階段始于1986年。 決策樹學(xué)習(xí)決策樹(Decision Tree) 一種描述概念空間的有效的歸納推理辦法?；跊Q策樹的學(xué)習(xí)方法可以進(jìn)行不相關(guān)的多概念學(xué)習(xí)，具有簡單快捷的優(yōu)勢，已經(jīng)在各個領(lǐng)域取得廣泛應(yīng)用。決策樹學(xué)習(xí)（概述）決策樹學(xué)習(xí)是以實例為基礎(chǔ)的歸納學(xué)習(xí)。從一類無序、無規(guī)則的事物（概念）中推理出決策樹表示的分類規(guī)則。概念分類學(xué)習(xí)算法：來源于Hunt,Marin和Stone 于1966年研制的CLS學(xué)習(xí)系統(tǒng)，用于學(xué)習(xí)單個概念。1979年, J.R. Quinlan 給出ID3算法，并在1983年和1986年對

5、ID3 進(jìn)行了總結(jié)和簡化，使其成為決策樹學(xué)習(xí)算法的典型。Schlimmer 和Fisher 于1986年對ID3進(jìn)行改造，在每個可能的決策樹節(jié)點(diǎn)創(chuàng)建緩沖區(qū)，使決策樹可以遞增式生成，得到ID4算法。1988年，Utgoff 在ID4基礎(chǔ)上提出了ID5學(xué)習(xí)算法，進(jìn)一步提高了效率。1993年，Quinlan 進(jìn)一步發(fā)展了ID3算法，改進(jìn)成C4.5算法。另一類決策樹算法為CART，與C4.5不同的是，CART的決策樹由二元邏輯問題生成，每個樹節(jié)點(diǎn)只有兩個分枝，分別包括學(xué)習(xí)實例的正例與反例決策樹學(xué)習(xí)（概述）1 建立決策樹，利用訓(xùn)練樣本生成決策樹模型。 開始，數(shù)據(jù)都在根節(jié)點(diǎn)遞歸的進(jìn)行數(shù)據(jù)分片2 使用決策樹

6、對未知數(shù)據(jù)進(jìn)行分類 按照決策樹上采用的分割屬性逐層往下，直到一個葉子節(jié)點(diǎn)判定樹分類算法output訓(xùn)練集決策樹input決策樹學(xué)習(xí)（決策樹）判定結(jié)構(gòu)可以機(jī)械的轉(zhuǎn)變成產(chǎn)生式規(guī)則?？梢酝ㄟ^對結(jié)構(gòu)進(jìn)行廣度優(yōu)先搜索，并在每個節(jié)點(diǎn)生成“IFTHEN”規(guī)則來實現(xiàn)。 IF “個子大” THEN IF “脖子短” THEN IF “鼻子長” THEN 可能是大象形式化表示成決策樹學(xué)習(xí)（決策樹）構(gòu)造一棵決策樹要解決四個問題：收集待分類的數(shù)據(jù)，這些數(shù)據(jù)的所有屬性應(yīng)該是完全標(biāo)注的。設(shè)計分類原則，即數(shù)據(jù)的哪些屬性可以被用來分類，以及如何將該屬性量化。分類原則的選擇，即在眾多分類準(zhǔn)則中，每一步選擇哪一準(zhǔn)則使最終的樹更令

7、人滿意。設(shè)計分類停止條件，實際應(yīng)用中數(shù)據(jù)的屬性很多，真正有分類意義的屬性往往是有限幾個，因此在必要的時候應(yīng)該停止數(shù)據(jù)集分裂：決策樹學(xué)習(xí)（學(xué)習(xí)） Shannon信息熵自信息量設(shè)信源X發(fā)出ai 的概率p(ai)，在收到符號ai之前，收信者對ai 的不確定性定義為ai的自信息量I(ai)。 I(ai) = -logp(ai)。信息熵自信息量只能反映符號的不確定性，而信息熵用來度量整個信源整體的不確定性，定義為： 其中，r為信源X發(fā)出的所有可能的符號類型。信息熵反應(yīng)了信源每發(fā)出一個符號所提供的平均信息量。 決策樹學(xué)習(xí)（學(xué)習(xí)）Shannon信息熵條件熵設(shè)信源為X，收信者收到信息Y，用條件熵H(X|Y)來

8、描述收信者在收到Y(jié)后對X的不確定性估計。設(shè)X的符號ai，Y的符號bj，p(ai|bj)為當(dāng)Y為bj時，X為ai的概率，則有：平均互信息量用平均互信息量來表示信號Y所能提供的關(guān)于X的信息量的大小，用I(X, Y)表示： ID3算法設(shè)學(xué)習(xí)的實例集為 其中Si為學(xué)習(xí)實例，T實例集大小。對于有指導(dǎo)的學(xué)習(xí)，任一個Si具有明確標(biāo)定的類別 ， 向量表示該實例的特性，即Si的信息為，如果一個觀測值具有屬性則應(yīng)該劃歸為類，應(yīng)該有下面的規(guī)則總結(jié)出來 信息增益度度量 任意樣本分類的期望信息： I(s1,s2,sm)=Pi log2(pi) （i=1,m） S是s個數(shù)據(jù)樣本的集合。類別屬性具有m個不同值Ci。si是類

9、Ci中的樣本數(shù)。pi是任意樣本屬于Ci的概率，并用si/s估計。由非類別屬性A劃分為子集的熵：E(A)= (s1j+ +smj)/s * I(s1j， ，smj) 非類別屬性A具有v個不同值a1，a2，av。利用A將S劃分為v個子集S1，S2，Sv； 其中Sj包含S中在A上具有值aj的樣本。Sij是子集Sj中類Ci的樣本數(shù)。 信息增益：Gain(A)= I(s1,s2,sm) E(A)ID3的基本思想 構(gòu)造決策樹，決策樹的每個節(jié)點(diǎn)對應(yīng)一個非類別屬性，每條邊對應(yīng)該屬性的每個可能值。以信息熵的下降速度作為選取測試屬性的標(biāo)準(zhǔn)，即所選的測試屬性是從根到當(dāng)前節(jié)點(diǎn)的路徑上尚未被考慮的具有最高信息增益的屬性

10、。天氣溫度濕度風(fēng)況運(yùn)動晴8585無不適合晴8090有不適合多云8378無適合有雨7096無適合有雨6880無適合有雨6570有不適合多云6465有適合晴7295無不適合晴6970無適合有雨7580無適合晴7570有適合多云7290有適合多云8175無適合有雨7180有不適合決策樹天氣?overcast濕度?風(fēng)況?75無有天晴有雨不適合不適合不適合適合適合多云第六章 機(jī)器學(xué)習(xí)概述決策樹學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)概述什么叫人工神經(jīng)網(wǎng)絡(luò)采用物理可實現(xiàn)的系統(tǒng)來模仿人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能的系統(tǒng)。為什么要研究神經(jīng)網(wǎng)絡(luò)用計算機(jī)代替人的腦力勞動。 計算機(jī)速度為納秒級，人腦細(xì)胞反應(yīng)時間是毫秒級。而計算機(jī)不如人。 長期以

11、來人類的夢想，機(jī)器既能超越人的計算能力，又有類似于人的識別、分析、聯(lián)想等能力。概述發(fā)展史1890年，美國生物學(xué)家W.James出版了Physiology（生理學(xué)）一書。首次闡明了有關(guān)人腦結(jié)構(gòu)及其功能，以及相關(guān)學(xué)習(xí)、聯(lián)想、記憶的基本規(guī)律。指出：人腦中當(dāng)兩個基本處理單元同時活動，或兩個單元靠得比較近時，一個單元的興奮會傳到另一個單元。而且一個單元的活動程度與他周圍的活動數(shù)目和活動密度成正比。概述 發(fā)展史1943年McCulloch（心理學(xué)家）和Pitts（數(shù)理邏輯學(xué)家）發(fā)表文章，提出M-P模型。描述了一個簡單的人工神經(jīng)元模型的活動是服從二值（興奮和抑制）變化的?？偨Y(jié)了神經(jīng)元的基本生理特性，提出了神

12、經(jīng)元的數(shù)學(xué)描述和網(wǎng)絡(luò)的結(jié)構(gòu)方法。標(biāo)志神經(jīng)計算時代的開始 概述 發(fā)展史MP模型的意義：M-P模型能完成一定的邏輯運(yùn)算 第一個采用集體并行計算結(jié)構(gòu)來描述人工神經(jīng)元和網(wǎng)絡(luò)工作。 為進(jìn)一步的研究提供了依據(jù) （可以完成布爾邏輯計算）概述 發(fā)展史1949年Donala U.Hebb（心理學(xué)家）論著The Organization of Behavior（行為自組織），提出突觸聯(lián)系強(qiáng)度可變的假設(shè)，認(rèn)為學(xué)習(xí)的過程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的聯(lián)系強(qiáng)度隨著突觸前后神經(jīng)元的活動而變化。赫布規(guī)則 多用于自組織網(wǎng)絡(luò)的學(xué)習(xí)。即：若兩個神經(jīng)元輸出興奮，則它們之間的連接權(quán)加強(qiáng)，反之減少。 Wji(t+1)=wji(

13、t)+ xi(t)xj(t)概述 發(fā)展史赫布規(guī)則意義（提出了變化的概念）提出了一個神經(jīng)網(wǎng)絡(luò)里信息是儲藏在突觸連接的權(quán)中的概念 連接權(quán)的學(xué)習(xí)律是正比于兩個被連接神經(jīng)細(xì)胞的活動狀態(tài)值的乘積 假設(shè)權(quán)是對稱的 細(xì)胞的互相連接的結(jié)構(gòu)是他們權(quán)的改變創(chuàng)造出來的 概述 發(fā)展史1957年Frank Rosenblatt定義了一個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為感知器(Perceptron) 。意義：第一次把神經(jīng)網(wǎng)絡(luò)研究從純理論的探討推向工程實現(xiàn)，在IBM704計算機(jī)上進(jìn)行了模擬，證明了該模型有能力通過調(diào)整權(quán)的學(xué)習(xí)達(dá)到正確分類的結(jié)果。掀起了神經(jīng)網(wǎng)絡(luò)研究高潮。概述 發(fā)展史1969M.Minsky和S. Papert發(fā)表了Perc

14、eptrons的論著，指出感知器僅能解決一階謂詞邏輯，只能做線性劃分。對于非線性或其他分類會遇到很大困難。一個簡單的XOR問題的例子就證明了這一點(diǎn)。神經(jīng)網(wǎng)絡(luò)研究一度達(dá)到低潮。原因還有：計算機(jī)不夠發(fā)達(dá)、VLSI還沒出現(xiàn)、而人工智能和專家系統(tǒng)正處于發(fā)展高潮。概述 發(fā)展史七十年代,據(jù)說全球只有幾十個人在研究，但還是成功的。如：日本Fukusima的Neocognitron； 芬蘭Kohonen的自組織神經(jīng)網(wǎng)絡(luò)；Stephen Crossberg的共振自適應(yīng)理論ART網(wǎng)絡(luò)等 。概述 發(fā)展史1982年John J. Hopfield（物理學(xué)家）提出了全聯(lián)接網(wǎng)絡(luò)，離散的神經(jīng)網(wǎng)絡(luò)模型。全新的具有完整理論基礎(chǔ)

15、的神經(jīng)網(wǎng)絡(luò)模型。基本思想是對于一個給定的神經(jīng)網(wǎng)絡(luò)，對于一個能量函數(shù)，這個能量函數(shù)是正比于每一個神經(jīng)元的活動值和神經(jīng)元之間的聯(lián)接權(quán)。而活動值的改變算法是向能量函數(shù)減少的方向進(jìn)行，一直達(dá)到一個極小值為止。證明了網(wǎng)絡(luò)可達(dá)到穩(wěn)定的離散和連續(xù)兩種情況。年后AT&T等做出了半導(dǎo)體芯片。神經(jīng)網(wǎng)絡(luò)復(fù)興時期開始。 概述 發(fā)展史1986年美國的一個平行計算研究小組提出了前項反饋神經(jīng)網(wǎng)絡(luò)的Back Propagation（BP）學(xué)習(xí)算法。成為當(dāng)今應(yīng)用最廣泛的方法之一。該方法克服了感知器非線性不可分類問題，給神經(jīng)網(wǎng)絡(luò)研究帶來了新的希望。 概述 發(fā)展史1987年在美國召開了第一屆世界神經(jīng)網(wǎng)絡(luò)大會1000人參加。IJCN

16、N等大會Neural Computing, IEEE Neural Network 等期刊概述符號主義與神經(jīng)網(wǎng)絡(luò)共同之處：研究怎樣使用計算機(jī)來模仿人腦工作過程。學(xué)習(xí)實踐再學(xué)習(xí)再實踐 。不同之處：符號主義研究人腦的推理、學(xué)習(xí)、思考、規(guī)劃等思維活動，解決需人類專家才能處理的復(fù)雜問題。神經(jīng)網(wǎng)絡(luò)企圖闡明人腦結(jié)構(gòu)及其功能，以及一些相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本規(guī)則（聯(lián)想、概括、并行搜索、學(xué)習(xí)和靈活性） 概述基本原理神經(jīng)元模型基本原理神經(jīng)元模型神經(jīng)元每一個細(xì)胞處于兩種狀態(tài)。突觸聯(lián)接有強(qiáng)度。多輸入單輸出。實質(zhì)上傳播的是脈沖信號，信號的強(qiáng)弱與脈沖頻率成正比。 基本原理神經(jīng)元模型特性函數(shù)：神經(jīng)細(xì)胞的輸出對輸入的反映。

17、(a)xf(x)10神經(jīng)元中的某些特性（激勵）函數(shù)(a) 二值函數(shù)(b) S形函數(shù) (c) 分段函數(shù)(c)xf(x)1(b)f(x)x10基本原理網(wǎng)絡(luò)結(jié)構(gòu)人腦神經(jīng)網(wǎng)絡(luò)：人腦中約有億個神經(jīng)細(xì)胞，根據(jù)Stubbz的估計這些細(xì)胞被安排在約個主要模塊內(nèi)，每個模塊上有上百個神經(jīng)網(wǎng)絡(luò)，每個網(wǎng)絡(luò)約有萬個神經(jīng)細(xì)胞。 基本原理網(wǎng)絡(luò)模型前饋網(wǎng)絡(luò)：每層只與前層相聯(lián)接 基本原理網(wǎng)絡(luò)模型輸入輸出有反饋的前饋網(wǎng)絡(luò)：輸出層上存在一個反饋回路，將信號反饋到輸入層。而網(wǎng)絡(luò)本身還是前饋型的基本原理網(wǎng)絡(luò)模型前饋內(nèi)層互聯(lián)網(wǎng)絡(luò)：外部看還是一個前向網(wǎng)絡(luò)，內(nèi)部有很多自組織網(wǎng)絡(luò)在層內(nèi)互聯(lián)著。基本原理網(wǎng)絡(luò)模型反饋型全互聯(lián)網(wǎng)絡(luò)：所有計算單元之間

18、都有聯(lián)接。如：Hopfield網(wǎng)絡(luò) 基本原理基本屬性基本屬性：非線性非局域性非定常性非凸性基本原理優(yōu)缺點(diǎn)評價優(yōu)點(diǎn)：并行性；分布存儲；容錯性；學(xué)習(xí)能力 缺點(diǎn)：不適合高精度計算；學(xué)習(xí)問題沒有根本解決，慢；目前沒有完整的設(shè)計方法，經(jīng)驗參數(shù)太多。 前饋型神經(jīng)網(wǎng)概述最初稱之為感知器。應(yīng)用最廣泛的一種人工神經(jīng)網(wǎng)絡(luò)模型，最要原因是有BP學(xué)習(xí)方法。前饋網(wǎng)絡(luò)結(jié)構(gòu)是分層的，信息只能從下一層單元傳遞到相應(yīng)的上一層單元。上層單元與下層所有單元相聯(lián)接。特性函數(shù)可以是線性閾值的。 前饋型神經(jīng)網(wǎng)單層感知器前饋型神經(jīng)網(wǎng)基本原理，結(jié)構(gòu)簡單。很少在實際應(yīng)用中出現(xiàn)。采用階躍函數(shù)作為特性函數(shù)。輸出yi等于：(1)其中前饋型神經(jīng)網(wǎng)單層

19、感知器分類方法：如果輸入x有k個樣本，xp, p=1, 2, , k, xRn當(dāng)將這些樣本分別輸入到單輸出的感知器中，在一定的和下，輸出有兩種可能+1或-1。舉個例子：銀行貸款：什么情況下可以，什么情況下不可以分為條件x1, x2, x3 , , xk，過去有很多貸款實例。形成一個表：0 x1, x2, x3,xk貸款101010101011211001010100。1+X1X2二維輸入感知器及其在狀態(tài)空間中的劃分 簡單感知器引入的學(xué)習(xí)算法稱之為誤差學(xué)習(xí)算法： 誤差型學(xué)習(xí)規(guī)則： (1)選擇一組初始權(quán)值wi(0)。 (2)計算某一輸入模式對應(yīng)的實際輸出與期望輸出的誤差(3)如果小于給定值，返回2

20、，否則繼續(xù)。 (4)更新權(quán)值(閾值可視為輸入恒為1的一個權(quán)值)： wi（t+1） wi（t+1）- wi（t） dy(t)xi。 式中為在區(qū)間(0，1)上的一個常數(shù)，稱為學(xué)習(xí)步長，它的取值與訓(xùn)練速度和w收斂的穩(wěn)定性有關(guān)；d、y為神經(jīng)元的期望輸出和實際輸出；xi為神經(jīng)元的第i個輸入。 (5)返回(2)，重復(fù)，直到對所有訓(xùn)練樣本模式，網(wǎng)絡(luò)輸出均能滿足要求。 簡單的分類例題(XOR) 其中a, b是輸入單元，c, d是隱單元，e是輸出單元。單元的激活值規(guī)定取1或0，每個單元的輸出函數(shù)都取為等價函數(shù)，即a=o。單元的net值是所有輸入的加權(quán)和：net=wo 。單元的激活函數(shù)采用閾值函數(shù)，閾值為0.01

21、。即當(dāng)單元的net值大于0.01時該單元的激活值取1，否則取0。dbcae+1+1+1+1-1-1 輸入 輸出 閾值 ( 0 0 ) 0 =0.01 ( 0 1 ) 1 ( 1 0 ) 1 ( 1 1 ) 0=0.01 =0.01 =0.01 簡單的分類計算 1. 輸入為(0, 0)時，oa=ob=0 netc = oawca + obwcb = 01+ 0(-1)= 0 netd = oawda + obwdb = 0(-1)+ 01= 0 因為 netc0.01，netc 0.01，所以 ac=0，ad=0 得到oc=0, od=0。所以 nete = ocwec + odwed = 01

22、 + 01 = 0 因為 nete0.01 所以 oe=ae=0 即當(dāng)輸入為(0, 0)時，網(wǎng)絡(luò)的輸出為0。dbcae+1+1+1+1-1-1=0.01 =0.01 =0.01 簡單的分類計算 2. 網(wǎng)絡(luò)輸入為(0, 1)時，oa=0, ob=1 netc = oawca + obwcb = 01+1(-1)= -1 netd = oawda + obwdb = 0(-1)+ 11= 1 因為 netc 0.01 所以 oc= ac= 0, od= ad= 1。得 nete = ocwec + odwed = 01 + 11 = 10.01 oe=ae=1 即當(dāng)輸入為(0, 1)時，網(wǎng)絡(luò)的輸出

23、為1。dbcae+1+1+1+1-1-1=0.01 =0.01 =0.01 例題總結(jié) 同樣當(dāng)網(wǎng)絡(luò)輸入為(1, 0)時，網(wǎng)絡(luò)的輸出為1。 當(dāng)網(wǎng)絡(luò)輸入為(1, 1)時，網(wǎng)絡(luò)的輸出為0。 因此，神經(jīng)網(wǎng)絡(luò)完成了一個影射，起到了函數(shù)的作用。由于其中的機(jī)理不清楚，也稱“黑箱”。dbcae+1+1+1+1-1-1=0.01 =0.01 =0.01 “黑箱” 或函數(shù) F 輸入 ( 0 0 ) ( 0 1 ) ( 1 0 ) ( 1 1 )輸出 0 1 1 0前饋型神經(jīng)網(wǎng)多層感知器 多層感知器的輸入輸出關(guān)系與單層感知器完全相同。前一層的輸出是下一層的輸入。也被稱為BP網(wǎng)絡(luò)。反向傳播(BP)網(wǎng)絡(luò)的基本結(jié)構(gòu)主要有以

24、下特點(diǎn)： 1. 至少有一層隱單元； 2.增加隱藏層的層數(shù)和隱藏層神經(jīng)元個數(shù)不一定總能夠提高網(wǎng)絡(luò)精度和表達(dá)能力。BP網(wǎng)一般都選用三層網(wǎng)絡(luò)。 3. 單元的激活函數(shù)是它總輸入的非遞減可微函數(shù)，實際應(yīng)用中常選取S型函數(shù)，如 Logsigmoid或Tansigmoid函數(shù) 4.包括兩個過程： i) 正向的計算傳播； ii) 逆向的誤差傳播過程。dbcaewvv dbcagwufe 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x0y0輸出層隱藏層輸入層x1y1Ym-1Xn-1W1WlogSigmoid函數(shù)基本形式及圖形01BP網(wǎng)絡(luò)的學(xué)習(xí)其根本思想是： i) 建立描述網(wǎng)絡(luò)實際輸出與目標(biāo)輸出的差值ii) 找到使E最小的一個權(quán)重集合iii)

25、E中yl是權(quán)值wij的函數(shù) 所以E也是權(quán)值wij的函數(shù)。為使E最小，需選取E曲面上一個梯度下降最快的方向修改wij。即：權(quán)值的改變量與E的負(fù)導(dǎo)數(shù)成比例 wij=- (E/wij) BP網(wǎng)絡(luò)權(quán)重學(xué)習(xí)算法的最一般形式 E中的權(quán)重分為兩種，連接到隱單元的和到輸出單元的。因而從wij=- (E/wij)中導(dǎo)出的權(quán)值計算就有兩種: i) 對于輸出單元的連接權(quán)ii) 對于隱單元的連接權(quán) 程序結(jié)構(gòu)分析。 網(wǎng)絡(luò)初始設(shè)定：隨機(jī)權(quán)重W、隨機(jī)閾值B、學(xué)習(xí)率、網(wǎng)絡(luò)誤差E、隱結(jié)點(diǎn)個數(shù)等。初始設(shè)定前向計算誤差傳播權(quán)值修改 網(wǎng)絡(luò)訓(xùn)練是建立網(wǎng)絡(luò)模型的核心內(nèi)容，是一個循環(huán)體，分為前向計算、誤差逆向傳播、權(quán)值修改等。然后根據(jù)初始設(shè)定的誤差決定是否停止訓(xùn)練。樣本檢驗參數(shù)存儲 訓(xùn)練結(jié)束后，繼續(xù)使用檢驗樣本對網(wǎng)絡(luò)進(jìn)行適應(yīng)性驗證。 當(dāng)考證網(wǎng)絡(luò)具備所要求的性能后，將網(wǎng)絡(luò)涉及的各種參數(shù)存儲，以備建立實際系統(tǒng)。例：保定市的降水模型 通過對降水過程的總結(jié)，建立保定降水的簡單預(yù)報模型：1、東高西低：高空天氣形勢應(yīng)該具備東部是高壓或高壓脊，西部有低壓或低壓槽，保定位于南或西南氣流里，簡稱東高西低；2、垂直運(yùn)動條件：降水時一定存在低層要有水平輻合，高層水平輻散，有上