人工神經網絡及模式識別

人工神經網絡及模式識別第一頁，共六十九頁，編輯于2023年，星期六2023/6/1523.1引言

模式識別與人工智能所研究的是如何用計算機實現入腦的一些功能。一方面，從要實現的功能出發(fā)，將功能分解成子功能，直至設計出算法來實現這些子功能。這是自頂向下的分析方法，前面各章是這條思路的產物。另一方面，入腦無論多么復雜，都可以看作是由大量神經元組成的巨大的神經網絡。從神經元的基本功能出發(fā)，逐步從簡單到復雜組成各種神經網絡，研究它所能實現的功能，是自底向上的綜合方法。第二頁，共六十九頁，編輯于2023年，星期六2023/6/153人工神經網絡研究的發(fā)展1943年，McCulloch和Pitts提出了神經元的數學模型1949年，Hebb提出神經元之間突觸聯(lián)系強度可變的假設，并據此提出神經元的學習準則，為神經網絡的學習算法奠定了基礎50年代末，Rosenblatt提出了感知器模型，首次把神經網絡的研究付諸工程實踐。1969年，人工智能創(chuàng)始入之一的Minsky和Papert出版了《感知器》，深入分析了感知器的原理，指出其局限性。1982年，Hopfield提出了神經網絡模型，引入了能量函數的概念，研究了其動力學性質，設計出用電子線路實現這一網絡的方案，開拓了神經網絡用于聯(lián)想記憶和優(yōu)化計算的新途徑，大大促進了神經網絡的研究。1986年，Rumelhart及LeCun等學者提出了多層感知器的反向傳播算法，克服了阻礙感知器模型發(fā)展的重要障礙。第三頁，共六十九頁，編輯于2023年，星期六2023/6/154另一方面，20世紀80年代以來，傳統(tǒng)的基于符號處理的人工智能在解決工程問題時遇到了許多困難。串行機盡管有很好的性能，但在解決像模式識別、學習等對入來說是輕而易舉的問題上顯得非常困難。這就促使入們懷疑當前的VonNeumann機是否能解決智能問題，也促使入們探索更接近入腦的計算模型，于是又形成了對神經網絡研究的熱潮?，F在神經網絡的應用已滲透到多個領域，如智能控制、模式識別、信號處理、計算機視覺、優(yōu)化計算、知識處理、生物醫(yī)學工程等。第四頁，共六十九頁，編輯于2023年，星期六2023/6/1553.2人工神經元

3.2.1生物神經元

圖4.1典型的神經元構成示意圖第五頁，共六十九頁，編輯于2023年，星期六2023/6/156典型的神經元構成胞體。是神經細胞的本體，內有細胞核和細胞質，完成普通細胞的生存功能樹突。有大量的分枝，長度較短，接受自其他神經元的信號軸突。它用以輸出信號；較長的軸突被髓鞘包裹，以提高傳導速度并減少相互干擾，相當于導線的絕緣層；軸突遠端也有分枝，可與多個神經元連接。突觸。它是一個神經元與另一個神經元相聯(lián)系的特殊部位，通常是一個神經元軸突的端部靠化學接觸或電接觸將信號（興奮）傳遞給下一個神經元的樹突或胞體；對樹突的突觸多為興奮性的，使下一個神經元興奮，而對胞體的突觸多為抑制性，其作用是阻止下一個神經元興奮。第六頁，共六十九頁，編輯于2023年，星期六2023/6/157神經元的基本工作機制一個神經元有兩種狀態(tài)興奮和抑制。平時處于抑制狀態(tài)的神經元，其樹突和胞體接收其他神經元經由突觸傳來的興奮電位，多個輸入在神經元中以代數和的方式疊加；如果輸入興奮總量超過某個鬧值，神經元就會被激發(fā)進入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其他神經元。神經元被觸發(fā)之后有一個不應期，在此期間內不能被觸發(fā)，然后閩值逐漸下降，恢復興奮性。神經元是按照“全或無”的原則工作的，只有興奮和抑制兩種狀態(tài)，但也不能認為神經元只能表達或傳遞二值邏輯信號。因為神經元興奮時往往不是只發(fā)出一個脈沖，而是發(fā)出一串脈沖，如果把這一申脈沖看成是一個調頻信號，脈沖的密度是可以表達連續(xù)量的。第七頁，共六十九頁，編輯于2023年，星期六2023/6/1583.2.2人工神經元

人工神經元模型與兩種常見的輸出函數

第八頁，共六十九頁，編輯于2023年，星期六2023/6/159圖中的n個輸入，相當于其他神經元的輸出值，n個權值相當于突觸的連接強度，f是一個非線性函數，例如閾值函數或Sigmoid函數，是閾值。神經元的動作如下：當f為閾值函數時，其輸出為：或第九頁，共六十九頁，編輯于2023年，星期六2023/6/1510選取不同的輸出函數f，y的取值范圍也不同則則某些重要的學習算法要求輸出函數f可微，此時通常選用Sigmoid函數：

若若則則也可以選

第十頁，共六十九頁，編輯于2023年，星期六2023/6/1511Sigmoid函數的特性：非線性，單調性。無限次可微。當權值很大時可近似闌值函數。當權值很小時可近似線性函數。第十一頁，共六十九頁，編輯于2023年，星期六2023/6/1512如果神經元ui接收來自另一神經元uj的輸出，則當這兩個神經元同時興奮時，從uj到ui的權值wij就得到加強。具體到前述的神經元模型，可以將Hebb規(guī)則表現為如下的算法：

式中是對第i個權值的修正量，η是控制學習速度的系數。3.2.3神經元的學習算法–--

Hebb學習規(guī)則第十二頁，共六十九頁，編輯于2023年，星期六2023/6/15133.3前饋神經網絡及其主要算法3.3.1前饋神經網絡構成前饋網絡的各神經元接受前一級輸入，并輸出到下一級，無反饋，可用一有向無環(huán)圖表示。圖的節(jié)點分為兩類，即輸入節(jié)點與計算單元。每個計算單元可有任意個輸入，但只有一個輸出，而輸出可藕合到任意多個其他節(jié)點的輸入。前饋網絡通常分為不同的層，第i層的輸入只與第i-1層的輸出相聯(lián)，這里認為輸入節(jié)點為第一層。輸入和輸出節(jié)點由于可與外界相連，直接受環(huán)境影響，稱為可見層，而其他的中間層則稱為隱層

第十三頁，共六十九頁，編輯于2023年，星期六2023/6/15143.3.2感知器

感知器（Pereceptron）是一種雙層神經網絡模型，一層為輸入層，另一層具有計算單元，可以通過監(jiān)督學習建立模式判別的能力。學習的目標是通過改變權值使神經網絡由給定的輸入得到給定的輸出。

感知器模型示意圖

第十四頁，共六十九頁，編輯于2023年，星期六2023/6/1515作為分類器，可以用已知類別的模式向量或特征向量作為訓練集，當輸入為屬于第j類的特征向量X時，應使對應于該類的輸出，而其他神經元的輸出則為0（或-1）。設理想的輸出為

實際的輸出為了使實際的輸出逼近理想輸出，可以反復依次輸入訓練集中的向量X，并計算出實際的輸出，對權值作如下的修改：

其中第十五頁，共六十九頁，編輯于2023年，星期六2023/6/1516感知器的學習過程與求取線性判別函數的過程是等價的感知器的一些特性：①兩層感知器只能用于解決線性可分問題。②學習過程收斂很快，且與初始值無關。第十六頁，共六十九頁，編輯于2023年，星期六2023/6/15173.3.3三層前饋網絡利用人工神經元的非線性特性，可以實現各種邏輯門。例如，NAND（與非門）可用如圖所示的閾值神經元實現

用感知器模型實現“與非”邏輯

第十七頁，共六十九頁，編輯于2023年，星期六2023/6/1518由于任何邏輯函數都可以由與非門組成，因此，①任何邏輯函數都可以用前饋網絡實現。②單個閉值神經元可以實現任意多輸入的與、或及與非、或非門；由于任何邏輯函數都可以化為析?。ɑ蚝先。┬问剑匀魏芜壿嫼瘮刀伎捎靡粋€三層（只有兩層計算單元）的前饋網絡實現。當神經元的輸出函數為Sigmoid函數時，上述結論可以推廣到連續(xù)的非線性函數，在很寬松的條件下，三層前饋網絡可以逼近任意的多元非線性函數，突破了二層前饋網絡線性可分的限制。這種三層或三層以上的前饋網絡通常又被叫做多層感知器（Multi-Layer

Perceptron．簡稱MLP）。第十八頁，共六十九頁，編輯于2023年，星期六2023/6/15193.3.4反向傳播算法（BP法）

三層前饋網絡的適用范圍大大超過二層前饋網絡，但學習算法較為復雜，主要困難是中問的隱層不直接與外界連接，無法直接計算其誤差。為解決這一問題，提出了反向傳播(Back-Propogation，簡稱BP）算法。主要思想：從后向前（反向）逐層傳播輸出層的誤差，以間接算出隱層誤差。算法分為兩個階段：第一階段（正向過程）輸入信息從輸入層經隱層逐層計算各單元的輸出值；第二階段（反向傳播過程）內輸出誤差逐層向前算出隱層各單元的誤差，并用此誤差修正前層權值。第十九頁，共六十九頁，編輯于2023年，星期六2023/6/1520在反向傳播算法中通常采用梯度法修正權值，為此要求輸出函數可微，通常采用Sigmoid函數作為輸出函數。不失一般性，我們研究處于某一層的第j個計算元，腳標i代表其前層第i個單元，腳標k代表后層第k個單元，Oj代表本層輸出，wij是前層到本層的權值，如圖所示

反向傳播算法中的音量約定

第二十頁，共六十九頁，編輯于2023年，星期六2023/6/1521反向傳播算法步驟

（1）選定權系數初始值（2）重復下述過程直至收斂（對各樣本依次計算）①從前向后各層計算各單元②對輸出層計算③從后向前計算各隱層④計算并保存各權值修正量⑤修正權值第二十一頁，共六十九頁，編輯于2023年，星期六2023/6/1522反向傳播算法解決了隱層權值修正問題，但它是用梯度法求非線性函數極值，因而有可能陷入局部極小點，不能保證收斂到全局極小點。二層前饋網絡的收斂性不受初始值影響，各權值的初始值可以全設定為零；但三層以上的前饋網絡（含有一個以上隱層）使用反向傳播算法時，如果權值初始值都為零或都相同，隱層各單元不能出現差異，運算不能正常進行。因此，通常用較小的隨機數（例如-0.3~0.3）作為權值初始值。初始值對收斂有影響當計算不收斂時，可以改變初始值試算。

第二十二頁，共六十九頁，編輯于2023年，星期六2023/6/1523參數η和α步長η對收斂性影響很大，而且對于不同的間題其最佳值相差也很大，通賞可在0.1~0.3之間試探，對于較復雜的問題應用較大的值。慣性項系數α影響收斂速度，在很多應用中其值可在0.9~1之間選擇（比如0.95)時不收斂；有些情況下也可不用慣性項（即α=0）。

第二十三頁，共六十九頁，編輯于2023年，星期六2023/6/1524輸出層、輸入層、隱層三層前饋網絡的輸出層與輸入層是由問題本身決定的。例如，作為模式判別時輸入單元數是特征維數，輸出單元數是類數。但中間隱層的單元數如何確定則缺乏有效的方法。一般來說，問題越復雜，需要的隱層單元越多；或者說同樣的問題，隱層單元越多越容易收斂。但是隱層單元數過多會增加使用時的計算量，而且會產生“過學習”效果，使對未出現過的樣本的推廣能力變差。第二十四頁，共六十九頁，編輯于2023年，星期六2023/6/1525多類的模式識別問題對于多類的模式識別問題來說，要求網絡輸出把特征空間劃分成一些不同的類區(qū)（對應不同的類別），每一隱單元可形成一個超平面。

第二十五頁，共六十九頁，編輯于2023年，星期六2023/6/1526隱層數當隱層數難以確定時，可以先選較多的隱層單元數，待學習完成后，再逐步刪除一些隱層單元，使網絡更為精簡。刪除的原則：可以考慮某一隱層單元的貢獻。例如，其輸出端各權值絕對值大小，或輸入端權向量是否與其他單元相近更直接的方法是，刪除某個隱層單元，繼續(xù)一段學習算法；如果網絡性能明顯變壞，則恢復原狀，逐個測試各隱層單元的貢獻，把不必要的刪去。第二十六頁，共六十九頁，編輯于2023年，星期六2023/6/1527反向傳播算法完全可以用于四層或更多層的前饋網絡。三層網絡可以應付任何問題，但對于較復雜的問題，更多層的網絡有可能獲得更精簡的結果。遺憾的是，反向傳播算法直接用于多于三層的前饋網絡時，陷入局部極小點而不收斂的可能性很大。此時需要運用更多的先驗知識減小搜索范圍，或者找出一些原則來逐層構筑隱層。

第二十七頁，共六十九頁，編輯于2023年，星期六2023/6/15283.3.5徑向基函數網絡簡稱RBF網絡，其基本結構如圖所示。這種網絡的特點是：只有一個隱層，隱層單元采用徑向基函數作為其輸出特性，輸入層到隱層之間的權值均固定為1；輸出節(jié)點為線性求和單元，隱層到輸出節(jié)點之間的權值可調，因此輸出為隱層的加權求和。

第二十八頁，共六十九頁，編輯于2023年，星期六2023/6/1529所謂徑向基函數（RadialBasisFunctlon簡稱RBF)，就是某種沿徑向對稱的標量函數。通常定義為空間中任一點x到某一中心xc之間歐氏距離的單調函數，可記作k(||x-xc||)，其作用往往是局部的，即當x遠離xc時函數取值很小。最常用的徑向基函數是高斯核函數，形式為其中xc為核函數中心，σ為函數的寬度參數，控制了函數的徑向作用范圍。在RBF網絡中，這兩個參數往往是可調的

第二十九頁，共六十九頁，編輯于2023年，星期六2023/6/1530RBF網絡的作用

（l）把網絡看成對未知函數f(x）的逼近器。一般任何函數都可表示成一組基函數的加權和，這相當于用隱層單元的輸出函數構成一組基函數來逼近f（x）。（2）在RBF網絡中，從輸入層到隱層的基函數輸出是一種非線性映射，而輸出則是線勝的。這樣，RBF網絡可以看成是首先將原始的非線性可分的特征空間變換到另一空間（通常是高維空間），通過合理選擇這一變換使在新空間中原問題線性可分，然后用一個線性單元來解決問題。第三十頁，共六十九頁，編輯于2023年，星期六2023/6/1531隱層基函數中心、方差，以及輸出單元的權值

在典型的RBF網絡中有3組可調參數：隱層基函數中心、方差，以及輸出單元的權值。這些參數的選擇有3種常見的方法：（1）根據經驗選擇函數中心。比如只要訓練樣本的分布能代表所給問題，可根據經驗選定均勻分布的M個中心，其間距為d，可選高斯核函數的方差為

第三十一頁，共六十九頁，編輯于2023年，星期六2023/6/1532（2）用聚類方法選擇基函數?？梢愿骶垲愔行淖鳛楹撕瘮抵行?，而以各類樣本的方差的某一函數作為各個基函數的寬度參數。用（1）或（2）的方法選定了隱層基函數的參數后，因輸出單元是線性單元，它的權值可以簡單地用最小二乘法直接計算出來。（3）將三組可調參數都通過訓練樣本用誤差糾正算法求得。做法與BP方法類似，分別計算誤差對各組參數的偏導數（梯度），然后用迭代求取參數θ。第三十二頁，共六十九頁，編輯于2023年，星期六2023/6/15333.4競爭學習和側抑制前述前饋網絡屬于監(jiān)督學習，需要同時提供輸入樣本和相應的理想輸出。引進競爭機制的前饋網絡可以實現無監(jiān)督學習，完成聚類的任務競爭學習網絡的結構與二層前饋網絡類似，只是在輸出層加上了側抑制，如圖所示。競爭學習網絡結構示意圖第三十三頁，共六十九頁，編輯于2023年，星期六2023/6/1534側抑制側抑制是在輸出層各單元之間相互用較大的負權值輸入對方的輸出，這種互連構成正反饋，類似于雙穩(wěn)態(tài)或多穩(wěn)態(tài)觸發(fā)器。競爭的結果是，具有較大輸入的單元輸出為1,而其他單元的輸出都為0。網絡動作機制為：

第三十四頁，共六十九頁，編輯于2023年，星期六2023/6/1535初始值及權向量的處理學習時先用隨機數作為權值初始值，為了防止某個輸出單元的權值過大造成不應有的側重，在初始值和整個學習過程中隨時將權向量進行歸一化處理，即使得第三十五頁，共六十九頁，編輯于2023年，星期六2023/6/1536學習算法當樣本為歸一化樣本（）時，學習可按如下算法進行：第三十六頁，共六十九頁，編輯于2023年，星期六2023/6/1537注意的問題首先是網絡不可能收斂到修正量趨向于零的狀態(tài)，因此可以采取強制收斂的方法，在學習過程中將步長參數緩慢減少至零。其次是學習結果受初始值和學習樣本順序影響很大，聚類的結果未必是我們想要的結果，因此在實際應用時需要加入適當的人工干預。例如先選擇少量典型性好的樣本作為權向量初始。第三十七頁，共六十九頁，編輯于2023年，星期六2023/6/15383.5自組織特征映射入腦是由大量的神經元組成的，它們并非都起著同樣的作用，處于空間不同部位的區(qū)域分工不同，各自對輸入模式的不同特征敏感。大腦中分布著大量的協(xié)同作用的神經元群體，同時大腦網絡又是一個復雜的反饋系統(tǒng)，既包括局部反饋，也包括整體反饋及化學交互作用，聚類現象對于大腦的信息處理起著重要作用在大腦皮層中。第三十八頁，共六十九頁，編輯于2023年，星期六2023/6/1539神經元呈二維空間排列，其輸入信號主要有兩部分：一是來自感覺組織或其他區(qū)域的外部輸入信號；二是同一區(qū)域的反饋信號（如圖示)，形成信息交互。

帶有反饋的神經網絡第三十九頁，共六十九頁，編輯于2023年，星期六2023/6/1540側向交互神經元之間的信息交互方式有很多種，然而鄰近神經元之間的局部交互有一個共同的方式，就是側向交互：最相近的“鄰元”（約小于0.5mm）互相興奮，較遠的鄰元（lmm~2mm）互相抑制，更遠的又是弱興奮，這種局部交互形式可以形象地比喻為“墨西哥草帽”（如下圖）。鄰近神經元之間的局部交互作用

第四十頁，共六十九頁，編輯于2023年，星期六2023/6/1541SOM網絡T.Kohonen認為：神經網絡中鄰近的各個神經元通過側向交互作用彼此相互競爭，自適應地發(fā)展成檢測不同信號的特殊檢測器，這就是自組織特征映射的含義人工自組織映射與大腦映射有許多共同特險，通常又稱作自組織映射神經網絡或簡稱作SOM網絡。第四十一頁，共六十九頁，編輯于2023年，星期六2023/6/1542人工二維自組織映射網絡結構

如圖所示?？傮w連接與二層前饋網絡相似，輸入層的每一個單元與輸出層的每個相聯(lián)。

自組織映射神經網絡結構示意圖

第四十二頁，共六十九頁，編輯于2023年，星期六2023/6/1543式中是輸出單元c與j之間在神經元平面上的距離，R是交互作用半徑。

輸出單元呈二維平面分布，單元之間的典型交互作用函數為簡化“巴拿馬草帽”（圖(a))。或者為更簡單的矩形窗（圖(b))

第四十三頁，共六十九頁，編輯于2023年，星期六2023/6/1544自組織映射網絡的學習算法

也是一種競爭學習算法，區(qū)別只是輸出層具有幾何分布，由交互作用函數取代了簡單的側抑制，因此其學習算法也是類似的當輸入樣本均為歸一化樣本時，具體學習過程可以是：（1）用隨機數設定權值初始值，并進行權向量歸一化計算，在以后每次修正權向量之后也要進行歸一化，使其滿足第四十四頁，共六十九頁，編輯于2023年，星期六2023/6/1545（2）反復進行以下運算，直到達到預定學習次數或每次學習中權值改變量小于某一閾值。①輸入一個樣本計算各輸出單元強度②找出主興奮單元，使③確定各輸出單元興奮度④計算權值修正量，修正權值，進行歸一化必要時根據學習次數更新學習步長η和鄰域交互作用半徑R。第四十五頁，共六十九頁，編輯于2023年，星期六2023/6/1546學習過程可以采用從全局到局部的策略，此時在學習初期可設定較大的交互作用半徑R。例如，輸出平面邊長的一半，然后逐步縮小到適當的值，如

式中L是輸出平面邊長，N是輸入向量維數。學習策略第四十六頁，共六十九頁，編輯于2023年，星期六2023/6/1547樣本向量的幅值中包含有分類信息時的學習算法此時不能采用樣本和權值歸一化，可以用下面的算法進行學習：（l）用小隨機數初始化權值（2）反復進行以下運算，直到達到預定次數或每次學習中權值改變量小于某一閾值。依次對各樣本進行以下運算：①輸入一個樣本X，尋找最佳匹配節(jié)點C。如采用內積匹配，則C就是上面算法中的主興奮單元；如果用距離匹配，則C為權值向量與輸入樣本向量距離最近的節(jié)點，即（Δ為某種距離度量

）第四十七頁，共六十九頁，編輯于2023年，星期六2023/6/1548確定鄰域交互作用函數③計算各權值修正量為X與誤差。修正各節(jié)點權值。必要時根據學習次數更新學習步長η和鄰域交互作用半徑R。第四十八頁，共六十九頁，編輯于2023年，星期六2023/6/1549由于輸出單元之間存在與幾何位置有關的交互作用，學習完成之后，各輸入向量在輸出平面上存在對應的興奮點，而且興奮點之間部分地滿足一種關系，即相似的輸入向量（在輸入向量空間中夾角較小的）在輸出平面上離得較近。此時的輸出平面可以劃分為若干個不同的區(qū)域，每個區(qū)域對應于一個類別，形同地圖，故也稱之為認知地圖這種聚類的方法比簡單的競爭網絡更為細致，可以適應多種用途。自適應特征映射是輸入高維向量空間向二維平面的映射因此映射不是唯一的，學習結果與權值初始值和樣本順序有關。第四十九頁，共六十九頁，編輯于2023年，星期六2023/6/15503.6Hopfield網絡Hopfield網絡是一種反饋網絡反饋網絡的基本單元是與前饋網絡類似的神經元，其特性可以是閾值函數或Sigmoid函數。反饋網絡的結構是單層的，各單元地位平等，每個神經元都可以與所有其他神經元連接。如果考慮一個二層前饋網絡，其輸出層與輸入層的神經元數相同，每一個輸出都直接連接〔反饋）到相對應的一個輸入上，該網絡就等價于一個反饋網絡入們通常把反饋網絡看成動態(tài)系統(tǒng)，主要關心其隨時間變化的動態(tài)過程。第五十頁，共六十九頁，編輯于2023年，星期六2023/6/1551反饋網絡具有一般非線性系統(tǒng)的許多性質，如穩(wěn)定性問題、各種類型的吸引子以及混沌現象等，在某些情況下還有隨機性、不可預測性因此比前饋網絡的內容豐富得多我們可以從不同方面利用這些復雜的勝質以完成各種計算功能。第五十一頁，共六十九頁，編輯于2023年，星期六2023/6/1552Hopfield網絡除了具有上述反饋網絡的結構和性質之外，還滿足以下條件：（1）權值對稱，即wij=wji，權矩陣為對稱陣。（2）無自反饋，即wii=0，權矩陣W的對角線元素為0。由于滿足對稱條件，Hopfield網絡是穩(wěn)定的，只有孤立吸引子。第五十二頁，共六十九頁，編輯于2023年，星期六2023/6/15533.7神經網絡模式識別的典型做法3.7.1多層前饋網絡用于模式識別3.7.2自組織網絡用于模式識別第五十三頁，共六十九頁，編輯于2023年，星期六2023/6/15543.7.1多層前饋網絡用于模式識別在各種人工神經網絡模型中，在模式識別中應用最多的也是最成功的當數多層前饋網絡，其中又以采用BP學習算法的多層感知器（習慣上也簡稱為BP網絡）為代表。由于網絡采用的是監(jiān)督學習方式進行訓練，因此只能用于監(jiān)督模式識別間題一般有以下兩種應用方式：1、多輸出型2、單輸出型第五十四頁，共六十九頁，編輯于2023年，星期六2023/6/1555多輸出型

網絡的每一個輸入節(jié)點對應樣本一個特征，而輸出層節(jié)點數等于類別數，一個輸出節(jié)點對應一個類在訓練階段，如果輸入訓練樣本的類別標號是i，則訓練時的期望輸出設為第i個節(jié)點為1，而其余輸出節(jié)點均為0。在識別階段，當一個未知類別的樣本作用到輸入端時，考查各輸出節(jié)點的輸出，并將這個祥本的類別判定為與輸出值最大的那個節(jié)點對應的類別在某些情況下，如果輸出最大的節(jié)點與其他節(jié)點輸出的差距較?。ㄐ∮谀硞€域值），則可以作出拒絕決策。這是用多層感知器進行模式識別的最基本方式。實際上，多輸出型神經網絡還可以有很多其他的形式。更一般地，網絡可以有m個輸出節(jié)點，用它們的某種編碼來代表C個類別。上面這種方式只是其中的一個特例，有入把它稱為“1-0”編碼模式或者“C中取1”模式。第五十五頁，共六十九頁，編輯于2023年，星期六2023/6/1556單輸出型

很多實驗表明在多輸出方式中，由于網絡要同時適應所有類別，勢必需要更多的隱層節(jié)點．而且學習過程往往收斂較慢，此時可以采用多個多輸入單輸出形式的網絡、讓每個網絡只完成識別兩類分類，即判斷樣本是否屬于某個類別這樣可以克眼類別之間的期合，經?？梢缘玫礁玫慕Y果。

第五十六頁，共六十九頁，編輯于2023年，星期六2023/6/1557具體作法是網絡的每一個輸入節(jié)點對應樣本一個特征．而輸出層節(jié)點只有一個。為每個類建立一個這樣的網絡（網絡的隱層節(jié)點數可以不同）對每一類進行分別訓練，將竭于這一類的樣不的期望輸出設為1，而把屬于其他類的樣本的期望輸出設為0．在識別階段，將未知類別的樣本輸入到每一個網絡，如果某個網絡的輸出接近1（或大于某個域值比如0.5),則判斷該樣本屬于這一類；而如果有多個網絡的輸出均大于域值，則或者將類別判斷為其有最大輸出的那一類，或者作出拒絕；當所有網絡的輸出均小于域值時也可采取類似的決策方法。第五十七頁，共六十九頁，編輯于2023年，星期六2023/6/1558顯然，在兩類倩況下，我們只需要一個單輸出網絡即可。將一類對應于輸出1，另一類對應于輸出0。識別時只要輸出大干0.5則決策為第一類，否則決策為第二類或者也可以在兩類之間設定一個域值，當輸出在這個域值之間時作拒絕決策。第五十八頁，共六十九頁，編輯于2023年，星期六2023/6/15593.7.2自組織網絡用于模式識別自組織神經網絡可以較好地完成聚類的任務，其中每一個神經元節(jié)點對應一個聚類中心。與普通聚類算法不同的是，所得的聚類之間仍保持一定的關系，就是在自組織網絡節(jié)點平面上相鄰或相隔較近的節(jié)點對應的類別，它們之間的相似性要比相隔較遠的類別之間大。因此可以根據各個類別在節(jié)點平面上的相對位置進行類別的合并和類別之間關系的分析。

第五十九頁，共六十九頁，編輯于2023年，星期六2023/6/1560Kohonen：芬蘭語語音識別

將取自芬蘭語各種基本語音的各個樣本按一定順序輪流輸入到一個自組織網絡中進行學習，經過足夠次數的學習后這些樣本逐漸在網絡節(jié)點中形成確定的映射關系，即每個樣本都映射到各自固定的一個節(jié)點（在這個樣本作輸入時，該節(jié)點為最佳匹配節(jié)點或具有最大輸出），而映射到同一節(jié)點的樣本就可以看作是一個聚類。學習完成后，發(fā)現不但同一聚類中的樣本來自同一音素，而且相鄰節(jié)點對應的聚類中的樣本往往來自相同或相近發(fā)音的音素。這樣，把各個聚類對應的發(fā)音標到相應的節(jié)點上，就得到了如圖所示的結果。第六十頁，共六十九頁，編輯于2023年，星期六2023/6/1561芬蘭語音素在自組織映射網絡上形成的映射

第六十一頁，共六十九頁，編輯于2023年，星期六2023/6/1562在識別時，對于新的輸入樣本，將其識別為它映射到的節(jié)點所標的發(fā)音即可。這種做法實際上是在非監(jiān)督學習的基礎上進行監(jiān)督模式識別。其最大的優(yōu)點就是，最終的各個相鄰聚類之間是有相似關系的，即使識別時把樣本映射到了一個錯誤的節(jié)點，它也傾向于被識別成同一個音素或者一個發(fā)音相近的音素，這就十分接近入的識別特性。第六十二頁，共六十九頁，編輯于2023年，星期六2023/6/15633.8前饋神經網絡與統(tǒng)計模式識別的關系

神經網絡與傳統(tǒng)的統(tǒng)計模式識別在很多方面是相聯(lián)系的，這種聯(lián)系不但在于它們都是試圖從樣本數據出發(fā)完成模式識別問題，更重要的是它們在方法上具有一定的等價關系。單層的感知器模型實際上就是一種線性分類器多層感知器則可看作它的某種非線性推廣和發(fā)展：自組織映射網絡如果使其鄰域交互作用設為零則等價于C均值聚類算法。它們之間的這些關系已經成為近年來入們廣泛研究的方向之一，其中研究最多也是最有成果的就是前饋型神經網絡與統(tǒng)計模式識別的關系。第六十三頁，共六十九頁，編輯于2023年，星期六2023/6/15643.8.1隱層的特征提取作用多層前饋神經網絡能較好地