概率神經(jīng)網(wǎng)絡(luò)講解

1、DonaldF.SpechtProbabilisticNeuralNetworksNeuralNetworks,Vol.3,pp.109-118,1990概率神經(jīng)網(wǎng)絡(luò)摘要：以指數(shù)函數(shù)替代神經(jīng)網(wǎng)絡(luò)中常用的S形激活函數(shù)，進(jìn)而構(gòu)造出能夠計(jì)算非線性判別邊界的概率神經(jīng)網(wǎng)絡(luò)（PNN）,該判定邊界接近于貝葉斯最佳判定面。還討論了擁有類似性質(zhì)的其他激活函數(shù)。所提出的這種4層神經(jīng)網(wǎng)絡(luò)能夠把任何輸入模式映射到多個(gè)類別。如果能取得新數(shù)據(jù)的話，可以使用新數(shù)據(jù)實(shí)時(shí)地修改判定邊界，并可以使用完全并行運(yùn)行的人工“神經(jīng)元”付諸實(shí)現(xiàn)。還為估計(jì)類別的出現(xiàn)概率和可靠性，以及做判別作好準(zhǔn)備。對(duì)于反向傳播增加的適應(yīng)時(shí)間占總計(jì)算時(shí)間的重

2、大部分的問(wèn)題，這種方法顯示出非常快速的優(yōu)點(diǎn)。PNN范式比反向傳播快200，000倍。關(guān)鍵詞：神經(jīng)網(wǎng)格，概率密度函數(shù)，并行處理機(jī)，“神經(jīng)元”，模式識(shí)別，Parzen窗口，貝葉斯策略，相聯(lián)存儲(chǔ)器1. 動(dòng)機(jī)神經(jīng)網(wǎng)絡(luò)常用來(lái)依據(jù)向?qū)嵗龑W(xué)習(xí)進(jìn)行模式分類。不同的神經(jīng)網(wǎng)格范式（paradigm）使用不同的學(xué)習(xí)規(guī)則，但都以某種方式，根據(jù)一組訓(xùn)練樣本確定模式的統(tǒng)計(jì)量，然后根據(jù)這些統(tǒng)計(jì)量進(jìn)行新模式分類。通用方法如反向傳播，使用探試法獲得基礎(chǔ)的類別統(tǒng)計(jì)量。探試法通常包含對(duì)系統(tǒng)參數(shù)的許多小的改進(jìn)，逐漸提高系統(tǒng)的性能。除了訓(xùn)練需要長(zhǎng)的計(jì)算時(shí)間外，還表明，反向傳播增加的適應(yīng)近似法對(duì)錯(cuò)誤的最小值很敏感。為了改進(jìn)這種方法，找到

3、了基于己確立的統(tǒng)計(jì)原理的分類方法?？梢员砻鳎M管最終得到的網(wǎng)絡(luò)在結(jié)構(gòu)上類似于反向傳播,且其主要區(qū)別在于以統(tǒng)計(jì)方法推導(dǎo)的激活函數(shù)替代S形激活函數(shù)，但這個(gè)網(wǎng)絡(luò)具有的特點(diǎn)是：在某些易滿足的條件下，以PNN實(shí)現(xiàn)的判別邊界漸進(jìn)地逼近貝葉斯最佳判定面。為了了解PNN范式的基礎(chǔ)，通常從貝葉斯判定策略以及概率密度函數(shù)的非參數(shù)估計(jì)的討論開(kāi)始。之后可以表明，這種統(tǒng)計(jì)方法如何映射到前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)是以許多簡(jiǎn)單處理器（神經(jīng)元）代表的，所有處理器都是并行運(yùn)行。2. 模式分類的貝葉斯判定策略用于模式分類的判定規(guī)則或策略的公認(rèn)標(biāo)準(zhǔn)是：在某種意義上，使“預(yù)期風(fēng)險(xiǎn)”最小。這樣的策略稱之“貝葉斯策略”，并適用于包含許多

4、類別的問(wèn)題?，F(xiàn)在考察兩類的情況，其中，已知類別狀態(tài)e為°或°。如果想要根據(jù)p維向量冶二xAB1xx描述的一組測(cè)量結(jié)果，判定°二e或e二e，貝葉斯判定規(guī)則變成：ipABd(x)=e如果hif(x)>hif(x)AAAABBBd(x)=e如果hif(x)<hif(x)(1)BAAABBB式中，f(x)和f(x)分別為類別a和b的概率密度函數(shù)；為e二e時(shí)判定d(x)=eABAAB的損失函數(shù)；i為e二e時(shí)判定d(x)=e的損失函數(shù)(取正確判定的損失等于o)；h為BBAA模式來(lái)自類別a出現(xiàn)的先驗(yàn)概率；和h=1-h為e二e的先驗(yàn)概率。BAB于是，貝葉斯判定規(guī)則d(

5、X)=e的區(qū)域與貝葉斯判定規(guī)則d(X)=e的區(qū)域間的界限可AB用下式求得f(X)=Kf(X)(2)AB式中K二hi/hi(3)BBAA一般地，由式(2)確定的兩類判定面可以是任意復(fù)雜的,因?yàn)閷?duì)密度沒(méi)有約束，只是所有概率密度函數(shù)(PDF)都必須滿足的那些條件，即它們處處為非負(fù)，是可積的，在全空間的積分等于1。同樣的判定規(guī)則可適用于多類問(wèn)題。使用式(2)的關(guān)鍵是根據(jù)訓(xùn)練模式估計(jì)PDF的能力。通常，先驗(yàn)概率為己知，或者可以準(zhǔn)確地加以估計(jì)，損失函數(shù)需要主觀估計(jì)。然而，如果將要?jiǎng)澐诸悇e的模式的概率密度未知，并且給出的是一組訓(xùn)練模式(訓(xùn)練樣本)，那么，提供未知的基礎(chǔ)概率密度的唯一線索是這些樣本。在Parz

6、en(1962)的經(jīng)典論文中，他指出，只要基礎(chǔ)的母體密度是連續(xù)的，類別的PDF估計(jì)器可以漸進(jìn)地逼近基礎(chǔ)的母體密度。3. 密度估計(jì)的一致性判別邊界的準(zhǔn)確度決定于所估計(jì)基礎(chǔ)PDF的準(zhǔn)確度。Parzen(1962)論述如何構(gòu)造f(X)的一族估值，上厶八1p(X-Xf(X)=%一廠亠(4)nn人(人丿i=1其在連續(xù)PDF的所有點(diǎn)X上都是一致的。令X,X,X為恒等分布的獨(dú)立隨機(jī)變量,A1AiAn因?yàn)殡S機(jī)變量X的分布函數(shù)f(X)=Px<X是絕對(duì)連續(xù)的。關(guān)于權(quán)重函數(shù)(y)的Parzen條件是5)supIB(y)|<gy<+g其中，sup為上確界，式(4)中，I+gIb(y)Idy<g

7、glimIyb(y)I=0yTgI+gb(y)dy=1g6)7)8)選擇X=X(n)作為n的函數(shù)，且219)10)lim九(n)=0nTglimn九(n)=gnTgParzen證明，在EIf(X)f(X)|2t0隨nTg(11)n意義上，f(X)估值的均方值一致。一致性的這一定義，一般認(rèn)為，當(dāng)根據(jù)較大數(shù)據(jù)集估計(jì)時(shí)，預(yù)計(jì)誤差變小，這是特別重要的，因?yàn)檫@意味著，真實(shí)分布可以按平滑方式近似。Murthy(1965,1966)放寬了分布f(X)絕對(duì)連續(xù)的假定，并指明，類別估計(jì)器仍然一致地估計(jì)連續(xù)分布F(X)所有點(diǎn)的密度，這里密度f(wàn)(X)也是連續(xù)的。Cacoullos(1966)還擴(kuò)展了Parzen的結(jié)

8、果，適用于多變量情況°Cacoullos(1966)中定理4.1指明如何擴(kuò)展Parzen的結(jié)果，以在這種特殊情況下估計(jì)出多變量核為單變量核之積。在Gaussian核的特殊情況下，多變量估計(jì)可表達(dá)為1m乙expf(Xi=1(X-X5(X-X)A亠(12)2g2式中，i=模式號(hào)，m=訓(xùn)練模式總數(shù)，XAi=類別QA的第i訓(xùn)練模式，b二“平滑參數(shù)”P=度量空間的維數(shù)。請(qǐng)注意，f(X)簡(jiǎn)單地為中心位于每個(gè)訓(xùn)練樣本的小的多變量Gaussian分布之和。然而，A這個(gè)和不限于Gaussian分布。實(shí)際上，可以近似任意平滑密度函數(shù)。圖1表示出獨(dú)立變量X為二維情況下，不同的平滑參數(shù)b值對(duì)f(X)的影響。

9、三種不同A的b值，各種情況使用相同的訓(xùn)練樣本，據(jù)式(12)繪制出密度。較小的b值使得估計(jì)的母體密度函數(shù)對(duì)應(yīng)于訓(xùn)練樣本的位置具有不同的模式。較大的P值，如圖1(b)所示，在各點(diǎn)間產(chǎn)生較大等級(jí)的內(nèi)插。這里，靠近訓(xùn)練樣本的X值，估計(jì)具有大約與給定樣本相同的出現(xiàn)概率。更大的b值，如圖1(c)所示，產(chǎn)生更大等級(jí)的內(nèi)插。很大的b值使得估計(jì)的密度為Gaussian分布，而與真實(shí)基礎(chǔ)分布無(wú)關(guān)。在“隨著bTO和隨著b極限條件”一節(jié)，討論適當(dāng)平滑值的選擇。式(12)可以直接與式(1)表述的判定規(guī)則一起使用。為使用這些方程式執(zhí)行模式識(shí)別任務(wù)，已編寫了計(jì)算機(jī)程序，并就實(shí)際問(wèn)題取得了良好結(jié)果。然而，為使用式(12)存在

10、2個(gè)固有的局限性：(a)檢驗(yàn)過(guò)程中必須存儲(chǔ)和使用整個(gè)訓(xùn)練集，和b)為劃分未知點(diǎn)的類別所必需的計(jì)算量與訓(xùn)練集的大小成正比。在這種方法最先提出并應(yīng)用于模式識(shí)別時(shí)(Meisel,1972,chap.6;Specht,1967a,1967b),這兩條因素嚴(yán)重地限制了式(12)直接用于實(shí)時(shí)的或?qū)ｉT應(yīng)用。必須使用近似方法替代之。后來(lái)，計(jì)算機(jī)存儲(chǔ)器變成致密和足夠便宜，從而使存儲(chǔ)訓(xùn)練集不再成為阻礙，但是，串聯(lián)計(jì)算機(jī)的計(jì)算時(shí)間仍然點(diǎn)是一個(gè)制約。由于具有強(qiáng)大并行計(jì)算能力的大型神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，限制式(12)直接使用的第二個(gè)阻礙即將解除。4. 概率神經(jīng)網(wǎng)絡(luò)采用PDF非參數(shù)估計(jì)進(jìn)行模式分類的并行模擬網(wǎng)絡(luò)與用于其他訓(xùn)練算

11、法的前饋神經(jīng)網(wǎng)絡(luò)，它們之間有驚人的相似性(Specht,1988)。圖2表示出輸入模式X劃分成2類的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。c.Anevenlargervaueof.白一Asmallvalueofab.Alargervalueofct.圖1不同值對(duì)根據(jù)樣本估計(jì)的PDF的平滑影響ihjPUTOUTPUTUNlTSPAOErvJMIT客£LI話倔TIIMUNITS圖2模式分類的結(jié)構(gòu)圖3模式單元在圖2中，輸入單元只是分配單元，把同樣的輸入值提供給所有模式單元。每個(gè)模式單元（圖3作更詳細(xì)表示）生成輸入模式向量X與權(quán)向量W.的標(biāo)量積Z.二XW.，然后，在把iii其激活水平輸出到求和單元之前，對(duì)Zj進(jìn)行非

12、線性運(yùn)算。代替反向傳播所通用的S型激活函數(shù)，這里采用的非線性運(yùn)算是exp（Z-1）/b2。假定X和W均標(biāo)準(zhǔn)化成單位長(zhǎng)度，這相當(dāng)于使用（W-X）t（W-X）exp-ii22其形式同于式（12）。這樣，標(biāo)量積是在相互連接中自然完成的，后面是神經(jīng)元激活函數(shù)（指數(shù)）。求和單元簡(jiǎn)單地把來(lái)自模式單元的輸入相累加，該模式單元己對(duì)應(yīng)于所選定訓(xùn)練模式的類別。輸出或判定單元為2個(gè)輸入神經(jīng)元，如圖4所示。這兩個(gè)單產(chǎn)生二進(jìn)制輸出。它們有單一的變量權(quán)值C，13）kBBkkhlAkAk式中，S=來(lái)自A類的訓(xùn)練模式數(shù),氣=來(lái)自Bk類的訓(xùn)練模式數(shù)。圖4輸出單元請(qǐng)注意，C為先驗(yàn)概率比除以樣本比并乘以損失比。任何問(wèn)題，其均可與它

13、的先驗(yàn)概率成k比例地從類別A和B獲得訓(xùn)練樣本的數(shù)量，其變量權(quán)值C=-1/1。不能根據(jù)訓(xùn)練樣本kBkAk的統(tǒng)計(jì)量、而只能根據(jù)判定的顯著性來(lái)估計(jì)最終的比值。如果沒(méi)有偏重判定的特殊理由，可簡(jiǎn)化為1（變換器）。訓(xùn)練網(wǎng)絡(luò)的方法是：指定模式單元之一的權(quán)向量W，等于訓(xùn)練集內(nèi)i每個(gè)X模式，然后，模式單元的輸出連接到適當(dāng)?shù)那蠛蛦卧Ｃ總€(gè)訓(xùn)練模式需要一個(gè)單獨(dú)的神經(jīng)元（模式單元）。正如圖2所示，相同的模式單元按不同求和單元聚集，以在輸出向量中提供附加的類別對(duì)和附加的二進(jìn)碼信息。5. 另外的激活函數(shù)盡管至此所有實(shí)驗(yàn)工作都使用式（12），但它不是可以應(yīng)用的準(zhǔn)一一致的估計(jì)器。表1列出f(X)=亠K(y)An入ppi=11

14、4)(15)(16)了Cacoullos（1966）和Parzen（1962）提出的其他估計(jì)器，那里和K為常數(shù)，以使pJK（y）dy=1pZ=X-W如前。ii當(dāng)X和W都標(biāo)準(zhǔn)化成單位長(zhǎng)度時(shí)，Z范圍變化在一1至+1之間，且激活函數(shù)為表1所示ii形式之一。請(qǐng)注意，這里，所有估計(jì)器都表達(dá)成標(biāo)量積，輸入到激活函數(shù)，因?yàn)槎及瑈=-1/九J22X-乂人。后面將討論非標(biāo)量積形式。表1所示的全部Parzen窗口，連同式（1）的貝葉斯判定規(guī)則，應(yīng)能得到逐漸達(dá)到貝葉斯最優(yōu)的判定面。與神經(jīng)網(wǎng)絡(luò)相一致，唯一差別是模式單元內(nèi)非線性激活函數(shù)的形式。這就使人們懷疑，精確形式的激活函數(shù)不是網(wǎng)絡(luò)效能的關(guān)鍵。所有神經(jīng)網(wǎng)絡(luò)的普通單

15、元是：激活函數(shù)在Z=1處取最大值，或在輸入模式X與模式單元儲(chǔ)存的模式之間最相似的；當(dāng)模式i變得不盡相似時(shí)，激活函數(shù)則降低；隨著訓(xùn)練模式數(shù)n增大，整個(gè)曲線向Z=1直線靠近。i表1權(quán)函數(shù)及其等效的神經(jīng)網(wǎng)絡(luò)激活函數(shù)ACTIVATIONFUNCTION6. 當(dāng)aTO和aT®時(shí)的限制條件業(yè)已表明(Specht,1967a),式(2)定義的判定界限，從aT®時(shí)超平面連續(xù)地變化到高度非線性邊界，表示aTO時(shí)最近鄰域分類器。CoverandHart(1967)詳細(xì)研究了最近鄰域判定規(guī)則。一般地，極限情況都不能提供兩個(gè)分布的最佳分離。最近鄰域的均化程度，其決定于訓(xùn)練樣本的密度，比起基于單一最

16、近鄰域的的判定，它提供更良好的普適性。本研究所提出的網(wǎng)絡(luò)實(shí)際上類似于k最近鄰域分類器。Specht(1966)就隨著問(wèn)題維數(shù)p和訓(xùn)練模式數(shù)n變化，如何選擇平滑參數(shù)a值，做了相關(guān)討倫。但是，業(yè)已發(fā)現(xiàn)，在實(shí)際問(wèn)題中不難找到良好的值，并且，隨著a的微小變化，錯(cuò)誤分類比率不發(fā)生顯著變化。Specht(1967b)敘述了心電圖分類試驗(yàn)，其使用式(1)和(12)二類分類法，分成正常或異常。在那種情況下，249個(gè)模式用作訓(xùn)練，另外63個(gè)實(shí)例用作檢驗(yàn)。每個(gè)模式均以46-維模式向量(但未標(biāo)準(zhǔn)化成單位長(zhǎng)度)加以描述。圖5表示出檢驗(yàn)樣本的正確分類百分率隨平滑參數(shù)a值的變化。有幾個(gè)重要計(jì)算值是明顯的。在使用4和6之間

17、任一a值情況下，均可獲得最高診斷精度；曲線的峰值有足夠?qū)挾龋ㄟ^(guò)實(shí)驗(yàn)尋找良好a值并不難。而且，在3至10的范圍內(nèi)的任何a值，得到的結(jié)果僅略次于最佳曲線段。結(jié)果是：對(duì)于同一檢驗(yàn)集，a從0至®的所有值得出的診斷結(jié)果顯著優(yōu)于心臟病專家診斷的結(jié)果。圖5檢驗(yàn)樣本的正確分類百分率隨平滑參數(shù)a值的變化在所提出的方法中，唯一要調(diào)整的參數(shù)是平滑參數(shù)。因?yàn)樗刂浦笖?shù)激活函數(shù)的標(biāo)度系數(shù)，故對(duì)于每個(gè)模式單元，它的值應(yīng)相同。7 相聯(lián)存儲(chǔ)器在人類思維過(guò)程中，通常以不同的方式，把對(duì)一目的積累的知識(shí)應(yīng)用于不同目的。類似地，在這種情況下，如果已知判定類別，但不知道全部輸入變量，那么，可以把己知輸入變量輸入到正確類別的

18、網(wǎng)絡(luò)上，并改變未知輸入變量，以使網(wǎng)絡(luò)的輸出最大化。這些值代表與己知輸入最可能相關(guān)的值。如果只一個(gè)參數(shù)未知，通過(guò)對(duì)所有可能參數(shù)值的滑行(ramping),以及選擇使PDF最大的值，可以求得那個(gè)參數(shù)的最可能值。如果幾個(gè)參數(shù)未知，這種方法不實(shí)用。在這種情況下，人們對(duì)尋找到PDF的最接近模型表示滿意。使用最速上升方法可以達(dá)此目的。形成聯(lián)想記憶的較普通方法是要避免輸入與輸出之間的區(qū)別。通過(guò)X向量和輸出向量連結(jié)成一個(gè)更長(zhǎng)的測(cè)量向量X',可以使用單一概率神經(jīng)網(wǎng)絡(luò)尋求總體PDF，f(X)。這個(gè)PDF在不同位置可能有許多模式集聚在超球體上。使用這個(gè)網(wǎng)絡(luò)作為聯(lián)想記憶，8 相對(duì)于反向傳播，具有速度優(yōu)勢(shì)PNN

19、范式的基本優(yōu)點(diǎn)之一是，針對(duì)求解反向傳播增加的適應(yīng)時(shí)間占總計(jì)算時(shí)間的很大部分的問(wèn)題，比眾所周知的反向傳播范式快得多(Rumelhart,1986，第8章)。在海軍海洋系統(tǒng)中心(NOSC)提供的船體與發(fā)射體相互關(guān)系問(wèn)題中，根據(jù)difficult,非線性邊界，多區(qū)域，重疊發(fā)射體報(bào)告參數(shù)數(shù)據(jù)集，PNN精確地識(shí)別出船體。MarchetteandPriebe(1987)闡述了使用反向傳播和常規(guī)技術(shù)分類的問(wèn)題和結(jié)果0Maloney(1988)敘述了根據(jù)相同的數(shù)據(jù)，使用PNN的結(jié)果。數(shù)據(jù)集包含113發(fā)射體報(bào)告,每個(gè)報(bào)告有3個(gè)連續(xù)輸入?yún)?shù)。輸出層由6個(gè)二進(jìn)制輸出組成,指示6個(gè)可能的船體分類。這些數(shù)據(jù)集較小,但是

20、,與許多實(shí)際問(wèn)題一樣,更多數(shù)據(jù)得不到或要獲得花費(fèi)代價(jià)太高。為了充分利用現(xiàn)有數(shù)據(jù)，既(groupsdecidedtoholdoutonereport)訓(xùn)練其余112個(gè)報(bào)告的網(wǎng)絡(luò)，又使用訓(xùn)練過(guò)的網(wǎng)絡(luò)來(lái)為(holdout)模式分類。113報(bào)告的每一個(gè)再重復(fù)這一過(guò)程。MarchetteandPriebe(1987)估計(jì)，為按計(jì)劃執(zhí)行實(shí)驗(yàn)，在DigtalEquipmentCorp.VAX8650上連續(xù)運(yùn)行時(shí)間超過(guò)3周。因?yàn)樗麄儧](méi)有VAX需要的那么長(zhǎng)時(shí)間,他們減少了隱含層單元的數(shù)量,直至在本周期間完成。另一方面,Maloney(1988)在IBMPC/AT(8MHz)上使用PNN版本，并在9秒鐘內(nèi)運(yùn)行全部

21、113個(gè)網(wǎng)絡(luò)(其中大部分在在屏幕上寫結(jié)果上)。沒(méi)有看考慮VAX的I/O和較高速度，這就相當(dāng)于速度改進(jìn)200，000倍！分類準(zhǔn)確度大體相當(dāng)于反向傳播產(chǎn)生的82%準(zhǔn)確度，而PNN準(zhǔn)確度85%(數(shù)據(jù)分布是一致的，以致于90%為最高的準(zhǔn)確度，海軍海洋系統(tǒng)中心(NOSC)使用精心設(shè)計(jì)的專門目的的分類器才能達(dá)到)。我們以為，如果允許運(yùn)行3周，反向傳播也能達(dá)到與PNN相同的準(zhǔn)確度。據(jù)Maloney報(bào)告，通過(guò)分立的PNN網(wǎng)絡(luò)劃分子問(wèn)題的類別，PNN分類的準(zhǔn)確度提高到89%。作者使用PC/AT，對(duì)同樣數(shù)據(jù)庫(kù)運(yùn)行PNN。通過(guò)把顯示輸出減化戰(zhàn)113網(wǎng)絡(luò)的分類結(jié)果概要，需要0.7秒重現(xiàn)原準(zhǔn)確度85%。與運(yùn)行一同的反向

22、傳播相比，其準(zhǔn)確度82%，這一結(jié)果具有略高的準(zhǔn)確度，又快200，000倍。9 PNN不限于決策還可以使用輸出f(X)和f(X)來(lái)估計(jì)后驗(yàn)概率，或除了輸出單元的二元判定以外的其AB他目的。我們發(fā)現(xiàn)的最重要應(yīng)用是估計(jì)X歸屬于類別A的后驗(yàn)概率PAIX。如果類別A和B為互斥事件，且h+h=1,根據(jù)貝葉斯定理，我們有AB1hf(X)pAHamming距離可以量訓(xùn)存儲(chǔ)的訓(xùn)練向量的特征值與要分類的模式特征值之差的絕對(duì)值。注hf(X)；hf(X)(17)AABB還有，的最大化是X附近訓(xùn)練樣本密度的測(cè)度，并可用來(lái)指示二元判定的可靠性。10使用f(X)其他估計(jì)器的概率神經(jīng)網(wǎng)絡(luò)較早的陳述只論及簡(jiǎn)化成標(biāo)量積形式的多變

23、量估計(jì)器,Cacoullos(1966)定理4.1在Parzen(1962)提出的其他單變量核的進(jìn)一步應(yīng)用，得到以下多變量估計(jì)器(其為單變量核之積)：1n(2九)p工1i=1當(dāng)所有1Xj-yf(X)=Af(X)=Ai=1j=1(2兀/2九1-e-1i=1j=1當(dāng)所有1J-XAjAj九2I<X18)(19)1n(2兀)p/2九p工expi=1工(X-X)jAijj=12九220)(X)=1n(2九)p加"e平-/九i=1J=1(X)=f(X)A1n(2九)p工expi=1-另IX-XI九jAijJ=121)G九)p卩i=1j=11n（2兀九）ppi=1j=11+jAij九2jAi

24、J2九2sinX-XjAIJ2九22)23)式（20）簡(jiǎn)單地為式（12）的另一種形式的標(biāo)量積估計(jì)器。沒(méi)有簡(jiǎn)化成標(biāo)量積的形式則需要另一種網(wǎng)絡(luò)結(jié)構(gòu)。完全可以按現(xiàn)狀，通過(guò)計(jì)算實(shí)現(xiàn)它們。并不曾證明，哪個(gè)估計(jì)器是好的并應(yīng)始終使用。因?yàn)樗泄烙?jì)器都收斂于正確的基礎(chǔ)分布，故可根據(jù)計(jì)算的簡(jiǎn)單性或與生物神經(jīng)網(wǎng)絡(luò)計(jì)算模型的相似性做出選擇。它們當(dāng)中，從計(jì)算簡(jiǎn)單的觀點(diǎn)看，式（21）（連同式（1）至（3）特別有吸引力。當(dāng)測(cè)量向量X局限于二進(jìn)制測(cè)量時(shí)，式（21）簡(jiǎn)化為測(cè)定輸入向量與存儲(chǔ)問(wèn)量之間的Hamming距離，然后使用指數(shù)激活函數(shù)。現(xiàn)在，它本身提出一個(gè)最終的而又非常有用的變異。如果按二進(jìn)制（1或1）形式表達(dá)輸入變量，

25、所有輸入向量自動(dòng)具有同樣長(zhǎng)度，并不必標(biāo)準(zhǔn)化。還可以使用這些模式,以及圖2至4的網(wǎng)絡(luò)。在這種情況下，Zi的范圍為十p至一p。通過(guò)激活函數(shù)g（Z）=exp（Zp）/pc1通過(guò)（nXp）比特長(zhǎng)度的特征向量上，一個(gè)大的Hamming距離計(jì)算，可以操作式（21）所需要的P特性上整個(gè)求和。的微小改變，可以調(diào)節(jié)這一變化。ii在不舍棄貝葉斯?jié)u近最優(yōu)化的網(wǎng)絡(luò)最佳屬性情況下，允許表1所示激活函數(shù)形狀的變化。即便當(dāng)輸入的測(cè)量值原本為連續(xù)的，最好是把它們變換成二進(jìn)制表示，因?yàn)橛行┻m用于大規(guī)模平行硬件的技術(shù)，本身適合于Hamming距離計(jì)算。連續(xù)觀測(cè)值可以按二進(jìn)制形式，以編碼方案（有時(shí)稱之“溫度計(jì)編碼”表示，其中每個(gè)特點(diǎn)以n比特二進(jìn)制編碼表示，二進(jìn)制編碼即一系列+1，繼之以一系列一1（Widrowetai.1963）。以+1的和表示特征的值。這個(gè)表面上無(wú)效的編碼有以下優(yōu)點(diǎn)：11 討論運(yùn)行上，概率神經(jīng)網(wǎng)絡(luò)的最重要優(yōu)點(diǎn)是訓(xùn)練容易且瞬時(shí)完成?？梢詫?shí)時(shí)地使用它，因?yàn)閯傄挥^察完代表每個(gè)類別的一個(gè)模式，網(wǎng)絡(luò)便開(kāi)始推廣到新模式。當(dāng)觀察附加模式并存儲(chǔ)入網(wǎng)絡(luò)時(shí)，普適性將提高，判定邊界可能變得更復(fù)雜。PNN的其他優(yōu)