卷積神經(jīng)網(wǎng)絡(luò)詳述

1、卷積神經(jīng)網(wǎng)絡(luò)摘要：卷枳神經(jīng)網(wǎng)絡(luò)是近年來(lái)廣泛應(yīng)用丁模式識(shí)別、圖像處理等領(lǐng)域的一種高效識(shí)別克法，它JI冇結(jié)構(gòu)簡(jiǎn) 單、訓(xùn)練參數(shù)少和適應(yīng)性強(qiáng)等特點(diǎn)。本文從卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史開(kāi)始，詳細(xì)閘述了卷枳神經(jīng)網(wǎng)絡(luò)的網(wǎng) 絡(luò)結(jié)構(gòu)、神經(jīng)元模型和訓(xùn)練算法。在此基礎(chǔ)上以卷枳神經(jīng)網(wǎng)絡(luò)任人臉檢測(cè)和形狀識(shí)別方面的應(yīng)用為例，簡(jiǎn) m介紹了卷枳神經(jīng)網(wǎng)絡(luò)在工程上的應(yīng)用，并給出了設(shè)訃思路和網(wǎng)絡(luò)結(jié)構(gòu)。關(guān)鍵字：?？眨航Y(jié)構(gòu)：訓(xùn)練算法：人臉檢測(cè)：形狀識(shí)別o引言卷枳神經(jīng)網(wǎng)絡(luò)是人匚神經(jīng)網(wǎng)絡(luò)的一種己成為當(dāng)洲語(yǔ)音分析和圖像識(shí)別領(lǐng)域的研究熱點(diǎn)， 它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使z更類似生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值 的數(shù)昴。該優(yōu)點(diǎn)在網(wǎng)絡(luò)的輸入是

2、多維圖像時(shí)表現(xiàn)的更為明顯，使圖像可以直接作為網(wǎng)絡(luò)的輸 入，避免了傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取和數(shù)據(jù)逍建過(guò)程。卷枳網(wǎng)絡(luò)是為識(shí)別二維形狀而 特殊設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或者共他形式的變形具 有高度不變件。1卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史1962年Hjbel和Wiesel通過(guò)對(duì)貓視覺(jué)皮層細(xì)胞的研究，提出了感受野(receptive field) 的概念，1984年I本學(xué)者Fukushima卑感受野概念提出的神經(jīng)認(rèn)知機(jī)(neocoginh-on)uj以 看作是卷積神經(jīng)網(wǎng)絡(luò)的第-個(gè)實(shí)現(xiàn)網(wǎng)絡(luò)，也足感受野概念在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域的苜次應(yīng)用。 神經(jīng)認(rèn)知機(jī)將一個(gè)視覺(jué)模式分解成許多子模式(特

3、征)，然后進(jìn)入分層遞階式相連的特征平面 進(jìn)行處理，它試圖將視覺(jué)系統(tǒng)模熨化，使其能夠在即使物體有位移或輕微變形的時(shí)候，也能 完成識(shí)別。神經(jīng)認(rèn)知機(jī)能夠利用位移恒定能力從激勵(lì)模式中？習(xí)，并且可識(shí)別這些模式的變 化形，在K后的應(yīng)用研究中，F(xiàn)ukushima將神經(jīng)認(rèn)知機(jī)丄耍用于手寫(xiě)數(shù)字的識(shí)別。隨后，國(guó) 內(nèi)外的研究人員提出多種卷積神經(jīng)網(wǎng)絡(luò)形式，在郵政編碼識(shí)別和人臉識(shí)別方而衍到了大規(guī)模 的應(yīng)用。通常神經(jīng)認(rèn)知機(jī)包含兩類神經(jīng)元，即承擔(dān)特征抽取的S-尤和抗變形的C-7iio S-JL'I1涉 及兩個(gè)巫耍參數(shù)，即感受野與閾值參數(shù)，前者確定輸入連接的數(shù)II，后者則控制對(duì)特征了模 式的反應(yīng)程度。許多學(xué)若一直致力

4、J：提高神經(jīng)認(rèn)知機(jī)的性能的研究:在傳統(tǒng)的神經(jīng)認(rèn)知機(jī)中， 每個(gè)S元的感光區(qū)中由C元帶來(lái)的視覺(jué)模糊fit呈正態(tài)分布。如果感光區(qū)的邊緣所產(chǎn)生的模 糊效果耍比中央來(lái)得人，S-兀將會(huì)接受這種卑正態(tài)模糊所導(dǎo)致的更人的變形容忍性。我們希 望得到的是，訓(xùn)練模式與變形刺激模式在感受野的邊緣與氏中心所產(chǎn)生的效果之間的羞并變 得越來(lái)越大。為了有效地形成這種非正態(tài)模糊，F(xiàn)ukushima提出了帶雙C尤層的改進(jìn)吃神經(jīng) 認(rèn)知機(jī)。Trotm等人提出了動(dòng)態(tài)構(gòu)造神經(jīng)認(rèn)知機(jī)并口動(dòng)降低閉值的方法叮，初始態(tài)的神經(jīng)認(rèn)知機(jī) 各層的神經(jīng)元數(shù)I丨役為零，然后會(huì)対J：給尢的陶用找到合適的網(wǎng)絡(luò)規(guī)模。在構(gòu)造網(wǎng)絡(luò)過(guò)程中， 利用一個(gè)反饋信號(hào)來(lái)預(yù)測(cè)降低

5、閾值的效杲，再咸這種預(yù)測(cè)來(lái)調(diào)節(jié)閾值。他們指出這種自動(dòng) 閾值調(diào)節(jié)后的識(shí)別率與手匸設(shè)置閾值的識(shí)別率相若，然而，上述反饋信號(hào)的只體機(jī)制并未給 出，并且在他們后來(lái)的研究中承認(rèn)這種自動(dòng)閾值調(diào)節(jié)是很因難的。Hildebrandt將神經(jīng)認(rèn)知機(jī)看作是一種線性相關(guān)分類器，也通過(guò)修改閾值以使神經(jīng)認(rèn)知機(jī) 成為最優(yōu)的分類器.Lovell W用Hildebrandt的訓(xùn)練方法卻沒(méi)冇成功。對(duì)此，Hildebrandt解 釋的是，該方法只能應(yīng)用輸出層，而不能W用J網(wǎng)終的每一層。事實(shí)上，Hildebrandt沒(méi)自 考點(diǎn)信息在網(wǎng)絡(luò)傳播中會(huì)逐層丟失。Van Ooyen和Niehuis為提高神經(jīng)認(rèn)知機(jī)的區(qū)別能力引入了一個(gè)新的參數(shù)。

6、事實(shí)上，該 參數(shù)作為一種抑制信號(hào)，抑制了神經(jīng)尤村匝復(fù)激勵(lì)特征的激勵(lì)。多數(shù)神纟仝網(wǎng)絡(luò)在權(quán)ffl中記憶 訓(xùn)練信息。根據(jù)Hebb學(xué)習(xí)規(guī)則,某種特征訓(xùn)練的次數(shù)越多,在以后的識(shí)別過(guò)程中就越容易 被檢測(cè)。也有學(xué)者將進(jìn)化計(jì)算理論與神經(jīng)認(rèn)知機(jī)結(jié)合（巴通過(guò)減謝對(duì)迪復(fù)性激勵(lì)特征的訓(xùn) 練學(xué)習(xí)，而使得網(wǎng)絡(luò)注意那些不同的特征以助提高區(qū)分能力。上述都是神經(jīng)認(rèn)知機(jī)的發(fā)展 過(guò)程，而卷積神經(jīng)網(wǎng)絡(luò)可看作是神經(jīng)認(rèn)知機(jī)的推廣形式，神經(jīng)認(rèn)知機(jī)是卷積神經(jīng)網(wǎng)絡(luò)的一種 特例。卷枳神經(jīng)網(wǎng)絡(luò)本身可采用不同的神經(jīng)元和學(xué)習(xí)規(guī)則的組介形式。其中一種方法是來(lái)用 MF神經(jīng)元和KP學(xué)習(xí)規(guī)則的組合，常用于郵政編碼識(shí)別中還有一種是先歸化卷積神經(jīng) 網(wǎng)絡(luò)，然厲神經(jīng)

7、尤計(jì)算出用輸入信號(hào)將權(quán)值和歸一化處理后的值，再單獨(dú)訓(xùn)練每個(gè)隱層得到 權(quán)值，最麻獲勝的神經(jīng)元輸出活性，這個(gè)方法在處理二值數(shù)字圖像時(shí)比較可行，但沒(méi)有在大 數(shù)據(jù)鄧小得到驗(yàn)證。第三種方法綜介前兩種方法的優(yōu)勢(shì)，即釆用McCulloch-Pitts神經(jīng)兀代 替復(fù)雜的基丁神經(jīng)認(rèn)知機(jī)的神經(jīng)元。在該方法中，網(wǎng)終的隱層和神經(jīng)認(rèn)知機(jī)-樣，是-層一 層訓(xùn)練的，但是冋避了耗時(shí)的謀羞反向傳播算法。這沖神經(jīng)網(wǎng)絡(luò)被稱為改進(jìn)的神經(jīng)認(rèn)知機(jī)。 隨厲神經(jīng)認(rèn)知機(jī)和改進(jìn)的神經(jīng)認(rèn)知機(jī)作為卷積神經(jīng)網(wǎng)絡(luò)的例子，廣泛用各種識(shí)別任務(wù)中， 比如人數(shù)據(jù)庫(kù)的人臉識(shí)別和數(shù)字識(shí)別。卜面詳細(xì)介紹卷枳神經(jīng)網(wǎng)絡(luò)的原理、網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練 算法.2卷積神經(jīng)網(wǎng)絡(luò)2網(wǎng)絡(luò)結(jié)

8、構(gòu)卷枳神經(jīng)網(wǎng)絡(luò)是一個(gè)多層的神經(jīng)網(wǎng)絡(luò)，每層由多個(gè)二維平面組成，I佃每個(gè)平面由多個(gè)獨(dú) 立神經(jīng)元組成。網(wǎng)絡(luò)中包含一些簡(jiǎn)單元和復(fù)雜元，分別記為S尤和C元。S元聚介在一起 組成s而，s面聚合在一起組成s層，用u表示.C元、C面和C層（U,）之間存在類似的 關(guān)系。網(wǎng)絡(luò)的任一中間級(jí)由S層與C-層串接而成，而輸入級(jí)只含一層，它直接接受二維視 覺(jué)模式，樣本特征提取步驟己嵌入到卷積神經(jīng)網(wǎng)絡(luò)模型的互聯(lián)結(jié)構(gòu)中。一般地，U,為特征 提取層，每個(gè)神經(jīng)元的輸入與前層的局部感受野相連，并提取該局部的特征，"1該局部 特征被提取厲，它與比他特征間的位置關(guān)系也隨之確定下來(lái)：Uc是特征映射層，網(wǎng)絡(luò)的每 個(gè)計(jì)算層由多個(gè)特征

9、映射組成，每個(gè)特征映射為一個(gè)平面，平面上所有神經(jīng)尤的權(quán)值相等。 特征映射結(jié)構(gòu)采用影響西數(shù)孩小的sigmoid函數(shù)作為卷枳網(wǎng)絡(luò)的激活函數(shù)，使得特征映射幾 冇位移不變性。此外，111 J'-個(gè)映射而上的神經(jīng)元共亨權(quán)值，因而減少了網(wǎng)絡(luò)門(mén)由參數(shù)的個(gè) 數(shù)，降低了網(wǎng)絡(luò)參數(shù)選擇的復(fù)雜度。卷積神經(jīng)網(wǎng)絡(luò)中的每一個(gè)特征提取層（S層）都緊跟著一 個(gè)用來(lái)求局部平均與二次提取的il PG（C-層），這種特右的兩次特征提取結(jié)構(gòu)使網(wǎng)絡(luò)在識(shí)別 時(shí)對(duì)輸入樣本有較高的畸變?nèi)萑棠芰?101.網(wǎng)絡(luò)中神經(jīng)元的輸出連接值符合“最大值檢出假說(shuō)”吧 即在某小區(qū)域內(nèi)存在的個(gè) 神經(jīng)元集介中，只有輸岀最大的神經(jīng)元才強(qiáng)化輸出連接值。所以若神

10、經(jīng)尤近旁存在冇輸出比 其更強(qiáng)的神經(jīng)元時(shí)，其輸出連接值將不彼強(qiáng)化。根據(jù)二述假說(shuō)，就限定了只有一個(gè)神經(jīng)元會(huì) 發(fā)生強(qiáng)化。卷枳神經(jīng)網(wǎng)絡(luò)的種元就是某S-面上垠人輸出的S-元，它不僅可以使其口身強(qiáng)化， 而且還控制了鄰近元的強(qiáng)化結(jié)果.因而，所冇的s兀漸漸提取了兒乎所冇位置上相同的特 征。在卷積神經(jīng)網(wǎng)絡(luò)早期研究中占主導(dǎo)的無(wú)監(jiān)怦學(xué)習(xí)中，訓(xùn)練一種模式時(shí)需花費(fèi)相當(dāng)長(zhǎng)的時(shí) 間去自動(dòng)搜索一層上所有尤中只有最大輸出的種尤，帀現(xiàn)在的有監(jiān)督學(xué)習(xí)方式屮，訓(xùn)練模式 同它們的種元皆由教師設(shè)定。圖1是文獻(xiàn)12中卷積神經(jīng)網(wǎng)絡(luò)的腆熨結(jié)構(gòu)圖。將原始圖像直接輸入到輸入層（Uci）,原 始圖像的大小決定了輸入向杲的尺寸，神經(jīng)元提取圖像的局部特

11、征，因此每個(gè)神經(jīng)尤都與前 一層的局部感受野相連。文中便用了 4層網(wǎng)絡(luò)結(jié)構(gòu),羸層由S層和C層組成.每層均包含 多個(gè)平面，輸入層直接映射到口2層包含的多個(gè)平面上。每層中各平而的神經(jīng)元提取圖像中 特定區(qū)域的局部特征，如邊緣特征，方向特征等，在訓(xùn)練時(shí)不斷修正S層神經(jīng)元的權(quán)值。 冋一平面上的神經(jīng)元權(quán)伉相同，這樣町以有相冋程度的位移、旋轉(zhuǎn)不變性。S層中每個(gè)神經(jīng) 元局部輸入窗口的大小均為5x5,由于同一個(gè)平面上的神經(jīng)元共享一個(gè)權(quán)值向量,所以從一個(gè)平mi到卜一個(gè)平面的映射町以看作是作卷積運(yùn)算，s-層可看作是模糊濾波器，起到二次特 征捉取的作用。隱層與隱層z間空間分辨率遞減，而毎層所含的平面數(shù)遞増，這樣可用檢

12、測(cè)更多的特征信息。IC： 24x24. I 個(gè)平面4個(gè)住H核,3«3個(gè)金 ilifi16個(gè)卷職5«5*43C： 6*6. 16個(gè)平曲4i 10個(gè)絵 山神經(jīng)元2G 12>12. 4平2S«24-24. 4個(gè)平血4個(gè)卷枳M： 5*516個(gè)卷枳孩:3-3圖1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig1 The structure of convolutional neural network2. 2神經(jīng)元模型在卷積神經(jīng)網(wǎng)絡(luò)中，只冇S尤間的輸入連接是可變的，而其他元的輸入連接是固定的。 用U訂(ki» n)表示第1級(jí)，第ki個(gè)S-面上，一個(gè)S-元的輸出，用U<i(ki

13、» n)表示在該級(jí)第 4個(gè)C-面上一個(gè)C-元的輸出。其中,n是一個(gè)二維坐標(biāo)，代表輸入層中神經(jīng)元的感受野所 在位置，在第-級(jí)，感受野的面積較小，隨后隨著1的增大而增加。r 31I 1 + X X «i(v,k1_1,k)ucl_1(k1_1,n +v) |u . (k, n ) = r. (k I "" 1 I“衛(wèi)ILM+i式(2.1)中ai(v, k”,，k)和bt(k)分別表示興奮性輸入和抑制性輸入的連接系數(shù):rx(k) 控制特征提取的選擇性，毘值越大，對(duì)噪音和特征畸變的容錯(cuò)性越差，它是一常杲，它控制 看位每一 S-層處的單個(gè)抑制子平面中每個(gè)神經(jīng)元的輸

14、入：r：(k)的值越人，與抑制性成比 例的興奮性就得越人，以便能產(chǎn)生-個(gè)菲零輸出，換句話說(shuō)就是相當(dāng)好的匹配才 能激活神 統(tǒng)兀，然而因?yàn)閚(k)還需乘以(p (),所以“伉越大就能產(chǎn)生越大的輸出，相反，小的n(k) 許不太匹配的神經(jīng)元興奮,但它只能產(chǎn)生一個(gè)比較小的輸出'(P G)為非線性函數(shù).v 是個(gè)矢量,表示處J n感受野中的前層神經(jīng)元n的用對(duì)位置,為確定S神經(jīng)元要提取特征 的大小代表n的感受野。所以式中對(duì)v的求和也就包含了指定區(qū)域當(dāng)中所有的神經(jīng)元:外 而對(duì)勺k“的求和，也就包含了前一級(jí)的所有子平而，因此在分子中的求和項(xiàng)有時(shí)也被稱 作興奮項(xiàng)，實(shí)際匕為乘枳的和，輸入到n的神經(jīng)元的輸出都乘

15、匕它們相應(yīng)的權(quán)值然后再輸出 到6。(2. 2)f x, x > 0 0(X)= <0, x v 0式(2. 2)衷示的是指定某級(jí)(笫1級(jí))、某層(S-層)、某面(第4個(gè)S-面)、某元(向彊為 D處)的一個(gè)輸出。對(duì)丁一個(gè)S-尤的作用函數(shù)可分為兩部分，即興奮性作用函數(shù)和抑制性作 用函數(shù)。興奮性作用使得膜電位上升，而抑制性作用起分流作用。興奮性作用為：(2 3)E 2 a1(v,k1_1,k)iicl_1(k1_1,n + v) ki-i ve 州S尤與K前一級(jí)C層的所冇C面均冇連接，所連接的C元個(gè)數(shù)由該S級(jí)的參數(shù)感受野 Ai唯一確定。網(wǎng)絡(luò)中另一個(gè)重要的神經(jīng)元是假設(shè)存在的抑制性神經(jīng)元V-

16、元U“ (n),它位于S-面上 満足以卜三個(gè)條件:環(huán)元的抑制作用彩響整個(gè)網(wǎng)絡(luò)的運(yùn)作；C-尤與V-尤間存在看固泄的連 接：V元的輸出爭(zhēng)先設(shè)為篡個(gè)C-元輸出的平均值?？梢杂盟鼇?lái)衣示網(wǎng)絡(luò)的抑制性作用，發(fā) 送一個(gè)抑制信號(hào)給(k“ n)神經(jīng)元，從與 (U n)類似的尤接收它的輸入連接值， 并輸出：2 ¥%(“)二 S 工 Ci(v)iic_(ki，n + v)(2,4)< ki-i ve Ax>權(quán)qv)是位丁 V尤感受野中的v處的神經(jīng)元相連的權(quán)值，不而耍訓(xùn)練這些 ffb但它們應(yīng)隨看|v |的增加血單調(diào)減小。內(nèi)此.選擇式2 5的歸一化權(quán)値。C!(2 5)式2 5中的歸一化常磧C由式2

17、.6給出，具中：r(v)是從v處到感受野中心的歸一化距離:Kl-1c() = 2 s alKl-1 ve AjC神經(jīng)元的輸出山式27給曲r(v)(26)ud (kn)= K«I 1 + S Ji(ki，k_) Y d(v)UR (k,n + v)K.-i-lveD,|l"(n)L(2.7)上式中屮(X)為,x > 0 以 x)=?0 + x10,x < 0(2.8)式中0為一常ki是第1級(jí)中的S子平面的數(shù)量.D)是C元的感受野。因此,它和特征的大小相對(duì)應(yīng)。di(v) 上同二；'：加丄憶7刎乂 它是I v | |汕山勺迎阪M以Amk/v引泮兒TiJJ、心氐

18、： 子平而處收到信號(hào)，那么ji(ki,ku)的值為，1否則為0。最后，S層的V,神經(jīng)元的輸出為 Kl-1= Z Z cU(v)u$1(kj5n + v) K1 KHV.(29)圖2為卷積神經(jīng)網(wǎng)絡(luò)中不同神經(jīng)元之間的連接關(guān)系圖，從圖中可以很清楚地看出各種不同神 經(jīng)九之間的連接關(guān)系。4興奮的抑制的可受usl - 5"討! V-元A興命的固定"占；C元圖2卷積神經(jīng)網(wǎng)絡(luò)中不同神經(jīng)元間的連接Fig? The connections convolutional neural n& work amon g differ ent neurons13卷積網(wǎng)絡(luò)的訓(xùn)練過(guò)程神經(jīng)網(wǎng)絡(luò)用r模式識(shí)

19、別的主流是有指導(dǎo)學(xué)習(xí)網(wǎng)絡(luò)，無(wú)指導(dǎo)學(xué)習(xí)網(wǎng)絡(luò)更多的是用聚類分 析。對(duì)j韋指導(dǎo)的模式講別，由任一樣本的類別是已知的，樣本在空間的分布不再是依據(jù) 其口然分布傾向來(lái)劃分，而是耍根據(jù)同類樣本在空間的分布及不同類樣本z間的分離程度找 一種適為的空間劃分方法，或者找到一個(gè)分類邊界，使得不同類樣本分別位不同的區(qū)域內(nèi)。 這就需耍一個(gè)長(zhǎng)時(shí)間比復(fù)雜的學(xué)習(xí)過(guò)程，不斷調(diào)榕用以劃分樣本空間的分類邊界的位置，使 盡可能少的樣本被劃分到非同類區(qū)域中。由本文主要是檢測(cè)圖像屮的人臉，所以可將樣本 空間分成兩類：樣本空間和II樣本空間，因而木文所使用的學(xué)習(xí)網(wǎng)絡(luò)也是仃指&的學(xué)習(xí)網(wǎng)絡(luò)。 卷積網(wǎng)絡(luò)在本質(zhì)上是一種輸入到輸出的映射，它

20、能夠?qū)W習(xí)大帚的輸入與輸出之間的映射關(guān) 系，血不需耍任何輸入和輸出之間的秸確的數(shù)學(xué)表達(dá)式，只耍用已知的模式対卷枳網(wǎng)絡(luò)加以 訓(xùn)練，網(wǎng)絡(luò)就具有輸入輸出對(duì)之間的映射能力卷積網(wǎng)絡(luò)執(zhí)行的是有導(dǎo)師訓(xùn)練,所以其樣本集是由形如:(輸入向量，理想輸出向量的向最對(duì)構(gòu)成的。所有這些向量對(duì),都應(yīng)該是來(lái) 源網(wǎng)絡(luò)即將模擬的系統(tǒng)的實(shí)際“運(yùn)彳f”結(jié)果。它們可以是從實(shí)際運(yùn)行系統(tǒng)屮采集來(lái)的。在 開(kāi)始訓(xùn)練前，所冇的權(quán)都應(yīng)該用一些不同的小隨機(jī)數(shù)進(jìn)行初始化?！靶‰S機(jī)數(shù)”用來(lái)保證網(wǎng) 絡(luò)不會(huì)內(nèi)權(quán)值過(guò)大而進(jìn)入飽和狀態(tài)，從而導(dǎo)致訓(xùn)練失??；“不同”用來(lái)保證網(wǎng)絡(luò)可以正常地 學(xué)習(xí)。實(shí)際上，如果用相同的數(shù)去初始化權(quán)矩陣，則網(wǎng)絡(luò)無(wú)能力學(xué)習(xí)。訓(xùn)練算法主耍包

21、括4步，這4步被分為兩個(gè)階段：第一階段，向前傳播階段： 從樣本集中取一個(gè)樣本(X,Y，將X輸入網(wǎng)絡(luò)： 計(jì)算相應(yīng)的實(shí)際輸出Opo在此階段，信息從輸入層經(jīng)過(guò)逐級(jí)的變換，傳送到輸出層。這個(gè)過(guò)程也是網(wǎng)絡(luò)在完成訓(xùn)練后正常運(yùn)行時(shí)執(zhí)行的過(guò)程。在此過(guò)程中，網(wǎng)絡(luò)執(zhí)行的是由式(27)計(jì)算：0p=Fn (F?(Fi (XpWd>) W<2)W<n,)第二階段，向后傳播階段 計(jì)兌實(shí)際輸川Op與相應(yīng)的理想輸出Yp的芥： 按極小化謀差的方法調(diào)松權(quán)矩陣。這兩個(gè)階段的作一般應(yīng)受到精度耍求的控制，在這里，用式(28)計(jì)算Ep。作為網(wǎng)絡(luò)關(guān)J笫p個(gè)樣本的誤差測(cè)度。而將網(wǎng)絡(luò)關(guān)整個(gè)樣本集的謀差測(cè)度定義為： E=EEp

22、o如前所述，Z所以將此階段稱為向后傳播階段，是對(duì)應(yīng)J輸入倍號(hào)的正常傳播而言的。 因?yàn)樵陂_(kāi)始調(diào)榕神經(jīng)元的連接權(quán)時(shí)，只能求出輸出層的誤差，而直他層的誤差耍通過(guò)此誤差 反向逐層后推才能得到。有時(shí)候也稱Z為誤差傳播階段。為J'更淸楚地說(shuō)明本文所使用的卷 積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程,首先假設(shè)輸入層、中間層和輸出層的單元數(shù)分別是N、L和M。 X=(xO,xl,xN)是加到網(wǎng)絡(luò)的輸入欠彊,H=(hO,hl,hL)是中間層輸出矢屆,Y=(yO,yl,yM) 是網(wǎng)絡(luò)的實(shí)際輸出欠鼠，并且用D=(dO,dl,dM)來(lái)表示訓(xùn)練組中并模式的II標(biāo)輸出欠鼠輸,11到隱單兀J的權(quán)值是V”，而隱單九J到輸出單元k的權(quán)值是w

23、Jko另外用e k和0 J 來(lái)分別表示輸出單元和隱含單元的閾值。于是,中間層各單元的輸出為式(2 9)：(2.9)(2 10)H-1h廠f(£V嚴(yán)+勺)而輸出層務(wù)單元的輸出是式(210)：L-1y> = fS w«hj + e、F(x)其中f0)是激勵(lì)函數(shù)采用S型函數(shù)式(211)：(111)在上述條件下，網(wǎng)絡(luò)的訓(xùn)練過(guò)程如下：1) 選定訓(xùn)練組。從樣本集中分別隨機(jī)地選収300個(gè)樣本作為訓(xùn)練組。2) 將各權(quán)值V” w%和閾值<pje k fa成小的接近j： o的隨機(jī)值，并初始化梢度控制參數(shù)£和學(xué)習(xí)率a o3）從訓(xùn)練組中取一個(gè)輸入模式X加到網(wǎng)絡(luò)，并給定它的目標(biāo)

24、輸出欠量D。4）利用式（29）計(jì)算出一個(gè)中間層輸出矢量H再用式（210）計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出 矢Y.5）將輸出欠最中的元索yk與H標(biāo)欠磺中的元索血進(jìn)行比較，計(jì)算出M個(gè)輸出誤差項(xiàng) 式（2.12）：(2 12)6匕 （dk - yk）yk （1 - yk）對(duì)中間層的隱單元也計(jì)算出L個(gè)i昊差項(xiàng)式（213）：(2 13)6）依次計(jì)算出各權(quán)值的調(diào)整駁式（2 14）和式（2.15）：収牡仍（a«】+ L）（血牡1）+l）d、*AV_(n) « (a<l+N) (AVn - 1) + 1) h.和閾值的調(diào)整量式(2 16)和(2 17)：A/n) = (a /(1+ L)(Aq(n

25、- 1)+ 1)拿 <5、A外(n) (a<l+L)(A(n+ 巧7) 調(diào)整權(quán)值式(218)和式(2 19)：(n + 1) =(n)+ ZkV(n)(n +1)八；(!)+'； (n)調(diào)整閾值式(2 20)和(221)：8、(n + 1) - 8、(n) + &、(n) 外(n + 1) = 0j(n)+ Qj(n)(114)(2 15)(2.16)(2 17)(2.18)(2.19)(2 20)(2.21)8）當(dāng)k毎經(jīng)歷1至M后，判斷指標(biāo)是否滿足粘度耍求：EW£ ,其中E是1 2總課差換數(shù)，F(xiàn)Le = -2 （d、- y、）。如果不滿足，就返冋（3）,

26、繼續(xù)迭代。如杲滿足就進(jìn)入下一步。9）訓(xùn)練結(jié)束，將權(quán)值和閾值保存在文件中。這時(shí)可以認(rèn)為各個(gè)權(quán)值已經(jīng)達(dá)穩(wěn)定，分類器形成。再一次進(jìn)行訓(xùn)練時(shí)，直接從文件導(dǎo)出權(quán)值和閾值進(jìn)行訓(xùn)練，不需要進(jìn)行初始化。24卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)卷積神經(jīng)網(wǎng)絡(luò)cnn主耍用來(lái)識(shí)別位移、縮放及；t他形式扭曲不變性的一維圖形。rti r CNN的特征檢測(cè)層通過(guò)訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí),所以在使用CNN時(shí),避免了顯示的特征抽取，而 隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)彳J：學(xué)習(xí)：再音由同一特征映射而上的神經(jīng)尤權(quán)值相同，所以網(wǎng)絡(luò)可 以并彳J：學(xué)習(xí)，這也是卷積網(wǎng)絡(luò)相對(duì)神經(jīng)尤彼此相連網(wǎng)絡(luò)的一人優(yōu)勢(shì)。卷枳神經(jīng)網(wǎng)絡(luò)以其局 部權(quán)值共享的構(gòu)在語(yǔ)音識(shí)別和圖像處理方面有著獨(dú)特的優(yōu)越

27、性，其布局更搖J 的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共亨降低了網(wǎng)絡(luò)的復(fù)雜性.特別是多維輸入向員的圖像可以ri接輸入 網(wǎng)絡(luò)這一特點(diǎn)避免了特征提取和分類過(guò)程中數(shù)據(jù)巫建的復(fù)雜度。流的分類方式兒乎都是農(nóng)j統(tǒng)計(jì)特征的，這就意味著在述行分辨前必須捉収某些特征。 然你 顯式的特征提取并不容易，在一些w用問(wèn)題中也并非總是可靠的。卷枳神經(jīng)網(wǎng)絡(luò)，它 避免了顯式的特征取樣，隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)。這使得卷積神經(jīng)網(wǎng)絡(luò)明顯冇別丁其 他基神經(jīng)網(wǎng)絡(luò)的分類器，通過(guò)結(jié)構(gòu)晅組和減少權(quán)值將特征提取功能融合進(jìn)多層感知瓠 它 可以直接處理灰度圖片，能夠直接用丁處理基于圖像的分類。卷積網(wǎng)絡(luò)較一般神經(jīng)網(wǎng)絡(luò)在圖像處理方面有如卜優(yōu)點(diǎn)：a）輸入圖像和網(wǎng)絡(luò)

28、的拓?fù)浣Y(jié)構(gòu) 能很好的吻介；b）特征提取和模式分類同時(shí)進(jìn)彳J：,并同時(shí)在訓(xùn)練中產(chǎn)生：C）權(quán)巫共享可以 減少網(wǎng)絡(luò)的訓(xùn)練參數(shù)，使神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得更簡(jiǎn)單，適應(yīng)性更強(qiáng).3卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用3.1基丁卷積網(wǎng)絡(luò)的形狀識(shí)別物體的形狀是人的視覺(jué)系統(tǒng)分析和識(shí)別物體的某礎(chǔ)，兒何形狀是物體的本質(zhì)特征的表 現(xiàn)，并貝仔平移、縮放和旋轉(zhuǎn)不變等特點(diǎn)，所以在模式識(shí)別領(lǐng)域，對(duì)J：形狀的分析和識(shí)別貝 有十分重要的意義，而二維圖像作為三維圖像的特例以及分，因此二維圖像的識(shí)別是 三維圖像識(shí)別的咸礎(chǔ)。物體形狀的識(shí)別方法可以歸納為如下兩類，氏中，第一類是展物體 邊界形狀的識(shí)別，這種邊界的特征主耍有周長(zhǎng)、角、彎曲度、寬度、高度、直徑等，第二

29、類 是卑物體所覆孟區(qū)域的形狀識(shí)別，這種區(qū)域的特征上耍何面積、側(cè)度、矩特征等，上述兩 類方法都適用J物體形狀的結(jié)構(gòu)或區(qū)域的識(shí)別。卷積神經(jīng)網(wǎng)絡(luò)也足-種城物體邊界形狀的 識(shí)別.它既可以識(shí)別封閉形狀同時(shí)對(duì)不対閉形狀也冇校高的識(shí)別率。圖3試驗(yàn)用卷枳神經(jīng)網(wǎng)絡(luò)旳結(jié)構(gòu)圖Fig3 The structure of convolutional neural network圖3是所用的網(wǎng)絡(luò)結(jié)構(gòu).U。是輸入層.Ue是識(shí)別層。Us為特征提取層.的輸入是 光感受器的像素位圖，該層只是提取一些相對(duì)簡(jiǎn)單的像素特征，隨厲兒層的S元提収一些 更為復(fù)雜的像索特征.隨著層數(shù)的增加，提取的待征也相應(yīng)遞増：Uc是特征映射提取高階特征.提

30、取這些窩階特征時(shí)不盅耍提取像簡(jiǎn)單特征那樣的將確位克信息。 網(wǎng)絡(luò)屮S-元的閉值是預(yù)先設(shè)定值，訓(xùn)練時(shí)權(quán)值的更新皋J-Fukushima提出的增強(qiáng)釵學(xué)習(xí)規(guī)則，如式(2 10)所示，網(wǎng)絡(luò)的訓(xùn)練方式采用的是無(wú)監(jiān)粋7習(xí)方式。 圖4與圖5是部分實(shí)驗(yàn)樣本圖亍 I圖4祁分訓(xùn)練樣不圖Fig4 Part of the training sanple plans圖5部分測(cè)試樣本圖Fig 5 Fart of the test sample plans樣本分為三角形四邊形.八邊形圓形四類.每類10個(gè)共80個(gè)樣本實(shí)驗(yàn)訓(xùn)練時(shí)釆 用40個(gè)樣本，測(cè)試時(shí)采用卿余的40個(gè)樣本.瑕終的識(shí)別結(jié)果如表2所示。表1訓(xùn)練后網(wǎng)絡(luò)參數(shù)Tablei

31、 Network parameters after train ng級(jí)數(shù)S-層包含的S面數(shù)S 元數(shù)第一級(jí)1632第二級(jí)19290第三級(jí)15272第四級(jí)789表2識(shí)別結(jié)來(lái)Table3. 2 Recognition results待識(shí)別形狀識(shí)別結(jié)果三角形10個(gè)全對(duì)四邊形10個(gè)全對(duì)八邊形10個(gè)全對(duì)圓形對(duì)9個(gè)，另一個(gè)錯(cuò)識(shí)成四邊形識(shí)別錯(cuò)誤樣本如圖6所示:圖6測(cè)試出錯(cuò)樣本Fig 6 The sample error m test識(shí)別錯(cuò)誤的原因是由r訓(xùn)練所用樣本模式較少，不能覆蓋所有的惻形模式，以至該測(cè) 試模式輸入網(wǎng)絡(luò)時(shí)，與z相近的四邊形模式獲勝，最終得到錯(cuò)誤的輸出結(jié)果。這里釆用卷枳 神經(jīng)網(wǎng)絡(luò)進(jìn)彳形狀識(shí)別1

32、1的主要是為了臉證卷積神經(jīng)網(wǎng)絡(luò)的模式識(shí)別能力，所以雖然釆用的 樣本圖片較少，但已經(jīng)能夠說(shuō)明卷積網(wǎng)。絡(luò)在形狀識(shí)別時(shí)冇較高的識(shí)別率和抗畸變性，而識(shí) 別前的車牌字符由前期處理（定位、分割）能力的局限性，具有一定的噪聲和變形，岡此可 以將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用丁車牌識(shí)別系統(tǒng)。32卑丁卷積網(wǎng)絡(luò)的人臉檢測(cè)卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的人臉檢測(cè)方法不同，它是通過(guò)直接作用丁輸入樣木，用樣本來(lái)訓(xùn) 練網(wǎng)絡(luò)并最終實(shí)現(xiàn)檢測(cè)任務(wù)的。它是非參數(shù)熨的人臉檢測(cè)方法，可以省去傳統(tǒng)方法中建模、 參數(shù)伸I以及參數(shù)檢驗(yàn)、巫建模吃等的 系列復(fù)雜過(guò)乩本文x対圖像中任意人小、位胃、姿 勢(shì)、方向、狀色、面部表情和光照條件的人臉，提出了一種皋J：卷積神經(jīng)網(wǎng)絡(luò)

33、（Convolutional Neui-alNetworks,簡(jiǎn)稱CNN）的人臉檢測(cè)方法。設(shè)計(jì)了一個(gè)輸入層節(jié)點(diǎn)數(shù)為400、輸出層節(jié) 點(diǎn)數(shù)為2、四層隱藏層的CNN網(wǎng)絡(luò)。網(wǎng)絡(luò)結(jié)構(gòu)如圖7。3x3卷積2 x 2子抽樣20* 20輸入圖像9x 9圖像/個(gè)用經(jīng)元輸出18x18圖像8諭經(jīng)元圖7卷積網(wǎng)絡(luò)結(jié)構(gòu)Fig1 The structure of convolutional neural network輸入、輸出層的設(shè)計(jì):卷積神經(jīng)網(wǎng)絡(luò)是一種分層型網(wǎng)絡(luò),具有輸入層、中間層（隱含層）和輸出層的三層結(jié)構(gòu)。對(duì)尸一個(gè)神經(jīng)網(wǎng)絡(luò)，中間層町以勺兩個(gè)以上，而其有一個(gè)中間層的神 經(jīng)網(wǎng)絡(luò)則是-種卑本的神經(jīng)網(wǎng)絡(luò)模型。實(shí)驗(yàn)農(nóng)明，增加

34、隱含層的層數(shù)和隱含層神經(jīng)尤的個(gè)數(shù) 不一定能夠提高網(wǎng)絡(luò)的精度和衷達(dá)能力。使用輸入窗口的大小都是20X20,這是通常能使 用的最小窗II，這個(gè)窗口包含了人臉?lè)浅ｊP(guān)鍵的部分。因此，可將輸入層節(jié)點(diǎn)數(shù)設(shè)計(jì)為400, 對(duì)應(yīng)于20X20圖像窗口中按行展開(kāi)的各個(gè)像素考慮到本文使用卷積神經(jīng)網(wǎng)絡(luò)是用作分類 器，其類別數(shù)為2（即人臉和非人臉），所以輸出層的節(jié)點(diǎn)數(shù)為2。隱藏層的設(shè)計(jì)：隱藏層為四層，分別是圖像特征増強(qiáng)的卷積層、數(shù)據(jù)縮減的子抽樣層、 和兩個(gè)激活甫數(shù)層其結(jié)構(gòu)如圖7所示。設(shè)計(jì)方法如下：卷枳層的設(shè)計(jì)：信號(hào)的卷枳運(yùn)算是信號(hào)處理領(lǐng)域中址亜耍的運(yùn)算比如，在圖像處 理、語(yǔ)音識(shí)別、地震勘探、超聲診斷、光學(xué)成像、系統(tǒng)辨識(shí)及

35、其他諸多信號(hào)處理領(lǐng)域中。卷 積運(yùn)算一個(gè)重要的特點(diǎn)就是，通過(guò)卷積運(yùn)算，可以使原特征増強(qiáng)，并且降低噪音。在進(jìn) 行人臉檢測(cè)時(shí)使用離散的卷積核，對(duì)圖像進(jìn)行處理。由離散卷積核只需耍進(jìn)行優(yōu)先次的加 法運(yùn)算，而丄是整數(shù)運(yùn)算，沒(méi)有浮點(diǎn)運(yùn)算，計(jì)算機(jī)可以迅速的計(jì)算出結(jié)果。本文選定的四個(gè) 卷積核.分別為兩個(gè)拉普杓斯兌子和兩個(gè)Sobel功緣算子。輸入圖像分別經(jīng)過(guò)這四個(gè)卷積核 的卷積得到四個(gè)18X18的待測(cè)圖像。其中拉普拉斯算子是圖像的整體特征増強(qiáng)。而Sobel 邊緣算子則強(qiáng)化了邊緣特征。子抽樣層的設(shè)計(jì)：利用圖像局部相關(guān)性的原理，對(duì)圖像進(jìn)行子抽樣，可以減少數(shù)據(jù)處理 吊嗣時(shí)保留仃用信息.本以把卷積層輸出的四個(gè)圖像作為輸入

36、,分別進(jìn)彳J： 了抽樣運(yùn)算肩輸出 四個(gè)9X9圖像。而該圖像保留了原圖像的絕大部分有用信息。子抽樣點(diǎn)的值是原圖像相鄰 四個(gè)點(diǎn)的平均值。激活函數(shù)層：本層分為阿層激活函數(shù)層，一層為通過(guò)與抽樣層輸出的四個(gè)圖像分別進(jìn)行 全連結(jié)，得到四個(gè)屮間輸出。第二層為冇四個(gè)中間結(jié)來(lái)連接的四個(gè)激活函數(shù)并與輸出層連接， 得出網(wǎng)絡(luò)判斷結(jié)果.這層有9X9X4+1X4個(gè)激活西數(shù)參數(shù)需耍訓(xùn)練。激勵(lì)兩數(shù)的選擇：網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)和訓(xùn)練數(shù)據(jù)確定后，總誤并函數(shù)就完全由激勵(lì)西數(shù)決 定了，因此，激發(fā)函數(shù)的選擇對(duì)網(wǎng)絡(luò)的收斂性八仃很直要的作用。對(duì)每一個(gè)人匚神經(jīng)兀來(lái)說(shuō), 它可以接受組來(lái)自系統(tǒng)中其他神經(jīng)元的輸入信號(hào)，每個(gè)輸入對(duì)應(yīng)_個(gè)權(quán),所以輸入的加權(quán)

37、 和決定該神經(jīng)尤的激活狀態(tài)。按照卷積網(wǎng)絡(luò)算法的嗖求，這吐神經(jīng)元所用的激活函數(shù)必須是 處處可導(dǎo)的。在設(shè)人工神經(jīng)網(wǎng)絡(luò)的分類系統(tǒng)中，不僅網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)il IE常重要，而II訓(xùn)練數(shù)據(jù) 的收集也十分重耍在人臉檢測(cè)系統(tǒng)中除了選擇好的人臉樣本外同時(shí)還耍解決從衣駁年人臉 圖像中選擇非人臉樣木的問(wèn)題。對(duì)人臉樣本圖像還耍進(jìn)行一些預(yù)處理，以消除噪音和光線 差異的影響。為了提高網(wǎng)絡(luò)的健壯性，收集各種不同類型的人臉樣本：為了得到更多的樣本, 并提高ifc轉(zhuǎn)不變性和宛度可變性的能力，對(duì)初始人臉樣本集中的部分圖像進(jìn)行一些變換。然 后是關(guān)于非人臉樣本的收集，這足片EJ：神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法中的 個(gè)難題，按鹽常用的 Bootst

38、rap處理方法，可以從大磺的圖像中收集這吐邊界樣木，同時(shí)根據(jù)卷枳神經(jīng)網(wǎng)絡(luò)的特 點(diǎn)，做出一些改進(jìn)，降低隨機(jī)性，提高了效率。在獲得圖像數(shù)據(jù)后，通過(guò)一些歸一化和預(yù)處 理步驟，減小圖像噪川的影響和消除圖像宛度及對(duì)比度的怎異，捉高數(shù)據(jù)的針對(duì)性和魯棒性， 得到統(tǒng)計(jì)的方法進(jìn)行學(xué)習(xí)處理樣本的最展本的特征向彊，然后使用這些特征向?qū)糜?xùn)練網(wǎng)絡(luò)。 4總結(jié)本文首先闡述了卷積神經(jīng)網(wǎng)絡(luò)的原理。卷枳神經(jīng)網(wǎng)絡(luò)是在神經(jīng)認(rèn)知機(jī)的果礎(chǔ)上為了處理 模式識(shí)別問(wèn)題而捉出的網(wǎng)絡(luò)。此網(wǎng)絡(luò)是多層的分級(jí)神經(jīng)網(wǎng)絡(luò)，每層的神經(jīng)元都是相同類型的， 或簡(jiǎn)單，或復(fù)雜，或是超復(fù)雜的神經(jīng)元，在每層之間都有非常稀少并且固定模式的連接。介 紹了昂本的卷枳神纟仝網(wǎng)絡(luò)

39、結(jié)構(gòu)及貝神纟仝尤模熨，接看討論了卷枳神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程，半需 耍的特征12預(yù)先確泄，那么就采用燈監(jiān)督算法，網(wǎng)絡(luò)層一層地學(xué)習(xí)，反Z則進(jìn)行無(wú)監(jiān)督學(xué) 習(xí)。報(bào)后簡(jiǎn)耍的介紹了卷積神經(jīng)網(wǎng)絡(luò)在形狀識(shí)別和人臉檢測(cè)中的應(yīng)用。I前，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被應(yīng)用二維圖像處理、模式識(shí)別、機(jī)器視覺(jué)、形狀講別、智 能交通等領(lǐng)域，并且能夠很好的解決各個(gè)領(lǐng)域中的問(wèn)題。參考文獻(xiàn)1 王天臭基于卷積洌絡(luò)的二位特征提取學(xué)位論文1古林:H 乙2006.2 >儀斤 圾卷枳神經(jīng)網(wǎng)絡(luò)的模式分炎器J XHX學(xué)學(xué)報(bào),2003,21(2): 19*233 Sx.on Haykin裔葉世他史忠檢誹神經(jīng)網(wǎng)絡(luò)販理».北京*機(jī)械工業(yè)出版社.20

40、04.I 肖曲旭卑住枳網(wǎng)絡(luò)的人膾檢測(cè)的研究9實(shí)現(xiàn)學(xué)位論文北京：華北電力大學(xué).20095 乩璐.卷秋神經(jīng)網(wǎng)絡(luò)的研究及冀餐車牌識(shí)別系統(tǒng)中的應(yīng)用學(xué)位論文.合肥含肥I.業(yè)人學(xué)2006.6 頃隹玲形宦京.增K式卷枳神經(jīng)網(wǎng)絡(luò)及英住人臉檢測(cè)屮的應(yīng)用JJ.系統(tǒng)偽眞學(xué)報(bào)，2009,21 (8):2111-21157 趙念宏，楊紹也馬増頸 肚于卷枳神紳M絡(luò)LtIet-5的車牌7符識(shí)別研究J1.系統(tǒng)仿真學(xué)報(bào),2010,22(3) 638-6118 T H Hildebrandt, Optimal Training of Thresholded Linear Correlation Classifiers, IEEE

41、 Transactions on ITeural Networks Z(6),PP 577 - 588, Hov (1991)9 K Fukushima. ''Beococni tron A selfor cam zinc neural-network no del for a Mechani sm of Pattern recognition unaffected by shift in position. Biol. Cybtrn vol 36 pp 193 202 198010 C Neubauer. Shape, position and size xnvari ant

42、 visual pattern recognition based on principles of neocognitron and perception in Artificial Heural Hetvorks 1 Alexanderandj Iaylcr Eds. Amsterdam the Netherlands Horth一 Holland, vol. 2. 1992. PP 833 -837II D Lovell et al Com ent s onOptioal Tr ainin( of Thrtsholdtd Linear Corr <1 at 1 on Classi

43、fi erIEEE Trans . OnHeural Networks 1(2), PP 367 369, March(1993).12 E Fukushi*Analysis o£ the process of visual pattern recognition by the neocognitron"Hern*al Hetorks vol 2. pp 113-121. 198913 VanOoyen andB Hi exthui s> PatttrnRecocni tion in the Keococxu tronls ImprovedbyHeuronal Ada

44、ption Bi ologi calCybernetiesTO, pp 17-53 (1993).14 石大明.劉海濤.舒文豪結(jié)合進(jìn)化計(jì)算的神經(jīng)認(rèn)知機(jī)計(jì)算機(jī)學(xué)報(bào) 2001. 246):46847315 Claus Heubauer Evaluation o£r Convolutional Menral Networks for VisutLlRecogni11 on« Heural Hetwoks vol 9 no . L pp 685-696 (1998)16 K Fukushima and H Tarn gawa, Use of di fferent thresholds in learning and recognition BeuroeomPuting vol 11 pp.1-17. 199617 G W Cottrell EMPATH Fact, emotion, and gender recogni lion using holons. in Advances in neural Information Proctssins Sys18 K Bourlard and I Kaop Autoassoziat 1 on by ultilayei*perceptrons and singular value decomposition &qu