模擬輸入模式的穩(wěn)定類型識別編碼的自組織網(wǎng)絡(luò)

1、.：.；ART2: 模擬輸入方式的穩(wěn)定類型區(qū)別于類型會變化的？識別編碼的自組織網(wǎng)絡(luò)摘要：自順應(yīng)諧振體系構(gòu)造是一種可以實(shí)時(shí)呼應(yīng)恣意序列輸入方式的，自組織地進(jìn)展穩(wěn)定方式編碼的神經(jīng)網(wǎng)絡(luò)。本文引見了一種自順應(yīng)諧振體系構(gòu)造ART2，對于恣意序列的模擬或二進(jìn)制輸入方式,這種構(gòu)造能迅速自組織地進(jìn)展方式識別并聚類。為了處置恣意序列模擬輸入方式，ART2體系構(gòu)造將問題的處理方案整理，并表達(dá)為一組設(shè)計(jì)原那么：如穩(wěn)定性可塑性平衡，搜索直接存取平衡，以及匹配復(fù)位平衡。在這些體系構(gòu)造中，自上而下學(xué)習(xí)期望和匹配機(jī)制在自穩(wěn)定的編碼過程中是至關(guān)重要的code learning了解為Self-coding,因此譯為編碼。隨著學(xué)

2、習(xí)進(jìn)程的開場,并行的搜索方案使ART2可以自我更新，并實(shí)現(xiàn)實(shí)時(shí)的假說建立、測試、學(xué)習(xí)和識別過程。經(jīng)過學(xué)習(xí)自我穩(wěn)定后，搜索過程可以自動脫鉤，以后輸入方式可直接訪問他們的識別碼而不需求再搜索搜索直接存取平衡。因此, 識別熟習(xí)的輸入所用的時(shí)間不隨學(xué)習(xí)編碼的復(fù)雜性而添加。假設(shè)新的輸入方式與已熟知類別的樣本集合具有共同的不變的屬性,那么它可以直接訪問這一類別。警戒值參數(shù)那么決議了該分類的細(xì)致程度。假設(shè)由于環(huán)境反響,警惕性添加或減少，系統(tǒng)就會自動搜索并更細(xì)或更粗地進(jìn)展識別分類。增益調(diào)理參數(shù)能使ART2抑制噪音到達(dá)一定程度。雖然ART2網(wǎng)絡(luò)具有高度的非線性，其的全局性設(shè)計(jì)仍使它可以有效地學(xué)習(xí)。自順應(yīng)諧振體系

3、構(gòu)造自順應(yīng)諧振體系構(gòu)造是一種可以實(shí)時(shí)呼應(yīng)恣意序列輸入方式的，自組織地進(jìn)展穩(wěn)定方式編碼的神經(jīng)網(wǎng)絡(luò)。在文1中,Grossberg提出了自順應(yīng)諧振實(shí)際的根本原理。在文2和3中，Carpenter和Grossberg用一組常微分方程描寫了一類被命名為ART1的自順應(yīng)諧振構(gòu)造。對于恣意序列的二進(jìn)制輸入方式，經(jīng)證明的定理已能闡明ART 1 網(wǎng)絡(luò)實(shí)時(shí)動態(tài)特性。這些定理預(yù)示了搜索的順序可視為網(wǎng)絡(luò)的學(xué)習(xí)過程的函數(shù)和漸近分類構(gòu)造是有恣意序列的二進(jìn)制輸入模型自行組織的。這些定理也證明系統(tǒng)自穩(wěn)定性能和闡明了該體系的順應(yīng)權(quán)重振動至多一次，而不會陷于偽存儲形狀或部分極小值。 本文引見了一類新的自順應(yīng)諧振構(gòu)造，即所謂的AR

4、T2。對于恣意序列的模擬灰度級，延續(xù)值輸入方式，以及二進(jìn)制輸入方式，ART 2網(wǎng)絡(luò)可以自行組織，構(gòu)成穩(wěn)定的識別分類。本文將經(jīng)過計(jì)算機(jī)仿真方法來闡明系統(tǒng)的動態(tài)特性.例如圖1，它展現(xiàn)了一個(gè)典型的ART2網(wǎng)絡(luò)，在每個(gè)樣本只輸入系一致次后，快速把一組五十個(gè)樣本自行聚類成三十四個(gè)穩(wěn)態(tài)的識別種類。每個(gè)數(shù)字下面的圖例被ART 2聚類為一樣類別。仿真系統(tǒng)方程式將在Secs.V-VIII中給出。ART網(wǎng)絡(luò)經(jīng)過修正銜接權(quán)重,也就是自下而上的自順應(yīng)過濾器第一個(gè)過濾器？的長期記憶系統(tǒng)LTM的跡，來對新的輸入方式進(jìn)展編碼圖2。這個(gè)過濾器包含在從特征表示場F1到類別表示場F2它們的節(jié)點(diǎn)經(jīng)過協(xié)作與競爭的相互作用后的通道中。

5、這種自順應(yīng)過濾和競爭的結(jié)合，有時(shí)也被稱為競爭學(xué)習(xí)，在許多其他類型的自順應(yīng)方式識別和相關(guān)學(xué)習(xí)中也存在?？蓞⒁奊rossberg關(guān)于競爭學(xué)習(xí)方式開展的回想4。然而，在ART網(wǎng)絡(luò)中，自上向下的自順應(yīng)過濾器(第2個(gè)過濾器)對編碼自穩(wěn)定性有著至關(guān)緊要的作用。這種自上而下自順應(yīng)信號在ART系統(tǒng)中扮演著對學(xué)習(xí)的期望值。它們能使系統(tǒng)引發(fā)留意啟動，方式匹配，和自我調(diào)理的并行搜索。ART設(shè)計(jì)的關(guān)鍵點(diǎn)之一是對于恣意輸入環(huán)境，必需有自上而下的留意和有意的機(jī)制(或稱為期望)來保證自穩(wěn)定的學(xué)習(xí)。像自下而上和自上而下的自順應(yīng)過濾器一樣，場F1和F2 也包含在ART的留意子系統(tǒng)見圖2 。當(dāng)自下而上的F1層輸入與自上而下的期望

6、值F2中激活類別所輸出匹配失敗時(shí)，調(diào)整子系統(tǒng)將被激活。在這種情況下，激活的調(diào)整子系統(tǒng)迅速地重置抑制F2層的激活類別。重置動作將自動引導(dǎo)留意子系統(tǒng)再次進(jìn)展并行搜索。備選種類被一一測試，直到找到一個(gè)適當(dāng)?shù)钠ヅ浠蚪⒁粋€(gè)新的類別。由于搜索戰(zhàn)略在整個(gè)學(xué)習(xí)過程中是自順應(yīng)地更新的，搜索堅(jiān)持有效如何做的？。相對學(xué)習(xí)速率，搜索過程更快。然而，只需當(dāng)一個(gè)搜索終了和系統(tǒng)內(nèi)部有一個(gè)匹配的F1方式共振時(shí)，自下而上和自上而下的自順應(yīng)過濾器才會出現(xiàn)顯著的變化。圖1所示的仿真中，在最初的50種輸入中，有許多ART2系統(tǒng)進(jìn)展了一次搜索過程。圖1.50個(gè)模擬輸入方式類別分組到34識別類 圖2.一個(gè)典型的ART1構(gòu)造自下向上自順

7、應(yīng)過濾、編碼或假說的選擇、自上向下的學(xué)習(xí)期望值的輸出、匹配和代碼復(fù)位的循環(huán)過程闡明，在ART系統(tǒng)中，自順應(yīng)方式識別是更為普通的認(rèn)知過程發(fā)現(xiàn)，測試，搜索，學(xué)習(xí)，并證明假說的一個(gè)特例。在ART系統(tǒng)的運(yùn)用中，對大型籠統(tǒng)的知識根底的自順應(yīng)處置是未來研討的一個(gè)重要目的?，F(xiàn)實(shí)上，ART系統(tǒng)的學(xué)習(xí)只發(fā)生在諧振形狀，這使得系統(tǒng)處理可塑性與穩(wěn)定性的平衡成為能夠。可塑性，或稱快速改動LTM軌跡的趨勢，可以無限期地堅(jiān)持完好是指可塑性永遠(yuǎn)存在？不會被飽和掉？，這使得ART體系構(gòu)造可以學(xué)習(xí)以后不可預(yù)料的事件，直到耗掉一切的存儲容量。在一個(gè)共振形狀下學(xué)習(xí)，要么是基于輸入方式能夠含有的任何新的信息，對先前建立的編碼進(jìn)展更新

8、，要么是在未定型的節(jié)點(diǎn)中開場進(jìn)展編碼快速定型。舉例說，假設(shè)在任何時(shí)間，將一個(gè)新的輸入?yún)⑴c到圖1所示的五十個(gè)輸入集合，該系統(tǒng)將搜索已建立的類別。能夠在最初的搜索周期中，就找到了匹配的方式，假設(shè)有必要，表征類別的LTM向量將被更新，以納入新方式。假設(shè)沒有找到匹配方式，在編碼容量尚未用盡的情況下，系統(tǒng)會運(yùn)用未定型的LTM向量trace我了解為LTM向量在不斷學(xué)習(xí)過程中的變化軌跡。直接翻譯不好了解對由輸入建立的STM方式進(jìn)展編碼，從而建立一個(gè)新的類別。該體系構(gòu)造的自順應(yīng)搜索，可發(fā)現(xiàn)和了解恰當(dāng)?shù)淖R別編碼，而不會墮入在虛偽的記憶形狀或部分最小值中。在其它的搜索方式，如搜索樹，隨著知編碼變得越來越復(fù)雜，搜索

9、時(shí)間也會延伸。與之相反，在一個(gè)ART構(gòu)造中，只需識別編碼在被學(xué)習(xí)時(shí)，搜索才開場，而且隨著學(xué)習(xí)的繼續(xù)這種搜索堅(jiān)持其效率我未能了解這個(gè)才干是如何表達(dá)的。以前學(xué)習(xí)的自穩(wěn)定性，是經(jīng)過讀出一個(gè)被由上而下的期望值提供的動態(tài)緩沖來實(shí)現(xiàn)，而不是由關(guān)掉可塑性或限制只需某類被允許輸入來完成。例如圖1的仿真中，在50個(gè)輸入方式學(xué)習(xí)一次后，學(xué)習(xí)曾經(jīng)到達(dá)自穩(wěn)定。普通說來，在一個(gè)ART構(gòu)造中，對一個(gè)特定的識別種類，一旦學(xué)習(xí)曾經(jīng)到達(dá)自穩(wěn)定，搜索機(jī)制就自動脫鉤了。以后對任何隸屬于此類別的輸入，不需求進(jìn)展搜索，就可以高速和可以直接地激活或訪問類別信息。在一個(gè)ART構(gòu)造中，輸入方式和被選擇的類別模板之間的匹配的規(guī)范是可以調(diào)整的。

10、匹配準(zhǔn)那么是由控制調(diào)整子系統(tǒng)行為的警戒值參數(shù)所決議的。一切其他情況是一樣的，高警惕對應(yīng)更嚴(yán)厲的匹配規(guī)范，從而對輸入集的聚類更為細(xì)致。低警戒值那么在F1層能容忍更大的自上而下的或自下而上的匹配誤差，從而導(dǎo)致分類粗糙圖3。此外，在每一個(gè)警戒值程度下，匹配的規(guī)范也可自行縮放根據(jù)特征的數(shù)量輸入向量的長度、維數(shù)：假設(shè)輸入方式非常復(fù)雜，少量特征的不匹配能夠是可以容忍的，但假設(shè)輸入本身特征量就不多，同樣數(shù)目的特征不匹配那么會觸發(fā)重置。圖3. 較低的警惕意味著分組粗化.與圖1一樣的ART2網(wǎng)絡(luò)將同樣50個(gè)輸入分為20個(gè)類別。例如,圖1中的類別1和2被合并為類別1,類別14、15和32在這里被合并為類別10，類

11、別19-22被合并為類別13. 圖4. 一種沒有一個(gè)面向子系統(tǒng)的ART2模型學(xué)習(xí)分組.(a)將警戒值程度設(shè)置為0, 與圖1、3一樣的ART2網(wǎng)絡(luò)將50個(gè)樣本分為6個(gè)類別每個(gè)樣本僅輸入一次。沒有了在不匹配時(shí)的重置功能，會出現(xiàn)短時(shí)分組。(b)在每個(gè)樣本輸入3次后，一個(gè)粗略但穩(wěn)定的類別構(gòu)培育曾經(jīng)建立了。即使沒有任何搜索，當(dāng)警惕性低或調(diào)整子系統(tǒng)被移除時(shí)本段討論的重點(diǎn)是移除調(diào)整子系統(tǒng)后，系統(tǒng)的行為，ART2也能建立一個(gè)合理的聚類構(gòu)造圖4 。不過在這種情況下，自上而下的學(xué)習(xí)期望值，經(jīng)過產(chǎn)生留意焦點(diǎn)來緩沖忽然發(fā)生的代碼文字和含義都沒有了解，來全面擔(dān)任編碼的自穩(wěn)定性。雖然在F1層自下而上和自上而下的方式不匹配

12、會減弱F1層的不匹配的特征，然而這種不匹配，在學(xué)習(xí)發(fā)生前，并不會引發(fā)在F2層尋覓一個(gè)更適宜的編碼。這種學(xué)習(xí)將未被減弱的F1層的特征納入到最初被選定的類別的識別編碼中而不論不匹配的不犯。在這種情況下，編碼在自穩(wěn)定之前能夠需求更多的輸入實(shí)驗(yàn)。在早期的實(shí)驗(yàn)中，由于本來經(jīng)過可變的警戒值實(shí)現(xiàn)的靈敏的匹配規(guī)范不在了，錯(cuò)誤的分組能夠會出現(xiàn)，例如圖4a中第1類。雖然如此，自上而下的期望值能積極調(diào)理學(xué)習(xí)過程，以產(chǎn)生一個(gè)擁有可接受的屬性的穩(wěn)定的漸近編碼。例如，雖然在圖4a的例子中有最初的異常編碼 ，圖4b闡明經(jīng)過三輪的輸入，可以建立一個(gè)穩(wěn)定的聚類構(gòu)造，在圖4a中在1種類的聚類錯(cuò)誤得到了糾正將最初的并不類似的輸入大

13、致分裂成單獨(dú)的類別1和7。自上而下的學(xué)習(xí)期望和調(diào)整子系統(tǒng)不是ART網(wǎng)絡(luò)在學(xué)習(xí)過程進(jìn)展自動調(diào)控的獨(dú)一手段。在F1和F2層留意增益控制留意找出位置也有利于這種活潑規(guī)那么sec. II 。增益控制被用來綜合此處overall不好了解adjust overall sensitivity調(diào)整對樣本輸入的靈敏度，和協(xié)調(diào)各個(gè)具有分別的、異步功能的ART子系統(tǒng)?？梢哉{(diào)整對圖案化的輸入和協(xié)調(diào)分開的整體敏感性。增益控制在圖2中表示為圓形的實(shí)心點(diǎn)被填充的。ART 1: 二進(jìn)制輸入模型圖2顯示了一個(gè)典型的ART1網(wǎng)絡(luò)的主要特點(diǎn)。留意子系統(tǒng)中延續(xù)的兩級 F1和F2 ，對短期記憶STM的活潑方式進(jìn)展編碼。在F1和F 2之

14、間的每個(gè)自下而上或自上而下的途徑包含了一個(gè)自順應(yīng)LTM向量，它會與在其途徑中的信號的相乘。電路的其它部分調(diào)理這些STM和LTM計(jì)算過程。增益控制1的調(diào)制可以使F1層可以區(qū)分自下向上輸入方式和自上而下的填裝了解為從F2層經(jīng)過選擇得到的方式或模板方式，并能比較這些自下而上和自上而下的方式。特別是，自下向上的輸入可以有認(rèn)識地激活F2層；在沒有自下而上的輸入時(shí)，由上而下的期望值能有認(rèn)識地強(qiáng)化或填裝F1層; 根據(jù)2/3的規(guī)那么，自下而上和自上而下輸入的結(jié)合是相匹配，該規(guī)那么在自下而上和自上而下的方式的交互作用下激活節(jié)點(diǎn)圖5。因此，在自組織的ART系統(tǒng)下，意向性或知由上而下的期望的行動暗示了空間的邏輯匹配

15、規(guī)那么。Carpenter和Grossberg在文獻(xiàn)3證明了在ART1呼應(yīng)恣意序列的二進(jìn)制輸入方式時(shí)，2/3規(guī)那么匹配對于學(xué)習(xí)自穩(wěn)定是必要的。當(dāng)自下而上輸入方式和自上而下的模板方式在F1中不匹配，根據(jù)警戒值規(guī)范，調(diào)整子系統(tǒng)給F2層一個(gè)重置波。重置波選擇性地長期抑制被激活的F2層節(jié)點(diǎn)細(xì)胞，直至當(dāng)前輸入被移除。輸入方式的偏移此處的offset，我了解為shut off的行為，這樣比較容易解釋這句話的意思終止了它在F1中的運(yùn)算，并觸發(fā)增益2的偏移量。增益2的偏移量引起F2層的STM記憶迅速衰變，從而F2層可以無偏向地對對下一個(gè)的輸入方式進(jìn)展編碼。一個(gè)ART1系統(tǒng)完全可以由一個(gè)微分方程組定義，這個(gè)方程

16、組也決議STM和LTM對一個(gè)恣意時(shí)間序列的二進(jìn)制輸入的動態(tài)呼應(yīng)。描寫這些動態(tài)特性的定理曾經(jīng)在快速學(xué)習(xí)的條件下得到證明，這里，為了使LTM軌跡接近平衡值，每個(gè)樣本的實(shí)驗(yàn)時(shí)間必需足夠長。ART 1的變形構(gòu)造具有類似的動態(tài)特性。因此，術(shù)語ART1是指一族或一類功能上等效的構(gòu)造，而不是單個(gè)模型。圖5 搜索一個(gè)正確的F2編碼。a當(dāng)不明確地激活A(yù),輸入方式I在F1層產(chǎn)生一個(gè)明確的STM激活方式X，方式X抑制A的同時(shí)，產(chǎn)生一個(gè)輸出信號S，S轉(zhuǎn)變成T，T在F2層激活STM方式Y(jié)。b方式Y(jié)產(chǎn)生一個(gè)自上而下的方式U，它轉(zhuǎn)化為模板方式V。假設(shè)V與F1層的方式I不匹配，在F1產(chǎn)生一個(gè)新的STM激活方式X*，在X轉(zhuǎn)化為

17、X*時(shí)產(chǎn)生的總活潑度減少會導(dǎo)致F1層對A的抑制造用減弱。cA在輸入方式作用下的行為會釋放一個(gè)不明確的激活波到F2層，它將重置F2層的STM方式Y(jié)。d當(dāng)Y被抑制，其自上而下的模板被消除，這樣F1層的X方式被恢復(fù)，又產(chǎn)生一個(gè)方式T到F2層，但此時(shí)方式Y(jié)被抑制，T會激活另外一個(gè)F2層STM方式Y(jié)*,假設(shè)由Y*產(chǎn)生的自上而下的模板還是與I不匹配，搜索F2層適宜編碼的過程繼續(xù)進(jìn)展。ART2:模擬輸入模型ART2體系構(gòu)造是為處置模擬也可以是二進(jìn)制輸入方式而設(shè)計(jì)的。一個(gè)為模擬輸入設(shè)計(jì)的種類代表系統(tǒng)，要可以把墮入在各種噪聲背景里的近似信號挑出來并進(jìn)展加強(qiáng)，如圖1中的第16類。圖6 典型的ART2構(gòu)造。空心箭頭

18、指示特定的不知如何了解specific和nonspecific方式輸入指向目的節(jié)點(diǎn)。實(shí)心箭頭指示非特定的增益控制輸入。增益控制中心實(shí)心圓圈根據(jù)STM向量的L2范數(shù)，按比例非特定地抑制目的節(jié)點(diǎn)式(5), (6), (9),(20)和(21)。當(dāng)場F2激活第J個(gè)節(jié)點(diǎn)，g(yJ)=d，其它的節(jié)點(diǎn)g(yJ)=0。與ART1一樣，增益控制未顯示隨著輸入呈現(xiàn)的速率來協(xié)調(diào)STM處置。圖給出了一個(gè)典型的ART構(gòu)造。圖和圖的比較闡明了ART1 和 ART2 網(wǎng)絡(luò)的一些主要的差別。為了ART能在一個(gè)穩(wěn)定的方式下匹配和學(xué)習(xí)一系列模擬輸入方式，它的特征表達(dá)層F1包括假設(shè)干處置級和增益控制系統(tǒng)。自下而上的輸入方式和自上

19、而下的信號在F1層不同地點(diǎn)被接納。F1層的正反響回路可以加強(qiáng)突出的特征和抑制噪音。雖然ART2中的F1比ART1中的更復(fù)雜，但ART2中的LTM方程組更簡單。對特定的運(yùn)用，如何對信號的功能和各種ART2構(gòu)造的參數(shù)進(jìn)展最正確選擇，以對特定類別的模擬輸入方式進(jìn)展分類，是這個(gè)課題的研討方向。特別是，由于ART2體系構(gòu)造是為了分類恣意序列的模擬或數(shù)字輸入方式，所以一個(gè)恣意預(yù)處置器可銜接到ART2構(gòu)造的前端。利用這個(gè)特性，為不變量的識別和回想，可以用激光雷達(dá)，邊境分割，和不變?yōu)V波方法來設(shè)計(jì)一個(gè)自組織構(gòu)造，對ART2的輸入進(jìn)展預(yù)處置。ART 2設(shè)計(jì)原那么ART2構(gòu)造滿足了神經(jīng)網(wǎng)絡(luò)分析所確定的一套設(shè)計(jì)原那么

20、，可對恣意序列的模擬輸入方式實(shí)現(xiàn)的類別辨識。ART2系統(tǒng)曾經(jīng)開展到滿足多個(gè)設(shè)計(jì)原那么或處置約束，這些導(dǎo)致構(gòu)造的突出特性。至少ART2構(gòu)造三個(gè)變化曾經(jīng)確定可以滿足這些約束?，F(xiàn)實(shí)上，ART2分析的中心包括發(fā)現(xiàn)網(wǎng)絡(luò)機(jī)制的不同組合如何一同協(xié)作，以產(chǎn)生想要的突出特征的特別組合。這就是為什么ART2構(gòu)造的實(shí)際已被證明是非常有用的，由于它們提示了哪些緊急屬性多余，哪些在減少構(gòu)造中喪失。在每個(gè)ART2構(gòu)造中，歸一化，增益控制，匹配和學(xué)習(xí)機(jī)制的組合，在大致一樣的方式下相互交錯(cuò)。雖然詳細(xì)的實(shí)現(xiàn)方法能夠在一定程度上會有修正,在一切的ART2變形構(gòu)造中，我們曾經(jīng)發(fā)現(xiàn)： 場F1需求包括不同層次以接納和轉(zhuǎn)換自下而上輸入方

21、式和自上而下的期望方式，還要一個(gè)中間神經(jīng)元作為交互層，它被用來比較自下而上和自上而下的信息，并將結(jié)果反響到場F1的底層和頂層。我們將在Secs.IX-XII中闡明圖6中F1的各層如何任務(wù)。其他ART2模型將在Sec.XIII和Ref. 5中闡明。我們?nèi)缃耖_場闡明ART2的設(shè)計(jì)原那么。A.穩(wěn)定性可塑性平衡對恣意序列的模擬輸入方式，一個(gè)ART2系統(tǒng)必需可以構(gòu)成穩(wěn)定的識別編碼。由于一個(gè)ART系統(tǒng)的可塑性總是存在，同時(shí)輸入方式提交的繼續(xù)時(shí)間長度是恣意的，所以STM的處置過程必需按這樣一種方式進(jìn)展：即新的輸入方式的長時(shí)間的繼續(xù)我了解是作為模擬網(wǎng)絡(luò)電路的方式存在的特點(diǎn)，假設(shè)離散化的計(jì)算方式，這個(gè)過程會弱化

22、很多。不撤離不會抹去以往學(xué)習(xí)過的信息。Sec. XII顯示了對圖6中場F1的內(nèi)部反響回路的一部份進(jìn)展移除或消融，能夠?qū)е乱环N不穩(wěn)定，在這種不穩(wěn)定情況下，其中在特殊的輸入順序中的單一輸入，能夠不停地在分類之間跳轉(zhuǎn)一會分入這個(gè)類，一會被分入另一個(gè)類。B.搜索直接訪問平衡在學(xué)習(xí)過程中，ART2系統(tǒng)采用并行搜索來控制適當(dāng)識別編碼的選擇行為，但如對一個(gè)輸入方式已非常熟習(xí)，將自動脫鉤搜索過程。以后，無論總的知識別構(gòu)造有多復(fù)雜，熟習(xí)的輸入方式直接存取其識別編碼，就像在我們的生活不同階段，我們都可以迅速認(rèn)出我們的父母。雖然隨著我們生長，我們學(xué)習(xí)了更多的東西。C.匹配重置 平衡一個(gè)ART2系統(tǒng)需求可以處理幾個(gè)潛

23、在沖突特性，這些沖突特性可以被了解為在敏感的匹配需求和新代碼構(gòu)成之間的設(shè)計(jì)權(quán)衡的變形未了解。該系一致方面應(yīng)可以對活潑的場F1的STM方式及從一個(gè)已建立類別輸出的LTM方式之間恣意小的差別進(jìn)展識別并作出反響。尤其是，假設(shè)警戒值高，經(jīng)過一個(gè)自下而上的輸入樣本建立的F1的STM方式，應(yīng)該與自上而下F2-F1的期望方式幾乎一樣，以便使得該樣本可以被已建立的類別接受。在另一方面，當(dāng)一個(gè)未定型F2節(jié)點(diǎn)第一次被激活，它應(yīng)能堅(jiān)持活潑，而不被重置，以便使它可以在這種是沒有自上而下/自下而上的方式匹配的情況下，對它的第一次輸入樣本進(jìn)展編碼。Sec. IX闡明了一個(gè)合理選擇的ART2重置規(guī)那么和LTM初始值是如何共

24、同任務(wù)，以滿足這兩個(gè)處置的需求?，F(xiàn)實(shí)上，可以經(jīng)過選擇ART2參數(shù)來滿足更普通的性能，這些性能學(xué)習(xí)提高系統(tǒng)對自下而上和自上而下的方式之間不匹配的靈敏度。D. 在讀出匹配的LTM下的STM不變性關(guān)于匹配復(fù)位平衡的進(jìn)一步討論闡明了為什么場F1是由假設(shè)干內(nèi)部處置層組成的。假設(shè)在一個(gè)未定型F2的節(jié)點(diǎn)第一次激活之前，其由上而下的F2F1的LTM向量跡選擇等于零。在該節(jié)點(diǎn)的第一個(gè)學(xué)習(xí)實(shí)驗(yàn)，其LTM向量將逐漸學(xué)習(xí)由F1頂層產(chǎn)生的STM方式。如上所述，由于LTM向量以前沒有學(xué)習(xí)過任何其他的方式，這種學(xué)習(xí)一定不會由于不匹配重置場F2。這個(gè)屬性是經(jīng)過設(shè)計(jì)場F1的底層和中層實(shí)現(xiàn)的，所以當(dāng)?shù)讓雍椭袑訉W(xué)習(xí)了他們的第一個(gè)正

25、值時(shí)，即使讀出這些LTM向量，他們的STM活潑方式也根本不會改動。更普遍的，F(xiàn)1被設(shè)計(jì)成：當(dāng)F2讀出一個(gè)與F1頂層的STM方式完全匹配的以前學(xué)習(xí)過的LTM方式，它并不改動在F1底層和中層循環(huán)的STM方式。因此，在一個(gè)完美的匹配情況下，或在一個(gè)LTM值的零矢量得到了一個(gè)完美的匹配的情況下，在F1底層和中層的STM活潑方式堅(jiān)持不變;因此，不發(fā)生重置。這不變特性使F1底層和中層，在學(xué)習(xí)期間，在堅(jiān)持穩(wěn)定的方式下，將輸入方式進(jìn)展非線性變換。特別是，在輸入的噪音將被抑制時(shí)，輸入方式得到了對比加強(qiáng)。假設(shè)一個(gè)自上而下的LTM方式的輸出能夠改動在F1各層的活潑底線？它們執(zhí)行這個(gè)變換，對比加強(qiáng)和噪音抑制的程度能夠

26、改動，從而經(jīng)過自上而下LTM向量產(chǎn)生一種新的STM方式。該STM不變特性防止一個(gè)完全匹配的LTM方式產(chǎn)生重置本小節(jié)強(qiáng)調(diào)的是F2層激活的節(jié)點(diǎn)是Uncommited或者是匹配的，才有STM不變經(jīng)過防止任何改動，發(fā)生在F1較低層的STM方式？。ELTM輸出和STM規(guī)一化共存STM不變性導(dǎo)致多個(gè)F1層的運(yùn)用，由于相對沒有信號的時(shí)候，當(dāng)有自上向下的信號時(shí)，是活潑的，有自上而下LTM輸出時(shí)，F(xiàn)1的節(jié)點(diǎn)收到額外輸入。在規(guī)一化的STM方式與F1中層在此處自上而下和自下而上信息是匹配的相互影響之前，額外的F1各級為自上而下LTM的輸出和在F1頂層STM方式的規(guī)一化提供足夠程度的計(jì)算自在細(xì)節(jié)未了解。以類似的方式，

27、在規(guī)一化的STM方式可以影響F1中層之前，F(xiàn)1底層可以規(guī)一化輸入方式。因此，場F1中相對獨(dú)立的底層和頂層提供足夠的計(jì)算自在度，以補(bǔ)償在底線活動的動搖。假設(shè)沒有這種規(guī)一化，有用的方式的區(qū)別和亂真底線的動搖之間的混亂，很容易顛覆匹配過程和導(dǎo)致錯(cuò)誤的重置事件發(fā)生，從而破壞網(wǎng)絡(luò)的搜索和學(xué)習(xí)過程。F. 超集輸入，沒有LTM重新編碼雖然一個(gè)自上而下的LTM方式與F1的頂層STM方式完全匹配時(shí)，是不會導(dǎo)致F2的重置，但假設(shè)警戒值選得很高的話，這些方式中即使是一個(gè)很小的不匹配也足以重置F2。F1中間層在減弱STM的活潑性引起重置事件發(fā)生上起著關(guān)鍵作用。當(dāng)一個(gè)或多個(gè)但不是全部的自上而下LTM軌為零或很小的值，并

28、且相應(yīng)的F1節(jié)點(diǎn)有正的STM活潑性何謂positive STM activity時(shí)，才會出現(xiàn)這種導(dǎo)致重置的不匹配的重要例子。當(dāng)這種情況發(fā)生時(shí)，這些F1的節(jié)點(diǎn)的STM活潑將被抑制。假設(shè)STM足夠大而重置F2，網(wǎng)絡(luò)將搜索更好的匹配。假設(shè)總的STM總的抑制沒有大到足以重置F2，在隨后的學(xué)習(xí)實(shí)驗(yàn)中這些節(jié)點(diǎn)的自上而下的LTM跡堅(jiān)持很小，由于他們抽樣他們本人的小LTM值呵斥的小的STM值？。這個(gè)特性是2/3規(guī)那么的一種版本，2/3規(guī)那么已被用來證明一個(gè)ART1構(gòu)造呼應(yīng)一個(gè)恣意序列的二進(jìn)制輸入方式的學(xué)習(xí)的穩(wěn)定性。它對ART2實(shí)現(xiàn)穩(wěn)定學(xué)習(xí)在呼應(yīng)一個(gè)恣意序列的模擬輸入方式也是必要的Sec. XII。在ART 1的術(shù)語中，一個(gè)自下而上輸入方式的超集不能重編碼一個(gè)由上而下的期望子集。在ART 1中，這種特性經(jīng)過有認(rèn)識的增益控制通道獲得圖2 。開展到ART 2版本，這部分曾經(jīng)被集成在F1的內(nèi)部。這些設(shè)計(jì)的變化仍是后續(xù)研討的課題。G.穩(wěn)定的選擇直到重置匹配-重置平衡要求：只需調(diào)整子系統(tǒng)觸發(fā)重置，才可以改動場F2被選擇的節(jié)點(diǎn)。自上而下的F2至F1的LTM方式和循環(huán)F1的STM的方式之間的任何程度的不匹配，都要有這個(gè)屬性來實(shí)現(xiàn)重新選擇F2節(jié)點(diǎn)。因此，網(wǎng)絡(luò)一切的實(shí)時(shí)方式處置操作包括自上而下的F2至F1的反響，場F1內(nèi)三層的快速的動態(tài)的非