計(jì)算智能與深度學(xué)習(xí) 課件 2神經(jīng)網(wǎng)絡(luò)-8雙向網(wǎng)絡(luò)

1對(duì)傳網(wǎng)絡(luò)(CPN)

對(duì)傳網(wǎng)絡(luò)(CounterPropagationNetwork)美國學(xué)者Hechi-Nielson在1987年首次提出是一種兩層次結(jié)構(gòu)網(wǎng)絡(luò)，把兩種著名的網(wǎng)絡(luò)算法:

科荷倫自組織映射理論格勞斯貝格外星算法組合起來而形成的網(wǎng)絡(luò)。21對(duì)傳網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)（兩層結(jié)構(gòu)）第一層為科荷倫層，采用無指導(dǎo)的訓(xùn)練方法對(duì)輸入數(shù)據(jù)進(jìn)行自組織競(jìng)爭的分類或壓縮;

第二層稱為格勞斯貝格層。第一層的激活函數(shù)為二值型硬函數(shù)，而第二層為線性激活函數(shù)。

31)對(duì)于科荷倫層(第一層)的輸出有：二值型硬函數(shù)2)對(duì)于格勞斯貝格層(第二層)，具有目標(biāo)矢量G，此時(shí)，從前層輸出的K為它的輸入，輸出為：線性激活函數(shù)CPN的網(wǎng)絡(luò)結(jié)構(gòu)如圖所示：

42學(xué)習(xí)法則1)在科荷倫層(第一層)，通過競(jìng)爭對(duì)獲勝節(jié)點(diǎn)采用科荷倫規(guī)則調(diào)整與其相連的權(quán)矢量：2)在格勞斯貝格層(第二層)，對(duì)于在科荷倫層輸出為1的輸入相連的權(quán)值進(jìn)行如下的調(diào)整：

53訓(xùn)練過程

1.初始化：

歸一化處理：輸入矢量P和目標(biāo)矢量G；(P,G要給定）對(duì)權(quán)矢量W1和W2進(jìn)行歸一化隨機(jī)取值；選取最大循環(huán)次數(shù)、學(xué)習(xí)速率lr1和lr2。2.科荷倫層的無指導(dǎo)訓(xùn)練過程：重復(fù)對(duì)輸入的樣本進(jìn)行競(jìng)爭計(jì)算，對(duì)獲勝的科荷倫層獲勝節(jié)點(diǎn)按科荷倫法對(duì)于其連接的權(quán)矢量進(jìn)行修正；3.格勞斯貝格層有指導(dǎo)的訓(xùn)練過程：

尋找輸出為1的節(jié)點(diǎn)，并對(duì)與該節(jié)點(diǎn)相連的權(quán)矢量進(jìn)行修正；4.檢查最大循環(huán)的數(shù)是否達(dá)到，是，停止訓(xùn)練，否，則轉(zhuǎn)入2。6經(jīng)過充分訓(xùn)練后的CPN可使:

科荷倫層(第一層)權(quán)矢量收斂到相似輸入矢量平均值，格勞斯貝格層(第二層)權(quán)向量收斂到目標(biāo)矢量(平均值)

當(dāng)CPN訓(xùn)練后工作時(shí)，只要對(duì)網(wǎng)絡(luò)輸入一矢量X，則在科荷倫層經(jīng)過競(jìng)爭后產(chǎn)生獲勝節(jié)點(diǎn)，并在格勞斯貝格層使獲勝節(jié)點(diǎn)所產(chǎn)生的信息向前傳送，在輸出端得到輸出矢量Y這種由矢量X得到矢量Y的過程有時(shí)也稱為異聯(lián)想，更廣泛地說，它實(shí)現(xiàn)了一種計(jì)算過程。7當(dāng)訓(xùn)練CPN使其格勞斯貝格層的目標(biāo)矢量G等于科荷倫層的輸入矢量P時(shí)，則可實(shí)現(xiàn)數(shù)據(jù)壓縮。

具體做法是：首先,訓(xùn)練CPN使G=P，然后，將輸入數(shù)據(jù)輸入CPN，在科荷倫層輸出得到0，1數(shù)據(jù)，這些數(shù)據(jù)為輸入的壓