計(jì)算智能 神經(jīng)網(wǎng)絡(luò)計(jì)算 (2)課件

神經(jīng)網(wǎng)絡(luò)計(jì)算反饋型神經(jīng)網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)是一個(gè)反饋動(dòng)力學(xué)系統(tǒng),它通過神經(jīng)元的狀態(tài)變遷,最終穩(wěn)定于某一狀態(tài),得到聯(lián)想存儲(chǔ)或神經(jīng)計(jì)算的結(jié)果Hopfield網(wǎng)絡(luò)I可作為初值,也可作為輸入,由于網(wǎng)絡(luò)是反饋的,I輸入后可以撤去,網(wǎng)絡(luò)仍可運(yùn)行。如果不撤去永遠(yuǎn),則作為一個(gè)閾值,當(dāng)網(wǎng)絡(luò)經(jīng)過適當(dāng)訓(xùn)練后(權(quán)值已經(jīng)確定),可以認(rèn)為網(wǎng)絡(luò)處于等待工作狀態(tài)。給定一個(gè)初始輸入,網(wǎng)絡(luò)就處于特定的初始狀態(tài),由此初始狀態(tài)運(yùn)行,可以得到網(wǎng)絡(luò)的輸出(即網(wǎng)絡(luò)的下一狀態(tài));將這個(gè)輸出反饋到輸入端,形成新的輸入,從而產(chǎn)生下一步的輸出;如此循環(huán)下去,如果網(wǎng)絡(luò)是定的,那么,經(jīng)過多次反饋運(yùn)行,網(wǎng)絡(luò)達(dá)到穩(wěn)定,由輸出端得到網(wǎng)絡(luò)的穩(wěn)態(tài)輸出。徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)(RBF)是一種將輸入矢量擴(kuò)展或者預(yù)處理到高維空間中的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法.RBF網(wǎng)絡(luò)的理論基礎(chǔ)是函數(shù)逼近,它用一個(gè)二層的前向網(wǎng)絡(luò)去逼近任意函數(shù)。中間層與輸入完全連接(權(quán)值=1).中間層結(jié)點(diǎn)選取基函數(shù)作為轉(zhuǎn)移函數(shù).輸出層的結(jié)點(diǎn)是線性組合器,第j個(gè)輸出結(jié)點(diǎn)為參數(shù)訓(xùn)練中心調(diào)整算法中心調(diào)整算法以聚類最小距離為指標(biāo),將輸入數(shù)據(jù)集分解為看k類,給出看k個(gè)中心。K均值算法。權(quán)值更新算法最小二乘法神經(jīng)網(wǎng)絡(luò)計(jì)算的本質(zhì)將N維的輸入向量映射到M維，M維是事先確定的，不能通過調(diào)整參數(shù)進(jìn)行改變維數(shù)，使其維數(shù)最佳。對(duì)所有的訓(xùn)練樣本平等對(duì)待，不能通過網(wǎng)絡(luò)進(jìn)行自適應(yīng)選擇樣本網(wǎng)絡(luò)構(gòu)建的平面為線性平面線性分類的條件：

貝葉斯分類:目的是使分類錯(cuò)誤概率最小。

分類函數(shù)是一個(gè)單調(diào)增函數(shù)：每類協(xié)方差相等以及各類概率等可能的為常數(shù)

為常數(shù)

在維空間，特征向量相互獨(dú)立再將特征向量標(biāo)準(zhǔn)化得到

（分離平面）分類超平面是線性超平面

①利用貝葉斯決策分類時(shí)，錯(cuò)分概率最小為目的。

②要錯(cuò)分概率最小且簡(jiǎn)化計(jì)算，常采用線性分類超面。③建立線性分類超平面的假設(shè)條件：各類發(fā)生的概率相等，各類平等對(duì)待。B.每類中各個(gè)樣本呈現(xiàn)Gaussian分布C.類內(nèi)特征向量相互獨(dú)立問題：線性分類計(jì)算簡(jiǎn)單，在L維空間中N類均能線性可分嗎？N類L維空間線性可分的概率

問題的提出:

在L維空間中有N個(gè)待分點(diǎn)（L維空間中，不存在L+1點(diǎn)在同一直線上），能否找到一個(gè)線性超平面將這N個(gè)點(diǎn)的任意組合分成兩類，如果不能，將他們分成兩類，那能正確分開的概率是多大呢？L維空間中，N個(gè)點(diǎn)任意組合的方法有

在L維空間中有N個(gè)待分點(diǎn)（不存在L+1點(diǎn)在同一直線上），并且能線性可分的組合個(gè)數(shù)為

L維空間中，N個(gè)點(diǎn)任意組合成兩類被一個(gè)分類的超平面分開的概率為：ABCD線性不可分的組合：

W1ACBDW2BDAC線性可分的組合：

W1ABCDABADABCBCDABDBCDCDBCDBACW2CDBCDBCAABADABCADCBCDBADABCDN趨于無窮大。這是一個(gè)具體事實(shí)，無法從數(shù)學(xué)上和理論上進(jìn)行改進(jìn)。故能否把特征向量維數(shù)L增大，以便使得N與L+1很接近，甚至達(dá)到??增大特征向量的維數(shù)L增大特征向量維數(shù)L，使得N接近于L+1，即為從L維空間向K維空間投影，這有利于提高線性分離的概率能力。但是維數(shù)較大，計(jì)算復(fù)雜度較大。多項(xiàng)式麥克勞林級(jí)數(shù)展開2階克勞林級(jí)數(shù)將2維空間函數(shù)轉(zhuǎn)化為6維空間函數(shù)的線性組合函數(shù)維空間函數(shù)經(jīng)過階克勞林級(jí)數(shù)可以得到空間的線性組合函數(shù)

空間的線性組合函數(shù)可以由維空間的函數(shù)得到。以階為例，在6維空間分類線性超平面方程：

在2維空間分類超曲面方程：

徑向量函數(shù)

在高維空間中的線性分類面等價(jià)于低維空間的

從低維空間到高維空間，能夠提高線性分類的概率

高維空間中計(jì)算量較大，能否找到一個(gè)函數(shù)將高維空間的運(yùn)算轉(zhuǎn)化為低維空間的運(yùn)算呢？(0,0)(0,1)(1,0)(1,1)核函數(shù)低維空間高維空間表示？SVM(0,0,0)(0,1,1)(1,1,0)(1,0,1)在高維空間中，由于維數(shù)增加，造成維數(shù)災(zāi)難。核函數(shù)

核函數(shù)能夠把高維空間的運(yùn)算轉(zhuǎn)化為低維空間的運(yùn)算RBF(RadialBasisFunction)核函數(shù):

多項(xiàng)式Polynomials核函數(shù)：Sigmond核函數(shù):利用了一個(gè)d階可導(dǎo)函數(shù)的泰勒級(jí)數(shù)展開的形式：

把展開級(jí)數(shù)展開成的級(jí)數(shù)之積即為把一維空間函數(shù)交換到所組成的高維空間中的離散數(shù)值內(nèi)積運(yùn)算中進(jìn)行表示因此，與的內(nèi)積表達(dá)的是同一個(gè)對(duì)象。

通過核函數(shù)，它不僅能把高維空間的運(yùn)算轉(zhuǎn)化為低維空間的運(yùn)算，而且不需要指出高維空間的具體維數(shù)。多項(xiàng)式核函數(shù)(Polynomials)具有明確的數(shù)學(xué)意義,即將一個(gè)任意可導(dǎo)函數(shù)分解為一個(gè)多項(xiàng)式之和.它沒有明確的物理意義.多項(xiàng)式核函數(shù)將低維空間映射到高維空間時(shí),可以算出高維空間的具體維數(shù).Gauss核函數(shù):沒有明確的數(shù)學(xué)意義,也沒有明確的物理意義.將低維空間映射到無窮維空間,但是它具有生物意義,它是根據(jù)人眼成像的原理(對(duì)目標(biāo)信息放大)核函數(shù)中支持向量如何得到呢??支撐向量(SV)支撐向量對(duì)每類來說，應(yīng)該是該類中最具有代表性的特征向量，

分類是一個(gè)相對(duì)的問題，而不是一個(gè)絕對(duì)的問題。該類中最具有代表性的特征向量不一定具有可分性，而具有可分性的特征向量不一定是該類最有代表性的向量。某類的支持向量也應(yīng)該是相對(duì)的，這是相對(duì)其它類而言的。目標(biāo)：找到一個(gè)超平面，使得它能夠盡可能多的將兩類數(shù)據(jù)點(diǎn)正確的分開，同時(shí)使分開的兩類數(shù)據(jù)點(diǎn)距離分類面最遠(yuǎn)。解決方法：構(gòu)造一個(gè)在約束條件下的優(yōu)化問題，具體的說是一個(gè)受限二次規(guī)劃問題(constrainedquadraticprograming),求解該問題，得到分類器簡(jiǎn)單最優(yōu)分類面滿足條件條件一：對(duì)(xi,yi)分類方程g(x)=wx-b應(yīng)滿足條件二：空白長(zhǎng)度=2x樣本點(diǎn)到直線的距離=2xHH2分類間隔Margin=2/||w||H1最優(yōu)分類面的數(shù)學(xué)表示已知：n個(gè)觀測(cè)樣本，(x1,y1),(x2,y2)……(xn,yn)目標(biāo)：最優(yōu)分類面wx-b=0這樣得