第2章模式識(shí)別的基本理論(3)

1、12345121dijdijkkJ (x ,x ,.,x )J (x )ijijijjiJ0,ij;J0,ij;JJ1212d 1,xijdijdJ (x ,x ,.,x )J (x ,x ,.,x)67jinnccijdijklijklijJxPPxxnn ( )( )( )(,)11111128ijklxx( )( )(,)令： 總的類間離散度矩陣） （總的類間離散度矩陣）則可得判據(jù)的矩陣形式： tr：跡iijijTijklklklniikkiciiixxxxxxmxnmPm( )( )( )( )( )( )( )(,)() ()1112、歐氏距離下的可分性判據(jù) 歐氏距離： 各類均值：所

2、有樣本集的總均值：則平均距離為：bwdJxtr SS( )()icTbiiiinciiTwikikiikiSP mm mmSPxmxmn( )( )()()()()1111inciTiTdikikiiiikiJxPxmxmmmmmn( )( )( )() ()() ()11110wbSS,im m,i , ,wbSS,iiE xE x ,ccTTwiiiibiiiiiSPExxSP()() ()()11bwJ xtr SS( )()111bwbwbwbwwSJxtr S SJxStrSSSJxJxtrSS|( )()ln|12345（ ）（ ）（ ）121314D123wbJXtr S S()

3、()1215證明：證明：因?yàn)椋?Y=WTX， 設(shè)：X的類內(nèi)和類間離散度矩陣分別為SW ,Sb則：Y的類內(nèi)和類間離散度矩陣分別為SW, Sb為 SW=W SWWT , Sb=W SbWT （見第3章中，F(xiàn)isher準(zhǔn)則一節(jié)）在使用J2判據(jù)下，將其Y的可分性判據(jù)表示成變換W的函數(shù)： J2(Y)=tr(SW)-1 Sb則： J2(Y)=tr(WSWWT)-1 (WSbWT)= J2(W)可以證明：可以證明：在不降維條件下 ，即，設(shè)W是D*D維的，則J2判據(jù)不變 J2(Y)= J2(X) 。哈爾濱工業(yè)大學(xué)電信院 宿富林1516D 12000000000000Diitr 117WbS S1WbS S1D

4、123dTdWbdiidJWtr USS Utr-() 12110000002000000給定先驗(yàn)概率相等的兩類，其均值向量分別為： 協(xié)方差矩陣是： 求用J2判據(jù)的最優(yōu)特征提取。 19求 的本征值矩陣。由于這是一個(gè)兩類別問題，總均值向量值是兩個(gè)均值向量1和2的線性求和，則 中只有一個(gè)是獨(dú)立的，因此 的秩是一，換句話說它只有一個(gè)非零本征值，W是D1矩陣，是一個(gè)向量，求該向量需解 2122WbSS WSTDUU 1000000TWU S UIwbwSSJxS|5（ ）TDwbiTiwwwSSUUJXSSU S UI|51（ ）TWSUU ()11TWSUU1TUUUUwSUU1即： 是 的本征值矩

5、陣wS1TWU S UI或TUU （兩邊同乘U）因此：DiiJXI|51（ ）由： 可見，取使J5達(dá)最大的d個(gè)本征值對(duì)應(yīng)的本征向量組成的W，可將X降到d維。24DI 110000001DiiJ()511（X ）WWbbIS S UUS S UUU()11J5的另一種形式WWWWWbbbSSSIS SIS S USUU ()1111又設(shè) 的本征值矩陣是則：WbS S1D 1000000UUU WbS S UU1（）取使J5達(dá)最大的d個(gè)本征值對(duì)應(yīng)的本征向量組成的W，可將X降到d維。252.4.3 特征選擇特征選擇 特征選擇在概念上十分簡(jiǎn)單，即對(duì)原有特征進(jìn)行刪選優(yōu)化。 通常，人們認(rèn)為：只要逐個(gè)分析每

6、個(gè)特征，判斷它對(duì)分類的價(jià)值，然后根據(jù)其優(yōu)值刪去或保留，這是一個(gè)為人們常采用方法，但是這種方法并不能保證特征空間的最優(yōu)組合優(yōu)化，因此本節(jié)討論了一些原理上更好的方法。26兩個(gè)問題 一：選擇特征的標(biāo)準(zhǔn)：也就是選擇前面討論過的可分離性判據(jù)，以這些判據(jù)為準(zhǔn)則，使所選擇的d維子空間具有最大的可分離性。 二：是要找出較好的特征選擇方法，以在允許的時(shí)間內(nèi)選擇出一組最優(yōu)的特征。 所謂最優(yōu)的特征組，就是要找到合適的特征的組合。如果從逐個(gè)特征配組進(jìn)行性能比較的話，即窮舉的算法，特征配組的數(shù)量可能極大，組合配置的數(shù)目按下式計(jì)算 27282930313233343536(ZL,Zr)法法等效算法等效算法ZL=（1）Zr

7、=（0）SFSZL=（0）Zr=（1）SBSZL=（d）Zr=（0）窮舉法ZL=（L）Zr=（0）GSFSZL=（0）Zr=（r）GSBSZL=(1,1,1,1)Zr=(1,1,.,1)（l，r）3738nnTnnnx txjntTxx tjnt dtx txjntT( )exp(),( )exp()( )exp()limNNN0000021則：周期平穩(wěn)過程的Fourier系數(shù)互不相關(guān)nnmbnmE x xnm*0nnRR tsE x t x sbjn *( )() ( )( )exp()039nnnnx txt( )( )bnmnmamnmntdtE x xmnmn*( ),1100bkkk

8、aR t sE x t xsR t ss dst( , ) ( ) *( )( , )( )|( )240DjjjXc u1Tjjcu XTijiju uij10TjjjjTjTDjuujDUUE XXUu uu ,.,;,12100000或：，41TTTTTTijijijijiijiTiijE ccE u XX uu E XXuuuuujiu uji0TTTTTTDE CCE U XX UU E XXUUU 12000000這表明經(jīng)過K-L變換后，原向量各分量Ci之間存在的相關(guān)性已被消除。 42434445jTwjwjjSu S ujTbjbjSu S uTTjbjjbjiTjwjju S

9、uu S uJ Xu S u()cTbiiiiSP()()()146類內(nèi)離散度：在ui軸上，原第i類特征向量Xik投影為：Xjkj=ujTXik，其類內(nèi)離散度：iiiincjjjjjTjTwjikiikiijiikincTTTTTjjikjijikjiikincTTjjikiikijikincTTjjikiikijikiTjwjwikiiSPXmXmmu mnPu Xu mu Xu mnPuXmXmunuPXmXmunu S uSXmX()() ()()()()()() ()(111111111111Tkijm)新坐標(biāo)系中各分量uj上的離散度計(jì)算 47cccjjjjjTjjjjTbikikik

10、jiiikiccTjTjTjTjTTjjjjTjjijjijjjiijiicTjjjjTjjiijiTjbjcjjjjTbjiiiSPP mmmmP mmmmP u mu mu mu mPummmmuuP mmmmuu S uSP mmmm ()()()()()()()()()() ()()11111111248 1231421342TTuu , ,124 242wS .1212314213423 51 5121 53 5解1）將SW作K-L變換的產(chǎn)生矩陣，求其本征矩陣得K-L變換的變換矩陣?？汕蟮帽菊髦稻仃嚭捅菊飨蛄糠謩e是：TwU SU U .500 7070 707020 7070 707

11、TTUU, ., . ;, .,.112250 707 0 70720 7070 70750TTTTbuuuuSuu uu ()( , , ) , 11211114 2424 22216884Tjbjjju S uJ XJ XJ X(). ., .(). .,.()11680 7070 707 0 707840 7073 651680 7070 7070 707840 707212TJ XJ XWU()() ., .1210 707 0 7073）51 如圖，如僅從類均值向量所包含的分類判別信息全部被利用出發(fā)，應(yīng)選擇包含兩均值向量連線方向在內(nèi)的坐標(biāo)系。 但是簡(jiǎn)單地從類均值向量來確定特征子空間，

12、雖然實(shí)現(xiàn)很容易，但一般不能滿足各分量間互不相關(guān)的要求。52從這種特殊情況得到啟發(fā)，一種充分利用類均值向量所包含的判別信息的方法因此而產(chǎn)生。具體說來這種方法分成兩步：1）白化處理2）特征提取5354TwU SU TTjjbjjbjTbijbjjTwjwju Suu SuSJ Xu SuSu Su()1TijbjjJ Xu Su()5556572022-3-31哈爾濱工業(yè)大學(xué)電信院 宿富林57 例:數(shù)據(jù)同上例，求保持類均值向量中全部分類信息條件下壓縮為一維特征空間的坐標(biāo)軸。 設(shè)有兩類問題，其先驗(yàn)概率相等，即: P(w1)=P(w2)=0.5， 設(shè)樣本的類均值向量分別為： 類協(xié)方差矩陣分別是： 12

13、31421342TTuu , ,124 242wTwbSU SUUBUS /.,.,.- .12121 231423 51 51134221 53 50 7070 7075010 7070 707020 7070 7070 44700 31260 50 7070 70700 7070 3160 5）2）3）TTbbTbTTuu uuSB S BSVVWBV . ., . .,. 1121683 61 897841 89714 60000 884 0 4460 512 0 0464) V5）非零本征值的本征向量：6）所以：596061 有監(jiān)督學(xué)習(xí)中，樣本集分布呈現(xiàn)交迭情況，而無監(jiān)督學(xué)習(xí)方法由于沒

14、有類別樣本指導(dǎo)，無法確定它們的交迭情況，只能按分布的聚類情況進(jìn)行劃分。 在類似于該例的實(shí)際應(yīng)用問題中，預(yù)先選定不同類別的樣本往往不可能，如時(shí)間不允許，或無法用人工干予等因素。 另外在某些有監(jiān)督學(xué)習(xí)方法中，也往往需要利用聚類方法將樣本按其分布劃分成若干子類等。聚類方法就是無監(jiān)督學(xué)習(xí)方法的一個(gè)內(nèi)容，它是經(jīng)常應(yīng)用的一門技術(shù)。非監(jiān)督學(xué)習(xí)方法要解決的問題：非監(jiān)督學(xué)習(xí)方法要解決的問題：觀察事物與分析事物，從中尋找其規(guī)律性，這就是非監(jiān)督學(xué)習(xí)方法要解決的問題。 6364656667可以分出各個(gè)聚類不能分出各個(gè)聚類69707172737475767778798081822211jkkkkjjjkjNNJJymJ

15、JymNN22()()11jkekkjjkjkjNNJJJJJymymNN 2211jkkjkjNNymymNN0eJ832,11jijjiijiNNeymjieymNN2211jkekjkjNNJ cJcJJcymymNN848586例：6個(gè)樣本的分類樹 1009080706050403020100相似度(%)909192最近距離作相似性度量時(shí)聚類結(jié)果最近距離作相似性度量時(shí)聚類結(jié)果92圖中紅色和黑色數(shù)據(jù)點(diǎn)來自兩個(gè)正態(tài)過程左：聚類結(jié)果和正態(tài)模型的結(jié)果一致（兩個(gè)大類和3個(gè)孤立點(diǎn)小類）右，有一個(gè)在兩個(gè)點(diǎn)集交疊區(qū)的點(diǎn)（紅色），則聚類錯(cuò)誤（鏈接效應(yīng)）結(jié)論：1）對(duì)長(zhǎng)條形分布聚類正確，可以出現(xiàn)細(xì)長(zhǎng)條的類。2）聚類結(jié)果對(duì)噪聲或數(shù)據(jù)點(diǎn)波