基于主成分分析的圖像匹配方法研究_蔣明

1、第29卷第4期紅外與激光工程2000年8月Vol.29No.4Infrared and Laser EngineeringAug.2000文章編號(hào):1007-2276(200004-0017-05基于主成分分析的圖像匹配方法研究蔣明,張桂林,胡若瀾,陳朝陽(華中理工大學(xué)圖像識(shí)別及人工智能研究所圖像信息處理與智能控制教育部重點(diǎn)實(shí)驗(yàn)室,武漢430074摘要:景像匹配和相關(guān)跟蹤系統(tǒng)中,由于所面臨的都是變化的場(chǎng)景,實(shí)時(shí)獲取的圖像與預(yù)存的基準(zhǔn)圖之間存在差異。傳統(tǒng)的基于圖像空間的匹配方法不能很好地克服這些差異給圖像匹配定位帶來的影響,使得完全按圖像灰度特征的相關(guān)匹配應(yīng)用受到限制。文中將主成分分析方法引入圖

2、像匹配和相關(guān)跟蹤過程中,提出一種能抗御一定圖像畸變的基于主成分分析的圖像匹配算法,并應(yīng)用該方法進(jìn)行了初步實(shí)驗(yàn),證明該算法具有較高的匹配跟蹤魯棒性。關(guān)鍵詞:圖像匹配;特征值;主成分分析;畸變圖;實(shí)時(shí)圖中圖分類號(hào):TP391.4文獻(xiàn)標(biāo)識(shí)碼:AResearch of an image matching methodbased on principal component analysisJiang Ming,Zhang Guilin,Hu Ruolan,Chen Zhaoyang(State Education Commiss ion Key Laboratory for Image Proces

3、sing and Intelligent Control,Institute for Pattern R ecognition and Artifical Intelligence of Huazhong Univ.of Sci.&Tech.,Wuhan,China,430074Abstract:In scene-matching and correlative tracking systems,scenes change incessantly,so there is dif-ference between real time images and reference images

4、which are stored in advance.Traditional matching meth-ods based on grey characteristics can not favorably cope with such differ ence brought about by scenic changes,limiting the applications of correlative matching based on grey characteristics.The method of putting principal component analysis into

5、 image matching and correlative tracking is introduced,and an image matching algo-rithm based on principal component analysis is pr oposed,which can bear some image distortions in image matching and tracking.Then the experimental results are presented to verify the r obustness of this image matching

6、 method.Keywords:Image matching;Eigenvalue;Principal component analysis;Distorted image;Real time image收稿日期:2000-03-17作者簡(jiǎn)介:蔣明(1975-,男,碩士,從事圖像處理、模式識(shí)別、智能系統(tǒng)及多媒體應(yīng)用等方面的研究工作。1引言圖像匹配是根據(jù)已知的圖像模式,在另一幅圖像中尋找相應(yīng)或相近模式的過程。相關(guān)匹配是模式識(shí)別中的一個(gè)重要方法,識(shí)別就是待識(shí)別物體與已知標(biāo)準(zhǔn)樣本的匹配過程。完全相同的兩幅圖像的匹配是沒有實(shí)際意義的。在景像匹配和相關(guān)跟蹤系統(tǒng)中,所面臨的都是變化的場(chǎng)景,與預(yù)存的基準(zhǔn)圖

7、之間存在差異。這種差異主要表現(xiàn)在圖像尺度、方向、部分場(chǎng)景內(nèi)容變化以及噪聲干擾等。這些都給相關(guān)匹配定位帶來影響,特別是航空遙感地面圖像,由于地物特征復(fù)雜,變化因素很多,使得完全按圖像灰度特征的相關(guān)匹配應(yīng)用受到限制13。人臉作為一個(gè)特殊的場(chǎng)景,臉像會(huì)受年齡、心情、拍攝角度、光照條件、發(fā)飾等因素影響,所成圖像存在差異。人具備良好的抗畸變識(shí)別能力。研究表明,基于主成分(或特征臉的識(shí)別方法,也具備良好的抗畸變識(shí)別能力46,是人識(shí)別能力的一種較好的模擬,受到國(guó)內(nèi)外許多學(xué)者的重視,廣泛用于人臉識(shí)別、檢測(cè)和圖像相似性度量等領(lǐng)域。文中將主成分分析方法引入景像匹配和相關(guān)跟蹤過程中,提出一種能抗御一定圖像畸變的基于

8、主成分的圖像匹配方法,并進(jìn)行了初步實(shí)驗(yàn)。2基于主成分分析的圖像匹配算法主成分分析是指當(dāng)變量之間存在一定的相關(guān)關(guān)系時(shí),將原始變量線性組合,構(gòu)成為數(shù)較少的不相關(guān)的新變量代替原始變量,而每個(gè)新變量都包含盡量多的原始變量信息的過程。新的變量叫作原始變量的主成分(或特征向量。為了克服圖像畸變對(duì)匹配的影響,運(yùn)用主成分分析方法,將圖像變換到新的主成分空間,提取圖像的整體特征,并在主成分空間中進(jìn)行相關(guān)匹配。2.1制備畸變圖集事先考慮了實(shí)際圖像的各種可能變化,將參考圖生成包含尺度、方向、部分場(chǎng)景內(nèi)容變化以及噪聲干擾等一系列畸變圖像,稱之為畸變圖集。畸變圖的大小和參考圖的大小一樣。需要說明的是,文中參考圖是小圖,

9、實(shí)時(shí)圖是大圖。2.2應(yīng)用主成分分析方法對(duì)畸變圖集進(jìn)行訓(xùn)練,由圖像空間變換到新的主成分空間以畸變圖像集作為訓(xùn)練樣本集。假設(shè)訓(xùn)練樣本圖像集合為:f1(x,y,f2(x,y,f M(x,y,每一個(gè)訓(xùn)練樣本圖的大小為N=w×h,可以用w×h維的向量x=(x1,x2,x NT來表示(即把原圖像按行連到一起構(gòu)成w×h維向量。它也可看作w×h維空間的一個(gè)點(diǎn),稱此空間為原始圖像空間S。訓(xùn)練樣本圖在結(jié)構(gòu)上有很大的相似性的,因而所有的訓(xùn)練樣本不會(huì)充滿在w×h維的空間上,它們將會(huì)聚集在圖像空間的一個(gè)相對(duì)狹小子空間內(nèi)(見圖1 。圖1訓(xùn)練樣本在原始圖像空間中的聚集Fig

10、.1A set of trained i mages in original image s pace如果以訓(xùn)練圖集的總體協(xié)方差矩陣為主成分分析的產(chǎn)生矩陣,則所有訓(xùn)練圖像的總體協(xié)方差矩陣為:S T=E(x-(x-T=1MMk=1(x k-(x k-T=1MMn=1nT n=AA T(1式中A=1,2,M;R N全體訓(xùn)練圖像的均值。S T滿足下面的方程:S T U k=k U k,式中U T -k U n=1k=n0kn(2式中U k矩陣S T的特征向量;k對(duì)應(yīng)的特征值。根據(jù)主成分分析理論,得到一個(gè)從原始圖像空間到新特征空間的線性變換:y k =W T x k ,k =1,2,M(3W T R

11、P ×N 是由S T 的特征向量構(gòu)成的變換矩陣。 但是,直接求矩陣S T 的特征值和特征向量很困難4。如果訓(xùn)練圖像個(gè)數(shù)M 不太多,可以先計(jì)算出M ×M 維矩陣L =A T A 的特征值k 和特征向量V k 。因?yàn)?A T AV k =k V k(4公式(4左邊乘矩陣A ,得:AA T (AV k =k (AV k (5那么U k =AV k 就是矩陣S T 的特征向量。U k =Ml =1V kl l k =1,2,M(6k =1MMl =1(U T kl 2k =1,2,M (7式中U k 主成分空間的基。根據(jù)主成分分析,可以選擇P (P M 個(gè)較大特征值對(duì)應(yīng)的特征向量(

12、主成分,構(gòu)造新的P 維主成分空間Q 。每一幅圖像在此空間的投影對(duì)應(yīng)一個(gè)P 維向量(y 1,y 2,y P T,它們就是低維新特征向量(主成分,包含了用于匹配的信息。2.3從實(shí)時(shí)圖選取各個(gè)子圖,并將選取的各個(gè)子圖變換到主成分空間設(shè)實(shí)時(shí)圖的大小為W ×H ,選取的各個(gè)子圖與訓(xùn)練圖像大小一樣,為w ×h =N 。記選取子圖表示成向量形式為R (i ,j (i =0,1,2,H -h +1;j =0,1,2,W -w +1,見圖2。求得選取的子圖的差圖像向量為:i j =R (i ,j -(i =0,1,2,H -h +1;j =0,1,2,W -w +1(8式中全體訓(xùn)練圖像的均值

13、。然后,將選取的各個(gè)子圖向由“主成分”所張成的P 維主成分空間上投影,其坐標(biāo)系數(shù)為:圖2從實(shí)時(shí)圖選取子圖Fig .2A selected s mall i m -age in a real -ti meimage圖3訓(xùn)練圖在主成分空間的投影Fig .3The coordinates of trained im -ages in the principal co mpo -nent spac eS ij =W T i j(i =0,1,2,H -h +1;j =0,1,2,W -w +1(9這些坐標(biāo)系數(shù)表明了各個(gè)選取的子圖在主成分空間中的位置。每一幅子圖在主成分空間Q 上的投影位于主成分空間的不

14、同區(qū)域內(nèi),見圖3,從而可以作為以下匹配的依據(jù)。2.4在主成分空間應(yīng)用歐氏距離法作為相似性評(píng)估標(biāo)準(zhǔn)確定匹配定位位置歐氏距離法只用考察S ij (i =0,1,2,H -h +1;j =0,1,2,W -w +1,到主成分空間中原點(diǎn)的歐氏距離:D ij =p -1k =0S ij (k ×S i j (k 1/2(i =0,1,2,H -h +1;j =0,1,2,W -w +1(10假設(shè)實(shí)時(shí)圖一定包含參考圖,則只要求得在主成分空間離原點(diǎn)最近的D ij 就可以確定出匹配定位位置,見圖3,如果:D xy =min D ij ,(i =0,1,2,H -h +1;j =0,1,2,W -w

15、+1(11則(x ,y 就是所求的匹配定位位置。3實(shí)驗(yàn)結(jié)果 3.1圖像參數(shù)以實(shí)際的地形圖在PIII /450微機(jī)上進(jìn)行實(shí)驗(yàn)。實(shí)時(shí)圖尺寸為128×128,匹配模板的尺寸為32×32,圖像灰級(jí)為0255。以圖4(a 作為參考圖,它是從圖4(b 中選取的子圖。其左上角在圖4(b 的坐標(biāo)為(44,27,如圖4所示。以圖4(c 作為實(shí)時(shí)圖像,它是圖4(b 在理想匹配定位位置附近發(fā)生部分場(chǎng)景變化的結(jié)果。圖4(c 與圖4(b 的歸一化互相關(guān)系數(shù)為0.8944。 (a (b (c 圖4參考圖和實(shí)時(shí)圖Fig .4The reference image and real time i mage

16、3.2歸一化互相關(guān)匹配實(shí)驗(yàn)結(jié)果 選取圖4(a 作為匹配模板,選取圖4(c 作為實(shí)時(shí)圖。歸一化互相關(guān)匹配的結(jié)果如圖5(b 所示,矩形框表示匹配定位位置。實(shí)際匹配定位位置的左上角坐標(biāo):(20,85,正確匹配定位位置的左上角坐標(biāo):(44,27,匹配誤差(偏移量7:62.77(像素。 (a (b 圖5歸一化互相關(guān)匹配實(shí)驗(yàn)結(jié)果Fi g .5An experimental resul t with normalized correlativematching3.3基于主成分分析方法的圖像匹配結(jié)果圖6訓(xùn)練圖像集Fig .6Trained i mage sets選取圖6的7幅圖像作為訓(xùn)練圖像集,它們是圖4(a

17、 加噪、模糊等畸變處理的結(jié)果。圖7是訓(xùn)練后得到的7個(gè)特征像,它們按特征值從大到小從左到右排列,選取前5個(gè)特征像構(gòu)造主成分空間。實(shí)時(shí)圖與歸一化互相關(guān)匹配實(shí)驗(yàn)所用圖像完全一樣,如圖4(c 所示?；谥鞒煞址治龇椒ǖ膱D像匹配結(jié)果如圖8(a 所示,矩形框表示匹配定位位置。實(shí)際匹配定位位置的左上角坐標(biāo):(44,27,正確匹配定位位置的左上角坐標(biāo):(44,27,匹配誤差(偏移量:0(像素。圖7特征圖像集Fig .7Eigen image sets(a (b 圖8兩種匹配方法的結(jié)果比較(a 基于主成分分析的匹配結(jié)果(b 歸一化互相關(guān)匹配的結(jié)果Fig .8A comparison of two matchin

18、g methods with experi mental res ults(a M atching result with principal component analysis (b M atching result with normalized correlative matching3.4結(jié)果分析通過兩種匹配方法的結(jié)果比較,如圖8所示,說明傳統(tǒng)的基于灰度的歸一化互相關(guān)匹配方法不能很好地克服部分場(chǎng)景變化的影響,而文中提出的新方法具有更好地抗畸變匹配能力。歸一化互相關(guān)匹配方法只選取某一幅圖像作為參考圖,而文中的方法充分考慮到實(shí)時(shí)圖像可能發(fā)生的各種局部畸變,事先在一定的范圍內(nèi)對(duì)參考圖做了相

19、應(yīng)變化,提取可能變化圖像集合的主成分。運(yùn)用主成分圖像(特征圖像進(jìn)行匹配,實(shí)時(shí)圖中真實(shí)匹配子區(qū)部分場(chǎng)景變化,不足以影響其向主成分空間投影位置時(shí),仍能保證匹配定位的精度。4結(jié)論實(shí)驗(yàn)證明,在一定的場(chǎng)合,基于主成分分析的圖像匹配方法比傳統(tǒng)的歸一化互相關(guān)匹配方法具有更好的魯棒性,能較好地克服由于圖像尺度、方向、部分場(chǎng)景內(nèi)容變化以及噪聲干擾等的影響,這種抗畸變能力是圖像匹配算法設(shè)計(jì)者所期盼的。這種新的匹配方法的最終運(yùn)用將有效地解決制導(dǎo)武器參考圖制備過程中對(duì)拍攝圖像的苛刻要求,提高制導(dǎo)武器的適應(yīng)能力。文中提出了基于主成分分析的圖像匹配方法并利用該方法進(jìn)行了初步的實(shí)驗(yàn),只是從一定程度上證明基于主成分分析的圖像

20、匹配方法的可行性和魯棒性。下一步的工作將針對(duì)主成分的選取、主成分相似性評(píng)估標(biāo)準(zhǔn)和快速算法作更加深入地探討。參考文獻(xiàn)1陳朝陽,張桂林,陳益新,等.實(shí)時(shí)多目標(biāo)成像跟蹤處理系統(tǒng)研究J.紅外與激光工程,1998,27(3:682熊惠霖,張?zhí)煨?桑農(nóng),等.基于小波多尺度表示的圖像匹配研究J.紅外與激光工程,1999,28(3:143Dinkar N.Bhat,Shree.Nayar.Ordinal Meas ures for Image Corre-spondenceJ.IEEE Trans.Pattern Analysis and M achine Intelli-gence,1998,20(4:4154234B.V.K.Vij ia ya Kumar,Cas as ent D,Murakami H.Principal-Component Imagery for Statistical Pattern Recogniti on CorrelatorsJ.Optical Engineering,1982,21(1:43475Zhu Jie,Yu Y L.Face R ecognition w