圖像拼接算法及實(shí)現(xiàn)（二）

圖3-1圖像融合步驟示意圖(2)分割目標(biāo)和選擇配準(zhǔn)特征點(diǎn):在二維或三維情況下，對目標(biāo)物或興趣區(qū)進(jìn)行分割。選取的特點(diǎn)應(yīng)是同一物理標(biāo)記在兩個圖像上的對應(yīng)點(diǎn)，該物理標(biāo)記可以是人工標(biāo)記，也可以是人體解剖特征點(diǎn);(3)利用特征點(diǎn)進(jìn)行圖像配準(zhǔn):可視作兩個數(shù)據(jù)集間的線性或非線性變換，使變換后的兩個數(shù)據(jù)集的誤差達(dá)到某種準(zhǔn)則的最小值;(4)融合圖像創(chuàng)建:配準(zhǔn)后的兩種模式的圖像在同一坐標(biāo)系下將各自的有用信息融合表達(dá)成二維或三維圖像;(5)參數(shù)提取:從融合圖像中提取和測量特征參數(shù)，定性、定量分析4.6本章小結(jié)本章主要介紹了圖像融合的概念，方法以及步驟。第五章圖像拼接matlab實(shí)現(xiàn)5.1Matlab簡介MATLAB的名稱源自MatrixLaboratory，它是一種科學(xué)計(jì)算軟件，專門以矩陣的形式處理數(shù)據(jù)。MATLAB將高性能的數(shù)值計(jì)算和可視化集成在一起，并提供了大量的內(nèi)置函數(shù)，從而被廣泛地應(yīng)用于科學(xué)計(jì)算、控制系統(tǒng)、信息處理等領(lǐng)域的分析、仿真和設(shè)計(jì)工作，而且利用MATLAB產(chǎn)品的開放式結(jié)構(gòu)，可以非常容易地對MATLAB的功能進(jìn)行擴(kuò)充，從而在不斷深化對問題認(rèn)識的同時，不斷完善MATLAB產(chǎn)品以提高產(chǎn)品自身的競爭能力。Matlab語言有如下特點(diǎn)：

1．編程效率高它是一種面向科學(xué)與工程計(jì)算的高級語言，允許用數(shù)學(xué)形式的語言編寫程序，且比Basic、Fortran和C等語言更加接近我們書寫計(jì)算公式的思維方式，用Matlab編寫程序猶如在演算紙上排列出公式與求解問題。Matlab編寫簡單，所以編程效率高，易學(xué)易懂。

2．用戶使用方便Matlab語言是一種解釋執(zhí)行的語言（在沒被專門的工具編譯之前），它靈活、方便，其調(diào)試程序手段豐富，調(diào)試速度快，需要學(xué)習(xí)時間少。人們用任何一種語言編寫程序和調(diào)試程序一般都要經(jīng)過四個步驟：編輯、編譯、連接以及執(zhí)行和調(diào)試。各個步驟之間是順序關(guān)系，編程的過程就是在它們之間作瀑布型的循環(huán)。3．?dāng)U充能力強(qiáng)高版本的Matlab語言有豐富的庫函數(shù)，在進(jìn)行復(fù)雜的數(shù)學(xué)運(yùn)算時可以直接調(diào)用，而且Matlab的庫函數(shù)同用戶文件在形成上一樣，所以用戶文件也可作為Matlab的庫函數(shù)來調(diào)用。4．語句簡單，內(nèi)涵豐富Mat1ab語言中最基本最重要的成分是函數(shù)，其一般形式為[a，6，c……]=fun（d，e，f，……），即一個函數(shù)由函數(shù)名，輸入變量d，e，f，……和輸出變量a，b，c……組成，同一函數(shù)名F，不同數(shù)目的輸入變量（包括無輸入變量）及不同數(shù)目的輸出變量，代表著不同的含義（有點(diǎn)像面向?qū)ο笾械亩鄳B(tài)性。。

5．高效方便的矩陣和數(shù)組運(yùn)算Matlab語言象Basic、Fortran和C語言一樣規(guī)定了矩陣的算術(shù)運(yùn)算符、關(guān)系運(yùn)算符、邏輯運(yùn)算符、條件運(yùn)算符及賦值運(yùn)算符，而且這些運(yùn)算符大部分可以毫無改變地照搬到數(shù)組間的運(yùn)算，有些如算術(shù)運(yùn)算符只要增加“·”就可用于數(shù)組間的運(yùn)算，另外，它不需定義數(shù)組的維數(shù)，并給出矩陣函數(shù)、特殊矩陣專門的庫函數(shù)，使之在求解諸如信號處理、建模、系統(tǒng)識別、控制、優(yōu)化等領(lǐng)域的問題時，顯得大為簡捷、高效、方便，這是其它高級語言所不能比擬的。6．方便的繪圖功能Matlab的繪圖是十分方便的，它有一系列繪圖函數(shù)（命令），例如線性坐標(biāo)、對數(shù)坐標(biāo)，半對數(shù)坐標(biāo)及極坐標(biāo)，均只需調(diào)用不同的繪圖函數(shù)（命令），在圖上標(biāo)出圖題、XY軸標(biāo)注，格（柵）繪制也只需調(diào)用相應(yīng)的命令，簡單易行。另外，在調(diào)用繪圖函數(shù)時調(diào)整自變量可繪出不變顏色的點(diǎn)、線、復(fù)線或多重線。這種為科學(xué)研究著想的設(shè)計(jì)是通用的編程語言所不及的。總之，Matlab語言的設(shè)計(jì)思想可以說代表了當(dāng)前計(jì)算機(jī)高級語言的發(fā)展方向。我們相信，在不斷使用中，讀者會發(fā)現(xiàn)它的巨大潛力。因此本文采用matlab來實(shí)現(xiàn)本文的算法。5.2各算法程序5.2.1一般方法圖像融合是通過一個數(shù)學(xué)模型把來自不同傳感器的多幅圖像綜合成一幅滿足特定應(yīng)用需求的圖像的過程，從而可以有效地把不同圖像傳感器的優(yōu)點(diǎn)結(jié)合起來，提高對圖像信息分析和提取的能力。簡單的圖像融合方法不對參加融合的源圖像進(jìn)行任何變換和分解，而是直接對源圖像中的各對應(yīng)像素分別進(jìn)行選擇、平均或加權(quán)平均、多元回歸或其它數(shù)學(xué)運(yùn)算等處理后，最終合成一幅融合圖像。對于圖像融合的對象，可以分為兩大類，即多光譜圖像(通常為RGB彩色圖像)與灰度圖像之間的融合，以及灰度圖像之間的融合?；叶葓D像之間的融合，在大體上可分為三大類。一類是簡單融合方法，包括將空間對準(zhǔn)的兩幅圖像直接求加權(quán)平均值。另一類方法是基于金字塔形分解和重建算法的融合方法，主要包括梯度金字塔法、對比度和比率金字塔法以及拉普拉斯金字塔法等，它們首先構(gòu)造輸入圖像的金字塔，再按一定的特征選擇方法取值形成融合金字塔，通過對金字塔實(shí)施逆變換進(jìn)行圖像重建，最終生成融合圖像，它們的融合效果要遠(yuǎn)優(yōu)于第一類方法，然而它也有很多不盡如人意的地方。還有一類方法就是近幾年興起的基于小波變換的圖像融合方法，它通常采用多分辨分析和Mallat快速算法，通過在各層的特征域上進(jìn)行有針對性的融合，比較容易提取原始圖像的結(jié)構(gòu)信息和細(xì)節(jié)信息，所以融合效果要好于基于金字塔形變換的圖像融合法。這是因?yàn)樾〔ㄗ儞Q更為緊湊;小波表達(dá)式提供了方向信息，而金字塔表達(dá)式未將空間方向選擇性引入分解過程;由于可以選擇正交小波核，因此不同分辨率包含的信息是唯一的，而金字塔分解在兩個不同的尺度之間含有冗余，另外金字塔不同級的數(shù)據(jù)相關(guān)，很難知道兩級之間的相似性是由于冗余還是圖像本身的性質(zhì)引起的;金字塔的重構(gòu)過程可能具有不穩(wěn)定性，特別是兩幅圖像存在明顯差異區(qū)域時，融合圖像會出現(xiàn)斑塊，而小波變換圖像融合則沒有類似的問題。此外，小波變換具functionY=fuse_pca(M1，M2)%Y=fuse_pca(M1，M2)imagefusionwithPCAmethod%%

M1-inputimage#1%

M2-inputimage#2%%

Y-fusedimage%

(OliverRockinger16.08.99)%checkinputs[z1s1]=size(M1);[z2s2]=size(M2);if(z1~=z2)|(s1~=s2)error('Inputimagesarenotofsamesize');end;%compute，select&normalizeeigenvalues[V，D]=eig(cov([M1(:)M2(:)]));if(D(1，1)>D(2，2))a=V(:，1)./sum(V(:，1));elsea=V(:，2)./sum(V(:，2));end;%andfuseY=a(1)*M1+a(2)*M2;5.2.3金字塔（Pyramid）算法程序金字塔圖像融合法:用金字塔在空間上表示圖像是一種簡單方便的方法。概括地說金字塔圖像融合法就是將參加融合的每幅源圖像作金字塔表示，將所有圖像的金字塔表示在各相應(yīng)層上以一定的融合規(guī)則融合，可得到合成的金字塔。將合成的金字塔，用金字塔生成的逆過程重構(gòu)圖像，則可得到融合圖像。金字塔可分為:Laplacian金字塔、Gaussian金字塔、梯度金字塔、數(shù)學(xué)形態(tài)金字塔等?；贔SDPyramid的圖像融合算法程序：functionY=fuse_fsd(M1，M2，zt，ap，mp)%Y=fuse_fsd(M1，M2，zt，ap，mp)imagefusionwithfsdpyramid%%

M1-inputimageA%

M2-inputimageB%

zt-maximumdecompositionlevel%

ap-coefficientselectionhighpass(seeselc.m)%

mp-coefficientselectionbaseimage(seeselb.m)%%

Y-fusedimage%

(OliverRockinger16.08.99)%checkinputs[z1s1]=size(M1);[z2s2]=size(M2);if(z1~=z2)|(s1~=s2)error('Inputimagesarenotofsamesize');end;%definefilterw=[14641]/16;%cellsforselectedimagesE=cell(1，zt);%loopoverdecompositiondepth->analysisfori1=1:zt%calculateandstoreactualimagesize[zs]=size(M1);zl(i1)=z;sl(i1)=s;%checkifimageexpansionnecessaryif(floor(z/2)~=z/2)，ew(1)=1;else，ew(1)=0;end;if(floor(s/2)~=s/2)，ew(2)=1;else，ew(2)=0;end;%performexpansionifnecessaryif(any(ew))M1=adb(M1，ew);M2=adb(M2，ew);end;%performfilteringG1=conv2(conv2(es2(M1，2)，w，'valid')，w'，'valid');G2=conv2(conv2(es2(M2，2)，w，'valid')，w'，'valid');%selectcoefficientsandstorethemE(i1)={selc(M1-G1，M2-G2，ap)};%decimateM1=dec2(G1);M2=dec2(G2);end;%selectbasecoefficientsoflastdecompostionstageM1=selb(M1，M2，mp);%loopoverdecompositiondepth->synthesisfori1=zt:-1:1%undecimateandinterpolateM1T=conv2(conv2(es2(undec2(M1)，2)，2*w，'valid')，2*w'，'valid');%addcoefficientsM1=M1T+E{i1};%selectvalidimageregionM1

=M1(1:zl(i1)，1:sl(i1));end;%copyimageY=M1;5.2.4小波變換（DWT）算法程序在眾多的圖像融合技術(shù)中，基于小波變換的圖像融合方法已成為現(xiàn)今研究的一個熱點(diǎn)。這類算法主要是利用人眼對局部對比度的變化比較敏感這一事實(shí)，根據(jù)一定的融合規(guī)則，在多幅原圖像中選擇出最顯著的特征，例如邊緣、線段等，并將這些特征保留在最終的合成圖像中。在一幅圖像的小波變換中，絕對值較大的小波系數(shù)對應(yīng)于邊緣這些較為顯著的特征，所以大部分基于小波變換的圖像融合算法主要研究如何選擇合成圖像中的小波系數(shù)，也就是三個方向上的高頻系數(shù)，從而達(dá)到保留圖像邊緣的目的。雖然小波系數(shù)(高頻系數(shù))的選擇對于保留圖像的邊緣等特征具有非常主要的作用，但尺度系數(shù)(低頻系數(shù))決定了圖像的輪廓，正確地選擇尺度系數(shù)對提高合成圖像的視覺效果具有舉足輕重的作用。基于SIDWT（ShiftInvarianceDiscreteWaveletTransform）小波變換的算法程序：functionY=fuse_sih(M1，M2，zt，ap，mp)%Y=fuse_sih(M1，M2，zt，ap，mp)imagefusionwithSIDWT，WaveletisHaar%%

M1-inputimageA%

M2-inputimageB%

zt-maximumdecompositionlevel%

ap-coefficientselectionhighpass(seeselc.m)%

mp-coefficientselectionbaseimage(seeselb.m)%%

Y-fusedimage%

(OliverRockinger16.08.99)%checkinputs[z1s1]=size(M1);[z2s2]=size(M2);if(z1~=z2)|(s1~=s2)error('Inputimagesarenotofsamesize');end;%cellsforselectedimagesE=cell(3，zt);%loopoverdecompositiondepth->analysisfori1=1:zt%calculateandstoreactualimagesize[zs]=size(M1);zl(i1)=z;sl(i1)=s;%defineactualfilters(insertingzerosbetweencoefficients)h1=[zeros(1，floor(2^(i1-2)))，0.5，zeros(1，floor(2^(i1-1)-1))，0.5，zeros(1，max([floor(2^(i1-2))，1]))];g1=[zeros(1，floor(2^(i1-2)))，0.5，zeros(1，floor(2^(i1-1)-1))，-0.5，zeros(1，max([floor(2^(i1-2))，1]))];fh=floor(length(h1)/2);%imageAZ1=conv2(es(M1，fh，1)，g1，'valid');A1=conv2(es(Z1，fh，2)，g1'，'valid');A2=conv2(es(Z1，fh，2)，h1'，'valid');Z1=conv2(es(M1，fh，1)，h1，'valid');A3=conv2(es(Z1，fh，2)，g1'，'valid');A4=conv2(es(Z1，fh，2)，h1'，'valid');%imageBZ1=conv2(es(M2，fh，1)，g1，'valid');B1=conv2(es(Z1，fh，2)，g1'，'valid');B2=conv2(es(Z1，fh，2)，h1'，'valid');Z1=conv2(es(M2，fh，1)，h1，'valid');B3=conv2(es(Z1，fh，2)，g1'，'valid');B4=conv2(es(Z1，fh，2)，h1'，'valid');%selectcoefficientsandstorethemE(1，i1)={selc(A1，B1，ap)};E(2，i1)={selc(A2，B2，ap)};E(3，i1)={selc(A3，B3，ap)};%copyinputimagefornextdecompositionstageM1=A4;M2=B4;end;%selectbasecoefficientsoflastdecompostionstageA4=selb(A4，B4，mp);%loopoverdecompositiondepth->synthesisfori1=zt:-1:1%defineactualfilters(insertingzerosbetweencoefficients)h2=fliplr([zeros(1，floor(2^(i1-2)))，0.5，zeros(1，floor(2^(i1-1)-1))，0.5，zeros(1，max([floor(2^(i1-2))，1]))]);g2=fliplr([zeros(1，floor(2^(i1-2)))，0.5，zeros(1，floor(2^(i1-1)-1))，-0.5，zeros(1，max([floor(2^(i1-2))，1]))]);fh=floor(length(h2)/2);%filter(rows)A4=conv2(es(A4，fh，2)，h2'，'valid');A3=conv2(es(E{3，i1}，fh，2)，g2'，'valid');A2=conv2(es(E{2，i1}，fh，2)，h2'，'valid');A1=conv2(es(E{1，i1}，fh，2)，g2'，'valid');%filter(columns)A4=conv2(es(A4+A3，fh，1)，h2，'valid');A2=conv2(es(A2+A1，fh，1)，g2，'valid');%addimagesA4=A4+A2;end;%copyimageY=A4;5．3實(shí)驗(yàn)結(jié)果下面將本文的算法用于多聚焦圖像的融合。多聚焦圖像指的是對相同的場景用不同的焦距進(jìn)行拍攝，得到鏡頭聚焦目標(biāo)不同的多個圖像。經(jīng)過圖像融合技術(shù)后，就可以得到一個所有目標(biāo)都聚焦清晰的圖像。圖5-1中左邊的目標(biāo)較為清晰，圖5-2中右邊的目標(biāo)較為清晰。圖5-1聚焦在左邊的圖像圖5-2聚焦在右邊的圖像我們分別利用基于PCA的算法、金字塔圖像融合法和小波變換法的算法程序得到的的融合圖像結(jié)果，如圖5-3、圖5-4、圖5-5所示圖5-3基于PCA算法的融合圖像圖5-4基于金字塔圖像融合算法的融合圖像圖5-5基于SIDWT小波變換的融合圖像從實(shí)驗(yàn)結(jié)果可以看出，三種方案都可以得到較滿意的視覺效果，消除了原圖像的聚焦差異，提高了圖像的清晰度，在合成圖像中左、右兩邊的目標(biāo)都很清晰。但通過比較分析，我們可以看出基于小波變換的融合圖像（圖5-5）最為清晰，所表現(xiàn)的圖像細(xì)節(jié)效果最好，重影現(xiàn)象消除得最干凈。圖5-3的清晰度不夠，而圖5-4的細(xì)節(jié)表現(xiàn)力較弱，只有圖5-5的邊緣最清晰，重影消除地最干凈，細(xì)節(jié)得到了最好地保留。第六章總結(jié)與展望6.1