案例9 圖像拼接和圖像融合

案例9圖像融合和拼接崔麗對來自多個傳感器的多源信息進行多級別、多方面和多層次的處理和綜合，從而獲得更豐富、更準確、更可靠的有用信息。信息融合是一種多層次、多方面的處理過程，這個過程對多源信息進行檢測、結(jié)合、相關(guān)、估計和組合，以達到精確的狀態(tài)估計和身份估計記憶完整、及時的態(tài)勢估計和威脅估計。——J.LlinasandW.Edward信息融合（InformationFusion）圖像融合是將兩個或兩個以上的傳感器在同一時間或不同時間獲取的關(guān)于某個具體場景的圖像或圖像序列信息加以綜合，以生成新的有關(guān)此場景解釋的信息處理過程。圖像融合是是指將多源信道所采集到的關(guān)于同一目標的圖像數(shù)據(jù)經(jīng)過圖像處理和計算機技術(shù)等，最大限度的提取各自信道中的有利信息，最后綜合成高質(zhì)量的圖像，以提高圖像信息的利用率、改善計算機解譯精度和可靠性、提升原始圖像的空間分辨率和光譜分辨率。圖像融合（ImageFusion）圖像融合是以圖像為研究對象的信息融合，它把對同一目標或場景的用不同傳感器獲得的不同圖像，或用同種傳感器以不同成像方式或在不同成像時間獲得的不同圖像，融合為一幅圖像，在一幅融合圖像中能反應(yīng)多重原始圖像的信息，已達到對目標和場景的綜合描述，使之更適合視覺感知或計算機處理。它綜合了傳感器、信號處理、圖像處理和人工智能等技術(shù)的新興學科。多源圖像多傳感器圖像：成像機理不同的獨立傳感器獲得的圖像（不包括遙感圖像）如前視紅外圖像和可見光圖像CT圖像和MRI圖像前視紅外線圖像和毫米波雷達圖像融合圖像源分類多源圖像遙感多光源圖像：成像機理不同的傳感器或同種傳感器不同工作模式獲得的遙感圖像如:SPOT衛(wèi)星的多光譜圖像和全色圖像QuickBird衛(wèi)星的多光譜圖像和全色圖像多源圖像多聚焦圖像：光學傳感器的不同成像方式（指不同聚焦點）獲得的圖像多源圖像時間序列（動態(tài)）圖像：同種圖像傳感器以相同成像方式在離散時刻拍攝的圖像圖像配準、圖像融合、特征提取、識別與決策圖像融合分三個層次：像素級嚴格配準的條件下，直接進行信息綜合。基于數(shù)據(jù)層面，主要完成多源圖像中目標和背景信息的直接融合。最低層次的圖像融合，準確性最高，能夠提供其他層次處理所具有的細節(jié)信息。處理的信息量較大。特征級與處理和特征提取后獲得的景物信息如邊緣，形狀，紋理和區(qū)域等信息進行綜合與處理。中間層次信息融合，即保留了足夠數(shù)量的重要信息，有可對信息進行壓縮，有利于實時處理決策級根據(jù)一定的準則以及每個決策的可信度做出最優(yōu)決策。最高層次的信息融合，實時性好，并且具有一定的容錯能力。基于認知模型的方法，需要大型數(shù)據(jù)庫和專家決策系統(tǒng)進行分析、推斷、識別。圖像融合的處理過程1.圖像增強空間域增強點運算：線性變換，非線性變換，直方圖均衡化，歸一化。鄰域運算：圖像平滑，銳化頻域增強塔式分解增強，F(xiàn)ourier變換增強，濾波彩色增強偽彩色增強，假彩色增強，彩色變換圖像代數(shù)運算插值法，比值法，混合運算法，分辨率融合多光譜圖像增強主成分分析，K-T變換圖像融合預(yù)處理2.圖像矯正和配準基于灰度信息的圖像配準基于灰度的一些統(tǒng)計信息來度量圖像的相似度。優(yōu)點簡單易行，缺點計算量大，對噪聲敏感。三種方法互相關(guān)法序貫相似度檢測匹配交互信息法基于變換域圖像配準方法圖像間的平移，旋轉(zhuǎn)，縮放在頻域上有對應(yīng)，對抗噪聲有一定的魯棒性2.圖像矯正和配準基于特征的圖像配準方法基于灰度和變換域有如下不足：受光照影響大，對灰度變換敏感搜索空間會出現(xiàn)很多局部極值點，涉及到閾值的設(shè)定處理信息量大，計算復(fù)雜度高對旋轉(zhuǎn)，尺度變換以及遮掩等敏感基于特征的方法圖像中特征數(shù)較少，特征間的匹配度量歲位置變動很大，可以利用圖像輪廓特征間的幾何約束關(guān)系，對干擾變形等有較強的適應(yīng)能力——比如指紋中的特征點匹配，紋線匹配步驟：1）特征提?。禾卣鼽c（角點，高曲率點），直線段，邊緣，輪廓，閉合區(qū)域，特征結(jié)構(gòu)以及統(tǒng)計特征，矩不變量，重心等2）特征匹配3）圖像轉(zhuǎn)換——完成圖像整理變換互相關(guān)法：

它是一種匹配度量，通過計算模板圖像和搜索窗口之間的互相關(guān)值，來確定匹配的成都，互相關(guān)最大時的搜索窗口決定了末班圖像在待匹配圖像中的位置。

對圖像I和一個尺寸小于I的模板T，歸一化二維交叉相關(guān)函數(shù)定義如下：C(u,v)表示了模板在圖像上位移(u,v)位置的相似成都簡單介紹幾種圖像匹配算法基于變換域的圖像配準1.平移檢測clear;I=imread('cameraman.tif');%參數(shù)[25,30]可以修改，修改后平移距離對應(yīng)改變

,得到圖像平移后圖像TIse=translate(strel(1),[3525]);TI=imdilate(I,se);imshow(TI);%Fourier變換FI=fft2(I);FTI=fft2(TI);%相關(guān)量hgl=FI.*conj(FTI)./(abs(FI.*conj(FTI)));%逆Fourier變換得到deta函數(shù)deta=abs(ifft2(hgl));%顯示突變點x=1:size(I,1);y=1:size(I,2);mesh(x,y,deta);%求出平移變換點[x0,y0]=find(deta==max(max(deta)));Matlab程序（變換域的配準）2.旋轉(zhuǎn)變化子函數(shù)：極坐標轉(zhuǎn)化functionPI=Car2PIm(I)%I=imread('standard_lena.bmp');[MI,NI]=size(I);M2=MI/2;N2=NI/2;PMax=round(sqrt(M2^2+N2^2))+1;PMin=sqrt(2);PI=zeros(PMax,361);fori=1:M2forj=1:N2p=sqrt(i^2+j^2);theta=atan(j/i);p=round(p)+1;%360*/PMaxtheta=round(theta*180/pi)+1;PI(p,theta)=I(i+M2,N2-j+1);PI(p,180-theta)=I(M2-i+1,N2-j+1);PI(p,180+theta)=I(M2-i+1,j+N2);PI(p,360-theta)=I(i+M2,j+N2);endend%imshow(PI,[]);%imwrite(PI,'Lena_cui.tif');clear;I=imread('cameraman.tif');%TI=imrotate(I,-30,'crop');%imwrite(TI,'RT.tif');TI=imread('RT.tif');TI=TI(:,:,1);%MFI=abs(fft2(I));%MFTI=abs(fft2(TI));PMFI=Car2PIm(I);PMFTI=Car2PIm(TI);hgl=fft2(PMFI).*conj(fft2(PMFTI))./(abs(fft2(PMFI)).*conj(fft2(PMFTI)));deta=abs(ifft2(hgl));x=1:size(PMFI,1);y=1:size(PMFI,2);%mesh(x,y,deta);[x0,y0]=find(deta==max(max(deta)));有問題拼接圖像邊緣的融合藝術(shù)照片的效果照片做舊老照片翻新紋理映射電腦設(shè)計搞怪多光譜圖像融合問題圖像尺寸融合位置確定時域和頻域的處理選擇圖像融合實際需要，大長照片拍攝和制作問題拼接位置定位算法——識別邊界是否有平移旋轉(zhuǎn)，要去掉這些帶來的影響對于變形的處理，視點不同帶來的影響，能否從圖像中獲取拼接后的邊界融合選擇合適的濾波器進行模糊化處理進而銳化處理，突出邊緣，采用圖像局部增強方法拼接圖像大小處理是否涉及到圖像的縮放圖像拼接預(yù)處理待融合圖像局部大小統(tǒng)一，確定融合位置小波分解獲得各個頻段的信息對各個頻段進行融合處理將處理后的頻段，進行小波逆變換，重構(gòu)圖像——完成圖像融合關(guān)鍵是融合函數(shù)的設(shè)計基于小波的圖像融合小波系數(shù)，高頻逼近系數(shù)，低頻融合決策改進，比如把點改為區(qū)域的，把單小波改為多小波。融合策略工具箱實現(xiàn)imagefusionDemo演示Matlab實現(xiàn)loadmask;X1=X;loadbust;X2=X;[XFUS,TXFUS,TX1,TX2]=wfusimg(X1,X2,'db2',5,'max','max','plot');subplot(1,3,1)imshow(X1,[]);subplot(1,3,2);imshow(X2,[]);subplot(1,3,3)imshow(XFUS,[]);Matlab代碼實現(xiàn)低通如何融合高通如何融合設(shè)計融合函數(shù)找尋有趣圖像進行融合嘗試各種融合策略例1.圖像拼接-周安琪（10級）%讀入彩色圖片im=imread('照片007.jpg');im1=imread('照片008.jpg');%變灰度圖片imm=rgb2gray(im);imm1=rgb2gray(im1);%格式轉(zhuǎn)換f=double(imm);g=double(imm1);%第二幅圖的第一列g(shù)1=g(:,1);%第一幅圖的每一列與第二幅圖的第一列求距離，此處用的是列各點差的和fori=1:size(g,2)d(i)=sum(abs(f(:,i)-g1));end%求出最小距離者，即為對應(yīng)最為相似的列m=min(d);%找出最相似列標a=find(d==m);%取出拼接相疊加的部分圖像x=imm(:,a:size(imm,2));y=imm1(:,1:(size(imm,2)-a+1));figureimshow(x);figureimshow(y);主程序%模極大值找邊緣，分別對兩個待拼接圖像的重疊部分進行求邊緣運算。[ed,tang]=waveedge(x,0.1);[ed1,tang1]=waveedge(y,0.1);h=tang-tang1;theat=hist(h);%求拼接部分角度差的眾數(shù)%z=mode(mode(theat));%進行旋轉(zhuǎn)z=7;rotate=imrotate(imm1,z);%重新規(guī)劃圖像大小r=imresize(rotate,1/4);%z由角度變弧度z=z/360*(2*pi);[m,n]=size(g);%圖像矯正——旋轉(zhuǎn)fori=1:mforj=1:nA(i,j)=round(abs(i*cos(z)-j*sin(z)));B(i,j)=round(abs(i*cos(z)-j*sin(z)));endend

%旋轉(zhuǎn)后的拼接過程fori=1:mforj=1:nifA(i,j)==0x=1;elseifA(i,j)>=mx=m;elsex=A(i,j);endendifB(i,j)>=ny=n;elseifB(i,j)==0y=1;elsey=B(i,j);endendF(i,j)=g(x,y);endendF=uint8(F);F=imresize(F,1/4);figure;imshow(F)

rotate=[];fori=1:size(g,1)forj=1:size(g,2)

rotate(i,j)=[cos(z)-sin(z);sin(z),cos(z)]*([g(i,j)])';endendimshow(uint8(rotate));

%小波變換檢測法，輸入變量I為原始圖像，T為閾值%返回值：ed為邊緣，tang為邊緣點的角度記錄。function[ed,tang]=waveedge(I,T)X=double(I);s1=size(X,1);s2=size(X,2);%多尺度m=1.0;dt=2^m;%構(gòu)造高斯函數(shù)的一階導數(shù)N=20;%高斯濾波器長度，支集范圍A=-1/sqrt(2*pi);%幅度fori=1:N;forj=1:N;x=i-(N+1)/2;y=j-(N+1)/2;fx(i,j)=A*(x/dt^2).*exp(-(x.*x+y.*y)/(2*dt^2));fy(i,j)=A*(y/dt^2).*exp(-(x.*x+y.*y)/(2*dt^2));endend;%能量歸一化fx=fx/norm(fx);fy=fy/norm(fy);%對圖象做小波變換Gx=conv2(X,fx,'same');Gy=conv2(X,fy,'same');G=sqrt((Gx.*Gx)+(Gy.*Gy));%求梯度%%確定梯度方向ang=zeros(s1,s2);%角度子函數(shù)：小波變換邊緣檢測fori=1:s1;forj=1:s2if(abs(Gx(i,j))>eps*100)%x的絕對值足夠大p=atan(Gy(i,j)/Gx(i,j))*180/pi;%反正切求角度值(1,4象限)if(p<0)%負的幅角（2、4象限）p=p+360;end;if(Gx(i,j)<0&p>180)%2象限的特殊處理p=p-180;elseif(Gx(i,j)<0&p<180)%3象限的特殊處理p=p+180;endelse%90或270度if(Gy(i,j)>0)p=90;elsep=270;endendang(i,j)=p;%幅角endend;ed=zeros(s1,s2);%%尋找各個方向極值點fori=2:s1-1forj=2:s2-1if((ang(i,j)>=(-22.5)&ang(i,j)<=22.5)|...(ang(i,j)>=(180-22.5)&ang(i,j)<=(180+22.5)))%0/180if(G(i,j)>G(i+1,j)&G(i,j)>G(i-1,j))ed(i,j)=G(i,j);endelseif((ang(i,j)>=(90-22.5)&ang(i,j)<=(90+22.5))|...(ang(i,j)>=(270-22.5)&ang(i,j)<=(270+22.5)))%90/270if(G(i,j)>G(i,j+1)&G(i,j)>G(i,j-1))ed(i,j)=G(i,j);endelseif((ang(i,j)>=(45-22.5)&ang(i,j)<=(45+22.5))|...(ang(i,j)>=(225-22.5)&ang(i,j)<=(225+22.5)))%45/225if(G(i,j)>G(i+1,j+1)&G(i,j)>G(i-1,j-1))ed(i,j)=G(i,j);endelse%135/215if(G(i,j)>G(i+1,j-1)&G(i,j)>G(i-1,j+1))ed(i,j)=G(i,j);endendendendME=max(max(ed).');%最大幅值ed=ed/ME;%%確定邊緣form=1:s1forn=1:s2if(ed(m,n)>T)ed(m,n)=1;elseed(m,n)=0;endendend%繪制圖像figuresubplot(1,2,1)imshow(I)title('原圖像')subplot(1,2,2)imshow(ed)title('小波邊緣')%求特征點的角度l=size(ed,1);w=size(ed,2);tang=zeros(l,w);%角度fori=1:l;forj=1:wifed(i,j)==1if(abs(Gx(i,j))>eps*100)%x的絕對值足夠大p=atan(Gy(i,j)/Gx(i,j))*180/pi;%反正切求角度值(1,4象限)if(p<0)%負的幅角（2、4象限）p=p+360;end;if(Gx(i,j)<0&p>180)%2象限的特殊處理p=p-180;elseif(Gx(i,j)<0&p<180)%3象限的特殊處理p=p+180;endelse%90或270度if(Gy(i,j)>0)p=90;elsep=270;endendtang(i,j)=p;%幅角endendend;不旋轉(zhuǎn)直接小波分解拼接小波邊緣提取旋轉(zhuǎn)匹配過程水平平移過程1.圖片矯正過程中大小的變化過程如何糾正？簡單補零操作。2.步驟如下：圖像配準融合方案——小波分解融合在得到融合圖像之后，對圖像進行直方圖均勻化及裁剪，使圖像更加美觀。后處理拼接結(jié)果例2.藝術(shù)圖片制作——預(yù)處理圖像分析，對于彩色圖像進行分通道顯示，并通過直方圖進行灰度值分析。RGB通道，HSI通道或者YUV通道等。實現(xiàn)圖像類型轉(zhuǎn)換函數(shù)見RGb2hsi.m函數(shù)。觀察直方圖和各通道圖像，選取適用于背景分離的圖像通道，即待分離圖像和背景圖像的灰度值區(qū)分度大的圖像通道。如何提取前景感興趣區(qū)域確定閾值T，一般可選擇圖像均值作為閾值，也可以參考圖像方差，對閾值進行修正。這里也可以加一些直觀的限制，以達到更好獲得感興趣的區(qū)域。Matlab均值函數(shù)和方差函數(shù)分別為mean2和var2。具體方式為：Y=mean2(X)，X為輸入矩陣，Y為矩陣X的均值Theta=std2(X)，X為輸入矩陣，Y為矩陣X的均方差。對所選通道圖像進行閾值化處理，化為二值圖像，1為前景圖像白色，0為背景圖像黑色。對獲得的前景圖像進行修復(fù)，包括形態(tài)學的開閉運算，填補漏洞處理等。Matlab形態(tài)學運算可通過bwmorph實現(xiàn)，圖像填補漏洞函數(shù)imfill。具體方式為：bwmorph是對二值圖像的形態(tài)學算子。形態(tài)學方法在圖像處理領(lǐng)域有著重要應(yīng)用。BW2=bwmorph(BW1,OPERATION)表示對二值圖像BW1作用上某一個形態(tài)學運算。BW2=BWMORPH(BW1,OPERATION,N)表示對二值圖像BW1作用上某一個形態(tài)學運算N次。若N為inf，表示重復(fù)該運算直到圖像不再變化為止。OPERAT