圖像融合技術(shù)

關(guān)于圖像融合技術(shù)第一頁，共二十九頁，編輯于2023年，星期日第8章圖像融合技術(shù)

圖像融合是指將一個或一個以上的傳感器在同一時間或不同時間獲取的關(guān)于某個具體場景的圖像或者圖像序列信息加以綜合，通過對多幅圖像信息的提取與綜合生成一個新的圖像，該圖像包含了從多個傳感器獲得的信息。圖像融合可以減少圖像信息的不確定性，獲得對同一場景/目標的更為準確、全面、可靠的圖像描述，進而實現(xiàn)圖像增強、特征提取、去噪、目標識別與跟蹤、三維重構(gòu)等作用。應用于軍事、醫(yī)學成像、遙感、計算機視覺、氣象預報、軍事目標探測與識別等方面。第二頁，共二十九頁，編輯于2023年，星期日8.1圖像融合分類

第三頁，共二十九頁，編輯于2023年，星期日

8.2圖像融合算法-像素級融合

隨著圖像融合技術(shù)的發(fā)展，相繼出現(xiàn)了許多不同的圖像融合方法。這些方法注重圖像不同方面的信息，例如一般的基本融合方法直接在空間域?qū)D像進行融合，注重的是直觀的灰度或彩色信息，而像Laplacian金字塔融合方法與小波融合方法注重的是圖像頻域信息。第四頁，共二十九頁，編輯于2023年，星期日

8.2.1基本圖像融合算法

線性加權(quán)法相關(guān)系數(shù)加權(quán)法第五頁，共二十九頁，編輯于2023年，星期日

8.2.1基本圖像融合算法

圖像代數(shù)法主成分分析法（PCA）第六頁，共二十九頁，編輯于2023年，星期日

8.2.1基本圖像融合算法

HIS變換法HIS變換適合于分辨率不同的兩個圖像間的融合，兩個圖像間的分辨率差異為2~3倍時得到的融合圖像的效果最佳，若相差太大，則應將高分辨率圖像的分辨率通過插值方法降低。參與融合的圖像若一個為多光譜、低分辨率圖像，另一個為高分辨率圖像，兩者的融合可以兼取前者的多光譜和后者的高分辨率的優(yōu)點，使融合圖像成為一幅多光譜、高分辨率的圖像。HIS變換的本質(zhì)是原圖像與替代圖像的波段的加權(quán)結(jié)合。

先將待融合的多幅圖像作RGB-HIS變換，然后對變換后的HIS進行平均加權(quán)，最后再進行HIS-RGB變換，得到融合圖像。第七頁，共二十九頁，編輯于2023年，星期日基于小波分解的圖像融合方法原理圖

8.2.3小波變換圖像融合算法第八頁，共二十九頁，編輯于2023年，星期日

對于圖像處理，需要將連續(xù)小波變換與逆變換離散化，在此給出經(jīng)典Mallat算法的離散形式

8.2.3小波變換圖像融合算法第九頁，共二十九頁，編輯于2023年，星期日

圖像融合

圖像重構(gòu)

8.2.3小波變換圖像融合算法第十頁，共二十九頁，編輯于2023年，星期日

8.3圖像融合的評價標準主觀評價法（目視評價方法）客觀評價法第十一頁，共二十九頁，編輯于2023年，星期日

8.3.1主觀評價標準分數(shù)質(zhì)量尺度妨礙尺度5分非常好絲毫看不出圖像質(zhì)量變壞4分好能看出圖像變壞，但并不妨礙觀看3分一般清楚的看出圖像質(zhì)量變壞，對觀看稍有妨礙2分差對觀看有妨礙1分非常差非常嚴重妨礙觀看主觀評價尺度評分表

第十二頁，共二十九頁，編輯于2023年，星期日

8.3.2客觀評價標準基于信息量的評價信息熵交叉熵互信息第十三頁，共二十九頁，編輯于2023年，星期日

8.3.2客觀評價標準

基于統(tǒng)計特性的評價均值標準差均方根誤差第十四頁，共二十九頁，編輯于2023年，星期日

8.3.2客觀評價標準平均梯度空間頻率其中第十五頁，共二十九頁，編輯于2023年，星期日

8.3.2客觀評價標準

基于信噪比的評價信噪比

峰值信噪比

第十六頁，共二十九頁，編輯于2023年，星期日8.4圖像融合應用

本節(jié)對主要的融合算法在XAVIS系統(tǒng)中進行了實現(xiàn)，包括基本圖像融合算法、金字塔融合算法和小波融合算法等，實現(xiàn)多光照、多聚焦、異質(zhì)圖像融合應用。第十七頁，共二十九頁，編輯于2023年，星期日

8.4.1多光照圖像融合

待融合圖像A待融合圖像B標準參考圖像

線性加權(quán)相關(guān)系數(shù)加權(quán)圖像代數(shù)算法第十八頁，共二十九頁，編輯于2023年，星期日

8.4.1多光照圖像融合

方法熵交叉熵空間頻率平均誤差處理時間線性加權(quán)法（閾值=7、20）4.460.7827.0818.9235ms相關(guān)系數(shù)加權(quán)法（閾值=30）4.280.7227.0210.6375ms圖像代數(shù)算法（閾值=80）4.440.1727.265.34281ms多光照圖像融合方法的評價第十九頁，共二十九頁，編輯于2023年，星期日

8.4.1多光照圖像融合

Readimage(21.bmp,image);showimage(image);sleep(1000);Readimage(22.bmp,image1);showimage(image1);sleep(1000);TimerBegin(cccc);FixelFusionAver(image,image1,image2,7,20);//線性加權(quán)TimerEnd(cccc,dddd);showimage(image2);在XAVIS代碼區(qū)中編寫線性融合代碼：第二十頁，共二十九頁，編輯于2023年，星期日

8.4.1多光照圖像融合

方法1（YUV）方法2（RGB）方法3（HIS）方法熵交叉熵空間頻率平均誤差處理時間14.001.0327.127.501110ms24.100.73927.126.532531ms34.140.45927.006.021203ms各種小波融合方法的評價（不同光照）

第二十一頁，共二十九頁，編輯于2023年，星期日

8.4.1多光照圖像融合

Readimage(21.bmp,image);showimage(image);sleep(1000);Readimage(22.bmp,image1);showimage(image1);sleep(1000);TimerBegin(cccc);FixelFusionHisWvlts(image,image1,image2);//小波融合（HIS法）TimerEnd(cccc,dddd);showimage(image2);在XAVIS代碼區(qū)中編寫HIS的小波融合算法代碼：

第二十二頁，共二十九頁，編輯于2023年，星期日

8.4.2多聚焦圖像融合

多聚焦待融合圖像A多聚焦待融合圖像B

方法1（YUV）方法2（HIS）第二十三頁，共二十九頁，編輯于2023年，星期日

8.4.2多聚焦圖像融合

方法熵交叉熵空間頻率平均誤差處理時間14.910.05522.683.581875ms24.900.10822.633.912009ms兩種小波融合方法的評價（多聚焦）Readimage(21.bmp,image);showimage(image);Readimage(22.bmp,image1);showimage(image1);TimerBegin(cccc);FixelFusionHisWvlts(image,image1,image2);//小波融合算法（YUV）TimerEnd(cccc,dddd);showimage(image2);第二十四頁，共二十九頁，編輯于2023年，星期日

8.4.3異質(zhì)圖像融合

異質(zhì)圖像

異質(zhì)圖像是指兩幅圖像的光譜特性不同，如紅外和可見光圖像，此外還包括可見光和毫米波圖像、醫(yī)學的CT和NMR圖像、IR和TV圖像等等。異質(zhì)圖像融合是基于多傳感器的，主要指基于不同電磁波波段的不同類型傳感器。因此在學習異質(zhì)圖像融合之前，了解電磁波的頻譜特性是十分必要的。光是電磁波能量的一種形式，下圖為電磁波譜。它表明可見光輻射僅占其中很小的一部分。第二十五頁，共二十九頁，編輯于2023年，星期日

8.4.3異質(zhì)圖像融合

異質(zhì)圖像融合方法及特點1）提高信息的可信度2）增加目標特征矢量的維數(shù)3）提高獲得信息的效率4）提高了系統(tǒng)的容錯能力第二十六頁，共二十九頁，編輯于2023年，星期日

8.4.3異質(zhì)圖像融合

異質(zhì)圖像融合應用1）醫(yī)學圖像融合應用

CT圖像NMR圖像PCA算法融合YUV法小波融合第二十七頁，共二十九頁，編輯于2023年，星期日

8.4.3異質(zhì)圖像融合

2）IR