圖像融合技術(shù)

關(guān)于圖像融合技術(shù)第1頁，共29頁，2023年，2月20日，星期三第8章圖像融合技術(shù)

圖像融合是指將一個(gè)或一個(gè)以上的傳感器在同一時(shí)間或不同時(shí)間獲取的關(guān)于某個(gè)具體場景的圖像或者圖像序列信息加以綜合，通過對多幅圖像信息的提取與綜合生成一個(gè)新的圖像，該圖像包含了從多個(gè)傳感器獲得的信息。圖像融合可以減少圖像信息的不確定性，獲得對同一場景/目標(biāo)的更為準(zhǔn)確、全面、可靠的圖像描述，進(jìn)而實(shí)現(xiàn)圖像增強(qiáng)、特征提取、去噪、目標(biāo)識別與跟蹤、三維重構(gòu)等作用。應(yīng)用于軍事、醫(yī)學(xué)成像、遙感、計(jì)算機(jī)視覺、氣象預(yù)報(bào)、軍事目標(biāo)探測與識別等方面。第2頁，共29頁，2023年，2月20日，星期三8.1圖像融合分類

第3頁，共29頁，2023年，2月20日，星期三

8.2圖像融合算法-像素級融合

隨著圖像融合技術(shù)的發(fā)展，相繼出現(xiàn)了許多不同的圖像融合方法。這些方法注重圖像不同方面的信息，例如一般的基本融合方法直接在空間域?qū)D像進(jìn)行融合，注重的是直觀的灰度或彩色信息，而像Laplacian金字塔融合方法與小波融合方法注重的是圖像頻域信息。第4頁，共29頁，2023年，2月20日，星期三

8.2.1基本圖像融合算法

線性加權(quán)法相關(guān)系數(shù)加權(quán)法第5頁，共29頁，2023年，2月20日，星期三

8.2.1基本圖像融合算法

圖像代數(shù)法主成分分析法（PCA）第6頁，共29頁，2023年，2月20日，星期三

8.2.1基本圖像融合算法

HIS變換法HIS變換適合于分辨率不同的兩個(gè)圖像間的融合，兩個(gè)圖像間的分辨率差異為2~3倍時(shí)得到的融合圖像的效果最佳，若相差太大，則應(yīng)將高分辨率圖像的分辨率通過插值方法降低。參與融合的圖像若一個(gè)為多光譜、低分辨率圖像，另一個(gè)為高分辨率圖像，兩者的融合可以兼取前者的多光譜和后者的高分辨率的優(yōu)點(diǎn)，使融合圖像成為一幅多光譜、高分辨率的圖像。HIS變換的本質(zhì)是原圖像與替代圖像的波段的加權(quán)結(jié)合。

先將待融合的多幅圖像作RGB-HIS變換，然后對變換后的HIS進(jìn)行平均加權(quán)，最后再進(jìn)行HIS-RGB變換，得到融合圖像。第7頁，共29頁，2023年，2月20日，星期三基于小波分解的圖像融合方法原理圖

8.2.3小波變換圖像融合算法第8頁，共29頁，2023年，2月20日，星期三

對于圖像處理，需要將連續(xù)小波變換與逆變換離散化，在此給出經(jīng)典Mallat算法的離散形式

8.2.3小波變換圖像融合算法第9頁，共29頁，2023年，2月20日，星期三

圖像融合

圖像重構(gòu)

8.2.3小波變換圖像融合算法第10頁，共29頁，2023年，2月20日，星期三

8.3圖像融合的評價(jià)標(biāo)準(zhǔn)主觀評價(jià)法（目視評價(jià)方法）客觀評價(jià)法第11頁，共29頁，2023年，2月20日，星期三

8.3.1主觀評價(jià)標(biāo)準(zhǔn)分?jǐn)?shù)質(zhì)量尺度妨礙尺度5分非常好絲毫看不出圖像質(zhì)量變壞4分好能看出圖像變壞，但并不妨礙觀看3分一般清楚的看出圖像質(zhì)量變壞，對觀看稍有妨礙2分差對觀看有妨礙1分非常差非常嚴(yán)重妨礙觀看主觀評價(jià)尺度評分表

第12頁，共29頁，2023年，2月20日，星期三

8.3.2客觀評價(jià)標(biāo)準(zhǔn)基于信息量的評價(jià)信息熵交叉熵互信息第13頁，共29頁，2023年，2月20日，星期三

8.3.2客觀評價(jià)標(biāo)準(zhǔn)

基于統(tǒng)計(jì)特性的評價(jià)均值標(biāo)準(zhǔn)差均方根誤差第14頁，共29頁，2023年，2月20日，星期三

8.3.2客觀評價(jià)標(biāo)準(zhǔn)平均梯度空間頻率其中第15頁，共29頁，2023年，2月20日，星期三

8.3.2客觀評價(jià)標(biāo)準(zhǔn)

基于信噪比的評價(jià)信噪比

峰值信噪比

第16頁，共29頁，2023年，2月20日，星期三8.4圖像融合應(yīng)用

本節(jié)對主要的融合算法在XAVIS系統(tǒng)中進(jìn)行了實(shí)現(xiàn)，包括基本圖像融合算法、金字塔融合算法和小波融合算法等，實(shí)現(xiàn)多光照、多聚焦、異質(zhì)圖像融合應(yīng)用。第17頁，共29頁，2023年，2月20日，星期三

8.4.1多光照圖像融合

待融合圖像A待融合圖像B標(biāo)準(zhǔn)參考圖像

線性加權(quán)相關(guān)系數(shù)加權(quán)圖像代數(shù)算法第18頁，共29頁，2023年，2月20日，星期三

8.4.1多光照圖像融合

方法熵交叉熵空間頻率平均誤差處理時(shí)間線性加權(quán)法（閾值=7、20）4.460.7827.0818.9235ms相關(guān)系數(shù)加權(quán)法（閾值=30）4.280.7227.0210.6375ms圖像代數(shù)算法（閾值=80）4.440.1727.265.34281ms多光照圖像融合方法的評價(jià)第19頁，共29頁，2023年，2月20日，星期三

8.4.1多光照圖像融合

Readimage(21.bmp,image);showimage(image);sleep(1000);Readimage(22.bmp,image1);showimage(image1);sleep(1000);TimerBegin(cccc);FixelFusionAver(image,image1,image2,7,20);//線性加權(quán)TimerEnd(cccc,dddd);showimage(image2);在XAVIS代碼區(qū)中編寫線性融合代碼：第20頁，共29頁，2023年，2月20日，星期三

8.4.1多光照圖像融合

方法1（YUV）方法2（RGB）方法3（HIS）方法熵交叉熵空間頻率平均誤差處理時(shí)間14.001.0327.127.501110ms24.100.73927.126.532531ms34.140.45927.006.021203ms各種小波融合方法的評價(jià)（不同光照）

第21頁，共29頁，2023年，2月20日，星期三

8.4.1多光照圖像融合

Readimage(21.bmp,image);showimage(image);sleep(1000);Readimage(22.bmp,image1);showimage(image1);sleep(1000);TimerBegin(cccc);FixelFusionHisWvlts(image,image1,image2);//小波融合（HIS法）TimerEnd(cccc,dddd);showimage(image2);在XAVIS代碼區(qū)中編寫HIS的小波融合算法代碼：

第22頁，共29頁，2023年，2月20日，星期三

8.4.2多聚焦圖像融合

多聚焦待融合圖像A多聚焦待融合圖像B

方法1（YUV）方法2（HIS）第23頁，共29頁，2023年，2月20日，星期三

8.4.2多聚焦圖像融合

方法熵交叉熵空間頻率平均誤差處理時(shí)間14.910.05522.683.581875ms24.900.10822.633.912009ms兩種小波融合方法的評價(jià)（多聚焦）Readimage(21.bmp,image);showimage(image);Readimage(22.bmp,image1);showimage(image1);TimerBegin(cccc);FixelFusionHisWvlts(image,image1,image2);//小波融合算法（YUV）TimerEnd(cccc,dddd);showimage(image2);第24頁，共29頁，2023年，2月20日，星期三

8.4.3異質(zhì)圖像融合

異質(zhì)圖像

異質(zhì)圖像是指兩幅圖像的光譜特性不同，如紅外和可見光圖像，此外還包括可見光和毫米波圖像、醫(yī)學(xué)的CT和NMR圖像、IR和TV圖像等等。異質(zhì)圖像融合是基于多傳感器的，主要指基于不同電磁波波段的不同類型傳感器。因此在學(xué)習(xí)異質(zhì)圖像融合之前，了解電磁波的頻譜特性是十分必要的。光是電磁波能量的一種形式，下圖為電磁波譜。它表明可見光輻射僅占其中很小的一部分。第25頁，共29頁，2023年，2月20日，星期三

8.4.3異質(zhì)圖像融合

異質(zhì)圖像融合方法及特點(diǎn)1）提高信息的可信度2）增加目標(biāo)特征矢量的維數(shù)3）提高獲得信息的效率4）提高了系統(tǒng)的容錯(cuò)能力第26頁，共29頁，2023年，2月20日，星期三

8.4.3異質(zhì)圖像融合

異質(zhì)圖像融合應(yīng)用1）醫(yī)學(xué)圖像融合應(yīng)用

CT圖像NMR圖像PCA算法融合YUV法小波融合第27頁，共29頁，2023年，2月20日，星期三

8.4.3異質(zhì)圖像融合

2）IR