基于視覺(jué)信息保真度的融合圖像質(zhì)量評(píng)價(jià)方法(共15頁(yè))

1、精選優(yōu)質(zhì)文檔-傾情為你奉上基于視覺(jué)信息保真度的融合圖像質(zhì)量評(píng)價(jià)方法張勇*,1,2，余宏生，金偉其11（1 北京理工大學(xué)光電學(xué)院，北京 ）（2 軍械技術(shù)研究所，河北 石家莊 ）摘要：在假設(shè)圖像源符合高斯尺度混合模型前提下，將圖像融合算法視為圖像信號(hào)增強(qiáng)通道，考慮人眼視覺(jué)內(nèi)部神經(jīng)元噪聲特性，建立了一種基于視覺(jué)信息保真度的融合圖像質(zhì)量客觀評(píng)價(jià)模型。采用該方法對(duì)不同融合算法獲得的融合圖像進(jìn)行了性能驗(yàn)證，實(shí)驗(yàn)結(jié)果表明該算法能對(duì)融合圖像質(zhì)量進(jìn)行正確評(píng)價(jià)，相比于傳統(tǒng)方法其客觀評(píng)價(jià)結(jié)果與主觀評(píng)價(jià)結(jié)果更具有一致性。關(guān)鍵詞：圖像融合；評(píng)價(jià)；高斯尺度混合模型；視覺(jué)信息保真度中圖分類號(hào)TP391.4 文獻(xiàn)標(biāo)識(shí)碼 AF

2、usion Image Quality Assessment Method Based on Visual Information FiedityZHANG Yong*,1,2, YU Hong-sheng1, JIN Wei-qi1(1 School of Optoelectronics, Beijing Institute of Technology, Beijing )(2 Mechanical Engineering Institute, Heibei, Shijiazhuang, Hebei )Abstract: Based on the assumption that the im

3、age sources meet GSM model is correct and image fusion algorithm is regarded as image signal enhancement channel. And considering human visual noise characteristics within neurons, FVIF objective quality assessment model is established. The experiment indicated that the method can evaluate fusion im

4、age quality correctly and its objective evaluation results are more consistent with subjective evaluation results than traditional methods.Keywords: Image Fusion; Assessment; Gaussian Scale Mixture (GSM); Visual Information Fiedity (VIF)1 引言圖像融合技術(shù)為解決單一圖像來(lái)源成像機(jī)理、天候環(huán)境、光學(xué)系統(tǒng)等因素限制，將不同傳感器獲取的信息進(jìn)行有效綜合和集成，一定程

5、度上提高了圖像承載信息量和空間圖像分辨率，拓展了圖像應(yīng)用范圍。針對(duì)圖像融合系統(tǒng)開(kāi)展融合圖像質(zhì)量評(píng)價(jià)方法研究，不僅可比較各個(gè)融合算法的性能優(yōu)劣，還可根據(jù)融合效果對(duì)算法進(jìn)行改進(jìn)和完善，具有重要的指導(dǎo)意義和參考價(jià)值1。融合圖像質(zhì)量客觀評(píng)價(jià)方法用可定量分析的數(shù)學(xué)模型表達(dá)人對(duì)圖像的主觀感受，再經(jīng)各種計(jì)算得到圖像質(zhì)量評(píng)價(jià)指標(biāo)。歸納近年來(lái)融合圖像客觀評(píng)價(jià)方法大致可分為四類。第一類是基于全像素統(tǒng)計(jì)理論的評(píng)測(cè)方法。該評(píng)測(cè)方法完全忽略人眼視覺(jué)特性對(duì)圖像質(zhì)量評(píng)測(cè)結(jié)果的影響，算法實(shí)現(xiàn)雖然簡(jiǎn)單，但評(píng)測(cè)結(jié)果常與人的主觀感受相偏離2。第二類是基于信息理論的評(píng)測(cè)方法。該方法雖然克服了全像素統(tǒng)計(jì)理論中主觀賦權(quán)的局限性，根據(jù)熵、

6、交互信息量等評(píng)價(jià)指標(biāo)的差異程度來(lái)修正權(quán)重，但仍和主觀評(píng)價(jià)結(jié)果存在較大差異3。第三類是基于人眼視覺(jué)系統(tǒng)（Human Visual System，HVS）仿生理論的評(píng)測(cè)方法。該方法模仿人眼對(duì)像素層絕對(duì)差值的認(rèn)知機(jī)制，通過(guò)掩蓋低于人眼感知能力的差異修正評(píng)測(cè)結(jié)果，從原理上較好的體現(xiàn)了人眼對(duì)圖像質(zhì)量的感知機(jī)制，但由于目前對(duì)人眼視覺(jué)感知機(jī)制認(rèn)識(shí)的局限性，且仿生模型的實(shí)現(xiàn)又非常復(fù)雜，模型性能和上述兩種方法相比不具有明顯的優(yōu)越性4。第四類是以結(jié)構(gòu)相似度（Structure Similarity，SSIM）為代表的基于特征參數(shù)的評(píng)測(cè)方法。該方法利用人眼視覺(jué)機(jī)制特點(diǎn)，通過(guò)設(shè)計(jì)和檢測(cè)能典型代表圖像特性的單個(gè)或多個(gè)特

7、征參數(shù)來(lái)體現(xiàn)圖像質(zhì)量，算法實(shí)現(xiàn)簡(jiǎn)便，具有較好的應(yīng)用前景5。 收稿日期：2011年-月-日；收到修改稿日期：2011年-月-日作者簡(jiǎn)介：張勇（1974- ），男，博士生，工程師，主要從事融合圖像質(zhì)量評(píng)價(jià)方面的研究。Email：bit余宏生（1968- ），男，博士生，副教授，主要從事圖像拼接方面的研究。Email：yhs99981導(dǎo)師簡(jiǎn)介：金偉其（1960- ），男，博士，教授，主要從事微光與紅外成像技術(shù)方面的研究。Email：jinwq *通信聯(lián)系人。E-mail: bit本文基于視覺(jué)信息保真度（Visual Information Fiedity，VIF）評(píng)價(jià)方法，通過(guò)建模人眼視覺(jué)失真通道和

8、信號(hào)失真通道，提出了基于視覺(jué)信息保真度的圖像融合質(zhì)量客觀評(píng)價(jià)指標(biāo)（Fusion Visual Information Fiedity，F(xiàn)VIF），首先介紹VIF圖像質(zhì)量評(píng)價(jià)模型，然后給出了FVIF的構(gòu)造方法和參數(shù)估計(jì)，最后利用不同融合算法獲得的融合圖像進(jìn)行了算法驗(yàn)證，實(shí)驗(yàn)結(jié)果顯示FVIF與主觀評(píng)價(jià)具有一致性。 2 VIF圖像質(zhì)量評(píng)價(jià)模型VIF最初應(yīng)用于自然感圖像質(zhì)量評(píng)價(jià)，依賴于自然場(chǎng)景統(tǒng)計(jì)模型、圖像信號(hào)失真通道和人眼視覺(jué)失真模型。VIF評(píng)價(jià)模型需滿足以下假設(shè)：（1）圖像源的統(tǒng)計(jì)分布滿足GSM模型；（2）圖像小波域系數(shù)不相關(guān)，各小波子帶相互獨(dú)立；（3）人眼視覺(jué)失真解釋為內(nèi)部神經(jīng)元的噪聲特性；（4

9、）輸入信號(hào)（參考圖像系數(shù)）和輸出信號(hào)（失真圖像系數(shù)）均已知6。圖1是VIF評(píng)價(jià)模型示意圖。圖1 VIF評(píng)價(jià)模型 Fig.1 VIF assessment model模型中假設(shè)輸入圖像、圖像失真通道、失真圖像模型均是精確的，利用I(C;E|z)和I(C;F|z)分別表示人眼能夠理想的從輸入圖像和失真圖像特定子帶中提取的信息。I(C;E|z)解釋為輸入圖像信息內(nèi)容，I(C;F|z)解釋為輸入圖像和失真圖像的互信息值。該值在視覺(jué)上從失真圖像相對(duì)于輸入圖像中出現(xiàn)的信息內(nèi)容中提取，由于各小波子帶相互獨(dú)立，則兩種信息測(cè)量的比例能夠擴(kuò)展到多個(gè)子帶，I(Cr;E|zr)和kkkI(Crk;Fk|zrk)分別是

10、第k個(gè)子帶相應(yīng)的互信息測(cè)量，其中k是子帶數(shù)，VIF指標(biāo)可表示為：VIF=I(Ck=1Kk=1Kkrkr;Fk|zrk)， （1）I(C3 FVIF評(píng)價(jià)模型;Ek|zrk)用于融合圖像質(zhì)量評(píng)價(jià)的VIF模型如圖2。不失一般性，假設(shè)輸入源圖像分別為可見(jiàn)光圖像和紅外圖像，輸入源圖像分別經(jīng)過(guò)信息增強(qiáng)通道cs1,c s2生成融合圖像，經(jīng)人眼視覺(jué)通道后，輸入源圖像信息內(nèi)容可表示為I(Csk1;Esk1|zsk1)和I(Csk2;Esk2|zsk2)，輸入源圖像與融合圖像之間的互信息值可表示為I(Csk1;Fk|zsk1)和k)。 I(Csk2;Fk|zsk2)，可見(jiàn)光圖像與紅外圖像之間的互信息值表示為I(C

11、ek1,o;Cek2,o|zoi3.1 圖像GSM模型小波域高斯尺度混合（Gaussian scale mixture, GSM）模型用一個(gè)隨機(jī)場(chǎng)來(lái)描述圖像小波系數(shù)分布, 該隨機(jī)場(chǎng)由一個(gè)高斯隨機(jī)場(chǎng)和一個(gè)尺度隨機(jī)變量構(gòu)成。設(shè)輸入圖像符合GSM分布，則可從圖像小波子帶的不重疊塊中提取小波系數(shù)c，隨機(jī)向量c可表示為零均值高斯向量u和獨(dú)立正尺度隨機(jī)因子和紅外圖像的小波系數(shù)cs1,cs2可分別表示為：z的乘積7?？梢?jiàn)光圖像（2） cs1=zs1us1，（3） cs2=zs2us2，式（2），（3）中，“=”表示具有相同的分布，us1，us2為零均值的高斯向量，zs1，zs2是獨(dú)立的標(biāo)量隨機(jī)變量。向量cs

12、1，cs2具有相同的協(xié)方差結(jié)構(gòu)Cs1,m,Cs2,m，每一個(gè)子帶的小波系數(shù)被分成M個(gè)不重疊塊。由于塊不重疊，當(dāng)乘數(shù)zs1，zs2已知時(shí)，塊內(nèi)系數(shù)之間的相關(guān)性可通過(guò)協(xié)方差矩陣Cs1,m,Cs2,m建模。圖2 基于FVIF的融合圖像質(zhì)量評(píng)價(jià)模型 Fig.2 FVIF-based fusion image quality assessment model3.2 圖像增強(qiáng)模型將圖像融合算法視為圖像信號(hào)增強(qiáng)通道。融合圖像可視為圖像源小波域信號(hào)cs1，cs2在增益gs1，gs2作用下的輸出信號(hào)與附加噪聲v疊加：（4） d=gs1cs1+gs2cs2+v，其中d為融合圖像相應(yīng)子帶的隨機(jī)向量場(chǎng)，gs1，gs2

13、表示確定的標(biāo)量增益場(chǎng)，v是獨(dú)立的零均值白噪聲2場(chǎng)，協(xié)方差矩陣滿足Cv=vI。3.3 人眼視覺(jué)失真模型人眼視覺(jué)失真模型主要考慮人眼內(nèi)部神經(jīng)元的噪聲作用，將其建模為固定零均值附加白高斯噪聲：（5） es1=cs1+n，（6） es2=cs2+n，f=d+n， （7） 其中es1，es2和f分別表示人眼視覺(jué)感知輸入圖像和融合圖像相同小波子帶的隨機(jī)系數(shù)向量；n表示在2小波系數(shù)中獨(dú)立的白高斯噪聲，其協(xié)方差矩陣滿足Cn=nI。3.4 圖像源互信息模型在計(jì)算輸入圖像信息內(nèi)容時(shí)，圖像源的互信息被重復(fù)疊加，因此須在信息總和中剔除輸入圖像源互信息8。設(shè)輸入圖像源重疊區(qū)域分別為cs1,o,cs2,o，則：（8） c

14、s1,o=gocs2,o+vo，2其中g(shù)o是確定的標(biāo)量增益場(chǎng)，o是獨(dú)立的零均值白噪聲場(chǎng)，其協(xié)方差矩陣滿足Co=oI。有：（9） es1,o=cs1,o+n，es2,o=cs2,o+n， （10）其中es1,o,es2,o分別是人眼視覺(jué)感知兩幅輸入圖像重疊區(qū)域相同小波子帶的隨機(jī)系數(shù)向量。圖3是圖像源互信息計(jì)算模型。圖3 圖像源互信息模型Fig.3 Mutual information model of image sources4 FVIF評(píng)價(jià)指標(biāo)令Cs1=ca1,ca1,.,caN,Cs2=cb1,cb1,.,cbN表示隨機(jī)向量場(chǎng)cs1,cs2的N個(gè)實(shí)現(xiàn)集合。這些向量從小波子帶不重疊的系數(shù)塊中

15、提取，利用（2）至（7）中的d,es1,es2,f,co,es1,o,es2,o定義D,Es1,Es2,F,Co,Es1,o,Es2,o，且令Zs1=za1,za1,.,zaN,Zs2=zb1,zb1,.,zbN,，同時(shí)假設(shè)模型參數(shù)22均已知，由于協(xié)方差矩陣Cs1,u,Cs2,u,Co,u對(duì)稱，可將其改寫成對(duì)角矩陣形式，對(duì)角線gs1,gs2,go,v2,o,n上的一組特征值分別定義為a1,a2,.,aM,b1,b2,.,bM,o1,o2,.,oM。對(duì)于可見(jiàn)光圖像，給定Zs1，則Cs1和Es1之間的信息內(nèi)容為式（11），其中h(c)表示連續(xù)隨機(jī)向量的熵微分：I(Cs1;Es1|zs1)=I(ca

16、i;eai|zai)i=12zaiCs1,m+nIzaiai11NM=h(cai+ni|zai)-h(ni|zai)=log2()=log(1+)2222|I|2i=1i=1i=1j=1nnNNN， （11）同理對(duì)于紅外圖像，有：z1NMI(Cs2;Es2|zs2)=I(cbi;ebi|zbi)=log2(1+bi2bi)， （12）2i=1j=1ni=1N根據(jù)式（4），對(duì)于融合圖像和可見(jiàn)光圖像的互信息可表示為：d=gs1cs1+gs2cs2+vI(Cs1;Fs1|zs1)=h(gaicai+gbicbi+vi+ni|zai)-h(gbicbi+vi+ni|zai)i=1N=gzaj1log(

17、1+2g2z+(2+2)2i=1j=1bibibjv,inNM2aiai， （13）類似的，對(duì)于融合圖像和紅外圖像的互信息可表示為：2gbizbibj1NM（14） I(Cs2;Fs2|zs2)=log2(1+2)，222i=1j=1gaizaiaj+(v,i+n)根據(jù)式（8）至（10），可見(jiàn)光與紅外圖像的互信息可表示為：2goizoioj1NMI(Ce1,o;Ce2,o|zoi)=log2(1+2)， （15）22i=1j=1o,i+n由于各小波子帶互相獨(dú)立，將互信息擴(kuò)展到K個(gè)子帶求和，即得出融合圖像質(zhì)量評(píng)價(jià)指標(biāo)FVIF，式（16）kkkkkk中K是子帶數(shù)，I(C;E|z)和I(C;F|z)

18、分別是第k個(gè)子帶對(duì)應(yīng)的互信息測(cè)量值：FVIF=I(Ck=1Kks1;Fk|zsk1)+I(Csk2;Fk|zsk2)， （16）I(Ck=1Kks1k;Esk1|zsk1)+I(Csk2;Esk2|zsk2)-I(Cek1,o;Cek2,o|zoi)若可見(jiàn)光圖像與紅外圖像相等時(shí)，式（16）退化為VIF計(jì)算公式，只是由于輸入圖像完全相同，計(jì)算結(jié)果為VIF的2倍，可見(jiàn)式（16）是更普遍的計(jì)算圖像質(zhì)量的表達(dá)公式，可推廣至多源圖像融合計(jì)算過(guò)程。要完成FVIF算法，必須分別對(duì)可見(jiàn)光圖像、紅外圖像和融合圖像進(jìn)行小波變換，然后將小波子帶劃分為不重疊的系數(shù)塊，從小波系數(shù)塊中提取小波系數(shù)構(gòu)成向量cs1,i,cs

19、2,i,co,i,di。協(xié)方差矩陣Cs1,m,Cs2,m,Co,m以及zri,zbi,zoi可利用小波系數(shù)塊中的小波系數(shù)進(jìn)行估計(jì)，由于圖像輸入和輸出均已知，gri,gbi,goi,v,i,o,i可采用線性回歸分析方法進(jìn)行估計(jì)。 5 實(shí)驗(yàn)分析實(shí)驗(yàn)圖像來(lái)源于美國(guó)麻省理工學(xué)院林肯實(shí)驗(yàn)室、荷蘭人力資源研究所、美國(guó)海軍研究生院在網(wǎng)絡(luò)上提供的可見(jiàn)光（微光）和紅外圖像。采用像素級(jí)圖像融合算法，包括取大平均法（MAX）、主成分分析法（PCA）、拉普拉斯金字塔（Laplacian Pyramid，LP）和離散小波變換（DWT）。圖4、圖5是采用上述融合算法獲得的融合圖像。由6名觀察者在相同設(shè)備和視角條件下給每幅

20、融合圖像評(píng)分，評(píng)分采用相對(duì)尺度，即由觀察者將一批圖像由好到壞進(jìn)行分類，在視覺(jué)無(wú)法確定兩幅圖像質(zhì)量?jī)?yōu)劣時(shí)，盡可能采用相同分?jǐn)?shù)以避免分?jǐn)?shù)的不確定性。主觀評(píng)價(jià)過(guò)程中要求測(cè)試者根據(jù)不同的融合圖像，從“目標(biāo)可探測(cè)性（Target Detectable Ability，TDA）”、“細(xì)節(jié)分辨能力（Details Resolvable Ability，DRA）”和“圖像整體舒適性（Whole Comfortable Ability，WCA）”等三個(gè)方面依次給出分值9-10。評(píng)價(jià)結(jié)果取三者均值（Average Score，AS），評(píng)分依據(jù)如表1。表2、表3是分別針對(duì)圖4、圖5獲得的FVIF指標(biāo)和主觀評(píng)價(jià)結(jié)果比

21、較，其中MI（Mutual Information，MI）又稱互信息，是兩個(gè)變量之間相關(guān)性的度量，或?yàn)橐粋€(gè)變量包含另一個(gè)變量信息量的度量。FMSSIM為利用空域SSIM評(píng)價(jià)方法獲得的評(píng)價(jià)指標(biāo)，實(shí)現(xiàn)方法是利用圖像塊標(biāo)準(zhǔn)差作為選擇參考圖像對(duì)應(yīng)位置圖像塊的判據(jù)，即如果輸入圖像A圖像塊a的標(biāo)準(zhǔn)差大于輸入圖像B對(duì)應(yīng)位置圖像塊b的標(biāo)準(zhǔn)差，選擇a作為參考圖像塊，反之選擇b。然后利用參考圖像和融合圖像進(jìn)行結(jié)構(gòu)相似度比較，從而獲得整幅圖像的FMSSIM評(píng)價(jià)結(jié)果11。分析表2、表3可知，MI指標(biāo)評(píng)價(jià)結(jié)果與主觀評(píng)價(jià)結(jié)果存在較大差異，雖然基于信息理論的評(píng)價(jià)方法克服了全像素統(tǒng)計(jì)理論主觀賦權(quán)的局限性，但受自然圖像內(nèi)容復(fù)雜

22、性和承載信息多樣性限制，圖像信息量變化能否真正反映人眼對(duì)圖像的理解程度還需進(jìn)一步探討。而FVIF指標(biāo)展示了與主觀評(píng)價(jià)結(jié)果較好的一致性。表1 相對(duì)評(píng)價(jià)尺度與分值Tab.1 Relative assessment metric and score value76 Good4 Fair32 Poor1MAX fused image PCA fused image LP fused image DWT fused image圖4 采用不同融合算法獲得的融合圖像Fig.4 Different fusion images by different fusion algorithms圖5 采用不同融合算法獲

23、得的融合圖像Fig.5 Different fusion images by different fusion algorithms表2 針對(duì)圖4的主觀評(píng)價(jià)與FIVF評(píng)價(jià)結(jié)果比較Tab.2 Comparison subjective evaluation result to FIVF metric with figure 4MAX PCA LP DWTMI 6.4173 1.6332 2.1948 2.2754FMSSIM 0.3544 0.1282 0.5858 0.5798表3 針對(duì)圖5的主觀評(píng)價(jià)與FIVF評(píng)價(jià)結(jié)果比較Tab.3 Comparison subjective evaluati

24、on result to FIVF metric with figure 5MAX PCA LP DWTMI 6.8660 5.2198 2.6427 2.8365FMSSIM 0.4602 0.1527 0.6714 0.6719FVIF 0.3695 0.2751 0.6974 0.6868TDA 7.1 3.4 8.2 8.4DRA 6.7 3.4 7.8 8.0WCA 8.5 6.7 7.4 7.5AS 7.4 4.5 7.8 8.0FVIF 0.3494 0.1319 0.5865 0.5763TDA 7.2 4.3 8.2 8.9DRA 4.5 3.1 8.7 8.8WCA 6.5

25、 3.2 6.4 6.9AS 6.1 3.5 7.8 8.26 結(jié)論不同的融合算法從不同角度解釋輸入源圖像，從而產(chǎn)生不同亮度、不同對(duì)比度、不同結(jié)構(gòu)特征的融合圖像。本文將圖像融合算法視為圖像信號(hào)增強(qiáng)通道，建立了一種基于視覺(jué)信息保真度的融合圖像質(zhì)量客觀評(píng)價(jià)模型，實(shí)驗(yàn)結(jié)果表明該算法能對(duì)融合圖像質(zhì)量進(jìn)行正確評(píng)價(jià)，具有主客觀一致性。應(yīng)該說(shuō)明的是，融合圖像質(zhì)量評(píng)價(jià)屬于圖像質(zhì)量評(píng)價(jià)范疇，但相比于圖像質(zhì)量評(píng)價(jià)，構(gòu)建通用、高效、客觀的融合圖像質(zhì)量評(píng)價(jià)指標(biāo)存在相當(dāng)大的難度，原因包括對(duì)人眼生理特性和心理特性建模的局限性，也包括實(shí)際應(yīng)用的融合系統(tǒng)往往帶有明顯的視覺(jué)任務(wù)或視覺(jué)目的，如何將明顯的主觀目的性引入到客觀評(píng)價(jià)指

26、標(biāo)中，還要對(duì)應(yīng)用于不同條件下的實(shí)際圖像融合系統(tǒng)進(jìn)行充分分析。但是，考慮到考核融合圖像質(zhì)量客觀評(píng)價(jià)指標(biāo)的重要依據(jù)是主客觀一致性，因此可深入開(kāi)展以下方面的研究，一是多種評(píng)價(jià)指標(biāo)的綜合利用；二是由單純的客觀評(píng)價(jià)方法逐步向主客觀結(jié)合的評(píng)價(jià)方法轉(zhuǎn)變。三是構(gòu)建面向具體任務(wù)的融合圖像評(píng)價(jià)指標(biāo)。參考文獻(xiàn)1 A TOET, E M FRANKEN. Perceptual evaluation of different image fusion schemes J. Displays, 2003, 24(1): 25-37. 2 崔巖梅, 倪國(guó)強(qiáng), 鐘堰利, 等. 利用統(tǒng)計(jì)特性進(jìn)行圖像融合效果分析及評(píng)價(jià)J. 北京

27、理工大學(xué)學(xué)報(bào), 2000, 20(1): 102-106. 3 V PETROVI. Subjective tests for image fusion evaluation and objective metric validation J. Information Fusion, 2007, 8(2):208-216.4 CHRIS HOWELL, RICHARD MOORE, STEPHEN BURKS, et al. An evaluation of fusion algorithms using image fusion metricsand human identification performanceC. Proc.