一種新的基于視覺信息保真度的圖像融合性能度量(1)

1、一種基于視覺信息保真度的新的圖像融合性能度量關(guān)鍵字：圖像融合評估，融合圖像質(zhì)量，視覺信息保真度，融合視覺信息的保真度摘要：主觀評價不適用于評估自動化系統(tǒng)，使用一個客觀圖像融合的性能指標(biāo)是評價不同的融合質(zhì)量的一種常用方法。在本文中，使用視覺信息保真度（VIF）的多分辨率圖像融合的度量標(biāo)準(zhǔn)是目前對融合效果的客觀評估標(biāo)準(zhǔn)。這種方法有四個階段：（1）源圖像和融合圖像被過濾并且分塊。（2）在每個無失真的信息塊中對視覺信息進(jìn)行評估。（3）融合的視覺保真度（VIFF）各子帶的計(jì)算。（4）整體質(zhì)量測量是由與每個子帶的VIFF的加權(quán)決定的。在我們的實(shí)驗(yàn)中提出的融合評估方法與現(xiàn)有的幾種由Petrovic提出用于主

2、觀測試數(shù)據(jù)集的融合指標(biāo)比較，我們發(fā)現(xiàn)就人類感知匹配和計(jì)算復(fù)雜性而言，VIFF會更好。1、 引言多個成像系統(tǒng)通常用于改善對復(fù)雜事件的位置的察覺，因?yàn)樗麄兛梢栽诓挥脕G失信息情況下捕捉事件，然后把來自于源圖像的有效視覺信息結(jié)合在一起而產(chǎn)生出高質(zhì)量的信息結(jié)果。這種結(jié)合的過程稱為融合，這是通過融合算法的實(shí)現(xiàn)。由于越來越多的融合方法在近年來被提出 1 ，評價融合算法的性能已成為一個重要的問題。評估融合性能的傳統(tǒng)方式是被一批訓(xùn)練有素的人來對融合圖像進(jìn)行主觀地評估，這需要大量的經(jīng)濟(jì)消費(fèi)，而且也不能用于自動系統(tǒng)。這就導(dǎo)致了融合的客觀度量成為主要焦點(diǎn)融合算法的性能，因?yàn)樗梢宰詣宇A(yù)測。由Qu等人提出的交互信息（M

3、I） 2 是對圖像融合最常用的客觀度量。hossny等人3修改了MI度量標(biāo)準(zhǔn)，并且提出了歸一化MI（NMI）度量標(biāo)準(zhǔn)。這兩個指標(biāo)都利用信息論并且證明這一理論的重要意義。Xydeas和Petrovic 4 提出了一種基于邊緣通過計(jì)算邊緣強(qiáng)度和方向融合圖像的融合性能測量QE。Xydeas的工作表明融合評估高性能。在圖像質(zhì)量評估性能中表現(xiàn)更好的結(jié)構(gòu)相似性指標(biāo)測量（SSIM） 8 被用來作融合性能的測量。例如，Piella 5 在每塊的源圖像和融合圖像之間利用加權(quán)SSIMS判定加權(quán)融合質(zhì)量（WFQ）和邊緣融合質(zhì)量指標(biāo)（EDFQI）。Cvejic等人6改進(jìn)了 Piella的研究并且確定了基于兩個源融合圖

4、像對之間的塊相似性。不像在Piella的工作中那樣考慮灰度與邊緣信息，楊等人 7 指標(biāo)在圖像中只集中在灰度信息。在楊的研究中，WFQ不是唯一一個用來預(yù)測融合性能的，而每個塊的最大SSIM在一定的條件下利用為加權(quán)值替代。陳和Varshney 9 提出了一種基于人類視覺系統(tǒng)（HVS）的新融合度量標(biāo)準(zhǔn)。采用的方法是對整個圖像用對比敏感度函數(shù)（CSF），然后使用以區(qū)域?yàn)榛A(chǔ)的區(qū)域空間信息傳遞。為他們的算法和使用不同類型的圖像融合評估他們的算法，陳和Varshney研究了最佳參數(shù)設(shè)置。陳和Blum 10 提出了一種基于HVS新的融合度量標(biāo)準(zhǔn)。他們的工作沒有依靠邊緣信息，而是根據(jù)在一種憑借經(jīng)驗(yàn)的CSF過濾

5、圖像中局部對比。他們使用夜視圖像測試集評估了他們度量標(biāo)準(zhǔn)，實(shí)現(xiàn)了高性能。由于圖像的融合方案的評價與圖像質(zhì)量有很大的相關(guān)性，圖像質(zhì)量的發(fā)展對融合指標(biāo)有很大的影響。本文描述了一種基于視覺信息保真度（VIF）新的圖像融合度量標(biāo)準(zhǔn)，具有高性能的圖像質(zhì)量預(yù)測。預(yù)測的性能和計(jì)算復(fù)雜度在度量標(biāo)準(zhǔn)上都有所改進(jìn)。第2節(jié)簡要介紹了VIF，第3節(jié)描述了融合度量算法的原理和框架。在第4節(jié)中探討了實(shí)驗(yàn)結(jié)果，把所提出的算法性能與一些在Petrovic的主觀測試數(shù)據(jù)庫中常用的融合度量標(biāo)準(zhǔn)做了比較11。最后，在第5節(jié)中得出結(jié)論。 2、視覺信息保真度的原理本節(jié)介紹的視覺信息的保真度，這是一個有效的基于自然場景統(tǒng)計(jì)（NSS）理論

6、的全參考圖像質(zhì)量度量。Vif的原理如圖1所示。如圖1，VIF首先把自然圖像分解為幾個子帶，又將每個子帶進(jìn)行分塊。然后，在每一個塊和每一個子帶的不同模型中，VIF通過計(jì)算交互信息來測量視覺信息。最后，圖像質(zhì)量值是通過所有的模塊和所有子帶整合視覺信息來測量的。在這里，VIF介紹三種模型測量視覺信息：高斯尺度混合（GSM）模型，畸變模型和HVS模型。GSM模型14,15在小波域的NSS模型。一個GSM是一個隨機(jī)的字段（RF），可以表示為兩個獨(dú)立RFS的結(jié)果：高斯尺度 13 ，這是表示作為 (1)在（1）中，Ci表示子帶中的參考信號的第i個RF(射頻);si是第i個隨機(jī)正標(biāo)量，Ui為第i個高斯矢量射頻

7、，方差為Cu。A GSM模型是一種特殊的像素機(jī)型，和射頻被認(rèn)為是一個本地的塊，在子帶中的像素集。因此，我們交替射頻塊，以幫助在下面的度量中了解其工作原理。 畸變模型是用來描述在何種程度上顯示失真算子可以干擾圖像。VIF采用的是信號衰減和相加噪聲扭曲模型。 Di =giCi + Vi其中，Ci表示第i個RF(射頻)的參考信號，與(1)具有相同的意思。這意味著為（1）和Di表示在測試圖像中的子帶對應(yīng)的射頻。 Gi表示由失真Eq決定的純量值。(2)，VI是一個平穩(wěn)的相加零均值高斯噪聲方差場。VIF的量化的HVS模型的影響的信號，即流過HVS。用 VIF，HVS來建模，相加組分中的信道的畸變。謝赫和B

8、ovik 13 標(biāo)志著這HVS視覺噪聲和失真模型作為一個固定的白相加零均值高斯噪聲在小波域。因此，在固定的射頻下，HVS噪聲可以建模為噪聲N，N， 這是零均值無關(guān)多元高斯次相同的維。 Ei=Ci + N Fi=Di + N=giCi + Vi;其中，在EI和FI表示的參考和測試的認(rèn)知輸出提取的圖像從腦，分別；他們是由轉(zhuǎn)移CI和DI通過HVS模型的一個子帶。VIF假設(shè)N和N是相同的協(xié)方差。 為了實(shí)現(xiàn)簡單的分析和計(jì)算，VIF假設(shè)N，N，UI，Si和VI是相互獨(dú)立的所有塊個子頻帶。VIF利用互信息I（CI，EI）來衡量HVS時的輸出信息，我們可以提取參照圖像來觀看。 另外，信息（CI，F(xiàn)I）是以同樣

9、的方式測量時，測試圖像被相同的方式觀察。 其中表示矩陣的行列式，我的身份是馬以Cu具有相同維數(shù)的矩陣。上面的討論僅考慮第i個射頻，在子帶信息的考慮，VIF它被定義為兩個信息比率，可以寫為 其中k和b代表子帶和塊指數(shù)（RF）分別;GK，b是標(biāo)量增益字段中的第b塊的上面的第k子帶，并且S，K，B和Cu相應(yīng)的定義。顯而易見的是，GK，b和Cu，BGI和SI的定義是廣義的，當(dāng)考慮多個個子頻帶。此實(shí)現(xiàn)的VIF是不完全一致的的理論。據(jù)估計(jì)，模型取代了理論模型在實(shí)踐中。例如，Su從局部方差估計(jì)通過式的最大似然（ML）準(zhǔn)則的基礎(chǔ)上的像素。其中，代表源圖像在BTH thekth子塊的標(biāo)準(zhǔn)方差，式（2）中可以通過

10、式（7）進(jìn)行近似計(jì)算?？梢酝ㄟ^式（8）進(jìn)行近似計(jì)算。其中代表源圖像和測試圖像在bth子塊的協(xié)方差。實(shí)際上， 被認(rèn)為是在實(shí)踐中的一個功能：將參考圖像（）和測試圖像（）作為輸入，評估價值作為輸出。因此，與源圖像和測試圖像的輸入輸出關(guān)系可以用式（9）表示。3、視覺信息保真度融合（VIFF）的性能指標(biāo)在VIF中，I(Ci，Ei)相當(dāng)于只考慮視覺噪聲情況下信號噪聲比(SNR)在一個環(huán)帶的電流空間位置，然而I(Ci ，F(xiàn)i)是另一個SNR在相同的位置且同時具有失真和視覺噪聲的副環(huán)帶。因此，VIF的原則可以被描述為以下四個步驟：第一，VIF參考圖像和測試圖像分成幾個子塊；第二，VIF在多尺度上選取局部空間信

11、噪比不失真信息的圖像；第三，VIF把他們加在一起得到所有的信息，這在不考慮畸變的情況下反映了對HVS的整體影響；第四，VIF評估圖像信息無失真的概率?？傊?，局部空間信噪比上的失真信息與在VIF模型下的圖像質(zhì)量直接相關(guān)。局部空間信噪比上的失真信息反映了在測試圖像上有多少視覺信息與參考圖像進(jìn)行比較。而“視覺信息”在這里被定義為HVS的一個好的視覺響應(yīng)?；谶@個想法，構(gòu)建一個融合指標(biāo)，其基本原理見圖2。融合指標(biāo)主要是測量融合圖像在源圖像中提取了多少“有效的視覺信息”(增強(qiáng)型)。其中“有效的視覺信息”被定義為所有的源融合圖像對中最大的視覺信息。在這個指標(biāo)中，VIF模型是用于從源融合圖像對中提取視覺信息

12、；EVI由從用失真信號作為一個指標(biāo)的VIF模型中選擇的視覺信息決定的。在我們的工作中，局部空間和光譜域中的EVI被定義為視覺信息融合。最后，度量值是通過把所有融合視覺信息組成融合指標(biāo)的過程中計(jì)算得到的。因?yàn)樵谌诤显u估問題中有很多圖像，我們假定I1，I2，.,In 為n個源圖像，IF是融合圖像。源圖像Ii和在bth子塊與kth子頻帶中的融合圖像IF 的不失真視覺信息(VIND)定義為式（10）。源圖像Ii和在某些子塊與子頻帶中的融合圖像IF 的失真視覺信息(VID)定義為式（11）.在式（10）和式（11）中，下標(biāo)b,k分別表示圖像的bth子塊和kth子頻帶。，和與VIF模型中的定義相同。VIN

13、D與VID的定義基本上與在VIF中的I(Ci，Ei)和I(Ci ，F(xiàn)i)相同，在融合指標(biāo)上稍有差異，計(jì)算VIF需要一個參考圖像，而融合問題中沒有參考圖像。因?yàn)槿诤蠁栴}參考圖像是未知的，作為輸入的源圖像替作參考圖像，融合圖像作為測試圖像。這種替換基于假設(shè)用于VIF中的I(Ci，Ei)（VIND）和I(Ci ，F(xiàn)i)（VID）反映與參考圖像進(jìn)行對比的測試圖像的視覺信息。因此，VIND和VID代表從源圖像提取的融合圖像的視覺信息。由于在融合問題中有很多源圖像，在融合圖像中首先要定義EIV（增強(qiáng)型）的來源。這里，一個標(biāo)量參數(shù)，被選中作為融合問題中EVI（增強(qiáng)型）的源指數(shù)。我們假設(shè)在kth子頻帶中的bt

14、h子塊融合圖像的EVI是從圖像中提取出來的?？梢愿鶕?jù)式（12）進(jìn)行計(jì)算。在式（12）中，指在以和作為輸入的中標(biāo)量增益的平方。Min是融合圖像的信息選擇原則。一個較小的意味著相對其他源圖像而言，從在kth子頻帶中的bth子塊ith圖像提取了大量的EVI。將源信息指數(shù)標(biāo)記為失真融合視覺（FVID）和無失真融合視覺信息（FVIND）作為EVI的參數(shù),在kth子頻帶中的bth子塊定義為如下形式：式（13）、（14）表示EVI選擇的融合算法。EVI的參數(shù)和表示局部空間和光譜域。在kth子頻帶中，融合估計(jì)的VIF記作，其表達(dá)式見式（15）。全球VIF通過在每個子頻帶中進(jìn)行加權(quán)計(jì)算得到VIFF的融合評估值：

15、其中，是加權(quán)系數(shù)。根據(jù)VIF理論，高VIF產(chǎn)生高質(zhì)量的測試圖像。因此，提高VIFF就能提高融合圖像的質(zhì)量。VIFF基于VIF，VIF模型的估計(jì)得到VIFF。在第二部分，在實(shí)踐中，以ML標(biāo)準(zhǔn)對，和進(jìn)行估計(jì)。這里，在VIFF中使用同樣的方法估計(jì)這些參數(shù)。和按照式（17）和式（18）進(jìn)行計(jì)算。其中，的近似計(jì)算為：在上面方程中，表示在kth子頻帶中的bth子塊中源圖像和融合圖像的協(xié)方差。在kth子頻帶中的bth子塊中，和分別代表源圖像和融合圖像的偏差?？傊?，VIFF算法用以評價有兩個已知源圖像的融合質(zhì)量，如下，分別表示兩個源圖像及融合圖像。圖像在i行j列上的像素值記著，其他的圖像和矩陣用相同的方法表示

16、。1、 初始化，4值數(shù)組2、檢查，的大小尺寸，假設(shè)其大小尺寸為M×N通過k構(gòu)建二維標(biāo)準(zhǔn)濾波器h，大小尺寸我P×K；3、4、5、6、7、 通過2降低圖像，和的采樣8、 這整個融合評估值是VIFF。9、 在中，濾波器h設(shè)置為高斯濾波器，它的大小和方差隨著k（副環(huán)帶指數(shù)）的增加而減小。在VIFF中使用了同樣的濾波器h。和為已知量，在下一小節(jié)中給出了。10、 第三步和第四步是VIF的主要步驟，因?yàn)閂IF通過在源代碼中使用卷積計(jì)算得到。VIFF在特定碼中的卷積得到應(yīng)用。4、 驗(yàn)證實(shí)驗(yàn)和討論對于現(xiàn)有的圖像融合度量算法的當(dāng)前比較還存在一些問題。比如說，的一些工作將它們的估計(jì)算法和讀者的主

17、觀判斷或其他常見的客觀圖像質(zhì)量評估方法作比較（例如PSNR）。它有如下局限性：1直接的主觀感知采用主觀的感知去評價一個融合度并不是精確的。一個精確而且準(zhǔn)確的直觀感知是要受到很多因素的影響的，比如說解釋的清楚性，觀察者的心情和學(xué)術(shù)背景。因此，不同的人對于同一個圖片的主觀感知會有很大的不同，通常情況下，主觀評價一個照片采用的都是ITU建議20中提出的方法。對于一個圖片來說，只有經(jīng)過了嚴(yán)格的主觀評定之后，才可以成為有價值的主觀評價。2. 使用一個參考指標(biāo)采用其他圖像的質(zhì)量度作為參考指標(biāo)，去評價融合度顯然是不可靠的。根據(jù)圖像質(zhì)量評估研究 16,18，一些經(jīng)常作為圖片質(zhì)量度量的參數(shù)（如峰值信噪比，信噪比

18、，熵）對于主觀感知也沒有一個很好地預(yù)測性能。因此，不存在適合作為參考指標(biāo)的圖像質(zhì)量度，因?yàn)樗鼈兌疾粔驕?zhǔn)確。3. 采用一個或多個圖像采用一個或多個圖像去評估融合度看起來是不合時宜的。根據(jù)VQEG17、18提出的質(zhì)量度比較的思想，圖像質(zhì)量評估算法只不過是一種統(tǒng)計(jì)的算法。因此，基于這種算法時，考慮樣本的大小是必須的。同樣的，在進(jìn)行融合樣本評價時，我們也需要一個大小合適的融合樣本。在我們的實(shí)驗(yàn)中，由于主觀感知對于融合度的評價有很大的影響，因此，我們采用了基于VQEG的大量樣本對比法。為了確定樣本的大小，采用了Petrovic提出的主觀測試數(shù)據(jù)庫對我們的度進(jìn)行了測試。這個數(shù)據(jù)庫是由151對注冊過的單色畫

19、所構(gòu)成的，這些單色畫來源于現(xiàn)實(shí)或虛擬條件下的不同傳感器。數(shù)據(jù)庫中的120對融合圖像都經(jīng)過了ITU建議方案的評價。主觀評價是通過投票進(jìn)行測量的，比如說對于兩幅圖片，投票的選項(xiàng)有“圖片1優(yōu)先”、“圖片2優(yōu)先”、“兩者都優(yōu)先”三個。測試過程的細(xì)節(jié)描述可以在其他文獻(xiàn)中找到。對于每一個融合圖像對，根據(jù)Petrovic的構(gòu)思，對于每一個融合圖像來說，它們的主觀優(yōu)先權(quán)S表示如下：式（20）圖片1優(yōu)先意味著圖片1獲得的票數(shù)最多，類似的，客觀優(yōu)先權(quán)用O來表示如下，它的值依賴于每對融合圖片的客觀度，式（21）Q1和Q2是對兩個圖片（方案1和方案2）的度量數(shù)值，當(dāng)操作結(jié)果大于預(yù)測值時，意味著度量結(jié)果顯示圖片1的優(yōu)先

20、權(quán)比較高。由于指標(biāo)的范圍是連續(xù)的，所以Q1和Q2之間的精確的相等時不可能的。而Q1與Q2近似相等時定義在Q1、Q2之間的絕對誤差小于0.001的情形。在Petrovic的理論中，主觀相關(guān)性（SR）和正確的排名（CR）這兩個性能指標(biāo)可以客觀的進(jìn)行融合度的對比。SR用來預(yù)測主觀和客觀結(jié)果之間的相關(guān)性，在我們的理論中，SR被定義為如下表示：（式22）對于融合圖片組i來說，Qi是客觀指標(biāo)中的選擇向量，Si是主觀偏好向量,Ti是該融合圖像組的主觀投票向量的歸一化。比如說，一個主觀投票是4,10,1,那么它歸一化的投票向量T就是4/15，10/15，1/15。E是一個特殊的主觀偏好向量，它對每一個選項(xiàng)都有

21、相同的偏好（最糟糕的情況是）：E=1/3，1/3，1/3。SR的值域是0,1.CR反映的是融合度的預(yù)測精度和單調(diào)性。它首先是計(jì)算主觀和客觀排名相同的圖像對的數(shù)目，然后計(jì)算出它們在所有的圖像對中的比例： 在這個公式里面，N是圖片對的總數(shù)。 伴隨著SR和CR的增加，圖片融合度的預(yù)測性能將會提高。4.1 參數(shù)的選擇為了確定式子10中的Pk，我們對VIFF中CR的選擇采用Petrovic數(shù)據(jù)庫中的確定最優(yōu)算法。通過100次的實(shí)驗(yàn)，我們發(fā)現(xiàn)只有當(dāng)P在0.465, 0.070,0.465的時候，才會得到VIFF中的四個子帶的最高CR.。根據(jù)式子12,13，視覺噪聲經(jīng)常選擇為0.1，（此時的圖像比例為0-1

22、）。由于VIFF和VIF并不總是相同的，所以我們測量VIFF中受影響參數(shù)。在實(shí)驗(yàn)中，的改變時從0.001到0.5的，且間距為0.001。CR被看作為的偏好指數(shù)，主要的結(jié)果如圖3所示：在圖3中，X軸是，變化范圍為0.001到0.5，（圖像比例為0-1），Y軸是CR?；趫D3中所顯示的結(jié)果，當(dāng)?shù)娜≈捣秶?.004,0.006的時候，VIFF具有較高的預(yù)測性能。視覺噪聲對于VIFF的影響與其對VIF的影響是不同的，因?yàn)閂IFF中經(jīng)常使用EVI指數(shù)原理。由于VID和VIND是由不同的數(shù)據(jù)信息構(gòu)建的（或者說是相反的），采用較低的作為EVI的指數(shù)的原則致使VID和VIND的增加。換句話說，視覺信息相對來

23、說將減少。為了改變VID和VIND之間的相反關(guān)系，在VIFF中采用較低的視覺噪聲。在我們的實(shí)驗(yàn)中，的取值為0.005。4.2 主要的結(jié)果及分析 在這個論文中，我們采用了Peetrovic的數(shù)據(jù)庫來計(jì)算融合評價指標(biāo)SR和CR。結(jié)果如表1所示。在我們的實(shí)驗(yàn)中，基于SSIM的度量和Xbdeas和Petrovic提出的傳統(tǒng)度量的運(yùn)作不同。在CR上，Blum的度量顯示出了比更好的預(yù)測性，然而SR卻比中的低。在我們的實(shí)驗(yàn)中，VIFF的準(zhǔn)確率達(dá)到了95/120。很明顯的證明了，采用Petrovic的數(shù)據(jù)庫，VIFF可以獲得相對于其他的融合估計(jì)都要大的SR和CR，這就證明了它在圖像融合估計(jì)上的優(yōu)越性。 然而，

24、仍然有25個錯誤的融合圖像。我們認(rèn)為造成錯誤的原因是Petrovic數(shù)據(jù)庫中的一些圖像源不符合自然景象統(tǒng)計(jì)的條件。VIFF依靠于GSM模式，這是一種用來模擬自然景象統(tǒng)計(jì)的方法。根據(jù)自然景象統(tǒng)計(jì)理論，自然景象圖片主要的特征是其系數(shù)分布是一個冪分布。Petrovic數(shù)據(jù)庫中的一個自然場景樣品圖片如下圖4所示。在圖4是一個包含天然場景的航拍照片。在圖4中，圖像（a）（b）是必須要被融合的兩種不同的源圖像。圖像（a）（b）分別是圖像（a）（b）的系數(shù)。在曲線（a）中，x軸和y軸分別代表著曲線值及其發(fā)生的概率，曲線（b）類似。很明顯系數(shù)分布是冪分布。對于Petrovic數(shù)據(jù)庫中的高光譜圖像，如圖片5所示

25、，圖片的曲線分布并不滿足冪分布的要求。在圖片5中，圖像（a）（b）是必須要被融合的兩種不同的源圖像。圖像（a）（b）分別是圖像（a）（b）的系數(shù)。在曲線（a）中，x軸和y軸分別代表著曲線值及其發(fā)生的概率，曲線（b）類似。這種曲線分布不是冪分布。因此，假設(shè)自然圖像統(tǒng)計(jì)模型變得不可靠。所以,VIFF也許不能夠進(jìn)行合理的假設(shè)，VIFF的融合假設(shè)在圖4中是正確的，但是在圖5中確是失敗的。根據(jù)我們的實(shí)驗(yàn)，VIFF在自然場景中有很好的預(yù)測性能，但是在非自然場景中其預(yù)測性能未必好。因此，未來的研究應(yīng)該著眼于這些不自然圖像的建模。4.3 時間復(fù)雜度的討論和分析預(yù)測能力不是我們考慮的唯一標(biāo)準(zhǔn)。計(jì)算復(fù)雜性設(shè)計(jì)到實(shí)

26、時處理。由于物理內(nèi)存和其他硬件變得比以前任何一個時候都要便宜，空間復(fù)雜度問題似乎可以直接通過改善硬件來解決。因此，在我們的工作中，只有討論時間復(fù)雜度問題。由于數(shù)字圖像都是有矩陣模擬的，所以融合性能算法經(jīng)常是由一個復(fù)合矩陣的運(yùn)算來實(shí)現(xiàn)。執(zhí)行一個矩陣操作的時間依賴于矩陣迭代的次數(shù)，而一個算法的計(jì)算負(fù)擔(dān)很大程度上是由它所包含的最多的迭代或重復(fù)次數(shù)決定的。常見的操作（如Hadamard運(yùn)算結(jié)果的附加運(yùn)算）相對于高復(fù)雜操作（如基于迭代的操作，卷積的傅里葉）具有較少的計(jì)算負(fù)擔(dān)。因此，對于算法來說，高的復(fù)雜操作導(dǎo)致了一個高的運(yùn)算負(fù)擔(dān)?；谝陨系姆治?，我們測試一個融合度的計(jì)算負(fù)擔(dān)采用以下三個步驟：1. 基于融

27、合度的原則，將其分為多個部分；根據(jù)我們的研究，每一個度量算法都可以看作為SSIM計(jì)算、邊緣計(jì)算、CSF濾波運(yùn)算和對比度計(jì)算的組合。有些展開有塊局部計(jì)算的時候受到了限制，但是大多數(shù)的算法是通過覆蓋局部塊計(jì)算（或卷積）。自然景象圖片（a和b）和它們的曲線分布（a和b）（Petrovic的數(shù)據(jù)庫中的第二十三個樣本）。在a和b中，X軸代表系數(shù)，Y軸代表發(fā)生的概率。非自然景象圖片（a和b）和它們的曲線分布（a和b）（Petrovic的數(shù)據(jù)庫中的第五十個樣本）。在a和b中，X軸代表系數(shù)，Y軸代表發(fā)生的概率。2. 如果本地塊（UCLBC）存在，在此次過程中將其轉(zhuǎn)化為覆蓋局部塊計(jì)算（CLBC）;局部塊計(jì)算（L

28、BC）是一種基于塊特征的提取圖片局部信息的通用技術(shù)。如果圖片的每一個像素都是一個塊中心，它被定義為一個有蓋的局部塊計(jì)算（CLBC），因?yàn)閴K中心與相鄰的塊之間發(fā)生了交。然而，無蓋的局部塊計(jì)算（UCLBC）是因?yàn)闆]有交集。因此，UCLBC計(jì)算所消耗的時間要比CLBC所消耗的時間少，因?yàn)橛休^少的像素需要處理。圖6描述的是當(dāng)塊的大小為3*3時，有蓋局部塊計(jì)算和無蓋局部塊計(jì)算之間的差異。圖6 覆蓋局部塊和裸露局部塊的塊大小為3*3原則注意，CLBC可以被編程為單個的或者多個的卷積運(yùn)算的組合，其時間消耗和圖像的大小成正比。UCLBC可以先轉(zhuǎn)化為CLBC，然后采樣，然而它的有效計(jì)算是等同于CLBC在采樣樣本

29、下的計(jì)算量。因此，UCLBC的時間消耗量等于CLBC在采樣圖片下的時間消耗量；通過塊中的信息細(xì)節(jié)和其消耗來決定下載圖片。3. 計(jì)算每一個CLBC度量中需要的高復(fù)雜度運(yùn)營商的最小數(shù)目正如上文所述，SSIM計(jì)算、邊緣計(jì)算、對比度計(jì)算和CSF濾波運(yùn)算等是許多融合度量的公用部分。根據(jù)論文8，一個SSIM計(jì)算至少需要5次卷積操作。一個邊緣操作要求有2次卷積操作（水平和垂直Sobel算子），而對比運(yùn)算，也可以通過其定義的卷積組合實(shí)現(xiàn)。我們相信工作在頻譜空間需要傅里葉變化的CSF濾波器運(yùn)算消耗的時間和卷積運(yùn)算的時間是相同的。否則，由于頻譜濾波之間的一致性和空間卷積將會導(dǎo)致計(jì)算的改變。最后，伴隨著度量運(yùn)算中高

30、度復(fù)雜運(yùn)營（或卷積）商數(shù)目的減少，度量執(zhí)行的就會越快。以下是用度量來分析兩個源圖像融合問題的例子：對于Piella的度量（1） 生成所有的輸入和融合圖像的邊緣圖。因?yàn)橥ㄟ^卷積圖片的水平和垂直Sobel，可以計(jì)算邊緣圖片，在邊緣計(jì)算中需要通過六次卷積操作（2次卷積*3幅圖片）。（2） 利用SSIM度量計(jì)算WFQ。由于一個SSIM要進(jìn)行五次卷積運(yùn)算，因此對于4個SSIM來說，要進(jìn)行20次卷積運(yùn)算。（3） 減去在SSIM計(jì)算中的4次重復(fù)計(jì)算（對于融合圖像），搞復(fù)雜度的運(yùn)營商總數(shù)是22。對于布魯姆度量：（1）通過CSF融入圖像（在光譜空間）。這種操作等同于一次高度復(fù)雜操作（2）局部塊對比運(yùn)算（對于每一

31、個圖像）要求6次卷積運(yùn)算（2次卷積*3個圖像）。（3）由于余下的操作不是高度復(fù)雜運(yùn)算，高度復(fù)雜運(yùn)算的總數(shù)是7。對于我們的度量：（1）將這個圖像被過濾出了4個子帶，隨著子帶的變化，采樣最終得到2個樣本。另外，每個頻段有6次卷積運(yùn)算。（2）由于減采樣降低了圖像面積，高度復(fù)雜操作的總數(shù)是6*（1+1/4 +1/16+1/64）。表2顯示了高度復(fù)雜的運(yùn)營商在每次融合度量中使用的數(shù)字。需注意，這種想法不適用于分析Qu 和Hossny 的方法，因?yàn)檫@不是基于LBC的運(yùn)算程序。很明顯，VIFF的計(jì)算量要比平均水平低，因?yàn)槿诤隙攘恐羞\(yùn)用了減采樣的方法?？紤]到此度量的高度預(yù)測性，這種執(zhí)行時間是可接受的。盡管這種

32、方法不是進(jìn)行復(fù)雜分析的一種縝密方式，并且只給出了融合度量的一個最接近的估計(jì)值，我們認(rèn)為這仍不失為一種在比較大部分的融合度量的時間復(fù)雜性時的一種有效方法。因?yàn)檫@種方法依賴于LBC在圖像處理中被廣泛應(yīng)用的事實(shí)。我們亦認(rèn)為它很可能被擴(kuò)展應(yīng)用于基于LBC的計(jì)算程序的時間復(fù)雜性分析。5總結(jié) 本文中提出了一種新的信息融合度量方式,即VIFF。VIFF首先分解圖像和融合圖像，然后VIFF利用VIF（GSM模型、失真模型、和HVS模型）中的模型從兩個源融合對中獲取視覺信息。利用有效視覺信息指數(shù)，VIFF測量每一個子帶中所有塊的有效的視覺信息的融合。最后，通過組合所有子帶的信息，計(jì)算出最終的評估結(jié)果。為了清楚評

33、估度量的性能，在Petrovic的主觀測試數(shù)據(jù)庫上進(jìn)行了一次實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，VIFF具有很好的預(yù)測性能。更重要的是，根據(jù)我們的分析，VIFF相對于其他傳統(tǒng)的融合度量，具有較低的計(jì)算復(fù)雜度。我們相信，在將來，我們的工作會為更可靠的融合度量做出貢獻(xiàn)。致謝感謝編輯和匿名審稿人的建議和意見。這項(xiàng)工作得到了中國國家自然科學(xué)基金（61004088），上?？莆?9JC1408000）和國家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃（973計(jì)劃：6131010306）基金重大基礎(chǔ)研究。參考文獻(xiàn)1M.I.Smith, J.P.Heather，圖像融合技術(shù)在2005年的回顧，國際光學(xué)工程學(xué)會會議記錄，2005,29-452G.H.Qu，D.L.Zhang，P.F.Yan，圖像融合性能的信息測度，Electronics Letters, (2002),313-3153M.Hossny, S.Nahavandi, D.Creighton, 圖像融合性能的信息測度的意見，Electronics Letters (2008),1066-10674C.S.Xydeas, V.Petrovic, 目標(biāo)圖像融合性能的測度，Electronics Letters（2000）308-3095G.Piella，圖像融合質(zhì)量度量之新方法，國際圖像處理大會會議記錄，2003,173-1766N.Cvejic, A