基于視覺幾何失真和信息丟失的重定向圖像的客觀質量評價

1、基于視覺幾何失真和信息丟失的重定向圖像的客觀質量評價Chih-Chung Hsu, Chia-Wen Lin, Senior Member, IEEE, Yuming Fang, and Weisi Lin, Senior Member, IEEE摘要：圖像重定向技術旨在獲得可以適應不同尺寸或寬高比顯示屏的重定向圖像。最近，各種各樣的內容識別圖像重定向算法相繼問世。然而，卻沒有一個客觀有效的標準來評價重定向圖像的視覺質量。該論文中，我們提出了一種全新的全參考客觀標準來評價重定向圖像的視覺質量，該標準基于視覺幾何失真和信息丟失。該標準利用一幅圖像的SIFT流矢量場的局部變化來衡量一個重定向圖像的

2、幾何失真。而且我們引用了顯著圖來模擬人類視覺系統(tǒng)對幾何失真的感知。另外，這個標準同樣考慮到了重定向圖像的信息丟失問題，并采用了顯著圖來進行評估。我們的實驗結果表明，這個客觀標準與主觀評級有著良好的一致性。關鍵詞：幾何失真，圖像重定向，質量測評，質量評價，SIFT流1. 引言終端設備的異質性帶來了很多新的問題，其中之一就是我們需要重新設置圖像的尺寸來適應不同設備上的不同顯示方案。一個傳統(tǒng)的方法就是用均勻的減像素采樣來調整圖像的尺寸。然而這個方法可能會使一些顯著目標變得太小從而導致糟糕的視覺效果。另一種傳統(tǒng)方法就是圖像剪裁，該方法通過保留感興趣區(qū)域來重新設置圖像的尺寸。該方法的缺點是圖像的內容信息

3、可能會丟失。最近，為了克服圖像縮放和圖像剪裁的問題，一些先進的內容感知圖像（視頻）重定向算法相繼問世1-7。Avidan等人1提出了流行的圖像重定向算法seam carving。Guo等人2設計了基于特征網(wǎng)格參數(shù)化的圖像重定向算法。王等人3提出了通過結合顯著圖和梯度圖實現(xiàn)的圖像重定向算法。Wolf等人4引入了一個線性系統(tǒng)來設計圖像重定向算法。最近，Rubinstein等人5展示了一種比只用單算子算法更優(yōu)的多算子算法，該算法結合了seam carving，圖像縮放和圖像剪裁三種方法來重新設置一個圖像的尺寸。文獻6和7進一步考慮了時間信息，以確保視頻重定向中連續(xù)幀之間的時間一致性。隨著圖像重定位應

4、用的迅速發(fā)展，對于重定位圖像的視覺質量評價就變得愈發(fā)重要。在文獻8中，Rubinstein等人則采用用戶調研的方法，他們比較了一些現(xiàn)有圖像重定向算法得出的結果，然后用對圖像對進行主觀比較的方法，建立了一個包含37幅測試圖像的基準，即RetargetMe數(shù)據(jù)庫9。然而這個主觀評價方法費時費力，成本又高。因此，我們迫切需求一個可以對重定向圖像進行自動視覺質量評價的客觀評價基準。圖像質量評價算法大致上可以分成兩類：雙端和單端10。雙端標準需要原始圖像作為參考圖像來評價失真圖像的視覺質量。雙端標準又可以進一步分為兩個子類：一類是全參考標準（FR），該類標準需要完整的參考圖像；另一類則是半?yún)⒖紭藴剩≧R

5、），該類標準只需要參考圖像的一部分。與雙端標準相反的是，單端標準并不需要參考圖像，因此也被稱為無參考標準（NR）。傳統(tǒng)的視覺質量評價方法通常計算參考圖像和失真圖像的相似度來評價失真圖像的視覺質量。這些客觀標準包括均方誤差（MSE），信噪比峰值（PSNR）等1011。這些傳統(tǒng)方法簡單而直接，但是無法像人類一樣精準地衡量視覺質量?，F(xiàn)有的研究表明，人類對于自然圖像的感知，遠比用在傳統(tǒng)視覺質量評價中的那些簡單的統(tǒng)計學方法更為復雜10。因此，為了更好地評價失真圖像的視覺質量，基于感知的標準大量涌現(xiàn)，比如基于人類視覺對于圖像結構的敏感度的結構相似性標準（SSIM）1112。最近，一些研究表明，視線追蹤數(shù)據(jù)

6、可以用來做圖像重定向質量評價1314。Castillo等人表示，在感興趣區(qū)之外，重定向圖像的改動并不引人注意，而視線追蹤數(shù)據(jù)則可以圖1. 圖像重定向導致的典型失真：(a)原圖像；(b)-(e)有著不同空間幾何失真和信息丟失的重定向圖像用來提高圖像距離度量的預測能力13。Chamaret等人提出了一個評價重定向視頻的標準，該標準基于以下四個因素：保持視覺興趣區(qū)的能力（利用視線追蹤數(shù)據(jù)），剪裁窗的時間一致性，其尺寸的時間一致性，以及使其接近理想縮放因素的能力14。在文獻15中，劉等人提出了一種評價圖像重定向算法質量的客觀標準，該方法基于全局的幾何結構和局部的像素一致性。在文獻16中，作者做了一個大

7、規(guī)模主觀調研來評價重定向圖像的視覺質量，然后建立了一個公開的數(shù)據(jù)庫。該數(shù)據(jù)庫包含了從57幅原圖像中獲得的共計171幅重定向圖像，并且每一個都給了平均意見分數(shù)（MOS）17?；谥饔^的MOS分，作者進一步提出使用單調邏輯函數(shù)來綜合在文獻8中提到的五個指標，包含陸地移動距離（EMD）18，雙向相似度19，邊緣直方圖20，以及SIFT流21。然而這個綜合標準的表現(xiàn)仍然難以像文獻16中說的那樣令人滿意。文獻22中的方法則提出了一種SSIM質量圖，這個質量圖可以顯示，在參考圖像的每一個空間坐標上，其結構信息是如何在重定向圖像中得以保留的。顯著圖則作為SSIM圖空間變化的加權因子來評價一個重定向圖像的視覺

8、質量。大多數(shù)傳統(tǒng)質量評價標準要求參考圖像的尺寸應和失真圖像的尺寸一致。然而由于是非均勻縮放，重定向圖像的尺寸往往與原圖像的尺寸并不相同。文獻8中用到的多種標準可以用來評價兩幅尺寸不一樣的對應圖像的視覺質量。然而這些標準的目標并不是評價內容識別非均勻重定向算法的質量。此外，如圖1顯示的那樣，圖像的重定向往往導致兩種失真：幾何變形和信息丟失。比如，圖1(b)-圖1(d)展示了一些典型的空間幾何失真，如縫合線、邊緣失真（見圖1(b)和圖1(c)）以及由于非均勻縮放導致的重定向目標的形狀失真（見圖1(d)）。圖1(e)則展示了尺寸的顯著減小（信息丟失）以及突出目標（那個女士）的比例變化。然而我們很難用

9、現(xiàn)有的視覺質量標準來全面的評價這種幾何失真和信息丟失10-12,16,18-22。因此，對重定向圖像客觀的質量評價標準急需更新?lián)Q代，仔細地研究來攻克這種失真。本論文中，我們提出了一種新穎的FR客觀質量評價標準來評價重定向圖像的視覺質量。我們的目標是用一個客觀可行的標準來模擬人類對于重定向圖像失真的感知。雖然目前對于人類對重定向失真感知機理的建模仍是一件非常困難和具有挑戰(zhàn)性的難題，但我們用了一個切實可行的辦法解決了這個難題：將對重定向圖像失真的感知轉變?yōu)榭蓽y量的特征。我們發(fā)現(xiàn)，幾何失真和信息丟失是兩類最影響對于重定向圖像質量視覺感知的因素?；谶@個發(fā)現(xiàn)，我們的方法利用稠密對應評估（比如文獻21中

10、的SIFT流）來測量重定向圖片的視覺幾何失真和信息丟失的程度，并進一步利用視覺顯著圖來定量評價人類視覺對于幾何失真和信息丟失的感知。我們提出的方法的貢獻主要有三點：(i) 圖2. 我們提出的質量評價方法的結構框圖。上面的部分展示了評價視覺幾何失真（PGD）的關鍵模塊，下面的部分展示了評估顯著信息丟失關鍵模塊我們提出了一個新穎的視覺幾何失真標準，該標準基于在原圖像和重定向圖像中，SIFT流矢量場的局部不變性；(ii)我們提出了一個新穎的評價重定向圖片信息丟失的標準，而就我們所知這種標準以前從未被發(fā)表過；(iii)我們提出了一種融合了以上兩種標準的方法，得到了最終的對于重定向圖像質量評價的標準。對

11、比在論文30中提出的初步討論后的版本，本論文在以下方面做出了顯著的拓展：(i)本論文中，我們提出了一種新型的自適應綜合方案來自動設定兩個標準的權重：視覺質量失真和顯著信息丟失；(ii)本文提供了對實驗結果深入的分析與解釋，從而提供了對該方法的深入理解，使得它成為了一個質量評價和重定向算法改善的有效工具；(iii)我們增加了對該方法的復雜度分析。本文的其余部分如下安排：第二部分給出了我們提出方法的概要；第三、四部分詳細描述了我們提出的兩個標準；第五部分展示如何將這兩種標準綜合成最終的質量評價方案；第六部分展示了實驗結果。最終部分總結了該論文。2. 質量評價標準的概要先進的內容識別圖像重定向算法本

12、質上采用非均勻縮放，在給定的尺寸下，視覺重要的部分被盡可能多地保留，而不重要的部分更多的會被修剪掉。然而這種非均勻縮放經(jīng)常導致嚴重的局部幾何失真，如線形變，形狀形變或紋理失真，這些的視覺效果非常糟糕。因此，為了客觀的評價重定向圖像視覺質量，一個標準需要將人類視覺感知的兩類失真（幾何形變和信息丟失）都很好地描述出來。然而，傳統(tǒng)的質量評價標準如MSE，PSNR和SSIM無法很好地評價重定向圖像的視覺質量，因為它們不能很好地捕捉到幾何形變，也不能很好地測量信息的丟失。正如文獻8中所言，現(xiàn)在的質量評價標準難以和主觀評價達到一致。我們提出的方法系統(tǒng)的解決了上述問題。我們通過同時考慮視覺幾何失真和信息丟失

13、來對重定向圖片做出精確的，接近主觀評價的客觀質量評價。圖2展示了該方法的結構框圖。首先，為了測量視覺幾何失真（PGD），我們建立了一個從原圖像到重定向圖像的逐個像素的稠密對應圖，這樣，通過測量對應矢量的局部變化就能識別出因為重定向而導致的形狀或者結構的變化。我們采用文獻21提出的SIFT流估計方案來建立從原推向到重定向圖像的對應圖，該方案是一種廣義的光流估計。接著，我們根據(jù)文獻25中提出的模型建立了一個視覺顯著圖，并根據(jù)圖像塊的視覺重要程度來決定圖像塊級的幾何失真的權重。然后我們通過匹配SIFT流矢量場的余數(shù)，建立了一個局部置信圖，以此圖3. 幾何失真和SIFT流圖之間關系的圖示：(a)原圖像

14、；(b)重定向圖像；(c)兩個圖像塊級的SIFT流矢量差異圖；(d)圖(a)和圖(b)之間的評價SIFT流圖；(e)濾波后的SIFT流圖；(f)圖(e)的SIFT局部差異圖濾波后的局部差異圖來控制每個圖像塊的幾何失真的權重。第二個標準（信息丟失）顯示出了重定向過程中去掉的顯著內容的比例。我們的方法利用估計顯著信息丟失比（SLR）來量化由重定向導致的信息丟失。該比例是重定向圖像中丟失的顯著值與原圖像中總顯著值的比。因此，如圖2下半部分所示，基于SIFT流圖提供的像素對應關系，原圖像的顯著圖應縮放至與重定向圖片相同的尺寸。對縮放（重定向）后的像素級的顯著圖求和來獲得保留下來的顯著值。于是便可以求得

15、顯著信息丟失比。在接下來的部分，我們將詳細闡述測量視覺幾何失真和信息丟失的方法。3. 視覺幾何失真分析為了顧及視覺幾何失真，我們的方法需要生成兩幅圖：稠密對應圖以及顯著圖。正如上文所提及的，我們采用了SIFT流21來生成兩幅圖之間的稠密對應圖。盡管兩幅圖之間可能會有輕微的差異，但是SIFT流可以有效地克服因重定向導致的內容差異而產(chǎn)生的匹配問題。令S0和Sr分別表示原圖像和重定向圖像。求下面這個函數(shù)的最小值可以獲得S0和Sr之間的SIFT流圖：Ew=pminS0p-Srp+wp,t+pup+vp+p,qminup-uq+min(vp-v(q),d) (1)公式中，w(p)表示像素點p的SIFT流

16、矢量；t和d代表閾值，分別用來將比閾值小的像素的差異和光流亮度的差異篩選出來用于計算；和是第二項和第三項的權值；u和v分別是SIFT流矢量的水平和垂直分量；q代表p的鄰集的坐標。為了評估重定向圖像的失真程度，我們的標準生成了三幅圖：幾何失真圖（GDM），視覺顯著圖（VSM）和局部置信圖（LCM）。正如圖三所示，我們的方法首先判斷原圖像和重定向圖像的SIFT流圖。然后SIFT流圖被分割成10×10的小塊，每個小塊和相鄰的小塊有2個像素的重疊。計算每個小塊的GDM，VSM和LCM并結合起來給出質量評價PGD，PGD越高，重定向圖片的質量越差。幾何失真圖（GDM）。提出GDM的目的是次梁重

17、定向圖像的局部幾何失真，比如扭曲的線或者一個物體形狀的扭曲。這種局部失真通常導致原圖像和重定向圖像間的對應適量的局部變化。因為SIFT流提供了兩幅圖對應關系的可靠評估，所以我們可以通過計算局部圖像塊中SIFT流矢量的變化來測量幾何失真。假設原圖像S0的尺寸被從W0×H0剪裁到Wr×Hr。令u(Ri)和v(Ri)分別代表圖像塊Ri的SIFT流矢量的水平和垂直分量，那么GDM可通過計算如下公式獲得：dGDMRi=rHrH+rWvaruRi+rWrH+rWvarvRi (2)式中，rw=Wr/W0，rh=Hr/H0，分別代表重定向圖像Sr和原圖像S0的寬高比，且0<rw,r

18、H<1。var(·)代表差異函數(shù)。公式(2)中，一個圖像在某一維度中縮小的越多，那個維度的變化權重越高。圖3(a)和圖3(b)展示了兩張有著不同程度失真的圖像塊，以及他們的圖像塊級的SIFT流向量變化表。我們可以看到，R1的幾何失真要比R2的嚴重得多。此外，圖3(c)中R1圖像塊級的SIFT向量流變化也比R2大得多，這表明SIFT流的局部變化可以很好地反應幾何失真。盡管SIFT流可以利用顯著特征提供相對較好的兩幅圖間稠密對應的評估，但是對于那些弱梯度特征的對應，仍有可能導致一些誤匹配。這些誤匹配在SIFT流圖中絕大部分作為獨立的噪聲存在，降低了幾何失真評估的準確性，正如圖3(d

19、)所示。因此在圖像塊級的局部差異分析之前，我們應在SIFT流圖中去除這些斑點噪聲。我們采用了文獻22中提出的各向異性擴散濾波器，該濾波器迭代計算輸出圖像的方法如下：ft+1p=ftp+1zk(p)SMft(k)ft(k)-1zkpSHftkftk (3)公式中f代表SIFT流圖的梯度；SM(·)和SH(·)分別代表平滑和銳化函數(shù)；z是4或者8，分別對應4鄰接或者8鄰接；N(p)代表像素點p的相鄰像素點。各向異性擴散濾波器用來檢測如獨立斑點噪聲這樣的顯著缺陷，并抑制可忽略的缺陷，此外還去除小型獨立噪聲（比如小于2×2的）來提高SIFT流圖的可靠性。由于銳化函數(shù)的使用

20、，各向異性擴散濾波器還可以突出SIFT流圖中局部變化顯著的區(qū)域，使得提取這些區(qū)域變得更加容易。圖3(e)展示了圖3(d)濾波后的圖像，圖中大量噪聲被去除，并且高變化區(qū)域被增強。局部置信圖（LCM）。由于SIFT流圖并不是總是很準確，這使得幾何失真標準的準確性有所下降。為了解決該問題，我們提出了利用局部置信圖來測量幾何失真圖中像素塊的像素級置信水平，該方法基于殘余圖像Sd=S0-Sr，式中S0代表原圖像，Sr是利用SIFT流圖從重定向圖像中恢復的重建圖像。通過將重定向圖像恢復成原始圖像，我們可以通過下式評估基于SIFT流的殘余圖像S0(p)-Sr(p+wp)的預測來獲得圖像塊Ri的局部置信圖：d

21、LCMRi=1LppRi1maxS0p-Srp+wp,' (4)式中，Lp代表圖像塊尺寸；w(p)代表像素點p的SIFT流失量；p+w(p)是經(jīng)過基于SIFT流的補償之后的對應像素點位置；Sr(p+w(p)則是基于SIFT流矢量的恢復圖像；則是一個很小的正數(shù)來保證分子不為0。很明顯，如果兩幅圖很完美地匹配對應了，那么殘留圖像將會很小。所以，如果Sd的值很大則暗示著SIFT流圖中的誤匹配，意味著基于誤圖4. 局部置信圖（LCM）、視覺敏感圖（VSM）和幾何失真圖（GDM）的示例匹配向量的幾何失真評價將是不可靠的。我們可以因此利用殘余圖像來評價幾何失真評估的置信水平。視覺敏感圖（VSM）。

22、得到幾何失真圖，測量了每個圖像塊的局部幾何失真之后，為了更好地模擬人類視覺對于幾何失真的感知，我們需要基于圖像塊視覺重要程度來為每個圖像塊的失真值賦予適當?shù)臋嘀?。為此，我們利用視覺敏感圖來決定幾何失真圖中每個圖像塊的權重?，F(xiàn)有幾種視覺敏感/顯著模型均可以用來獲得視覺敏感圖，如文獻24提出的最小可覺差模型，和文獻25提出的基于頻域的視覺關注模型。我們選擇用文獻25的視覺顯著模型來計算原始圖像的顯著圖Eo。圖像塊Ri的視覺敏感圖可如下計算：dVSMRi=1LppRiEop (5)式中Lp代表圖像塊尺寸。最終，對于重定向圖像的視覺幾何失真可以通過結合幾何失真圖、局部置信圖和視覺敏感圖得到，計算公式如

23、下：dPGD=1Npi=1NpdGDMRidLCMRidVSMRi (6)式中,Np代表SIFT流圖中圖像塊的數(shù)量。注意，在結合三項之前，應該基于整幅圖像的最大值和最小值，將這三個圖像塊級的指數(shù)標準化至0,1之間。圖4展示了測試圖像5張不同重定向圖像的幾何失真圖、局部置信圖和視覺顯著圖。在這個示例中，SHIFT圖26和多算子算法5導致了他們幾何失真圖左邊界相對更大的局部變化，這是在平滑背景（天空）和紋理背景（海洋和海岸）上不準確的SIFT流評估造成的。然而由SHIFT圖和多算子算法得到的兩張重定向圖像并沒有顯著的視覺失真。圖5. 從視覺幾何失真和信息丟失的角度上，兩幅重定向圖像（400

24、5;336）的對比：(a)原始圖像（300×336）；(b)-(e)分別用了不同的重定向算法：(b)多算子算法(dPGD=0.14,dSLR=0.16)；(c)轉移圖算法(dPGD=0.44,dSLR=0.26)；(d)非均勻縮放算法(dPGD=0.15,dSLR=0.25)；(e)Seam carving算法(dPGD=0.3,dSLR=0.39)圖6. 我們提出的信息丟失評估算法的流程圖。(a)是原始圖像，(b)是重定向圖像，它首先被用于評價SIFT流圖，接著(c)原圖像的顯著圖被重定向來獲得(d)重定向圖像的顯著圖。最終，通過計算重定向圖像中被剪裁的顯著信息和原圖像的總顯著信息

25、的比例來獲得我們的目標：顯著信息丟失比（SLR）局部置信圖成功地抑制了因為SIFT流誤匹配導致的探測到的假失真。此外，視覺敏感圖給了顯著區(qū)域更高的權重來突出這些區(qū)域。4. 信息丟失評估除了幾何失真，另一個由圖像重定向導致的主要失真就是信息丟失。因此我們需要研究出另一種標準來測量由于重定向而導致的信息丟失，從而來準確的評價一幅重定向圖像的視覺質量。如圖5所示，圖5(c)和圖5(e)中兩幅重定向圖像的PGD值分別為0.44和0.33，意味著由轉移圖獲得的重定向圖像圖5(c)由于丟失了部分孔雀，因此而有著更大的幾何失真。然而很顯然相比較seam carving算法，轉移圖明顯保留了更多的顯著信息。此

26、外，圖5(b)和圖5(d)中兩幅重定向圖像的PGD值很相近（0.14和0.15），但是他們的信息丟失比分別是0.16和0.24。圖5(b)看起來比圖5(d)好得多是因為圖5(b)保留了圖7. (a),(d)是輸入圖像；(b),(e)是顯著圖；(c),(f)分別是(b),(e)的連通區(qū)域標記顯著目標的更多信息。因此當評價重定向圖像的視覺質量時，由于重定向導致地信息丟失同樣應該被考慮在內。為了測量由圖像重定向導致的信息丟失，我們提出采用顯著信息丟失比，該比是重定向前后圖像顯著信息總和的比。理想的情況下，如果我們有原圖像和重定向圖像的顯著圖，那么我們通過比較這兩幅圖可以很輕易地計算出信息丟失程度。由

27、于我們在用公式(5)計算視覺敏感圖時已經(jīng)有了原始圖像的顯著圖，因此我們只需要計算重定向圖像的顯著圖即可。然而直接由重定向圖像本身計算其顯著圖可能并不會有很高的精確性，因為重定向圖像的內容被明顯剪裁了，意味著相對重要的像素點可能發(fā)生了顯著變化。因此，如圖6所示，我們提出通過重定向原圖像的顯著圖來獲得重定向圖像的顯著圖，該方法基于在評估幾何失真時通過公式（1）計算得到的原圖像和重定向圖像之間的SIFT流圖。最終，SLR可以通過計算重定向圖像中被剪裁掉的顯著信息和原圖像中的顯著信息的比來獲得，我們接下來將進行詳細闡述。令Eo和Er分別代表原圖像和重定向圖像的顯著圖。我們通過公式（1）中得到的SIFT

28、流圖來將原圖像的重定向圖編程重定向圖像的顯著圖，公式如下：Erp=Eop+wp (7)式中，Er(p)代表基于像素點p的SIFT流矢量w(p)得到的重定向后的像素級顯著圖。所以Er的尺寸和重定向圖像的尺寸是相同的。值得注意的是，Er(p)中可能會有一些空洞，這些空洞可以通過插值法或者圖像修補來填充。最終，SLR可通過下式獲得：dSLR=1-pErppEop 8式中dSLR的值落在0,1中。5. 結合PGD和SLR最終，重定向圖像質量指數(shù)qresize被定義為從1中除去歸一化的總失真指數(shù)dresize：qresize=1-dresize=1-dSLR+1-dPGD 9式中dresize 是PGD

29、指數(shù)和SLR指數(shù)的加權平均，取值在0,1內，是來控制SLR和PGD權重的指數(shù)。為了決定的值，我們采用啟發(fā)式方法。值得注意的是，當有一個強烈的主要顯著目標時，人類視覺對于信息丟失（SLR標準）很敏感。例如圖7展示了兩幅不同圖像的顯著圖：圖7(d)包含一個主要的顯著目標而圖7(a)則沒有，他們的顯著圖先表明，如果輸入圖像沒有主要顯著目標，那么顯著圖可能包含好幾個獨立的顯著區(qū)域。一個包含過多獨立顯著區(qū)域的顯著圖通常暗示圖像中沒有主要顯著目標，或者顯著圖并不可靠。這種情況下，SLR標準將并不重要，其權重也將相應減小。為了實現(xiàn)給PGD和SLR自適應地賦予權值，我們首先標記出顯著圖中的連通區(qū)域，然后計算連

30、通顯著區(qū)的數(shù)量，如圖7(c)和圖7(f)所示。最終我們用顯著圖中連通顯著區(qū)的數(shù)量來控制權值，公式如下：=1-cROIz cROIz10 其他 (10)式中，cROI是顯著圖中連通顯著區(qū)的總數(shù)；z是歸一化因子，根據(jù)經(jīng)驗，一般令z=10?？紤]到顯著區(qū)檢測的不準確性可能導致顯著圖中的噪聲，在計算cROI時小的顯著區(qū)應不被考慮在內。在我們的實驗中，只有大于200個像素點的區(qū)域才被考慮在內。6. 實驗結果在我們的實驗中，我們利用RetargetMe數(shù)據(jù)庫以及由從文獻1，5，17中挑選出的35幅圖像構成的數(shù)據(jù)庫，將我們提出的客觀質量評價標準計算出的結果，與數(shù)據(jù)中主觀評價的結果進行對比，評估了我們提出的方法

31、的可靠性。RetargetMe數(shù)據(jù)庫的主觀評價結果來自文獻9，后者數(shù)據(jù)庫的主觀評價結果則由我們自己綜合給出。所有本論文中用到的的數(shù)據(jù)庫、代碼、顯著圖以及主觀評價都可以在論文29頁中找到。人類的眼睛通常對圖像的顯著區(qū)域非常敏感。內容感知圖像重定向算法在重定向一幅圖片時，往往保留重要區(qū)域而剪裁掉視覺上不重要的區(qū)域。因為幾何失真和信息丟失主要決定了一幅重定向圖像的保留能力，因此實驗項目中需要原始圖像作為參考圖像。對于RetargetMe數(shù)據(jù)庫，我們比較了文獻9中用到的所有8種重定向算法，而對于第二個數(shù)據(jù)庫，我們并沒有完成所有算法，而是只選擇了5種來進行評估：多算子算法5，Seam Carving1，

32、變形2，轉移圖26以及非均勻縮放。重定向算法僅在一個維度上（寬或者高）改變源圖像的尺寸。在實驗中，我們假設重定向算法對圖像僅進行合理的縮放（比如25%）。主觀比較結果作為標準答案來評估客觀質量評價標準的準確性。為了獲得主觀評價數(shù)據(jù)，我們給被調查者并列地同時展示兩幅重定向圖像（隨機順序），并詢問其更傾向哪張。對于每張圖像，用不同重定向算法獲得的圖像分別用主觀和可觀的方法進行評級排序?？陀^評級排序用了四種標準：我們提出的標準，文獻15提出的標準，SIFT流標準21和EMD標準18。我們用主觀評級和客觀評級的聯(lián)系來衡量主觀結果和客觀結果的一致性，來顯示每個標準模擬人類視覺對重定向圖像進行質量評價的能

33、力。和文獻8提出的方法相似，我們用采用相關距離27來測量主觀評級和客觀評級的關聯(lián)，公式如下：=1-Nc-Nd0.5NN-1 (11)式中，N是圖像對總數(shù)，Nc和Nd分別代表主客觀一致的數(shù)量和不一致的數(shù)量。當=1時，主客觀結果完美符合；=-1時主客觀結果完全不符；=0時，主客觀結果被認為相互獨立，完全無關。6.1 RetargetMe數(shù)據(jù)庫的實驗結果我們首先用RetargetMe數(shù)據(jù)庫來驗證我們提出方法的準確性。該數(shù)據(jù)庫包含了37幅圖像和主觀比較結果8,9。我們分別用8種重定向方法重定向了圖片，然后用配對比較的方式，讓共計38名受試者對其進行主觀評價。也就是說，每個受試者都將比較圖8. Reta

34、rgetMe數(shù)據(jù)庫9里的三張示例圖像。圖像(a),(b),(c)的類型分別是“線、邊緣和幾何圖形”，“人臉、人像和前景”以及“幾何結構和紋理”表1. 對于Retarget數(shù)據(jù)庫的主客觀評級。(a)完全評級對比（k不限）；(b)對評級最高的三個的評級兩張分別用不同方法進行重定向的同一張圖片，然后投票給他們任務質量更好的一張。數(shù)據(jù)庫中的37幅圖像被分成以下幾種性質（括號內的數(shù)字是每一類中包含的測試圖片的數(shù)量）：線或邊緣（25）、人臉或人像（15）、紋理（6）、前景目標（18）、幾何結構（16）和對稱（6）。如圖8的三幅示例圖所示，一張圖片可能具有多種性質。我們提出的方法與其他三種標準進行對比，包括

35、SIFT流、EMD和文獻15提出的方法。因為我們的方法和文獻15提到的方法都需要測試圖像的顯著圖來評價重定向的質量，所以我們對每一幅測試圖像分別用文獻25和28提出的方法，共生成兩張顯著圖。表1采用了公式（11）定義的相對距離，對于每一個性質分類，對比了待測試標準的結果和主觀評級之間的關系，并列出了評級的平均值和標準偏差，以及P值和線性相關系數(shù)（LLC）。在表1中，我們采用了文獻8中建議的實驗設置，來計算完全評級相關度（對于每一幅圖像的五種評級方法都用來計算相關值）和前3評級相關度（只有評級前3的重定向方法才用來計算相關值）。因為前3評級的結果更加可靠（即主觀評級更加可信和一致），所以主客觀評

36、級對比的結果比完全評級更好。我們并沒有在表1(b)中列出P值和線性相關系數(shù)，因為對于前3評級而言這兩個值沒有統(tǒng)計意義。所有的結果均顯示， 圖9. RetargetMe數(shù)據(jù)庫中的極端情況。(a)-(c)三幅對于不同受試者，主觀評級結果最一致的圖像；(d)-(f)有著最不一樣的結果的圖像圖10. (a)RetargetMe數(shù)據(jù)庫中有著最不一樣主觀評級結果的側視圖（也見圖9(d)）；(b)-(f)用五種不同算法得到的重定向圖像。主觀上，(b)-(f)中的重定向圖像視覺質量看起來非常相似，因此導致了不同的主觀評級結果我們提出的PGD+SLR的方法遠勝過其他標準。在完全評級中，我們的標準比其他標準提高了

37、64.5%，而在前3評級中，我們的標準也提高了62.5%之多。值得一提的是，在分類中，紋理分類的評級相關度最低，這是因為對于一個有著大量紋理的圖像，SIFT流估圖11. 主觀配對評級和三種客觀質量評價標準結果的相關值的比較，比較中采用RetargetMe數(shù)據(jù)庫中主觀評級時受試者意見最一致的前K幅圖像（K=5,10,15和37）圖12. 前文提到的從文獻1，5和17中挑選出來的35張測試圖像組成的數(shù)據(jù)庫，挑選是基于主觀配對評級的一致性計可能由于紋理區(qū)的誤匹配而得到并不可靠的SIFT流圖。值得注意的是，在文獻89中提到的RetargetMe數(shù)據(jù)庫中，確實有一些圖片的重定向版本，主觀評級其視覺質量非

38、常困難，這是因為它們沒有明顯的顯著內容，或者它們的重定向版本沒有明顯的幾何失真。因此，在評估客觀質量評價標準時，這些圖片的結果難以提供很有說服力的結論。例如，圖9展示了RetargetMe中的一些極端案例：三張對于不同受試人，主觀評級結果最一致的圖像（見圖9(a)-(c)）和三張最不一致的圖像（見圖9(d)-(f)）。因為圖9(a)-(c)中的測試圖像包含主要顯著目標，所以其重定向圖像的幾何失真和信息丟失很容易被識別出來，使其主觀評級高度一致。而相反的是，對于圖9(d)-(f)所示的測試圖像，其絕大部分重定向圖像卻有著基本相似的主觀視覺質量，使得受試者意見不一。如圖10所示，用不同方法得到的圖

39、9(d)的重定向圖像卻有著基本相似的主觀視覺質量。所以受試者在比較兩幅圖像時，可能會給出不確定且不可靠的評級結果，進而導致主客觀評級結果相關值的降低。圖11展示了主觀配對評級和三種客觀質量評價的結果的相關值，相關值的計算分別采用了RetargetMe數(shù)據(jù)庫中主觀評級中圖13. 包含35幅圖像的第二個數(shù)據(jù)庫的主客觀評級相關值，客觀評價標準包括我們提出的PGD，SLR和PGD+SLR標準表2. 第二個數(shù)據(jù)庫的主客觀評級相關度受試者意見最一致的前K幅圖像（K=5,10,15和37）。該圖表明，去掉那些RetargetMe數(shù)據(jù)庫中主觀評級不可靠的測試圖像，主客觀評級的相關值將顯著提升，進而使得數(shù)據(jù)庫在

40、評價客觀質量評價標準的實際準確性時辨識能力大幅提升。6.2 有著更高主觀評級一致性的第二個數(shù)據(jù)庫的測評在測評重定向圖像質量評價標準的準確性時，為了建立一個有著更好辨識能力的數(shù)據(jù)庫，如圖12所示，我們收集了文獻1，5和17中的35張測試圖像。第二個數(shù)據(jù)庫完全覆蓋了文獻17中的數(shù)據(jù)庫，因此文獻17可以被看作是第二個數(shù)據(jù)庫的子集。我們測評了從文獻8中用到的重定向算法中選出的五種算法，因此總共35張測試圖像會產(chǎn)生350個比較對。我們邀請了30個受試者來做主觀評價，每個人為140個比較對進行投票，因此每個圖像對被12個受試者測評。受試者包括30位男士和5位女士，他們平均年齡25歲。測試設備包括一臺全高清

41、24英寸LCD顯示屏，色溫為6500K。測試之前，我們向每一位受試者展示了一些示例圖片，告訴他們重定向圖像的一些典型類型。和文獻8描述的主觀測試過程類似，我們向每一位受試者展示一副原始圖像（展示在屏幕頂端）和兩種不同算法產(chǎn)生的其重定向后的圖像（沒有標簽并以隨機順序展示在屏幕底端）。我們要求受試者根據(jù)參考圖像，為他們認為有相對更好視覺質量的圖片進行投票。圖13展示了數(shù)據(jù)庫的主客觀評級相關值，客觀評級包括PGD，SLR和PGD+SLR標準。因為我們用這個數(shù)據(jù)庫對比了5種重定向算法，所以每幅測試圖像總共有10個比較對。結果表明，對35幅圖像中的20幅，我們提出的PGD+SLR標準和主觀評價結果達圖1

42、4. 評級相關值和控制SLR和PGD權重的權值圖15. (a)原始圖像；(b)多算子算法重定向圖像的視覺失真圖；(c)seam carving的視覺失真圖；(d)轉移圖的視覺失真圖；(e)形變的視覺失真圖。它們總的質量指數(shù)分別是qtota=0.88，0.42，0.8，0.65到了0.8甚至更高的相關度。此外，在35幅圖像的30幅圖像里（86%），PGD+SLR聯(lián)合標準達到（22幅）甚至超過（8幅）了只用PGD標準或者只用SLR標準的最好水平。這表明，相對單獨的PGD和SLR標準，PGD+SLR聯(lián)合標準在大多數(shù)情況下可以更好的符合人類對于圖像質量的視覺感知。表2展示了分別用相關距離和標準偏差計算的35幅圖像的主客觀評級的平均相關度。結果表明，我們提出的PGD+SLR算法和主觀評級的相關度達到了0.69，對應平均準確率為84.5%，平均錯誤率是15.5%，這是一個非常好的結果。相比之下，其他標準中最好的是EMD算法，相關度也只有0.36（對應平均正確率68%，平均錯誤率32%）?？梢娢覀兊乃惴ê椭饔^評價結果高度一致，表明我們的算法在模擬人類對視覺質量感知方面，遠超其他算法。此外