質(zhì)量評價報告

1、圖像質(zhì)量評價技術(shù)路線1研究現(xiàn)有圖像質(zhì)量評價方法，利用Livedatabase對其進行分類實驗，得出其適用圖像降質(zhì) 類型和評價的精確程度。2提出幾種新的針對壓縮重建圖像和超分辨重建圖像的質(zhì)量評價算法。利用Livebase進行 驗證。3由于遙感影像相對于自然影像，有其特殊性，必須建立遙感影像主觀評價庫，將新算法應(yīng) 用于此圖像庫，驗證其在評價遙感壓縮影像上的有效性。主觀評價方法主觀評價主要是由人在感性認識上從主觀感覺和統(tǒng)計結(jié)果的角度對圖像質(zhì)量做出相應(yīng) 的判定，主要的方法是目視判讀。人類視覺系統(tǒng)被認為是最精密的光學成像系統(tǒng)，通過人眼 接收物體的反射光在大腦中成像，然后由大腦根據(jù)儲存的經(jīng)驗知識進行分析得

2、到結(jié)論，這個 過程所需時間很短。因此主觀評價方法具有直觀、簡單的優(yōu)點。圖像質(zhì)量評價離不開視覺評價，主觀評價方法可以從配準、影像的整體亮度、色彩、反 差、清晰度、影像內(nèi)紋理、地物邊緣、是否有蒙霧或馬賽克等現(xiàn)象出現(xiàn)等方面做出判定，直 觀地得到圖像在空間分解力、清晰度等方面的差異。但是這種方法的主觀性比較強，人的視 覺對影像上的各種變化并不都很敏感，圖像的視覺質(zhì)量強烈地取決于觀察者，具有主觀性、 不全面性。客觀評價方法目視判讀的優(yōu)點是操作簡單、效率高，可以有效剔除一些質(zhì)量差的影像，避免無謂的工 作，但是這種判定會因為觀察人員的素質(zhì)、經(jīng)驗、水平的不同以及外部環(huán)境的影響而產(chǎn)生較 大的差異，因此需要有易于

3、掌控和科學支持的定量評價方法?？陀^評價方法主要就是采用定 量的評價指標對影像做定量分析，由此獲取對圖像質(zhì)量好壞的判定。按照對參考圖像的需求，可將客觀評價方法分為三類，分別為：無參考、部分參考和完 全參考圖像質(zhì)量評價。分類介紹如下：1無參考圖像質(zhì)量評價方法單幅圖像的信噪比SNR給定一幅圖像，若需要估計它的信噪比，則可以在圖像上找一個平坦區(qū)域，在平坦區(qū) 域計算局部方差并平均作為噪聲方差，在許多情況下圖像中沒有適合的平坦區(qū)域，則可以用 如下算法來估計信噪比：計算圖像的局部方差，圖像邊界附近的方差不考慮在內(nèi)。用圖像局 部方差的最大值和最小值之比作為圖像信噪比的估計。此方法只適用于SNR在20到60之

4、內(nèi)的圖像。信息熵 E（entropy）嫡（Entropy）是用來表示任何一種能量在空間中的均勻分布程度。能量分布得越均勻， 嫡就越大。如果對于一個系統(tǒng)，當其能量完全均勻分布時，那么這個系統(tǒng)的嫡就達到最大值。在信息論中Shannon引入信息熵，即事件發(fā)生的不確定程度。如果一個事件(例如收到一個 信號)有n種可能的結(jié)果(A” 42, )，且每個結(jié)果&出現(xiàn)的機率分布為P(i=1，2, )，那么最終結(jié)局在出現(xiàn)之前的不確定程度H為：H = C p In pi=1其中C是常數(shù)，它與對數(shù)進制有關(guān)(如果現(xiàn)在二進制，則C = 1；如果現(xiàn)在e進制，則 C = 1/ln2)。根據(jù)這個理論，可以得到影像的信息熵E為：

5、E 一工尸性尸(i) i=0其中P(i)是某個像素值i在影像中出現(xiàn)的概率，n是灰度值范圍(一般為0225)。影像的信息熵E值越大，則影像中偏離影像直方圖高峰灰度區(qū)的大小越大，所有灰度 值出現(xiàn)的機率趨于相等，影像攜帶的信息量越大，信息越豐富。Matlab函數(shù)：function s=entropy(image)。平均梯度G( gradient)平均梯度可敏感地反映出影像對微小細節(jié)反差的表達的能力，在影像中，某一個方向的 灰度級變化率大，則它的梯度也就大。定義平均梯度的表達式為:G = L 性 nm x n i=1 G = L 性 nm x n i=1 j=1（冬）2+（f ）2oxoyk ij 人

6、）其中，m、n分別為影像的寬和高，f j為影像像素(i，j)的灰度值。用平均梯度值來衡量影像的清晰度，能夠反映出影像中微小細節(jié)反差和紋理變換特征， 一般說來，該值越大，影像層次越多，影像就越顯得清晰?？梢杂枰栽u價融合結(jié)果影像的細 節(jié)表達能力。Matlab函數(shù)：function varargout = gradient_average(f,varargin) 標準差 b (Standard_eviation)根據(jù)統(tǒng)計學中的知識，可以得到有關(guān)影像灰度的均值與標準差的定義，如下:灰度平均值R =1弓 ni=15 U (Xi )2V n 1i=1其中，n表示影像中像素的總數(shù)，x,為第i個像素的灰度值。

7、灰度平均值p即是影像亮 度的平均值，一個適中的亮度均值可以反映出影像的效果比較理想；標準差。是影像灰度值 相對于均值的分散度的測定，值越大則影像的灰度范圍越是趨于分散，圖像的反差大，得到的影像的信息量也越大；反之，則反差小，對比度不大，色調(diào)單一均勻，信息量小。融合影 像的分辨率與替代影像的標準差相關(guān)，一般來說，替代影像的標準差越大，影像的分辨率越 高。Matlab函數(shù)：function sd = standard_deviation(img)?？臻g頻率 SF( spacial_frequency)空間頻率反映了一幅影像空間的總體活躍程度，它包括空間行頻率RF以及空間列頻率CF，其表達式為：RF

8、 =：工室(f - f )2 小 X 氣=1 j=2RF =：CF =：工您(f - f )2 挪 X 氣=2 J=1LJ *綜合兩者得到整體空間頻率值:SF = %RF 2 + CF 2其中，m、n分別為影像的寬和高，f，j為影像像素(i，j)的灰度值。Matlab函數(shù)：function sf = spacial_frequency(img)。無參考壓縮質(zhì)量評價 NRQA(No Reference Quality Assessment)無參考壓縮圖像質(zhì)量評價主要針對JPEG2000壓縮圖像，利用自然圖像和壓縮重建圖像 的小波域統(tǒng)計特性對比，反映了一幅影像的高頻損失程度，從而表明其壓縮重建質(zhì)量

9、，其表 達式為：q1q2q1q2qq1- 4(qi+q2)2q/ 、2q1- 6Q = q T w其中，Ki，Ti是通過訓練樣本的曲線擬合得到的，ui是訓練樣本均值，pss是聯(lián)合概率 分布，w值是訓練樣本時，使質(zhì)量指標誤差最小得到的。Matlab函數(shù)：function NRQA = jp2knr_quality(img)。2完全參考圖像質(zhì)量評價方法把所有方法都應(yīng)用于LIVE database，測出其與主觀一致度。峰值信噪比PSNR如果認為標準參考影像是信息，且處理結(jié)果影像與標準參考影像的差異是噪聲，那么定 義結(jié)果影像峰值信噪比(Peak Signal Noise Ration)表達式為：PSN

10、R = 10 lgRMSE 2max( Fi, j) - min( Fi, j)PSNR = 10 lgRMSE 2其中，m、n分別為影像的寬和高，Rj，廣F. j分別為標準影像和結(jié)果影像在對應(yīng)像素(i， j)的灰度值，max、min分別表示取最大值和取最小值。Matlab 函數(shù)：function PSNR = Peak_snr(img1,img2).主客觀評價曲線擬合結(jié)果JPEG2000JPEGwngblurfastfadingR-square0.78460.73310.95130.61320.7878RMSE7.6098.3553.5749.9167.684結(jié)論：PSNR基本可以評價壓縮、

11、模糊和加噪這幾種降質(zhì)類型的圖像，但對加噪 圖像評價最為精確。通用質(zhì)量評價指數(shù) UIQI(Universal Image Quality Inde對4。xy Q =xy=(b； +b 2)( x)2 + (y )2其中，x,y分別為參考圖像和重建圖像的均值，b a 2分別為其方差，。xy為兩幅圖像的 協(xié)方差。若兩幅圖像完全相同，UUIQI值為1，重建圖像越接近原始影像，UIQI值越接近1，重建效果越好。Matlab函數(shù)：function UIQI = UnlmgQualndex(img1,img2)。主客觀評價曲線擬合結(jié)果JPEG2000JPEGwngblurfastfadingR-square

12、0.81490.85150.60890.8263RMSE10.599.4313.919.235結(jié)論：UIQI并不能很好的評價實驗中的幾種降質(zhì)類型圖像。交叉熵 cross_entropy對于兩個隨機變量x，y，它們在各自的采樣空間中的概率分別為px、py，則定義兩者 的交叉嫡(Cross Entropy)的表達式為：CE = Z p log2x，yP y交叉熵可以用來測定兩幅影像灰度分布的信息差異，如果原始影像與處理后影像的灰度分布概率分別為：P =P ,P ,P ，q = q ,q ,q (影像灰度范圍0n)，則01n01n可定義兩者的交叉熵的表達式為：P, qCE = ZpP, qi=0Ma

13、tlab 函數(shù)：function ce = cross_entropy(img1,img2)。 主客觀評價曲線擬合結(jié)果JPEG2000JPEGwngblurfastfadingR-square0.8767RMSE8.591結(jié)論：交叉熵只能用于評價JPEG壓縮重建圖像，且并不精確。全圖最大局域誤差LME , Local Maximum Error全圖最大局域誤差評價處理后圖像與原始影像每一固定大小區(qū)域之間的最大誤差，誤 差越大，處理后圖像質(zhì)量越差。LME = MAX空 n e(i, j)s,i=s j =tMatlab 函數(shù):其中，1V s M m, 1 t N -n,e(i, j) =1 f

14、(i, j) - g(i, jMatlab 函數(shù):JPEG2000JPEGwngblurfastfadingR-square0.94620.8460.98430.92930.868RMSE5.7099.5612.7845.8188.073function LME = local_maximum_error(x,y);主客觀評價曲線擬合結(jié)果結(jié)論：LME可以較好的評價實驗中的幾種降質(zhì)類型的圖像，其中，對加噪圖像 評價最為精確。光譜扭曲度 spectrum_distortion_(fegree單波段影像的光譜扭曲度的表達式為：d=mL Z Z |、廠,ji=1 j=1其中，m、n為影像寬和高，Xj，

15、廣x，j分別為原始影像和結(jié)果影像上對應(yīng)像素(i，j)的灰度值。光譜扭曲度可以用于反映結(jié)果影像與原始影像在光譜信息上的差異的大小，也常被稱為 偏差，其值越小，則表明兩者差異越小，重建效果也就越好。Matlab函數(shù)：function sdd = spectrum_distortion_degree（img1,img2）。主客觀評價曲線擬合結(jié)果JPEG2000JPEGwngblurfastfadingR-square0.91070.75430.98650.80180.8759RMSE7.35312.082.5849.7967.873結(jié)論：SDD基本可以用來評價實驗所包括的幾種降質(zhì)類型的圖像，其中，對

16、加 噪圖像的評價最為精確。偏差指數(shù) Difference_Index偏差指數(shù)（Difference Index）用來比較結(jié)果影像和原始影像偏離的程度，定義結(jié)果影像 的偏差指數(shù)的表達式為：DI = -芯 “ | 七一m x nxi=1 J =1i, j其中，m、n為影像寬和高，Xj，廣x，j分別為原始影像和結(jié)果影像上對應(yīng)像素（i，j） 的灰度值。偏差指數(shù)的大小反映了結(jié)果影像對原始影像的保持程度，偏差指數(shù)越大，則融合結(jié)果影 像的失真越大，重建效果越差。Matlab函數(shù)： function di = difference_index(img1,img2)。 主客觀評價曲線擬合結(jié)果JPEG2000JP

17、EGwngblurfastfadingR-square0.9104RMSE6.657結(jié)論：DI只能用于評價加噪圖像，且并不精確。相關(guān)系數(shù) correlation_coefficient相關(guān)系數(shù)能夠反映兩幅影像的光譜特征的相似程度，定義結(jié)果影像F與原始影像Ai的 相關(guān)系數(shù)的表達式為： （x；，-X，）（ X,，- X）P = i=1 j=1,（x -x）2i, ji, j i=1 j=1其中，m、n為影像寬和高，x,廣x，j分別為原始影像和重建影像上對應(yīng)像素（i，j） 的灰度值，X、X分別為原始影像和結(jié)果影像像素灰度均值。重建影像與原始影像的相關(guān)系數(shù)越大，重建影像質(zhì)量越好。Matlab函數(shù)：fu

18、nction cc = correlation_coefficient（img1,img2）。主客觀評價曲線擬合結(jié)果JPEG2000JPEGwngblurfastfadingR-square0.8170.85210.60780.83RMSE10.539.40913.939.216結(jié)論：CC基本可以用來評價除高斯模糊外的幾種降質(zhì)類型的圖像，但是都不能 做到精確。高頻分量相關(guān)系數(shù)HF高頻分量相關(guān)系數(shù)是重建影像與原始影像的高頻分量的相關(guān)程度，計算該系數(shù)可以用于 評價重建影像的空間分辨率大小，因此，這種評價方法可用于經(jīng)超分辨率處理后的影像質(zhì)量 評價。為了提取高頻分量，現(xiàn)將重建圖像F進行一層小波分解，得

19、到低頻、水平方向高頻、 垂直方向高頻、對角方向高頻四個分量，原始影像At也依次處理，然后對水平、垂直和對 角三個方向的高頻分量做相關(guān)計算，得到高頻分量相關(guān)系數(shù)表達式為：_ CR(Fh,Ah,) + CR(Fv,Av.) + CR(Fd,Ad,)HFFAi其中，CR表示求取兩幅影像的相關(guān)量，定義為： TOC o 1-5 h z r尤 1L (X - X )2 HYPERLINK l bookmark160 o Current Document CR (F, A) -1- i=1 J=1 -2_史尤 (X - X )2 E ILx 2尤 & 2i-1 J-, Ji /i-1 J-1i，Ji-1 j

20、-1、，0,其它影像的清晰程度取決于高頻分量，因此對高頻分量做相關(guān)運算，可以利用相關(guān)結(jié)果評估 融合結(jié)果的效果。Matlab函數(shù)： function HF = high_frequency(img1,img2)。主客觀評價曲線擬合結(jié)果JPEG2000JPEGwngblurfastfadingR-square0.86680.94570.86250.8839RMSE8.9845.7038.2467.499結(jié)論:HF可以較好的評價除快速退化外的幾種降質(zhì)類型的圖像，但是并不精確。結(jié)構(gòu)相似度 SSIM，Structure Similarity結(jié)構(gòu)相似度從處理后圖像與原始影像的結(jié)構(gòu)，亮度和對比度之間的相似性

21、出發(fā)，評價 一幅重建影像的質(zhì)量優(yōu)劣。兩幅相同圖像，相似度為1，重建圖像質(zhì)量越差，相似度越接近 0.SSIM其中，吁(2 日日 + C )(2 b + C )SSIM其中，吁(日 2 + 日 2 + C )(b 2 + b 2 + C )x y 1 x y 2七為兩幅圖像的均值，代表圖像的亮度分量；bx，by為兩幅圖像的方差，代表圖像的對比財量C代表兩幅圖像的結(jié)構(gòu)牌Matlab函數(shù):function mssim, ssim_map = ssim_index(img1, img2, K, window,L)。主客觀評價曲線擬合結(jié)果JPEG2000JPEGwngblurfastfadingR-squ

22、are0.93950.93750.97750.87280.9374RMSE6.0526.1153.3367.8485.593結(jié)論：SSIM可以較好的評價實驗中幾種降質(zhì)類型的圖像，其中，對加噪圖像的 評價最為精確。邊緣信息保持指數(shù)EPI，Edge Preserve Index邊緣信息在濾波處理前后的變化是評價濾波要指標，保持圖像的邊緣信息，使經(jīng)過去噪 圖像邊緣不模糊，邊緣點不位移，對于后續(xù)幾何校正和邊緣提取乃至分類都有重要的邊緣保 持指數(shù)是一種客觀的統(tǒng)計特征指標，計算公式如下：(I p - p I +1 p - p I +1 p - p I元元 (i，j)(i-1，j-1)(i,j)(i-1,

23、j)(i,j)(Tj+1)乙尤 + I p - p I + I p - p I + I p - p I (i,j)(i, j-1)(i,j)(i, j)(i,j)(i, j+1)iT jT + I p - p I + I p - p I + I p - p I) EPI = (i,i)(i+1,j-1)(i,i)(i+1,j)|(i+1,j +?)(Tq-qI +1 q-qI +1 q-q I元元 (i,j)(i-1, j-1)(i,j)(i-1, j)(i,j)(Tj+1)尤乙 +1 q - q I +1 q - q I +1 q - q I (i,j)(i, j-1)(i,j)(i, j)

24、(i,j)(i, j+1)iT jT +1 q - q I +1 q - q I +1 q - q I)(i,j)(i+1, j-1)(i,j)(i+1, j)(i,j)(i+1,j+1)式中：EPI為邊緣保持指數(shù)，M、N為圖像，p( i,j)、q(i,j)分別為處理后的圖像和原圖在(i,j) 處的灰度值。若處理后圖像若比原圖模糊，則EPI小于1，若銳化，則EPI大于1，若 EPI值接近1，說明處理后圖像與原圖接近，效果最好。Matlab函數(shù)：function epi = edge preserve index(x,y);主客觀評價曲線擬合結(jié)果JPEG2000JPEGwngblurfastfa

25、dingR-square0.77930.75040.89980.95990.7808RMSE11.5112.237.0384.40410.46結(jié)論：EPIW以用來評價實驗中幾種降質(zhì)類型的圖像，其中，對高斯模糊圖像的 評價最為精確。通過對上述已有算法的實驗分析和結(jié)論，可以看出：目前并沒有較好的針對壓縮 影像的質(zhì)量評價算法，對此，我們提出了基于圖像結(jié)構(gòu)特征提取的幾種圖像質(zhì)量 評價方法，簡述如下：3部分參考圖像質(zhì)量評價方法流程圖：圖1部分參考圖像質(zhì)量評價流程圖在此思路的基礎(chǔ)上，根據(jù)特征提取的方式和差值向量的權(quán)重賦予方法不同，提出了以下三種質(zhì)量評價算法：視覺權(quán)重奇異值算法BWSVD利用奇異值分解對圖像

26、進行特征提取，如下式所示：I = U S -V T orgorg org orgI = U S -V T disdis dis dis其中，I為參考圖像矩陣，S為參考圖像的奇異值向量，U ，V 分別為其左右奇異 orgorgorg org值向量矩陣；I為壓縮重建圖像矩陣，S為壓縮重建圖像的奇異值向量，U ，v .分 disdisdis dis別為其左右奇異值向量矩陣。D,= SorgfD = d ， i = 1,2,., k其中，D表示參考圖像和壓縮重建圖像的奇異值差值向量，d；表示D中的元素，i表示奇 異值向量的第i個元素。為了更好地表征圖像，本文提出均值偏差的概念，用以表述剝除奇異值信息之

27、外的圖像殘余信息，定義均值偏差率為:IuD =二uorg AuI為了更好地表征圖像，本文提出均值偏差的概念，用以表述剝除奇異值信息之外的圖像殘余信息，定義均值偏差率為:IuD =二uorg AuIorg Au Idis A其中，uorgAIdA的均值。分析矩陣的奇異值向量可知，向量的前幾個元素值即較大奇異值包含較多的圖像結(jié)構(gòu)信息，因而我們提出奇異值權(quán)重向量的概念，其定義即計算公式如下:512 -SVDJ -1 d lii=1、|l+ Du同時考慮人眼視覺對紋理的敏感度，提出如下公式：hw豐0hw = 0hw = 0,1hw豐0hw = 0hw - W_SVD B _ SVD =-I ref d

28、is 其中，hw為不同平坦區(qū)域的不同視覺權(quán)重。最后，得出壓縮圖像評價測度：_n一一BWSVD =Z B_SVD / njj=1其中， ref， dis分別表示參考圖像和壓縮重建圖像對應(yīng)塊的均值，n為圖像分塊數(shù)，B_SVDj為第j個圖像塊的B_SVD值。Matlab函數(shù)：function BWSVD = block_weighted_svd(x,y);主客觀評價曲線擬合結(jié)果JPEG2000JPEGwngblurfastfadingR-square0.8767RMSE5.232結(jié)論：BWSVD可以較精確的評價JPEG2000壓縮重建圖像質(zhì)量。Contourlet域奇異值算法CWSVD利用Conto

29、urlet分解對圖像方向性結(jié)構(gòu)的提取功能，將圖像進行Contourlet變換，再運 用奇異值分解算法，可以更好的提取圖像主要結(jié)構(gòu)特征。對參考圖像和壓縮重建圖像分別做4方向和8方向的2層Contourlet變換，將每個子帶分成8x8的塊，求取每塊圖像的評價測度W_SVD。則每個子帶的評價測度為：SW_SVD = 1 W_SVD/nj=其中，SW_SVD為單個子帶評價測度，n為子帶分塊數(shù)，B_SVD j為第j個圖像塊的B_SVD 值。對每個子帶的測度值進行CSF加權(quán)，公式如下：CSF(f) = 2.6(0.0192+0.114 v2 xf)e-(0.ii4x 折1.1得出最終圖像質(zhì)量評價測度WCS

30、VD :工 CSF - SW_SVDiiCWSVD = =工CSFii=1其中，刀為Contourlet分解子帶數(shù)。Matlab函數(shù)：function CWSVD = contourlet weighted svd(x,y);主客觀評價曲線擬合結(jié)果JPEG2000JPEGwngblurfastfadingR-square0.95010.94320.96060.9495RMSE5.4985.8334.3675.023結(jié)論：CWSVD可以較精確的評價除加噪外的幾種降質(zhì)類型的圖像質(zhì)量。選取幾種評價算法，將其運用于遙感影像壓縮庫，得出如下數(shù)據(jù):主客觀評價曲線擬合結(jié)果PSNRLMEUIQIMSSIMBW

31、SVDCWSVDR-square0.54080.75670.76550.84590.87670.9454RMSE9.7927.3497.2135.2485.2323.482(a)(b)(c)(d)(e)(f)圖 2 (a)、(b)、(c)、(d)分別為 PSNR、LME、UIQI、MSSIM、BWSVD 及 CWSVD與主觀評價指標的曲線擬合圖結(jié)論：由以上圖表可知，針對壓縮重建遙感影像，我們提出的兩種算法，特別 是CWSVD要遠優(yōu)于傳統(tǒng)算法PSNR、LME、UIQI及MSSIM。超分辨圖像質(zhì)量評價基于寄生波紋抑制和高頻能量分布的超分辨重建圖像質(zhì)量評價指標：基于目前并沒有一個較好的超分辨重建影像

32、評價客觀指標，為了評價其質(zhì)量，我們首先 需要分析超分辨影像的特點：1首先，實際應(yīng)用中，我們很少能得到與重建后影像相對應(yīng)的高分辨率影像。這使得較成熟 的完全參考質(zhì)量評價方法不適用于評價超分辨重建影像。2其次，超分辨重建過程主要是對圖像的高頻部分的處理，我們認為，圖像低頻部分并不會 受到較大影響，這就給了我們一定的參考標準，即低頻不變性。3最后，超分辨重建影像不可避免會在邊緣，細節(jié)等處存在寄生波紋現(xiàn)象，這是影響超分辨 影像質(zhì)量的一個重要方面?；谝陨咸攸c，超分辨重建后的圖像增加的高頻信息可分為兩個部分：1，虛假信息，2, 真實信息。如何定義虛假信息呢？在這里，我們認為：振鈴效應(yīng)是一種邊緣，細節(jié)的復制和重現(xiàn)， 屬于虛假高頻信息，所以，在評價超分辨率的空間分辨率提高程度時，