圖像質(zhì)量評(píng)估：從誤差的能見(jiàn)性到結(jié)構(gòu)相似性

-.z.圖像質(zhì)量評(píng)估：從誤差的可見(jiàn)性到構(gòu)造相似性ZhouWang,Member,IEEE,AlanConradBovik,Fellow,IEEE,HamidRahimSheikh,StudentMember,IEEE,andEeroP.Simoncelli,SeniorMember,IEEE摘要我們?cè)u(píng)估視覺(jué)圖像質(zhì)量的傳統(tǒng)方法是去量化可見(jiàn)的誤差，這個(gè)誤差評(píng)估是在失真圖像和采用了人類視覺(jué)系統(tǒng)特性的參考圖像之間進(jìn)展的。在我們的假設(shè)中，人類視覺(jué)視覺(jué)系統(tǒng)非常容易從一個(gè)場(chǎng)景中提取構(gòu)造信息，因此我們引入了一種替代互補(bǔ)架構(gòu)，用來(lái)對(duì)構(gòu)造信息的退化進(jìn)展質(zhì)量評(píng)估。作為此概念的一個(gè)實(shí)例，我們引入構(gòu)造相似度指數(shù)〔StructuralSimilarityInde*〕，然后用一組直觀的例子證明它，同時(shí)把SSI與主觀評(píng)級(jí)和圖像數(shù)據(jù)庫(kù)先進(jìn)客觀算法作了比擬，該數(shù)據(jù)庫(kù)是基于JPEG和JPEG2000壓縮技術(shù)的。索引詞—誤差靈敏度，人類視覺(jué)系統(tǒng)〔HVS〕，圖像編碼，圖像質(zhì)量評(píng)估，JPEG，JPEG2000，視覺(jué)質(zhì)量，構(gòu)造信息，構(gòu)造相似度〔SSIM〕。1、介紹數(shù)字圖像在采集、處理、壓縮、存儲(chǔ)、傳輸和再現(xiàn)過(guò)程中會(huì)產(chǎn)生各種各樣的失真，其中任何一個(gè)都可能導(dǎo)致視覺(jué)質(zhì)量的退化。為了使圖像最終能夠被人類看懂，唯一正確的視覺(jué)圖像質(zhì)量量化方法就是主觀評(píng)估。然而在實(shí)踐中，主觀評(píng)估通常不太方便，不但耗時(shí)，而且昂貴。我們對(duì)客觀圖像質(zhì)量評(píng)估進(jìn)展研究的目的，是想開發(fā)一種能自動(dòng)預(yù)測(cè)圖像質(zhì)量的量化指標(biāo)?？陀^圖像質(zhì)量指標(biāo)可以在圖像處理應(yīng)用中扮演各種角色。首先，它可以用于動(dòng)態(tài)監(jiān)測(cè)和評(píng)估圖像質(zhì)量。例如，一個(gè)網(wǎng)絡(luò)數(shù)字視頻效勞器可以檢測(cè)傳輸視頻的質(zhì)量，來(lái)控制和分配媒體流資源。其次，它可以用來(lái)優(yōu)化圖像處理系統(tǒng)參數(shù)和算法。例如，在視覺(jué)傳輸系統(tǒng)中，質(zhì)量指標(biāo)可以在預(yù)濾波器的優(yōu)化設(shè)計(jì)，編碼器中的比特分配算法，誤差隱藏解碼器中的后濾波算法幾個(gè)方面提供幫助。第三，客觀圖像質(zhì)量指標(biāo)可用于基準(zhǔn)圖像處理系統(tǒng)和算法中。我們可以用原始圖像與失真圖像做比擬，然后用比擬之后圖像的可用性來(lái)對(duì)客觀圖像質(zhì)量指標(biāo)來(lái)進(jìn)展分類。現(xiàn)有的大多數(shù)方法都可以稱為全參考評(píng)估方法，這意味我們把一個(gè)完整的參考圖像認(rèn)為是的。然而在許多實(shí)際應(yīng)用中，參考圖像是不可用的，我們迫切需要一個(gè)不需參考或"盲目〞的質(zhì)量評(píng)估方法。在一局部方法中，參考圖像僅是局部可用的，以提取特征作為邊緣信息，來(lái)協(xié)助評(píng)估失真的圖像的質(zhì)量。這種方法被稱為局部參考評(píng)估方法，本文重點(diǎn)研究的是全參考圖像質(zhì)量評(píng)估。最簡(jiǎn)單和最廣泛使用的全參考質(zhì)量指標(biāo)是均方誤差〔MSE〕，均方誤差可以通過(guò)對(duì)圖像失真程度的不同和參考圖像的像素取均方來(lái)得到，還隨著峰值信噪比〔PSNR〕的相關(guān)量而改變的。它們計(jì)算很簡(jiǎn)單，有明確的物理意義，并且可以在數(shù)學(xué)上進(jìn)展優(yōu)化，但是不能很好和視覺(jué)視覺(jué)質(zhì)量相匹配。在過(guò)去的三年中，人們?cè)诶萌祟愐曈X(jué)系統(tǒng)〔HVS〕的特性改良質(zhì)量評(píng)估算法方面花了很大的經(jīng)歷。人們提出的大多數(shù)視覺(jué)質(zhì)量評(píng)估模型都遵循校正MSE算法，這樣可以將誤差的能見(jiàn)度作為判定標(biāo)準(zhǔn)。第二局部總結(jié)了這種誤差靈敏度的類型，并討論了其難點(diǎn)和局限性。在第三節(jié)中，我們描述了一個(gè)新的質(zhì)量評(píng)估*式，該*式是基于人類視覺(jué)系統(tǒng)高度適合提取構(gòu)造信息這一假設(shè)的。作為一個(gè)實(shí)例，我們定義了一種測(cè)量構(gòu)造相似度〔SSIM〕方法，該方法通過(guò)比擬局部像素的強(qiáng)度來(lái)進(jìn)展測(cè)量，并且像素已經(jīng)在亮度和比照度進(jìn)展了標(biāo)準(zhǔn)化。在第四節(jié)中，我們比擬不同質(zhì)量評(píng)估模型的試驗(yàn)結(jié)果和一組主觀評(píng)級(jí)由344個(gè)圖像構(gòu)成的數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)是基于JPEG和JPEG2000圖像壓縮的。Ⅱ、基于誤差靈敏度的圖像質(zhì)量評(píng)估算法一個(gè)圖像信號(hào)可以看作是未失真的基準(zhǔn)信號(hào)和誤差信號(hào)之和。我們大量采用的假設(shè)是，視覺(jué)質(zhì)量的損耗與誤差信號(hào)的可見(jiàn)性是直接相關(guān)的。均方誤差〔MSE〕是實(shí)現(xiàn)這個(gè)概念的最簡(jiǎn)單方法，MSE能夠客觀量化信號(hào)強(qiáng)度的差值。但是兩個(gè)具有一樣MSE的失真圖像也可能有不同類型的誤差，其中一些比另一些的誤差明顯的多。在文獻(xiàn)中有一種最貼合視覺(jué)性的圖像質(zhì)量評(píng)估方法，該方法嘗試根據(jù)誤差信號(hào)的可見(jiàn)度來(lái)衡量誤差信號(hào)的不同方面，并且通過(guò)人類的心理測(cè)量或者動(dòng)物生理學(xué)來(lái)確定。這種方法是Mannos和Sakrison首創(chuàng)，并且已經(jīng)被其他研究人員開展。總體架構(gòu)圖1說(shuō)明了一個(gè)通用的圖像質(zhì)量評(píng)估框架，該框架是基于誤差靈敏度的。大多數(shù)視覺(jué)質(zhì)量評(píng)估模型可以用一個(gè)類似的圖來(lái)描述，雖然它們的細(xì)節(jié)不同。預(yù)處理：這個(gè)階段通常執(zhí)行各種根本的操作，將圖片消除的失真。首先，失真信號(hào)和基準(zhǔn)信號(hào)應(yīng)該正確的壓縮和匹配。第二，信號(hào)可能被轉(zhuǎn)化為成色彩空間，這樣對(duì)視覺(jué)更為適合。第三，質(zhì)量評(píng)估指數(shù)可能需要改變數(shù)字像素的值，將數(shù)字像素的值通過(guò)非線性變換變成可以在顯示器上的顯示的亮度值。第四，我們可以使用一個(gè)濾波器，該濾波器能夠模擬眼視光學(xué)的差分函數(shù)。最后，我們可以通過(guò)非線性點(diǎn)運(yùn)算來(lái)模擬眼睛的光適應(yīng)，來(lái)修改基準(zhǔn)圖像和失真圖像。CSF濾波：比照敏感度函數(shù)〔CSF〕描述了在不同的空間頻率和時(shí)間頻率上，人眼在視覺(jué)鼓勵(lì)中的敏感性。有些圖像質(zhì)量指數(shù)包含了一個(gè)局部，該局部根據(jù)這個(gè)函數(shù)定義信號(hào)的權(quán)重〔通常使用接近的CSF的頻率響應(yīng)的線性濾波器〕。許多最近提出的指數(shù)都選擇CSF作為信道分解后判定靈敏度基準(zhǔn)的標(biāo)準(zhǔn)化因子。信道分解：圖像信號(hào)通常被別離到次頻帶，在次頻帶中可以有選擇性的識(shí)別時(shí)間頻率，空間頻率和空間方向。其他質(zhì)量評(píng)估算法，實(shí)現(xiàn)復(fù)雜信道分解，他們認(rèn)為信道分解和視覺(jué)皮層的神經(jīng)反響密切相關(guān)，許多指數(shù)使用簡(jiǎn)單的變換，如離散余弦變換〔DCT〕，可別離小波變換，時(shí)間頻率的信道分解也被用來(lái)進(jìn)展視頻質(zhì)量評(píng)估。誤差標(biāo)準(zhǔn)化：在每個(gè)信道中，基準(zhǔn)信號(hào)和失真信號(hào)之間的誤差，根據(jù)一定的掩蔽模型進(jìn)展計(jì)算和標(biāo)準(zhǔn)化。考慮到這樣的事實(shí)，在臨近的空間位置，時(shí)間位置，空間頻率和空間方向上，一個(gè)圖像分量的存在會(huì)降低另一個(gè)圖像分量的可見(jiàn)性。標(biāo)準(zhǔn)化機(jī)制用空間自適應(yīng)的視覺(jué)閾來(lái)衡量信道中的誤差信號(hào)。每個(gè)點(diǎn)的視覺(jué)閾是基于一個(gè)鄰域內(nèi)基準(zhǔn)信號(hào)和失真信號(hào)的強(qiáng)度，以及該信道的根底靈敏度來(lái)計(jì)算的。標(biāo)準(zhǔn)化過(guò)程的目的是將誤差轉(zhuǎn)換成最小可覺(jué)差〔JND〕單元。誤差合并：所有圖像質(zhì)量指指數(shù)的最后一步，在圖像的空間幅度上合并標(biāo)準(zhǔn)化誤差信號(hào)，并且通過(guò)不同的信道轉(zhuǎn)換成單一的值。對(duì)于大多數(shù)質(zhì)量評(píng)估算法，誤差合并通常采取閔可夫斯基規(guī)*如下：是第信道中第個(gè)系數(shù)的標(biāo)準(zhǔn)誤差，是一個(gè)1和4之間常數(shù)。閔可夫斯基合并可以表現(xiàn)在空間上〔指數(shù)〕，然后在頻率上〔指數(shù)〕，或反之亦然，具有一定的非線性，或可能與不同的指數(shù)。空間圖說(shuō)明不同區(qū)域的相對(duì)重要性也可用于提供空間移變加權(quán)。局限性誤差靈敏度算法的根本原理是，估計(jì)視覺(jué)質(zhì)量最好的方法，就是量化誤差的可見(jiàn)性。這是早期模擬人類視覺(jué)系統(tǒng)〔HVS〕時(shí)完成的功能特性。雖然這種自底向上的方法的問(wèn)題已經(jīng)被普遍承受了，重要的是要認(rèn)識(shí)到它的局限性。特別是，人類視覺(jué)系統(tǒng)〔HVS〕是一個(gè)復(fù)雜的、高度非線性的系統(tǒng)，但大多數(shù)早期視覺(jué)模型是基于線性和擬線性算子，通過(guò)簡(jiǎn)單和有限的鼓勵(lì)。因此，誤差靈敏度算法需要一系列的強(qiáng)假設(shè)和強(qiáng)概化。質(zhì)量定義問(wèn)題：傳統(tǒng)方法的最根本的問(wèn)題是圖像質(zhì)量的定義。特別是，它是不明確的，誤差的可見(jiàn)性應(yīng)該等同于圖像質(zhì)量的損耗，因?yàn)橐恍┦д骐m然清晰可見(jiàn)，但并不是則有異議。一個(gè)明顯的例子是一個(gè)基于全局比例因子的圖像強(qiáng)度乘法。在[29]的研究還說(shuō)明，圖像保真度和圖像質(zhì)量之間的相關(guān)性是只能是一定的。超閾值問(wèn)題：許多基于誤差靈敏度模型的根底上的心理物理學(xué)實(shí)驗(yàn)，專門來(lái)估計(jì)閾值，看看那種鼓勵(lì)幾乎無(wú)法看見(jiàn)。這些測(cè)得的閾值然后被用于確定視覺(jué)誤差靈敏度的方法，例如在CSF和掩蔽效應(yīng)中。然而，很少有心理物理學(xué)研究說(shuō)明，近閾模型是否可以推廣到視覺(jué)表現(xiàn)失真顯著超過(guò)閾值的情況。在超閾值*圍，不同信道間的相關(guān)視覺(jué)失真可以通過(guò)可見(jiàn)性閾值標(biāo)準(zhǔn)化嗎？最近有研究寫出，結(jié)合超閾值心理物理學(xué)分析圖像失真。自然圖像復(fù)雜度問(wèn)題：大多數(shù)心理物理實(shí)驗(yàn)是用相對(duì)簡(jiǎn)單的方式進(jìn)展的，例如斑點(diǎn)，正弦光柵。例如，CSF通常由使用全局正弦圖像的閾值實(shí)驗(yàn)獲得。掩蔽效應(yīng)通常特征在于使用兩個(gè)〔或者幾個(gè)〕不同的圖案的疊加。但是所有這樣的圖案是比真實(shí)世界圖像簡(jiǎn)單的多的，真實(shí)世界可以看作是簡(jiǎn)單圖案的超大量疊加。幾個(gè)簡(jiǎn)單模式之間的相互作用的模型是否能夠評(píng)估幾十或幾百個(gè)模式之間的相互作用？這個(gè)簡(jiǎn)單鼓勵(lì)實(shí)驗(yàn)是否有效去建立一個(gè)模型來(lái)預(yù)測(cè)復(fù)雜構(gòu)造的自然圖像的視覺(jué)質(zhì)量？去相關(guān)問(wèn)題：當(dāng)一個(gè)人選擇使用一個(gè)閔可夫斯基度量空間集中的誤差，一個(gè)是隱含的假設(shè)，在不同的位置的誤差是統(tǒng)計(jì)獨(dú)立。這將是真實(shí)的，如果處理之前，池消除依賴于輸入信號(hào)。然而，這是不是線性信道分解方法，如小波變換的情況下。它已被證明是一個(gè)強(qiáng)大的依賴關(guān)系之間存在的自然圖像的幀內(nèi)和幀間的小波系數(shù)[36]，[37]。事實(shí)上，國(guó)家的最先進(jìn)的小波圖像壓縮技術(shù)，實(shí)現(xiàn)他們的成功，利用這種強(qiáng)烈的依賴[38]-[41]。心理學(xué)上，各種視覺(jué)掩蔽模型已被用來(lái)解釋之間的相互作用系數(shù)[2]，[42]。據(jù)統(tǒng)計(jì)，它已被證明，一個(gè)精心設(shè)計(jì)的非線性增益控制模型，在該模型中，參數(shù)進(jìn)展了優(yōu)化，以減少依賴關(guān)系，而不是從掩蔽實(shí)驗(yàn)擬合數(shù)據(jù)，可以大大減少的依賴關(guān)系的變換系數(shù)[43]，[44]。在[45]，[46]，它說(shuō)明，優(yōu)化設(shè)計(jì)的轉(zhuǎn)換和屏蔽模型可以減少統(tǒng)計(jì)和感性的依賴。它仍然可以看到多少這些模型可以提高性能的電流質(zhì)量評(píng)估算法。認(rèn)知互動(dòng)問(wèn)題。認(rèn)知理解和互動(dòng)視覺(jué)處理〔如眼睛運(yùn)動(dòng)〕對(duì)圖像的視覺(jué)質(zhì)量有廣泛的影響，這一認(rèn)識(shí)是眾所周知的。例如，一個(gè)人類的觀察者會(huì)給不同的質(zhì)量分?jǐn)?shù)一樣的圖像，如果他/他/他提供不同的說(shuō)明[4]，[30]。以前的有關(guān)圖像內(nèi)容，或關(guān)注和固定的信息，也可能會(huì)影響到圖像質(zhì)量的評(píng)估[4]，[47]。但大多數(shù)圖像質(zhì)量指標(biāo)不考慮這些影響，因?yàn)樗鼈兒茈y量化，而不是很好理解。Ⅲ、基于構(gòu)造相似度的圖像質(zhì)量評(píng)估自然圖像信號(hào)是高度構(gòu)造化的：它們的像素表現(xiàn)出強(qiáng)烈的依賴關(guān)系，特別是當(dāng)它們是空間上接近的時(shí)候，這些依賴關(guān)系攜帶在視覺(jué)場(chǎng)景中目標(biāo)構(gòu)造的重要信息。閔可夫斯基誤差指數(shù)是各個(gè)點(diǎn)信號(hào)的差異為根底的，這是獨(dú)立于底層的信號(hào)構(gòu)造。雖然大多數(shù)質(zhì)量測(cè)量是基于誤差靈敏度，使用線性變換分解圖像信號(hào)，但這些不會(huì)去除強(qiáng)烈的依賴關(guān)系，如討論的前一節(jié)。我們的新方法的動(dòng)機(jī)是找到一個(gè)更直接的方式來(lái)比擬基準(zhǔn)信號(hào)的構(gòu)造和失真信號(hào)。新理論在[6]和[9]中，作者提出了一個(gè)圖像質(zhì)量測(cè)量的新框架，基于這種假設(shè)，人類視覺(jué)系統(tǒng)〔HVS〕是非常適合從視覺(jué)領(lǐng)域中提取構(gòu)造信息。它遵循，測(cè)量構(gòu)造信息變化，可以提供很好的視覺(jué)圖像失真近似值。我們可以通過(guò)與誤差靈敏度算法的比擬進(jìn)展理解。第一，誤差靈敏度算法通過(guò)估計(jì)視覺(jué)誤差來(lái)量化視覺(jué)圖像失真，而新理論中圖像退化是因?yàn)闃?gòu)造信息變化中的視覺(jué)變化引起的。圖2中列舉了一個(gè)例子，原本的船圖像有著不同程度的失真，每次校準(zhǔn)都期望產(chǎn)生和原來(lái)圖像一樣的MSE〔均方誤差〕。盡管這樣，這鞋圖像仍然可以看出顯著不同的視覺(jué)質(zhì)量。通過(guò)誤差靈敏度算法，很難解釋為什么比照度拉伸圖像有非常高的圖像質(zhì)量，考慮到他們和基準(zhǔn)圖像的視覺(jué)差異是如此的明顯。但這個(gè)現(xiàn)象在新理論中可以很好的解讀，因?yàn)閰⒖紙D像所有的構(gòu)造信息都是存儲(chǔ)著的，在這個(gè)意義上，原始信息幾乎通過(guò)一個(gè)簡(jiǎn)單的逐點(diǎn)逆線性亮度變換算法完全恢復(fù)〔除非是非常亮或非常暗的飽和區(qū)域〕。另一方面，原始圖像中的一些構(gòu)造信息永久喪失在JPEG壓縮和圖像模糊中，因此他們應(yīng)該得到比比照度拉伸圖像和均值漂移圖像更低的品質(zhì)分?jǐn)?shù)。第二，誤差靈敏度*式是一種自下而上的方法，模擬相關(guān)HVS〔人類視覺(jué)系統(tǒng)〕中的早期組件的功能。這種新*式是一種自上而下的方法，可以虛擬所有HVS〔人類視覺(jué)系統(tǒng)〕的功能。一方面,防止了在上一節(jié)中提到的超閾值的問(wèn)題,因?yàn)樗灰蕾囆睦砦锢韺W(xué)閾限去量化視覺(jué)失真。另一方面，在一定程度上也減少了認(rèn)知的交互問(wèn)題，因?yàn)闇y(cè)量觀察對(duì)象的構(gòu)造，被認(rèn)為是整個(gè)視覺(jué)觀察過(guò)程的目的，包括高層和交互過(guò)程。第三，自然圖像的復(fù)雜性及其相關(guān)的問(wèn)題也在一定程度上得到防止，因?yàn)樾吕碚摬⒉辉噲D預(yù)測(cè)圖像質(zhì)量，通過(guò)對(duì)心理物理簡(jiǎn)模式相關(guān)誤差的累積。相反，新理論，提出了一個(gè)從兩種復(fù)雜構(gòu)造信號(hào)中直接提取結(jié)果信息變化的方法。SSIM〔構(gòu)造相似度〕指標(biāo)我們做了一個(gè)從圖像形成的角度測(cè)量SSIM〔構(gòu)造相似度〕質(zhì)量的一個(gè)具體例子。以前的實(shí)例，這種方法是在[6]–[8]和可喜的成果，實(shí)現(xiàn)了簡(jiǎn)單的測(cè)試。在本文中，我們推廣了該算法，并提供了更廣泛的驗(yàn)證結(jié)果。觀察物體外表的亮度是光照和反射的產(chǎn)物，但在現(xiàn)實(shí)場(chǎng)景中的物體的構(gòu)造信息是獨(dú)立于亮度的。因此，想要得到圖像中的構(gòu)造信息，我們希望別離光照的影響。我們定義的圖像中的構(gòu)造信息，是提供場(chǎng)景中圖像的機(jī)構(gòu)信息的屬性，獨(dú)立的平均亮度和比照度。由于亮度和比照度可以在一個(gè)場(chǎng)景中變化，我們使用我們的定義的本地亮度和比照度。我們所提出的質(zhì)量評(píng)估系統(tǒng)如圖3所示。假設(shè)和是2個(gè)非負(fù)的圖像信號(hào)，并且是彼此一致的。如果我們認(rèn)為其中一個(gè)信號(hào)具有完美的質(zhì)量，則測(cè)量相似度可以作為測(cè)量第二個(gè)信號(hào)的一個(gè)定量測(cè)量方法。將相似性度量的任務(wù)分為三個(gè)比擬：亮度、比照度和構(gòu)造信息。首先，比擬每個(gè)信號(hào)的亮度值。假設(shè)一個(gè)離散信號(hào)，下式是該信號(hào)平均強(qiáng)度估計(jì)值：亮度比擬函數(shù)是一個(gè)，的函數(shù)。其次，我們從信號(hào)中去除平均強(qiáng)度。在離散形式中，產(chǎn)生的信號(hào)對(duì)應(yīng)向量的投影在超平面上，該超平面定義：我們使用標(biāo)準(zhǔn)差〔方差的平方根〕作為信號(hào)比照度的估計(jì)值，無(wú)偏估計(jì)的離散表達(dá)式為：比照度表達(dá)式則是和的比擬。第三，信號(hào)由本身的標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化，這樣相比的兩個(gè)信號(hào)有單位標(biāo)準(zhǔn)差。構(gòu)造比擬式由和定義。最后，三個(gè)局部組合在一起形成了相似度測(cè)量公式：這三個(gè)局部是相互獨(dú)立的。例如，亮度或比照度的變化不會(huì)影響圖像的構(gòu)造。為了完成〔5〕中對(duì)相似度測(cè)量的定義，我們需要定義三個(gè)函數(shù)，，和，以及組合函數(shù)，相似度測(cè)量滿足以下條件:

1)對(duì)稱性：有界性：唯一最大值：，當(dāng)且僅當(dāng)成立?！搽x散表達(dá)式，對(duì)所有的成立〕對(duì)于亮度表達(dá)式，我們定義：在這里常數(shù)是不能被忽略的，因?yàn)榉乐巩?dāng)趨近于0時(shí)分母無(wú)意義。實(shí)際上，我們選擇在這里是像素值的動(dòng)態(tài)*圍〔8位灰度圖像的話是255〕，是一個(gè)非常小的常數(shù)。類似的考慮也適用于后面的比照度表達(dá)式和構(gòu)造表達(dá)式中。方程〔6〕很容易可以看出遵守以上三個(gè)屬性。方程〔6〕由韋伯定律一致定性，該定律已被廣泛應(yīng)用到HVS〔人類視覺(jué)系統(tǒng)〕的光適應(yīng)模型中〔也叫亮度掩蔽〕。根據(jù)韋伯定律，恰可發(fā)覺(jué)亮度變化的幅度與背景亮度是成正比的。換句話說(shuō)，HVS〔人類視覺(jué)系統(tǒng)〕對(duì)相對(duì)亮度變化是敏感的，而不是對(duì)絕對(duì)亮度變化。讓表示背景亮度的亮度變化大小，我們重寫失真信號(hào)的亮度表達(dá)式為。將這個(gè)式子代入〔6〕中：如果我們假定足夠小〔相對(duì)來(lái)說(shuō)〕，就可以被忽略不計(jì)，則僅僅是的函數(shù)，與韋伯定律定性一致。比照度表達(dá)式采取類似的形式：其中，并且，此表達(dá)式也滿足上面的三個(gè)性質(zhì)。此表達(dá)式的一個(gè)重要特點(diǎn)是，有一樣數(shù)值的比照度變化，這種措施對(duì)于高基準(zhǔn)比照度是不敏感的，相較于低級(jí)準(zhǔn)比照度來(lái)說(shuō)。這和HVS〔人類視覺(jué)系統(tǒng)〕的比照度掩蔽特性一致。構(gòu)造表達(dá)式在亮度差和方差標(biāo)準(zhǔn)化后給出。具體來(lái)說(shuō)，我們吧兩個(gè)單位向量和和兩個(gè)圖像的構(gòu)造聯(lián)系在一起，單位向量都是〔3〕中定義在超平面上的。兩者之間的相關(guān)性(內(nèi)積)是一種簡(jiǎn)單而有效的措施去量化構(gòu)造相似度。注意到和之間的相關(guān)性等效于和的相關(guān)系數(shù)。因此，我們定義的構(gòu)造表達(dá)式如下：在亮度和比照度表達(dá)式中，我們已經(jīng)推出了分母和分子是一個(gè)很小的常數(shù)。用離散形式表達(dá)，可以寫為：幾何學(xué)上，相關(guān)系數(shù)對(duì)應(yīng)向量和之間的角度的余弦。還要注意的是，可以取到負(fù)的。最后，我們合并〔6〕〔9〕〔10〕三個(gè)式子，給出信號(hào)和之間的SSIM指數(shù)定義：其中，和，用于調(diào)整三個(gè)局部的相對(duì)重要性的參數(shù)。很容易驗(yàn)證，該定義滿足上面提到的三個(gè)性質(zhì)。為了簡(jiǎn)化表達(dá)，我們?cè)O(shè)置和。最后得到SSIM指數(shù)的具體形式：在[6]和[7]中定義的的通用質(zhì)量指標(biāo)〔UQI〕，是特殊情況時(shí)得到的結(jié)果，無(wú)論是還是趨近于0時(shí)，該指標(biāo)都會(huì)得到不確定的結(jié)果。SSIM指數(shù)和傳統(tǒng)質(zhì)量指數(shù)之間的關(guān)系，可以在圖像部件的向量空間中進(jìn)展幾何解釋。這些圖像部件可以是像素亮度，也可以是其他特征，例如線性轉(zhuǎn)換系數(shù)。圖4展示了三個(gè)參考向量例子的等失真度曲線，其中每條曲線表達(dá)了參考圖像的局部成分。為了說(shuō)明的方便，我們只用了二維空間，但一般情況下，空間的維數(shù)應(yīng)該和被比擬的圖像部件相匹配。每條曲線都提供了相對(duì)于基準(zhǔn)圖像的一組等失真圖像。圖4〔a〕顯示了一個(gè)簡(jiǎn)單的閔可夫斯基測(cè)量的結(jié)果。每條曲線都具有一樣的大小和形狀〔在這里，我們假設(shè)指數(shù)為2〕。也就是說(shuō)視覺(jué)距離對(duì)應(yīng)歐氏距離。圖4〔b〕顯示了一個(gè)閔可夫斯基度量，不同圖像部件的權(quán)重不同。這可能是，根據(jù)比照敏感度方程計(jì)算權(quán)重，在許多模型中是常見(jiàn)的。這里的曲線為橢圓形，但還是大小都一樣。這些曲線都是于坐標(biāo)軸對(duì)齊的，一般來(lái)說(shuō)也可以傾斜到任何固定的方向上。許多最近的模型結(jié)合比照度掩蔽的方法，具有根據(jù)信號(hào)的大小縮放等失真度曲線的效果，如圖4〔c〕所示。這可能被看作是一種具有自適應(yīng)性的失真度量：它不僅取決于信號(hào)之間的差異，而且還取決于信號(hào)本身。圖4〔d〕顯示了一種組合的比照度掩蔽〔幅度加權(quán)〕，然后由分量加權(quán)。我們所提出的方法，另一方面，分別計(jì)算兩個(gè)獨(dú)立的數(shù)量：分別是矢量長(zhǎng)度和角度。因此，曲線將與一個(gè)極坐標(biāo)系對(duì)齊。圖片4〔e〕和4〔f〕展示了用不同的指數(shù)計(jì)算2個(gè)例子。再次，這可能被視為一種自適應(yīng)性失真度量，但不像以前的模型，無(wú)論曲線的大小還是形狀都適應(yīng)于根底信號(hào)。一些最近的模型，使用分裂的標(biāo)準(zhǔn)化來(lái)形容的掩蔽效應(yīng)也表現(xiàn)出信號(hào)相關(guān)的曲線〔例如，[46]，[45]，[48]〕，使用SSIM評(píng)估圖像質(zhì)量對(duì)于圖像質(zhì)量評(píng)估來(lái)說(shuō)，局部用SSIM指數(shù)比全局使用更加有效。首先，圖像的統(tǒng)計(jì)特征通常是高度空間不穩(wěn)定的。第二，圖像失真，可能依賴，也可能不依賴于局部圖像統(tǒng)計(jì)，也可能是空間可變的。第三，從觀看距離來(lái)看，只有圖像中局部區(qū)域可以被人類高分辨率的觀察到。最后，本地化的質(zhì)量測(cè)量可以提供一個(gè)空間可變的圖像質(zhì)量圖，該圖可以提供更多圖像質(zhì)量退化的信息，并且可以應(yīng)用于*些領(lǐng)域。在[6]和[7]，局部統(tǒng)計(jì)量，和是在窗口內(nèi)計(jì)算的。在每一步中，局部統(tǒng)計(jì)量和SSIM都是在局部窗口內(nèi)計(jì)算的。這種方法的一個(gè)問(wèn)題是，由此產(chǎn)生的SSIM圖會(huì)顯示不可取的"阻塞〞像素。在本文中，我們?cè)趫A形對(duì)稱高斯加權(quán)函數(shù)，1.5的標(biāo)準(zhǔn)偏差，單位和。這些本地統(tǒng)計(jì)量，，的估計(jì)值可以修改為：用這樣加窗的方法，質(zhì)量圖顯示了局部各向同性性質(zhì)。在本文中，SSIM測(cè)量使用下面的參數(shù)設(shè)置：；。這些價(jià)值觀是有些武斷，但我們發(fā)現(xiàn)，在我們目前的實(shí)驗(yàn)，對(duì)SSIM算法的性能對(duì)這些值的變化相當(dāng)敏感。在實(shí)踐中，通常需要整幅圖像的一個(gè)整體質(zhì)量指數(shù)。我們用平均SSIM〔MSSIM〕來(lái)評(píng)估圖像的整體質(zhì)量指數(shù)：其中和是分別是基準(zhǔn)圖像和失真圖像，和是第個(gè)窗口的圖像內(nèi)容，而是圖像的局部窗口的數(shù)目。根據(jù)不同的應(yīng)用，也可以計(jì)算在SSIM圖不同樣本平均權(quán)重。例如，圖像感興趣區(qū)域的圖像處理系統(tǒng)可以給不同的圖像分割區(qū)域不同的權(quán)重。另一個(gè)例子，我們觀察到的不同的圖像紋理吸引不同程度的人注視〔例如，[51]，[52]〕。一個(gè)平滑變化的漏斗權(quán)重模型〔例如，[50]〕可以用來(lái)定義權(quán)重。然而，在本文中，我們使用均勻權(quán)重。Ⅳ、實(shí)驗(yàn)結(jié)果許多圖像質(zhì)量評(píng)估算法已被證明具有相似的表現(xiàn)，在應(yīng)用于來(lái)自同一原始圖像而產(chǎn)生失真時(shí)，該失真是同類型失真〔例如，JPEG壓縮〕。然而，當(dāng)一組圖像來(lái)源于不同的原始圖像的時(shí)候，或者其中包括各種不同類型的失真，這些模型的有效性會(huì)顯著退化。因此，跨圖像測(cè)試和穿插失真測(cè)試在評(píng)估圖像質(zhì)量度量的有效性上是至關(guān)重要的。應(yīng)該可以給出這樣一個(gè)例子，但在圖2中，圖像提供一個(gè)關(guān)于穿插失真性能測(cè)試的質(zhì)量評(píng)估算法的起點(diǎn)。MSE和MSSIM測(cè)量結(jié)果的數(shù)字說(shuō)明了。顯然，在這種情況下均表現(xiàn)很差。MSSIM值具有很好的一致性與定性的視覺(jué)外觀。最正確案例/最壞案例驗(yàn)證我們還制定了一種更有效的方法來(lái)檢驗(yàn)我們的客觀測(cè)量和視覺(jué)質(zhì)量之間的關(guān)系。從一個(gè)失真的圖像開場(chǎng)，我們提高/降低MSSIM的梯度來(lái)約束MSE，目的是與原始圖像失真保持一致。具體來(lái)說(shuō)，我們重申以下兩個(gè)線性代數(shù)步驟：其中是MSE約束的平方根，控制間隔大小，是一個(gè)單位向量由下式給出定義：同時(shí)是一個(gè)投影算子是一個(gè)恒等運(yùn)算符。MSSIM是可微的，此過(guò)程收斂于該可觀測(cè)量的局部最大值/最小值。這些最正確和最壞情況下列圖像的視覺(jué)檢查，隨著初始失真圖像，提供了一個(gè)失真類型的直觀指示，被目標(biāo)測(cè)量判定是最重要/不重要的。因此，它是一個(gè)方便和直接的方法，提醒了質(zhì)量測(cè)量的視覺(jué)影像。如圖5所示，初始圖像被高斯白噪聲污染。我們可以看出，原始圖像的局部構(gòu)造，非常好的保存在最優(yōu)MSSIM圖像中。另一方面，圖像構(gòu)造產(chǎn)生了劇烈的改變?cè)谧畈頜SSIM圖像中，但是在*些情況下比照發(fā)生了扭轉(zhuǎn)。B、基于JPEG和JPEG2000圖像數(shù)據(jù)庫(kù)的測(cè)試我們比擬了穿插失真和穿插圖像表現(xiàn)，對(duì)于不同的質(zhì)量評(píng)估模型，基于JPEG和JPEG2000壓縮技術(shù)的圖像數(shù)據(jù)庫(kù)。二十九個(gè)24比特/像素的高分辨率RGB彩色圖像〔通常為或類似大小的〕使用JPEG、JPEG2000技術(shù)壓縮圖像在一個(gè)質(zhì)量水平*圍內(nèi)，共生產(chǎn)175JPEG圖像和169JPEG2000圖像。比特率分別在0.150到3.336比特/像素，和0.028到3.150比特/像素，這些比特率是非均勻選擇的，這樣會(huì)導(dǎo)致主觀質(zhì)量的恰好在整個(gè)域內(nèi)均勻分布。觀看者從舒適的座位距離觀看這些圖像〔此距離僅適度控制，以允許的數(shù)據(jù)反映自然的觀看條件〕，觀看者被要求提供他們的觀感質(zhì)量，被分為五個(gè)相等的區(qū)域標(biāo)記的形容詞"壞〞，"較壞o〞，"中等〞，"好〞，"優(yōu)秀〞。每個(gè)由JPEG和JPEG2000壓縮的圖像分別由13~20名和25名受試者觀看。受試者大多為男性大學(xué)生。每個(gè)圖像的原始分?jǐn)?shù)通過(guò)取均方值來(lái)標(biāo)準(zhǔn)化〔原始分?jǐn)?shù)轉(zhuǎn)化為Z積分〕，則整個(gè)數(shù)據(jù)集重新調(diào)整從1到100的*圍。然后計(jì)算每個(gè)圖像的平均意見(jiàn)得分，在刪除異常值之后〔大多數(shù)受試者沒(méi)有異常值〕。對(duì)于JPEG，JPEG2000主觀評(píng)分的平均標(biāo)準(zhǔn)差〔每個(gè)圖像〕，所有圖像分別為6.00，7.33，和6.65。這種圖像數(shù)據(jù)庫(kù)，連同每個(gè)圖像的主觀評(píng)分和標(biāo)準(zhǔn)偏差已經(jīng)可以在互聯(lián)網(wǎng)上找到。 每個(gè)JPEG和JPEG2000壓縮圖像的亮度分量，都是在的局部窗口下降低取樣通過(guò)系數(shù)為2的MSSIM〔平均構(gòu)造相似度〕。我們的實(shí)驗(yàn)與當(dāng)前的數(shù)據(jù)集說(shuō)明，使用其他顏色成分并沒(méi)有顯著改變模型的表現(xiàn)，盡管這在顏色圖像質(zhì)量評(píng)估中一般認(rèn)為是不正確的。與許多其他的視覺(jué)圖像質(zhì)量評(píng)估方法，在應(yīng)用該算法到數(shù)據(jù)庫(kù)中時(shí)，沒(méi)有特別的培訓(xùn)過(guò)程，因?yàn)樵摲椒ㄊ怯糜谕ㄓ玫膱D像質(zhì)量評(píng)估〔相對(duì)于圖像壓縮〕。圖6和7顯示了一些在不同的質(zhì)量水平圖像數(shù)據(jù)庫(kù)例如，連同他們的SSIM圖和絕對(duì)誤差圖。值得注意的是，在低比特率下的PEG和JPEG2000算法通常在圖像的細(xì)節(jié)區(qū)域有著光滑的表征。與其他類型區(qū)相比，這些區(qū)域可能不會(huì)是最糟的，在點(diǎn)式差測(cè)量方面，例如絕對(duì)誤差。然而由于圖像細(xì)節(jié)的構(gòu)造信息幾乎完全失去，所以他們表現(xiàn)出較差的視覺(jué)質(zhì)量。比擬圖6〔g〕與圖6〔j〕和圖7〔g〕，7〔j〕，我們觀察到SSIM指數(shù)在質(zhì)量差的區(qū)域更容易捕捉到。另外注意到圖像密集的邊緣構(gòu)造例如7〔c〕，我們很難降低壓縮圖像的點(diǎn)式誤差，即使在相對(duì)高的比特率下例如7〔l〕。然而，壓縮圖像提供可承受的視覺(jué)質(zhì)量如圖7〔f〕所示。事實(shí)上，盡管圖7〔F〕的視覺(jué)質(zhì)量?jī)?yōu)于圖7〔E〕，它的絕對(duì)誤差圖7〔L〕比7〔K〕要差，因句對(duì)誤差是由PSNR值確定的。SSIM指數(shù)圖7〔h〕和7〔i〕提供更好的視覺(jué)質(zhì)量測(cè)量一致性。用于比擬的質(zhì)量評(píng)估模型〔包括信噪比〕，眾所周知的薩諾夫模型，UQI[7]和MSSIM。每個(gè)模型MOS預(yù)測(cè)的趨勢(shì)圖在圖8中顯示。如果PSNR被認(rèn)為是評(píng)估其他圖像質(zhì)量指標(biāo)有效性的基準(zhǔn)方法。這與以前公布的測(cè)試結(jié)果相反，其中大多數(shù)模型〔包括薩諾夫模型〕的表現(xiàn)和均方根誤差和PSNR是統(tǒng)計(jì)等價(jià)的。對(duì)于簡(jiǎn)單穿插失真的測(cè)試來(lái)看，UQI算法要優(yōu)于MSE，但在