基于視覺感知特性的hdl視頻動態(tài)率失真優(yōu)化算法

基于視覺感知特性的hdl視頻動態(tài)率失真優(yōu)化算法

1視頻編碼壓縮現(xiàn)在，傳統(tǒng)的數(shù)字圖像可以用來表達非常有限的動態(tài)范圍。因為場景中的高亮區(qū)域的曝光太多，而黑暗區(qū)域的曝光不足，所以細節(jié)信息也不足。由于HDR內(nèi)容動態(tài)范圍以及位深的增加,導致HDR內(nèi)容所需存儲資源和傳輸帶寬急劇增加。然而,目前最新的視頻編碼標準——高效視頻編碼(highefficiencyvideocoding,HEVC)是針對LDR視頻設計的,這也對HDR視頻編碼提出了新的挑戰(zhàn),因此HDR視頻編碼成為了目前HDR視頻編碼傳輸急需解決的關鍵技術。為了提高HDR視頻編碼性能,MPEG已經(jīng)推出了新的快速標準化工作,以增強HEVC用于HDR視頻編碼壓縮的性能向后兼容的HDR視頻編碼解決方案,能夠兼容現(xiàn)有的8位LDR視頻編碼傳輸和顯示設備,在解碼端可以直接解碼基本層的碼流,用于解碼顯示HDR色調(diào)映射操作(tone-mappingoperator,TMO)后的LDR內(nèi)容。同樣也可以通過解碼全部碼流信息,通過基本層的LDR內(nèi)容和增強層的殘差信息解碼顯示HDR內(nèi)容。首先需要通過TMO將HDR內(nèi)容映射到LDR內(nèi)容,并計算原始HDR內(nèi)容與逆色調(diào)映射后的HDR內(nèi)容的差值,或者原始HDR內(nèi)容和TMO后的LDR內(nèi)容的比值,以此作為增強層并與LDR內(nèi)容構(gòu)成的基本層進行分級編碼壓縮另一類是基于感知轉(zhuǎn)換函數(shù)的非向后兼容的編碼方式本文算法將HDR視頻幀的視覺注意力特性引入到失真的計算中,使得對失真的測量更符合人的視覺系統(tǒng)。同時,考慮到HVS對于不容易引起觀察者注意的平坦區(qū)域中的失真也會非常敏感,對于顯著性區(qū)域內(nèi)紋理復雜的區(qū)域也能夠容忍更多的失真,為了進一步去除視頻中的感知冗余,加入了視頻內(nèi)容的紋理特性來自適應地調(diào)節(jié)拉格朗日乘子。最終建立了一個基于視覺感知的HDR視頻編碼動態(tài)拉格朗日率失真模型,并應用于編碼量化器動態(tài)調(diào)節(jié)量化參數(shù),從而實現(xiàn)在保證視覺質(zhì)量的前提下有效降低編碼碼率。2模型設計及結(jié)果式中:λ為了將HDR內(nèi)容的視覺感知特性引入到HDR視頻編碼,從而去除感知冗余。本文設計了一種基于視覺感知的動態(tài)率失真模型,以提高HEVCMain10編碼HDR視頻的性能,其模型框架如圖1所示。首先,對當前輸入HDR視頻幀獲取視覺顯著圖,將HDR視頻幀的人眼選擇性關注的信息引入到失真的計算中;同時,將輸入視頻幀雙邊濾波處理,獲取圖像的細節(jié)紋理特征,并局部自適應調(diào)節(jié)拉格朗日乘子。然后,計算融合視覺感知特性的率失真代價函數(shù),替代原始的率失真代價計算公式,并感知調(diào)節(jié)量化參數(shù)。最終建立了一種基于視覺感知特性的HDR視頻率失真優(yōu)化算法,并應用到整個編碼過程,包括模式?jīng)Q策、運動估計和率失真優(yōu)化量化,使得在降低碼率的同時保持HDR視頻質(zhì)量符合人的視覺感知。2.1基于圖像塊視覺顯著的失真計算所謂的人眼視覺注意力,是指人們在觀察周圍場景或者圖像的時候,會自動有選擇性地關注某些特定的目標對象,作為感興趣或者重要的目標來分析處理。因此,將人眼的視覺注意力機制融合到基于視覺感知的率失真優(yōu)化算法,對于提升編碼性能具有重要的意義。在人的視覺感知系統(tǒng)中,HVS對同一場景圖像中不同區(qū)域的失真敏感度是不同的,而視覺顯著性檢測模型可以用來評估圖像每個區(qū)域可能引起HVS的關注程度。本文采用文獻[21]的方法提取HDR視頻幀的視覺顯著圖,文獻[21]首先從HDR數(shù)據(jù)中提取不同特征對應的顯著圖,然后基于HDR內(nèi)容眼動數(shù)據(jù)使用隨機森林算法訓練模型,將提取的不同特征的顯著圖融合形成最終的視覺顯著圖。圖2顯示了BalloonFestival序列及其使用文獻[21]方法得到的顯著圖,視頻幀中每個像素點在顯著圖中都有一個對應的視覺顯著性值,該數(shù)值越大代表這個點受到的關注越高,從而HVS對此像素點的失真敏感度也越強。由于人眼關注的往往不是單個獨立的像素點,而是圖像上的某個區(qū)域。為了便于將視頻幀的視覺注意力特性引入到編碼單元(codingunit,CU)失真的計算過程,提出基于圖像塊視覺顯著的失真計算權(quán)重w,決定圖像塊在失真計算時的重要程度。與此同時,考慮到HEVC中變換單元的最小尺寸為4×4,故將失真計算權(quán)重w的計算窗口設置為4×4。式中:M為圖像塊窗口內(nèi)像素點總數(shù),SHEVC中的原始失真計算滿足可加性準則式中:D為了更好地刻畫子塊在失真計算中的差別性,在提出的感知率失真優(yōu)化策略上,CU內(nèi)第j個4×4子塊根據(jù)其顯著程度由式(2)計算其失真權(quán)重w由于區(qū)域視覺顯著性值較低的子塊能夠容忍較大的失真,對于視覺顯著性值較低的子塊分配更小的失真權(quán)重,因此,視覺顯著值小的CU在編碼參數(shù)選擇時,會優(yōu)先選擇消耗比特率較低的編碼參數(shù)。相應地,具有較高視覺顯著性值的CU對失真更為敏感,因此CU內(nèi)視覺顯著性值大的子塊在失真計算時分配更大的失真權(quán)重,從而優(yōu)先選取編碼質(zhì)量好同時消耗編碼比特多的編碼參數(shù)。2.2圖像紋理區(qū)域雖然圖像中的平滑區(qū)域不太容易引起觀察者注意,但是平滑區(qū)域中的失真也會非常容易引起HVS察覺;而對于部分顯著性區(qū)域中紋理復雜的區(qū)域,HVS也能夠容忍更多的失真由于HVS對于結(jié)構(gòu)邊緣和平滑區(qū)域失真的高感知性,HVS對于結(jié)構(gòu)邊緣區(qū)域引入的失真比紋理區(qū)域失真可見性更高,所以必須對結(jié)構(gòu)和紋理區(qū)域之間進行區(qū)分。局部方差常用于區(qū)分高頻紋理區(qū)域和均勻區(qū)域,然而這種方法不能將邊緣細分為紋理和結(jié)構(gòu)邊緣區(qū)域。為了獲取HDR圖像的紋理區(qū)域,使用雙邊濾波器如圖4所示,圖4(a)為Maket3序列第1幀原始圖像;圖4(b)為原始圖像幀的灰度圖;圖4(c)所示的基本層圖像?？梢钥闯?雙邊濾波器濾波得到的基本層能夠有效模糊圖像,同時能夠保持清晰的圖像邊緣,包含了低頻和圖像的完整邊緣輪廓,比如濾波后的圖4(c)中窗子墻壁上的紋理已經(jīng)被平滑,但是依然保留了物體的輪廓;圖4(d)細節(jié)層圖像是通過原始圖像減去濾波后的圖像得到的,細節(jié)層能夠完整保留圖像中的高頻紋理細節(jié),從細節(jié)層圖像可以看出:在圖像紋理復雜區(qū)域的細節(jié)層圖像的灰度值較大,并在圖像邊緣區(qū)域的灰度值較小。當細節(jié)層圖像中灰度值越大,表明該區(qū)域紋理視覺掩蔽效應明顯,HVS不容易覺察失真。由于人眼對于平滑沒有紋理的區(qū)域并不會特別關注,若僅僅只考慮視覺注意力特性會造成平滑區(qū)域失真變得更為嚴重,而HVS對于平滑區(qū)域的失真較為敏感,故在率失真代價計算過程中同時也應考慮HDR圖像幀自身的紋理特性。雖然僅僅通過修改失真計算可以達到去除感知冗余的目的,但是為了更加合理優(yōu)化率失真代價函數(shù),需要對其中的拉格朗日乘子作簡單的修正,故引入細節(jié)層紋理計算拉格朗日乘子縮放因子η式中:T從式(6)可以看出:如果當前CU紋理越復雜,HVS對當前CU的編碼失真越不敏感,即可以容忍更多的失真,則修正后的拉格朗日乘子縮放因子η2.3率失真代價值j編碼的量化計算為了對視頻編碼率失真過程感知優(yōu)化,本文利用HVS的視覺注意力和紋理掩蔽特性,指導編碼量化器最大限度消除視頻感知冗余。并結(jié)合式(4)和式(6)修改率失真代價函數(shù),優(yōu)化后的率失真代價值J編碼器通過計算率失真代價函數(shù)來選取最優(yōu)編碼參數(shù),在率失真代價函數(shù)中,拉格朗日乘子λ式中:β是與編碼圖像幀類型相關的常數(shù)。因此,利用式(8)可以推導得到:由式(9)可以看出,拉格朗日乘子的變化能夠引起量化參數(shù)的變化,而QP又是編碼器中進行量化的依據(jù)。令ΔQP為原始QP的變化量,QP由于HEVC中QP值均為整數(shù),因此需對ΔQP進行取整操作得到最終的QP值iQP在編碼器量化時,可以通過計算其ΔQP值,并利用初始QP值QP3a.未成年人訪問為了驗證所提算法的有效性,在HEVC的參考測試平臺(HM16.9)Main10Profile隨機訪問(randomaccess,RA)配置上進行實驗,并使用CfE3.1不同參數(shù)a對編碼性能的影響為了確定式(6)中參數(shù)a的取值,實驗首先選取了一段合理的區(qū)間,由于不可能對區(qū)間內(nèi)所有的值進行遍歷,實驗比較了區(qū)間內(nèi)0.4、0.55、0.6、0.7和0.85這5組取值對應的編碼結(jié)果,并從中選取編碼性能得到明顯提升所對應的取值。圖6顯示了不同測試序列在不同a的取值下對應的BD-rate結(jié)果,客觀質(zhì)量用PSNRDE衡量,其中BD-rate為負值代表碼率下降、編碼性能提升。從圖6的實驗結(jié)果可以看出:當參數(shù)a的取值小于0.4時,拉格朗日乘子變化范圍過大,編碼重建后的視頻塊效應明顯,導致最終編碼性能惡化;當a的取值大于0.85時,編碼過程中拉格朗日乘子動態(tài)變化不大,從而導致最終的編碼性能提升并不明顯。對于BalloonFestival和FireEater2序列,當a取0.55時碼率節(jié)省最多;當a取0.6時,Market3和Tibul2序列的編碼性能提升最為明顯。綜上所述,當參數(shù)a的取值為0.6時,4個測試序列的平均BD-rate節(jié)省最多,因此最終確定參數(shù)a的取值為0.6時較為合理。3.2序列編碼性能分析表1所示為參數(shù)a取值為0.6時測試序列的BD-rate結(jié)果。從表1的實驗結(jié)果可以看出:與HEVC參考測試平臺HM16.9Main10相比,所提算法在相同HDR-VDP-2.2的Q因子分值下實現(xiàn)了更多的碼率節(jié)省,平均節(jié)省7.46%。由于在選取色度分量的QP時會參考亮度分量的QP值,所以本文算法對于相同碼率下顏色分量的失真也有適當?shù)慕档?在相同PSNR_DE客觀質(zhì)量下碼率平均下降6.53%,同時也優(yōu)于文獻[18]的對比算法結(jié)果。Tibul2序列是由電腦合成產(chǎn)生的,由于Tibul2序列每幀的場景隨著機器人的運動而發(fā)生變化,導致每幀運動變化劇烈、時域關聯(lián)性差;所提算法會降低部分紋理復雜的CU的編碼質(zhì)量,從而造成時域預測準確性有所降低,導致最后編碼效果提升并不明顯。而其他3個序列BalloonFestival、FireEater2和Market3均為自然場景序列,拍攝時間包含了夜間、白天以及黃昏,序列整體動態(tài)范圍較大,亮暗分明并且紋理細節(jié)豐富,從表1的BD-rate結(jié)果可以看出,對于這3個序列本文算法率失真性能明顯優(yōu)于文獻[18]。FireEater2序列拍攝時間為晚上,序列亮度偏暗、整體對比度強,視覺顯著性區(qū)域明顯,算法可根據(jù)顯著區(qū)域更加合理分配碼率資源。Market3序列拍攝時間為光線充足的白天,細節(jié)紋理豐富,并且相機存在平移運動,所提算法在保持客觀質(zhì)量的同時,能夠有效降低紋理復雜區(qū)域的編碼比特。BalloonFestival序列拍攝的是黃昏下的氣球節(jié)日,場景變化緩慢,整體亮暗分明并且紋理細節(jié)豐富,其編碼效果最好;在相同PSNR_DE和HDR-VDP-2.2分值下,與HM16.9相比碼率分別降低3.88%和18.52%。圖7給出了4個測試序列的率失真曲線,率失真曲線的橫坐標均為碼率,圖7(a)和圖7(b)的縱坐標為HDR-VDP2.2的Q因子,分別為BalloonFestival和Tibul2序列。圖7(c)和圖7(d)縱坐標為PSNR_DE,分別為Market3和FireEater2序列。從圖7可以看出,除了Tibul2序列編碼性能提升不太明顯,所提算法編碼性能均明顯優(yōu)化HM16.9Main10。圖8顯示了BalloonFestival序列第27幀圖像及其圖像幀中紅色矩形區(qū)域的局部放大圖,圖8(a)是原始圖像幀;圖8(b)是HM16.9編碼重建得到的,HDR-VDP-2.2的Q因子分值為53.7123,編碼該幀所消耗比特數(shù)為5280bits;圖8(c)是所提算法編碼的重建圖像,HDR-VDP-2.2的Q因子分值為53.864,編碼該幀所消耗比特數(shù)為4800bits。對比可知,由于所提算法指導量化參數(shù)和拉格朗日乘子的自適應變化,編碼比特分配也更加合理,所以在編碼比特消耗減少的同時,仍能保持重建圖像質(zhì)量。此外,從局部放大圖可以看出,提出的算法也保留了圖像細節(jié)和結(jié)構(gòu)信息,同時也驗證了所提算法的有效性。綜上所述,從實驗數(shù)據(jù)和重建圖像局部放大圖比較可以看出,所提算法相比于HM16.9Main10在編碼比特分配上更加合理,并且能夠保持HDR圖像的感知質(zhì)量。尤其對BalloonFestival序列,所提算法顯著提升了編碼性能,與此同時很好地減少了HDR圖像色度和亮度上的失真。4非價值學—結(jié)論在視頻編碼中,率失真優(yōu)化技術起著重要的作用。本文依據(jù)人眼對于HDR內(nèi)容的視覺注意力選擇性關注特性,將其引入到失真的計算,使得對失真的測量更符合人的視覺系統(tǒng)。為了進一步去除視頻中的感知冗余,引入了視頻內(nèi)容的紋理特性來自適應地調(diào)節(jié)拉格朗日乘子。最終建立了一個基于人的視覺感知的HDR視頻編碼動態(tài)拉格朗日率失真模型,并應用于編碼量化器動態(tài)調(diào)節(jié)量化參數(shù),以提高HEVC壓縮HDR視頻的性能。此外,與HM16.9Main10相比,所提算法在相同PSNR_DE和HDR-VDP-2.2分值下,碼率最大降低11.49%和18.52%,并對視覺關注區(qū)域大的場景和紋理邊緣強的序列具有較好的編碼效果。Overview:Inviewofthedrasticincreaseofstorageresourcesandtransmissionbandwidthrequirementforhighdynamicrange(HDR)videocomparedtothetraditionallowdynamicrange(LDR)video,weproposeanewdynamicratedistortionoptimizationalgorithmbasedonvisualperceptionforHDRvideoencodingtoimprovetheperformanceofhighefficiencyvideocoding(HEVC)Main10,inwhichvisualattentionandtexturemaskingpropertiesofHDRvideocontentareusedintoHDRvideocoding.Firstly,thevisualsaliencymapisacquiredforthecurrentinputHDRvideoframe.Withtheinformationofvisualselectiveattention,wedesignanon-uniformdistortionweightdistributionstrategytodifferentregionsofinterestandimprovetheconventionalmethodofdistortioncalculation,whichmakesthemeasurementofdistortionmoreinlinewithhumanvisualsystem.Atthesametime,wealsotakethecharacteristicsofhumanvisualsystemintoaccounttoHDRvideocoding,suchasthathumanvisualsystemisalsoverysensitivetodistortioninflatareasthatarenoteasilynoticeabletotheobserver,andcantoleratemoredistortionsinareaswithcomplextextureinsalientareas.InordertofurthereliminatetheperceivedredundancyinHDRvideocoding,abilateralfilterisusedtoseparatethetexturecomponentsoftheinputvideoframefromwhichwecanextractthetexturecharacteristicstoadjusttheLagrangemultiplieradaptively.Then,theratedistortioncostfunctionincorporatedvisualperceptioniscalculatedinsteadoftheoriginalratedistortioncostformula,whichisappliedtotheencodertodynamicallyadjustthequantizationparameters,soastorealizereasonablythetrade-offbetweencodedbitsanddistortion.Intheend,theHDRvideoratedistortionoptimizationalgorithmbasedonvisualperceptionisestablishedandappliedtothewholecodingprocess,includingpatterndecision,motionestimationandrate-distortionoptimizationquantization.The