(完整版)360Lib使用介紹

(完整版)360Lib使用介紹(完整版)360Lib使用介紹(完整版)360Lib使用介紹360Lib介紹文檔360Lib是JVET小組設(shè)計(jì)并面向使用者公開的全景視頻研究平臺，主要關(guān)注投影方案的評價(jià)標(biāo)準(zhǔn).360Lib內(nèi)置了多種成熟的全景視頻投影格式,并且可以完成對輸入視頻序列的投影格式轉(zhuǎn)換；嵌入到HM或JEM后能夠結(jié)合平臺已有的功能完成投影轉(zhuǎn)換的評估,包括IBP幀的PSNR數(shù)值、耗時(shí)和碼率。360Lib的一個(gè)重要特點(diǎn)是內(nèi)置了多種以全景視頻為目標(biāo)的新型PSNR標(biāo)準(zhǔn)。1360Lib使用說明為了符合現(xiàn)有的視頻編碼標(biāo)準(zhǔn)要求，球面全景視頻需要投影轉(zhuǎn)換為平面圖像,進(jìn)行后續(xù)的編碼和傳輸；在用戶端經(jīng)過解碼后，則進(jìn)行逆投影過程重新獲得球面全景。360Lib中集成了投影格式轉(zhuǎn)換和質(zhì)量評估的功能，用戶通過命令行參數(shù)配合cfg配置文件來使用360Lib，程序執(zhí)行完畢后輸出數(shù)值報(bào)表。需要用戶提供ERP格式的yuv420視頻序列作為輸入。1.1360Lib單獨(dú)使用使用360Lib的投影格式轉(zhuǎn)換功能時(shí)，將TApp360Convert設(shè)為啟動(dòng)項(xiàng)，并按照如下命令行參數(shù)進(jìn)行配置。cfg類型文件保存用戶設(shè)置，分為投影轉(zhuǎn)換配置文件和幀序列配置文件，包含投影視窗坐標(biāo)、輸入序列分辨率、幀率和位深度等信息.以實(shí)現(xiàn)ERP轉(zhuǎn)換CMP（Cubemap3x2)格式為例：-c./cfg—360Lib/360Lib/360convert_ERP_Cubemap3x2.cfg 投影轉(zhuǎn)換配置文件—c./cfg-360Lib/per—sequence/360/360test_Trolley.cfg 幀序列配置文件-i。/test/ERP_1920x960_30fps_8bit_420。yuv輸入序列-f1 轉(zhuǎn)換幀數(shù)-oCMP3x2FromERP。yuv 輸出序列1.2360Lib結(jié)合HM使用在HM中配置好360Lib，并將TAppEncoder設(shè)為啟動(dòng)項(xiàng).仍以從ERP轉(zhuǎn)換（CMP）Cubemap3x2格式為例，命令行信息如下：-c。/encoder_randomaccess_main10。cfg編碼配置文件—c。/encoder_360_CMP.cfg 編碼投影格式配置文件—c。/360test_Trolley.cfg 幀序列配置文件-c./360test_Trolley_DynamicViewports.cfg視窗配置文件—-SphFile=./sphere_655362.txt 球面坐標(biāo)文件-i./ERP_1920x960_30fps_8bit_420.yuv 輸入序列-—CodingFaceWidth=960 編碼窗口寬度—-CodingFaceHeight=960 編碼窗口高度--IntraPeriod=32 指定I幀周期—b。/bin/HM_test.bin 輸出碼流文件--SEIDecodedPictureHash=1 計(jì)算差值SEI信息—q27 量化步長CMP投影輸出報(bào)表2360Lib中的新型PSNR標(biāo)準(zhǔn)PSNR即為峰值信噪比，是一種評價(jià)圖像的客觀標(biāo)準(zhǔn)，常用于判斷前后圖像的品質(zhì)差別.基于逐點(diǎn)計(jì)算的PSNR并不符合人眼對亮度信息敏感而對色度信息遲鈍的特性；同時(shí)人眼對一幅圖像的觀看重點(diǎn)往往落于視覺中心。因此傳統(tǒng)的PSNR評價(jià)結(jié)果與人的主觀感覺不一致。在360Lib平臺中的搭建中JVET小組采納了一些學(xué)者提出的新型評價(jià)標(biāo)準(zhǔn)作為全景視頻的客觀質(zhì)量評估標(biāo)準(zhǔn)，并實(shí)現(xiàn)了內(nèi)置.它們包括WS—PSNR、S-PSNR、CPP-PSNR等?？蚣苤械母鞣N評價(jià)標(biāo)準(zhǔn)總結(jié)評價(jià)方式對應(yīng)的方案僅編碼WS—PSNR,S—PSNR跨格式CPP-PSNR,S—PSNR端對端S—PSNR，WS-PSNR傳統(tǒng)PSNR360Lib中的全景視頻評估系統(tǒng)框架360Lib框架中新增的多種評價(jià)標(biāo)準(zhǔn)使用情況各不相同不同,同一種標(biāo)準(zhǔn)也可以在不同的情況下使用.評價(jià)對象的選取方式分為四種，分別為僅編碼分析、跨格式分析、端對端分析和傳統(tǒng)分析.僅編碼分析對應(yīng)框架中間部分，用于分析格式轉(zhuǎn)換后編碼前的圖像與經(jīng)過編碼解碼后的圖像之間的失真，用來評價(jià)投影方式對編解碼失真度適應(yīng)性.跨格式分析在不同投影格式的圖片之間進(jìn)行分析，通過球面全景作為中間步驟鏈接，能反映出投影方式與球面投影之間均勻性關(guān)系.端對端分析是在跨格式的基礎(chǔ)上，再升采樣并重構(gòu)出ERP格式后進(jìn)行失真比較的方式，在系統(tǒng)框架圖中跨度最長，能綜合反映投影好壞.360Lib評價(jià)標(biāo)準(zhǔn)框架全面考慮各種情形，針對性地發(fā)現(xiàn)各種投影方案的優(yōu)缺點(diǎn)。下面對360Lib中新型PSNR評價(jià)標(biāo)準(zhǔn)進(jìn)行介紹.360Lib中對各種評價(jià)標(biāo)準(zhǔn)的描述MetricnameNotesWeightedtoSphericallyuniformPSNR（WS—PSNR）［15]Thedistortionateachsamplepositionisweightedbytheareaonthespherecoveredbythegivensampleposition。Allsamplesonthe2DprojectionplaneareusedinWS-PSNRcalculation。Thetwoinputstothemetriccalculationmusthavethesameresolutionandprojectionformat。SphericalPSNRw/ointerpolation（S—PSNR—NN）［16］CalculatePSNRbasedonasetofpointsuniformlysampledonthesphere。Tofindthesamplevalueatthecorrespondingpositionontheprojectionplane,nearestneighborroundingisapplied。Thetwoinputstothemetriccalculationcanhavedifferentresolutionand/orprojectionformat。CPP—PSNR［15]ApplyanotherprojectionformatconversiontoconvertthetwoinputsintotheCrastersParabolicProjection（CPP）domain，andcalculatePSNRinCPPdomain。Thetwoinputstothemetriccalculationcanhavedifferentresolutionand/orprojectionformat.2。1WS-PSNRWS—PSNR（WeightedtoSphericallyuniformPSNR）通過引入權(quán)重的方式對源視頻與輸出視頻直接計(jì)算PSNR。其計(jì)算公式如下，記圖像的大小為M*N.其中s(i,j)和d(i,j)分別為參考圖像和測試圖像點(diǎn)的像素值，w(i,j)為權(quán)重.權(quán)重值對于不同的投影方式有不同的選取。常見的ERP和CMP格式的投影權(quán)重的計(jì)算公式和示意圖如下所示，亮度越高代表權(quán)重越大。ERP與CMP權(quán)重分布示意圖WS-PSNR通過在平面圖像上引入權(quán)重值來計(jì)算圖像質(zhì)量，遵循了人眼的觀看習(xí)慣，客觀性高；完全平面操作使其與現(xiàn)有視頻編碼框架兼容性好，復(fù)雜度低；圖像中的每一個(gè)點(diǎn)都參計(jì)算，準(zhǔn)確性高。它的缺點(diǎn)是無法進(jìn)行跨投影格式的評估,因?yàn)閰⒖紙D像和測試圖像必須是相同投影類型,否則不同格式的權(quán)重值無法客觀比較。2.2S-PSNRS—PSNR(SphericalPSNR）使用球面上一系列預(yù)先確定位置的點(diǎn)來對參考圖像和測試圖像進(jìn)行采樣，比較它們兩兩之間的差值，累加得到整幅圖像的S-PSNR值。S-PSNR的計(jì)算過程示意如下所示。對于球上的點(diǎn)s，分別找到參考序列和測試序列上相應(yīng)位置的點(diǎn)（在360Lib中非整數(shù)位置用距離其最近的整數(shù)位置像素代替，而不使用差值，因此360Lib中的S-PSNR也寫作S—PSNR-NN），然后計(jì)算兩者之間像素值之差。對文件預(yù)先確定的點(diǎn)遍歷，累加差值，最終得到S-PSNR。S-PSNR計(jì)算過程示意圖S-PSNR的優(yōu)點(diǎn)是能進(jìn)行跨格式評估,同時(shí)不要求參考序列與測試序列圖像分辨率相同,提高了靈活性.與WS-PSNR不同,S—PSNR用到了立體坐標(biāo)計(jì)算，對于特定的全景圖片來說,可以指定采樣點(diǎn)的位置，對人眼更關(guān)注信息位置進(jìn)行更密集的計(jì)算，以更貼近人眼的實(shí)際觀看效果。S-PSNR的不足是對于高分辨率圖片來說，像素利用率低。在360Lib中使用的采樣點(diǎn)位置信息文件中包含655362個(gè)點(diǎn)，以4K視頻為例（3840x1920=7372800個(gè)像素），實(shí)際上僅有8。9％的像素參與失真計(jì)算，這對于其真實(shí)性是不利的。2.3CPP-PSNR克拉斯特拋物線投影(Craster’sParabolicProjection,CPP），是一種在地圖學(xué)上常用的偽圓柱等面積投影方式,投影示意如圖所示。CPP投影在相同空間分辨率下形狀失真優(yōu)于ERP投影，因?yàn)镋RP兩極區(qū)域像素被無限拉伸而引入數(shù)據(jù)冗余，而CPP對其進(jìn)行了改進(jìn).全景視頻從球坐標(biāo)到CPP投影坐標(biāo)的變換公式如下：,全景視頻從CPP投影坐標(biāo)到球坐標(biāo)的逆變換公式如下:,CPP投影示意圖360Lib中CPP—PSNR計(jì)算過程為，將輸入序列從ERP格式轉(zhuǎn)換成CPP格式，再由CPP變換到其他的投影格式進(jìn)行編碼和后續(xù)操作，這樣做的優(yōu)勢是免去了對冗余像素的處理過程，提高轉(zhuǎn)換和編碼效率。在進(jìn)行CPP-PSNR計(jì)算時(shí)需要對有效區(qū)域進(jìn)行標(biāo)注，因?yàn)镃PP投影并沒有完全填充矩形區(qū)域，原來ERP格式中的冗余像素在CPP格式中即顯示為無有效含義像素，就像上圖中的矩形角落.對參考序列和測試序列的有效區(qū)域進(jìn)行傳統(tǒng)PSNR計(jì)算，得到的值即作為CPP-PSNR輸出。相對于傳統(tǒng)PSNR，CPP—PSNR可以計(jì)算不同分辨率和不同投影格式的序列之間的PSNR。3360Lib中各種投影方式效果ERP格式投影CMP格式投影OHP格式投影SSP格式投影圖3.4-8TSP格式投影參考資料：[1]JointVideoExplorationTeam（JVET)ofITU—TSG

16WP

3andISO/IECJTC

1/SC

29/WG

116thMeeting：Hobart，“Algorithmdescriptionsofprojectionformatconversionandvideoqualitymetricsin360Lib",AU，31March–7April2017[2],JointVideoExplorationTeamofITU-TSG16WP3andISO/IECJ