文獻綜述國內(nèi)外現(xiàn)狀初版

1、混合分辨率+超分辨率+（depth+SR）DIBR+虛擬視點+（depth）（為什么從以下兩個部分綜述的原因沒有寫）從家庭設備到專業(yè)制作的安全和監(jiān)視場景，多視點機設備變得越來越重要，身臨其境的體驗需求日益增加，現(xiàn)代應用比如自動顯示或視點電視等越來越受到人們的歡迎。通常情況下，多視點圖像的靈活性和可利用性方法隨著給定相機角度的增加而增加，然而，大量的機設備會導致數(shù)據(jù)傳輸和成本的增加和復雜性的提高。為此，眾多科研學者都投入到多視點圖像和處理相關技術的研究當中。當前關于多視點圖像和處理技術的研究主要有三個方面：多視點編碼前處理；多視角的壓縮編碼方法；以及接收端的高分辨率本文擬展開基于深度學習的多視點

2、重建。編碼前處理與重建的研究，將重點介紹多視角混合分辨率框架下的超分辨技術以及利用 DIBR 技術兩個方面虛擬視圖模型的多視角混合分辨率框架下的超分辨技術的發(fā)展及研究現(xiàn)狀1.1為獲得高質(zhì)量往往需要大量的數(shù)據(jù)，其需要的計算復雜度和傳輸帶寬遠遠超過，由于數(shù)據(jù)傳輸和容量的限制，如何才能將高質(zhì)量的超分辨率視圖傳輸給2D終端用戶是目前相關領域研究的一個巨大01因此，提出一種多視角混合分辨率框架下的超分辨技術2-6。該技術主要是利用在給定相鄰機角度的不同空間分辨率，在接收端以低分辨視角圖像為基礎，其中高分辨率圖中的高頻部分可用于增加相鄰低分辨率視角的圖像質(zhì)量，構建出超分辨率圖像，進一步降低傳輸過程中的數(shù)據(jù)

3、量。該技術一提出，迅速引起了學術界和工業(yè)界的廣泛關注和重視。為此，多視角混合分辨率年來的研究熱點。框架下的超分辨技術的發(fā)展及應用成為近幾在7中利用 SR 技術旨在對于一個給定的低分辨率輸入圖像或序列建立合理的高頻內(nèi)容, 從而在重建端得出更精確的超分辨圖像。在8、9提出了截取利用低分辨率和全分辨率視圖的混合分辨率方案，即從兩個視點看到的相鄰圖像中，一個處理為全分辨率視圖，另一個處理成低分辨率視圖，并在兩者中提取出相關的序列和像素點，再利用圖像分析和 IBR 等技術，最終得出了全部是高分辨視圖的方法。對比傳統(tǒng)方法，混合分辨率技術在生成超分辨率圖像的同時有效的提高了時間效率。在利用混合分辨率技術的研

4、究過程中，考慮到鄰域高分辨率圖像的投影圖會不可避免的產(chǎn)生裂紋、空洞等一系列問題，盡管提高了圖像的分辨率，但圖像質(zhì)量會受到了較大影響。針對研究過程中的裂紋、空洞等問題，傳統(tǒng)的解決方法是利用傳統(tǒng)的插值上采樣圖像以及基于 DCT 的上采樣圖像對其進行修復處理,在傳統(tǒng)解決方法的基礎上，文獻10使用了非均勻采樣復原理論對空洞進行了修復，投影圖中的其它空洞則由原始低分辨圖像幀的上采樣圖像進行了填充，提高了最終圖像質(zhì)量。而文獻11對紋理進行處理，提出了一種基于多幅圖像表面三維幾何模型的超分辨紋理估計的變分框架，在此框架下，進行推導算法的迭代并優(yōu)化一個高質(zhì)量的紋理，表面位移圖，和機標定參數(shù)以提高單個圖像表面的

5、配準，以此來修復裂紋。文獻12從深度圖入手，利用匹配與深度圖融合的方式，充分利用深度信息對視圖的補償，進行閉環(huán)處理，最終獲得減少了空洞數(shù)量的高質(zhì)量的深度圖和超分辨率圖像。文獻13主要針對重建過程的超分辨率視圖，提出了一種在混合分辨率場景中改進的深度編碼模式?jīng)Q策，對基于深度編碼的上采樣視圖進行失真計算的改進和優(yōu)化，進而減少了空洞和裂紋的產(chǎn)生，提高了圖像質(zhì)量。在利用多視點混合分辨率技術的研究過程中，除了在重建端對圖像的修復可以提高質(zhì)量之外，改進算法技術和采樣方法等也能達到重建出質(zhì)量好的超分辨率圖像的目的。比如文獻14提出一種以位移補償高頻為基礎，以校正投影誤差為目標的算法，能提高過程中高分辨率圖的

6、像素無差錯深度數(shù)據(jù)，進而提高了圖質(zhì)量。而文獻15為了減少數(shù)據(jù)傳端的質(zhì)量，在上下采樣算法的基礎上，在編碼端對相鄰的圖像采用遵循輸和增強交錯和互補的下采樣方式，在端丟棄的像素由像素的虛擬視圖定向插值像素采樣融合互補的觀點恢復，其圖像質(zhì)量優(yōu)于傳統(tǒng)采樣方法所得的圖像質(zhì)量。Zhi Jin, Tammam Tillo 等人提出虛擬視點輔助超分辨率算法，利用視圖間的相似度確定超分辨率幀中缺失的像素是否需要由虛擬視點像素或空間插值像素填充，從而恢復圖像細節(jié)和保持高質(zhì)量16。針對端視圖質(zhì)量，Michal Joachimiak 等人采用視圖上采樣優(yōu)化算法，實施一種新的基于深度超分辨率的深度失真度量方法17。利用經(jīng)

7、過改良的變換域 SR 法，即基于目標 LR 視圖與輔助 HR 視圖相關性的最優(yōu)權重分配算法，它不僅借用了相鄰全分辨率幀的高頻內(nèi)容，而且利用了所有高分辨率圖像，對低分辨率提供更準確的細節(jié)信息，保持了圖像的高質(zhì)量和高分辨率18。綜上所述，利用多視點混合分辨率技術可以有效的生成超分辨率圖像，在研究過程中，不斷改進的優(yōu)化算法和圖像修復技術能夠大大的減少時間上的花費，增加效益值。2017 年18算法相比過往的方法，得出的超分辨率圖像質(zhì)量最佳。DIBR 技術隨著 3D虛擬視圖模型的發(fā)展及研究現(xiàn)狀1.2和 3D的需求日益增加，三 D的制作與通信增長迅速。作為一個用戶可以選擇的觀點，視點（FVV）也引起了越來

8、越多的關注，然而，捕獲和傳輸任意視點需要各種的相機、復雜的編碼和昂貴的帶寬，如何傳輸這些頻是不現(xiàn)實的，并且為了傳輸多視點信息是一個巨大的。用大量的相機從不同的視角捕獲視去占用太多的帶寬是不合理的，一種有效的解決方案是虛擬視點。即通過兩個或多個機拍攝的同一場景的圖像，來生成此場景其他各個視點或視線方向上的圖像?；趫D像的繪制 (image-based rendering, IBR)是圖像的插值或像素投影來產(chǎn)生新的虛擬視點圖像 , 能夠?qū)崟r虛擬視點的有效方法，其主要是通過對參考高質(zhì)量的中間視圖，其繪制過程避免了復雜的幾何建模工作與計算工作，因此具有快速、簡單、 真的優(yōu)點。因此 , 在虛擬現(xiàn)實 、軍

9、事指揮 、影視特效 、圖像處理等方面有著廣泛的應用 前景 ?；谏疃葓D的圖像繪制 (Depth image-basedrendering, DIBR)是對 IBR 的一種改進 , 它將場景的深度信息引入到 IBR 中 ,通過 3D-War技術利用 彩像及其深度圖像生成任意位置的虛擬視點圖像。與傳統(tǒng)的 IBR 方法相比 , DIBR 大大減少了參考圖像的數(shù)目 , 為實時生成高質(zhì)量的虛擬視點圖像提供了有效的技術支持。DIBR 技術主要包括以下幾個環(huán)節(jié)： 3D-War（三維轉換）19、像素插值和空洞填補。其中，像素插值是影響虛擬視點繪制質(zhì)量的主要環(huán)節(jié)，深度圖的準確程度和遮擋、問題是影響插值準確度的兩

10、個確性，這將會導致在 3D-最為重要的客觀。一方面，由于 DIBR 技術所采用的深度圖一般都具有War過程中投影像素點發(fā)生錯誤的。如果在像素插值環(huán)節(jié)未能考慮到這種錯誤，將會使投影像素點偏離實際位置而產(chǎn)生失真。另一方面，遮擋、問題將導致虛擬視點空間中某個待插值像素點附近分布著多個投影像點，能否從多個投影像素點中選擇合適的像素點來進行像素插值是影響繪制質(zhì)量的關鍵。在像素插值以后，虛擬視點圖像中還會存在一些空洞區(qū)域，為了得到完整的虛擬視點圖像，需要對空洞進行填補。目前，解決空洞有兩類方法，（1） 對深度圖進行預處理. 使用濾波器對深度信號作平滑處理, 以減小深度的不連續(xù)性。由濾波器2021、非對稱低

11、通濾波器22等對整幅深度圖進行平滑處理，出現(xiàn)空洞的水平邊緣區(qū)域會被平滑，但是其他未產(chǎn)生空洞的區(qū)域經(jīng)過濾波后，會出現(xiàn)幾何上的失真，降低了圖的質(zhì)量。為了解決這個問題，一種基于邊緣深度圖的濾波器23和另一種自適應邊緣平滑濾波器24相繼被提出，在對深度圖預處理過程中，只對空洞區(qū)域的水平邊緣進行平滑操作，達到最優(yōu)效果。（2） 對已產(chǎn)生的空洞進行填補。利用周圍像素間的相關性，在時間或空間域填補非遮擋區(qū)域而不是對深度圖進行預處理。有兩類填補空洞的方法：1）在空間域，利用圖像的空間聯(lián)系填補丟失的像素。文獻25 利用鄰域插值法，提出利用空洞周圍 8 個方向的非空洞背景像素點的距離來填補空洞的方法。由于兩個相鄰的

12、機可以覆蓋相對較寬的視角，為了減少空洞數(shù)量，在26中提出了利用圖像融合的方法，是相鄰的視圖結單一的圖像從而減少空洞。然而在帶寬的限制下，只有一小部分的視圖能夠被傳輸，所以生成的視圖仍然會缺少一些像素信息。因此在不引入明顯的模糊偽影的情況下恢復丟失的像素，圖像修復的方法越來越受到歡迎。在27和28文獻中，圖像修復方法的應用表明，在計算空洞邊界的像素的優(yōu)先級后，與空洞最相關的補丁是從源補丁 而來的。但是，在較低的空間域關聯(lián)情況下，圖像修復無法有效的區(qū)別出前景和背景的像素，因此會對圖的質(zhì)量產(chǎn)生損害。在29中，為了減少圖像修復的難度，對缺失像素塊進行了排序。在重構過程中，對最復雜的像素塊的輔助信息（A

13、I）進行傳輸，從而引導填補空洞。器在模板匹配算法下獨立的2）在時間域上，利用時間上的相關性對視圖填補丟失的像素。當前景物體移動時，由前景對象遮擋的背景（BG）在新視圖中，會在視圖中產(chǎn)生一些空洞，基于此，研究提出了背景更新技術。在30和31中采用背景更新技術，在基于時間的相關性上生成靜態(tài)背景框架，然后根據(jù)深度圖使用傳統(tǒng)的圖像修復和聚類技術去除任何前景物體。但是由于依賴于圖像修復、背景圖像的和聚類方法，這些步驟的任何一個錯誤都會降低視圖的質(zhì)量。針對傳統(tǒng)的空洞填充方帶來一些模糊的效果或偽影，提出一種新的空洞填充的前景去除方法。通過在 3d 變形之前，前景對象從 2d及其對應的深度圖中被移除，并且構建

14、出背景深度圖和背景，從而結合 DIBR 模塊得出優(yōu)化效果32。另外，如果利用按重量比和標準差排序的混合模型模型生成背景框架，背景框架并不展現(xiàn)像素最近的變化，這會導致視圖合成中的背景框架較差33。但在 34中，用大量的混合模型將前景像素和背景像素分開，并相應地修改像素強度。該文獻使用自適應平均生成像素強度，從而在變形圖和模型中恢復背景圖丟失的像素，用來糾正在圖像變形過程中的錯誤，同時使用自適應重置機制保持案能有效的提高視圖質(zhì)量?；旌夏Ｐ拖到y(tǒng)的相關性，最終該方綜上所述，對在利用 DIBR虛擬視點的過程中產(chǎn)生的空洞問題，通過對深度圖的預處理濾波操作以及空洞填補均能在一定程度上解決問題，在34的方案中

15、，采用自適應算法和混合模型相結合的方式，能進一步解決在動態(tài)場景下的視圖，極大提高視圖的質(zhì)量。1J. Xiao, M. M. Hannuksela, T. Tillo, M. Gabbouj, C. Zhu, and Y. Zhao,“Scalabit allocation betn texture and depthviews for 3-D139152, Jan. 2015.streaminer heterogeneous networks,” IEEE Trans. Circuits Syst.Technol., vol. 25, no. 1, pp.2 Diogo C. Gar ;Cam

16、ilo Dorea;Ricardo L. de Queiroz. Super Resolution for Multiview Images Using DepthInformationJIEEE Tranions on Circuits and Systems forTechnology, 2012.D.C.Gar ;C.Dorea;R.L.De Queiroz. Super resolution for multiview images using depth informationCProceedings of IEEEernational Conference on Image Pro

17、sing, 2010.T.Richter;J.Seiler;W.Schnurrer,et al. Robust super-resolution in a multiview setup based on refined high-frequency synthesisMMSP 2012Proceedings, 2012.T.Richter;A.Kaup. Multiview super-resolution using high-frequency synthesis in case of low-framerate depthinformation2012 IEEE Visual Comm

18、unications and Image Prosing, 2012.6 E.M.orea;D.C.Gar ,et al. Transform-super-resolution for multiview iamges using depthinformationCEUSIPCO, 2011.7S. C. Park, M. K. Park, and M. G. Kang, “Super-resolution image reconstruction: A technical overview,” IEEE Signal Pros. Mag, vol. 20, no. 3, pp. 2136,

19、May 2003.8 H. S. Sawhney, Y. Guo, K. Hanna, R. Kumar, S. Adkins, and S. Zhou,“Hybrid stereo camera: An IBR approach forsynthesis of very high resolution stereoscopic image sequen,” in Proc. 28nnu. Conf. SIGGRAPH, 2001, pp. 451460.9 P. Aflaki, M. M. Hannuksela, J. Hakkinen, P. Lindroos, and M. Gabbou

20、j, “Subjective study on compressed asymmetricstereoscopic,” in Proc. 17th IEEE. Conf. Image Pros. (ICIP), Sep. 2010, pp. 40214024.10 DING Lan， FU Zhizhong， LI Xiaofeng， ZENG Lei ,“Image Super Resolution for Multi-view Mixture ResolutionBased on-uniform Sling Restoration”, in Opto-Electronic Engineer

21、ing, 10.3969/j.i.1003-501X.2013.11.01311 Bastian Goldlcke Mathieu Aubry Kalin Kolev Daniel Cremers, “A Super-Resolution Framework for High-AccuracyMultiview Reconstruction”,J Comput Vis (2014) 106:17219112 Jing Zhang Cao Zhigang Zheng Changwen Chen Zengfu Wang, “A new closed loop method of super-res

22、olution for multi-view images”, Machine Viand Applications (2014) 25:1685169513 Michal Joachimiak , Mis. Hannuksela , Payman Aflaki , Moncef Gabbouj, “UPSLED-VIEW DISTORTIONOPTIMIZATION FOR MIXED RESOLUTION 3DCODING”, 978-1-4799-8339-1/15/$31.00 ICIP 2015 IEEE14 Thomas Richter, Jrgen Seiler, Wolfgan

23、g Schnurrer, and Andr Kaup, “Robust Super-Resolution for Mixed-ResolutionMultiview Image Plus Depth Data”, IEEE TRAN NO 5, MAY 201615 Zhi J in, Tammam Tillo, Jimin Xiao and Yao Zhao, “MultiviewIONS ON CIRCUITS AND SYSTEMS FORTECHNOLOGY, VOL 26,plus depth transmisvia v irtual-view-assisted complement

24、ary down/upsProsing (2016) 2016:19ling”, Jin et al. EURASIP Journal on Image and16 Zhi Jin, Tammam Tillo, Chao Yao,Jimin Xiao and Yao Zhao, “Virtual-View-AssistedSuper-ResolutionTECHNOLOGY, VOL. 26,and Enhancement”, IEEE TRANNO. 3, MARCH 2016IONS ON CIRCUITS AND SYSTEMS FOR17 Michal Joachimiak ,Misk

25、a M. Hannuksela,Moncef Gabbouj, “View upsling optimization for mixed resolution3Dcoding”, Multidim Syst Sign Pros ( 2016) 27:76378318 Zhi zhong Fu, Yuan Li, Jin Xu, Honggang Wu,Yongwen Lai, “Super resolution for multiview mixed resolution imagesransform-with optimal weight”, Multimed Tools Appl (201

26、7) 76:3031304519 Ahn I， Kim C.A novel depth-based virtual view synthesis method for free viewpoBroadcasting，2013，59（4）：614-626.J.IEEE Tranions on20 C. Fehn, “Depth-image-based rendering (DIBR), compresSPIE, vol. 5291,pp. 93104, May 2004., and transmisfor a new approach on 3D-TV,” Proc.21 W. J. Tam,

27、G. Alain, L. Zhang, T. Martin, and R. Renaud, “Smoothing depth maps for improved steroscopic imagequality,” Proc. SPIE, vol. 5599, pp. 162172, Oct. 2004.22 Y.-R. Horng, Y.-C.g, and T.-S. Chang, “Stereoscopic images generation with directional Gaussian filter,” in Proc.IEEE . Symp. Circuits Syst., Ma

28、y/Jun. 2010, pp. 26502653.23 W.-Y. Chen, Y.-L. Chang, S.-F. Lin, L.-F. Ding, and L.-G. Chen, “Efficient depth image based rendering with edge dependent depth filter and olation,” in Proc. IEEE . Conf. Multimedia Expo, Amsterdam, The Netherlands, Jul. 2005, pp. 13141317.24 P. J. Lee and Effendi, “geo

29、metric distortion smoothing approach for depth map preprosing,” IEEE Trans.Multimedia, vol. 13, no. 2, pp. 246254, Apr. 2011.25 DO L, ZINGER S. Quality improving techniques for free-viewpoDIBR C/IS & T/SPIE Electronic Imaging. SPIE Press, 2010: 75240I-75240I-10.ton:26 D. M. M. Rahaman and M. Paul, “

30、Free view-posynthesis using Gaussian mixture mling,” in Proc. IEEEConf. Image Vis. Comput. New Zealand, Nov. 2015, pp. 16A. Oliveira, G. Fickel, M. Walter, and C. Jung, “Selective hole-filling for depth-image based rendering,” in Proc. IEEE. Conf. Acoust., Speech Signal Pros., Apr. 2015, pp. 11861190.A. Criminisi, P. Prez, and K. Toyama, “Region filling and object removal by exemplar-based image inpa ing,” IEEE Trans. Image Pros., vol. 13, no. 9, pp. 12001212, Sep. 2004.29 Y.compres, G. Cheung, T. Maugey, P. Frossard, and J. Liang, “En