基于視場拼接的全視差三維顯示方法

基于視場拼接的全視差三維顯示方法

0旋轉(zhuǎn)屏下三維顯示系統(tǒng)集成優(yōu)化設(shè)計3d顯示技術(shù)通常分為兩種類型：全景圖意義圖像顯示和非全景圖意義圖像。一般有三種表示三維圖像的方法：體視圖技術(shù)、綜合成像技術(shù)和體素法（3d鋼筆）。2007年，以360三維顯示系統(tǒng)為基礎(chǔ)，采用高速投影和旋轉(zhuǎn)屏幕技術(shù)實現(xiàn)了三維全景的三維顯示。以hilashin和yasutirot為例，研究團隊提出了一種非常自然、三維顯示設(shè)備。然而，許多3d顯示系統(tǒng)需要高速旋轉(zhuǎn)，只能顯示橫向透視，并且小的角度擴展圖像。由于結(jié)構(gòu)和圖像效果較差，系統(tǒng)占據(jù)了很大的空間，因此存在許多可以改進的空間。然而，傳統(tǒng)的三維顯示系統(tǒng)的最佳圖像區(qū)域幾乎位于屏幕前的小區(qū)域，因此顯示亮度問題沒有得到很好的解決。從商業(yè)角度來看，基于自由三維顯示技術(shù)的三維顯示設(shè)備也在市場上，但需要進一步解決視覺角度、舒適度和集成度等問題。浙江大學(xué)在2009年國際信息顯示學(xué)會年會上提出了一種橫向視場拼接的體視三維顯示方法.本文在此基礎(chǔ)上深入研究,提出了一種新型基于視場拼接的全視差三維顯示方法及裝置并對其進行了集成優(yōu)化.該系統(tǒng)無轉(zhuǎn)動裝置、機構(gòu)設(shè)計簡單,實現(xiàn)了橫向和縱向的全視差顯示效果,并且具有較大的孔徑光闌,可以顯示較為明亮的三維圖像.1柱面光柵屏的定向散射拼接視場的方法源于對集成成像法的改進,可以顯示超多視點并且視角間隔極小的三維圖像.該全視差三維顯示的硬件核心裝置包括投影機陣列與定向散射屏.所述的投影機陣列可由顯示屏陣列與透鏡陣列構(gòu)成,其中任一臺投影機都是由顯示屏陣列中的一個顯示屏與其正前方的一個透鏡對應(yīng)構(gòu)成,定向散射屏由兩組正交分布的柱面光柵構(gòu)成.為說明原理,假定m行n列的投影機P11-Pmn各自向定向散射屏上的同一位置投影圖像,正交分布的柱面光柵柵線方向分別平行于x軸和y軸,由于定向散射屏的獨特散射特性,在屏幕右側(cè)對應(yīng)形成V11-Vmn個視點,如圖1.以散射屏上的一小塊區(qū)域為例,在不同視點V11-Vmn可以觀看到不同的圖像.同理可推知,在右方觀察區(qū)域內(nèi)任意一個視點觀察到的完整圖像都是由每臺投影機各自投影的一小塊圖像拼接形成,這樣在不同視點就可以觀察到三維物體對應(yīng)視點的視圖,各個視點的圖像連續(xù)變化,從而可以給觀看者提供橫向視差和縱向視差,形成三維感知.如圖2,橫向間距為D的兩臺投影機Pa、Pb分別向投影距離設(shè)置為Lp的柱面光柵屏投影,由此可推知系統(tǒng)所需的柱面光柵屏的散射特性.相對于投影距離Lp及觀察距離Lv,不妨將投影機的出瞳和人眼瞳孔可近似看作一點,若柱面光柵屏的散射角度為0,則由于光線的直線傳播在視點V處只能看到a、b兩個點,此時只要控制柱面光柵的散射角在合適的范圍內(nèi),理論上當(dāng)柱面光柵屏定向散射角度θ增加到與投影機角度間隔δ相等,a、b兩點會被擴展成兩塊,那么觀察者就可在光柵屏上觀察到來自投影機Pa、Pb的兩塊圖像恰好在c點處拼接到一起,這樣便可構(gòu)成更寬幅的圖像.當(dāng)系統(tǒng)參量設(shè)置Lp>>D時,邊緣視場斜投影的關(guān)系式同樣可近似用式(1)表示,根據(jù)數(shù)學(xué)上三角關(guān)系可得δ2≈arctan(D/2Lp)(1)δ2≈arctan(D/2Lp)(1)縱向視角顯示原理與此一致,這里不再贅述.2圖像分割和拼接重組根據(jù)上述原理,在一個視點觀看該三維顯示裝置,看到的完整視圖是由許多相同大小的方塊形小圖像拼接起來的,為方便說明圖像關(guān)系稱之為圖像區(qū)塊,每個圖像區(qū)塊的成像光路與投影機陣列中的投影機一一對應(yīng).如圖3,液晶顯示屏陣列、透鏡陣列及定向散射屏構(gòu)成基本的成像系統(tǒng),在視點V觀察到的視圖包含了分別來自于三個不同顯示屏的不同位置的圖像區(qū)塊A、B、C.同理可知,送入任意一臺投影機的圖像也是不同圖像區(qū)塊拼接起來的,分別來自于從不同視點拍攝三維物體獲得的視圖.圖像源生成部分需要對各個視角的圖像進行剪裁和重新拼接組合.設(shè)重組后的投影圖像為Pab(x,y),表示橫向第a、縱向第b臺投影機所對應(yīng)第x行、第y列的投影圖像區(qū)塊,各視角分割后的圖像區(qū)塊為Sij(p,q),表示第i縱向視角、第j橫向視角的第p行、第q列的視角圖像,于是根據(jù)成像關(guān)系遍歷可得∑a=1n∑b=1nPab(x,y)=∑i=1n∑j=1nSij(p,q)(2)∑a=1n∑b=1nΡab(x,y)=∑i=1n∑j=1nSij(p,q)(2)其中{x=(n?i)n+(p?1)(n?1)?n(a?1)(3)y=(n?j)n+(q?1)(n?1)?n(b?1)(4){x=(n-i)n+(p-1)(n-1)-n(a-1)(3)y=(n-j)n+(q-1)(n-1)-n(b-1)(4)n表示橫向/縱向視角數(shù),p,q取值為1~n.以3×3(即n=3)的圖像分割和拼接方式進行說明,首先將每一個視角獲得的圖像進行3×3的切割,然后將每一幅圖像的指定區(qū)域A1~A9取出,以每一幅圖像相對于中心的位置關(guān)系重新組合,如圖4(a)為需要呈現(xiàn)的視角圖像,每一種顏色灰級表示一個視角的圖像塊,圖4(b)為與式(2)相對應(yīng)的分割和重組規(guī)則,圖4(c)為實際三維物體圖像拼接重組示意.通過這樣的拼接重組方式可獲得中心投影機的圖像源.同理,其他視角的圖像源也是按照相似的位置關(guān)系進行切割和拼接重組.通過式(3)和(4)所表達的關(guān)系進行切割和重組,所得到的圖像源經(jīng)過投影系統(tǒng)的成像將滿足對應(yīng)視角的觀看要求并真實地還原三維物體.為實現(xiàn)投影所需的三維模型場景模擬與獲取,該算法將三維物體的中心放置在視場的中央,從視場中心前方一定位置平面上不同角度模擬攝像機進行拍攝獲取了m×n個視角的圖像,攝像機陣列的排布與系統(tǒng)微投影機陣列排布對應(yīng),相當(dāng)于人眼從不同角度的視點觀察位于視場中央的三維物體.然后將這些圖像送入圖像處理程序模塊進行重新切割和組合并生成拼接后的m×n幅圖像作為投影圖像源,考慮到算法的實用性,圖像轉(zhuǎn)換是基于OpenGL的算法實現(xiàn),通過調(diào)用Matlab工程軟件實現(xiàn)原始圖像源的拼接和生成.通過算法的改進預(yù)先對多幀圖像進行循環(huán)獲取與拼接,進而通過多幀圖像合成與連續(xù)播放的模式獲得動態(tài)顯示效果.3系統(tǒng)測試及結(jié)果分析把23inch液晶顯示器圖像區(qū)域分割成分辨率為225×225的45個小圖像(由于商用23inch液晶顯示器分辨率受限,橫向兩側(cè)邊緣視場像素利用率為173×225,縱向兩側(cè)邊緣視場像素利用率為225×203),和45個焦距100mm的菲涅耳透鏡相配合作為微投影陣列,正交的透射式柱面光柵作為定向散射屏,并配以背投式反射光路優(yōu)化系統(tǒng)結(jié)構(gòu)開發(fā)出了一臺實驗樣機,如圖5,二維圖像經(jīng)透鏡陣列及傾斜45°設(shè)置的反射鏡投影到橫向和縱向散射角度均為4.77°的散射屏上.系統(tǒng)主要器件及參量如表1.在1.2m觀察距離以CCD拍攝的方式獲取了樣機系統(tǒng)上、下、左、右及中心等5個不同視角靜態(tài)顯示效果,如圖6.采用CCD拍攝的方式對樣機系統(tǒng)顯示效果進行測試的結(jié)果表明樣機系統(tǒng)最佳視角范圍為水平方向35°、垂直方向20°內(nèi).該系統(tǒng)相較于先前的橫向視差拼接三維顯示方法采用了更大的孔徑光闌,因此可以顯示更為明亮且均勻性較好的三維圖像,在一定程度上改善了傳統(tǒng)集成成像三維顯示的一些不足.但現(xiàn)有顯示效果存在一定程度的拼接痕跡,并且在視場邊緣圖像出現(xiàn)了一定程度的模糊.視場邊緣的菲涅爾透鏡斜投影到散射屏上成像質(zhì)量較差,反映到散射角度偏大造成視角信息可能的重疊等都可能引致系統(tǒng)成像效果不佳.測試結(jié)果還發(fā)現(xiàn),現(xiàn)有柱面光柵屏材質(zhì)存在一定程度的正色散,柱面光柵屏對不同色光的散射角度的不同既造成了拼接圖像信息重合或者不連續(xù),也降低了屏幕的顯示對比度.另外,上文所述拼接方法采用的工程近似對成像效果的影響程度也需要進一步考慮.拼接不連續(xù)及散射屏散射角度控制不準(zhǔn)確的問題可以通過增加更多數(shù)量的微投影機以及使用更精細(xì)的制作工藝得到大大改善.用于投影的透鏡可以采用優(yōu)化過的樹脂鏡片組,在可控范圍內(nèi)減少投影成像的像差影響.視點數(shù)目理論上可無限增加且視角間隔可以做到很小,相關(guān)研究稱視角間隔小有助于這種多視點型自體視三維顯示裝置減輕觀察者視覺疲勞.這些將作為下一步研究的重點.該方法的另一個創(chuàng)新之處在于對自體視三維顯示系統(tǒng)集成化和商業(yè)化的嘗試,平板顯示器和透鏡陣列的組合替代投影機陣列、以及背投式反射光路的運用,在很大程度上優(yōu)化了系統(tǒng)結(jié)構(gòu)、減少了系統(tǒng)硬件占用空間的同時降低了開發(fā)成本.4平板顯示器和背投反射式光路的應(yīng)用本文演示了一種利用視場拼接獲得全視差三維顯示圖像的新途徑、新方法.根據(jù)成像原理和投影關(guān)系,分析了定向散射屏的散射特性