體感交互的裸眼3D展示系統(tǒng)設(shè)計與實現(xiàn)

楊文超;吳亞東;趙思蕊;蔣宏宇【摘要】Thispaperintroducestheprincipleofcylindricallenstypeautostereoscopicandmultiple-viewpointautostereoscopic3Dtechnique.Aparadigmofmixtureof8eyesightpicturesandthegesturerecognitionchainofthissystemweredesigned.Amixedgesturerecognitionandautostereoscopicof3DexhibitiongamewasrealizedbyusingtheUnity3Dengine.Theresultsshowthatthemixedexhibitionsystemhasenhancedtheimmersinglevelofthesystemandcaneasilyattractplayerstohaveatry.Thissystemcanbewidelyusedinadvertisements,productsexhibition,companypublicityandsoon,withgoodmarketprospects.%介紹了柱狀透鏡式裸眼3D顯示技術(shù)的原理以及多視點裸眼3D的實現(xiàn)方案,設(shè)計了8視點圖像合成算法，針對體感交互設(shè)計了動作識別鏈，在Unity3D引擎實現(xiàn)了體感交互與裸眼3展示技術(shù)融合應(yīng)用案例?結(jié)果表明,結(jié)合體感交互的裸眼3D展示系統(tǒng)增強了交互沉浸感,顯著增強系統(tǒng)吸引力,可廣泛用于廣告宣傳、產(chǎn)品展示、公司文化宣傳等領(lǐng)域.【期刊名稱】《西南科技大學(xué)學(xué)報》【年(卷),期】2017(032)001【總頁數(shù)】7頁(P85-91)【關(guān)鍵詞】裸眼3D;體感交互;柱狀透鏡;多視點;狀態(tài)識別鏈作者】楊文超;吳亞東;趙思蕊;蔣宏宇【作者單位】西南科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院四川綿陽621010;西南科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院四川綿陽621010;西南科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院四川綿陽621010;西南科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院四川綿陽621010【正文語種】中文【中圖分類】P391.4人機交互技術(shù)的方向始終朝著和諧自然的方向發(fā)展，人們希望得到的人機交互方式是同自然生活中一樣，而不是需要手持交互工具、兩眼注視屏幕的被動的交互方式在交互輸入方面，國內(nèi)外學(xué)者在實現(xiàn)自然的手勢交互方面已經(jīng)做了很多研究。常亞南［1］基于視覺的方法，結(jié)合HMM進行樣本訓(xùn)練，實現(xiàn)了動態(tài)手勢識別；Kim等［2］設(shè)計開發(fā)了紅外距離感應(yīng)器原型系統(tǒng)為手勢交互提供途徑；曾繁江［3］在Kinect交互平臺上實現(xiàn)手勢識別并運用于傳統(tǒng)桌面隔空控制。隨著對Kinect這類體感檢測設(shè)備的應(yīng)用加深，手勢與體感直接完成交互輸入的方式將會得到更多的發(fā)展。在計算機輸出顯示方面，英國物理學(xué)家CharleWheatstone早在19世紀(jì)就發(fā)現(xiàn)人眼能夠看到3維物體的根本原因是人的兩只眼睛觀察到的圖像不同造成的［4］。經(jīng)過近一個多世紀(jì)的研究，人類基于這種讓左右眼觀察到不同圖像的原理研發(fā)出各類3D圖像展示技術(shù)，并將之運用到各大領(lǐng)域。劉嶫［5］提出實現(xiàn)3D立體顯示的3個條件，并著重解決3D串?dāng)_問題，實現(xiàn)了無串?dāng)_偏光式3D顯示系統(tǒng)；Mikhail等［6］將頭戴式3D顯示器與體感操作裝置結(jié)合，形成一種全沉浸的3維體驗系統(tǒng)vAcademia；Carlos等［7］依次將9視點圖像8次繪制并融合顯示輸出了多視點裸眼圖像；黃慶敏［8］研究了超高清多視角裸眼電視實現(xiàn)技術(shù)，通過理論計算證明超高清屏幕解決多視角裸眼3D技術(shù)分辨率低的問題的可行性。非穿戴式裸眼3D顯示技術(shù)將會是今后顯示器發(fā)展的重要分支。雖然在體感交互與裸眼顯示領(lǐng)域都已經(jīng)有過很過研究，但是如何將這些自然、沉浸的交互方式結(jié)合到一起，形成可商業(yè)化運用的、用戶容易與之交互的、臨場感強烈的互動體驗系統(tǒng)仍亟待研究。本文詳細(xì)討論了柱狀透鏡式裸眼3D的工作原理及其多視點裸眼技術(shù)原理，結(jié)合裸眼3D與Kinect體感交互的人機交互方式，在Unity引擎中實現(xiàn)了兩者聯(lián)合開發(fā)的解決方案，并進行了實驗驗證。在人類認(rèn)知領(lǐng)域的研究發(fā)現(xiàn)，視覺線索可分為單眼線索和雙眼線索，單眼線索可通過明暗、透視等技法在平面上體現(xiàn)立體效果，稱為達芬奇立體視；雙眼線索通過雙眼視差產(chǎn)生立體視覺，稱為惠斯通立體視［4］。前者可以表現(xiàn)的深度關(guān)系十分有限，而后者可以模擬人眼觀看景物的實際情況，因而可以產(chǎn)生強烈的立體感覺。裸眼3D顯示都運用了雙眼視差的原理來產(chǎn)生立體視覺，并可分為光屏障式(Barrier)、柱狀透鏡式(LenticularLens)和指向光源(DirectionalBacklight)3種。柱狀透鏡式裸眼3D技術(shù)因其亮度不受影響而得到廣泛研究，下面將會詳細(xì)介紹柱狀透鏡式裸眼3D成像原理。1.1柱狀透鏡式裸眼3D原理柱狀透鏡3D技術(shù)的原理是在液晶顯示屏的前面加上一層柱狀透鏡，該透鏡稱為柱狀光柵，使液晶屏的像平面位于透鏡的焦平面上，這樣在每個柱透鏡下面的圖像的像素被分成幾個子像素，這樣透鏡就能以不同的方向投影每個子像素。于是雙眼從不同的角度觀看顯示屏，就看到不同的子像素［9］。因為柱狀透鏡使用的是平凸透鏡，其光學(xué)特性描述如圖1所示。圖1中透鏡光軸為x軸方向，F(xiàn)和F'為第一、第二焦點，O為透鏡光心,a為第—焦平面，P為第二焦平面，透鏡焦距為f,光心與透鏡頂點的距離為d。設(shè)透鏡弧形半徑為r,像素點A與光軸距離為h，經(jīng)透鏡后折射光線進入人眼，人眼與透鏡第二焦平面距離為l，與主光軸距離為v，設(shè)光線經(jīng)透鏡出射點在光軸上的投影距離頂點為6,根據(jù)幾何關(guān)系有：tan0tan0所以，推導(dǎo)出：公式(4沖f,d,r都是常數(shù)，v與丨的比值只和像素點與主光軸的距離h有關(guān)，即(l,v)的坐標(biāo)關(guān)系由h決定，隨著h的變化，像素點光線的傳播路線也在發(fā)生改變，可觀看到該點像素圖像的位置(l,v)也發(fā)生改變［10］。屏幕像素點位于透鏡焦平面上，根據(jù)凸透鏡光學(xué)特性，不同位置的像素點經(jīng)過透鏡后將會發(fā)射出不同方向的光線。1.2多視點裸眼3D技術(shù)由多條平行放置的柱狀透鏡構(gòu)成了裸眼3D透鏡屏幕，透鏡焦平面上的像素發(fā)光點經(jīng)過透鏡折射后在空間形成固定的可見區(qū)域，從而將左眼圖像與右眼圖像分開。在一個透鏡寬度后面放置多個像素點光源就可以在空間多個位置形成不同角度的視點畫面，觀看者在不同的觀看位置只要同時看到這多個視角畫面中的兩個就可以感受到深度信息，這種技術(shù)被稱為多視點技術(shù)。多視點示意圖如圖2所示。從圖2可以看出，對于柱狀透鏡光柵焦平面上的像素點，其發(fā)出的光線經(jīng)過透鏡后在空間形成固定位置的可視點，如圖上形成的4個視點。只要人的左右眼睛分別接收到兩個不同視點的圖像就可以產(chǎn)生裸眼效果。對人眼立體感的產(chǎn)生貢獻最大的是水平視差［11］，為了得到較好的3D效果，往往采用多幅具有水平視差的圖像合成圖像，而在豎直方向上不做多視點處理。多視點技術(shù)提供了自由的觀看位置與角度，同時因為裸眼視差都是在水平方向，所以人眼實際接收到的圖像分辨率會在水平方向嚴(yán)重降低而豎直方向沒有變化，導(dǎo)致分辨率失調(diào)。緩解分辨率失調(diào)的問題可以將柱狀透鏡傾斜放置，降低的分辨率被分?jǐn)偟剿胶拓Q直方向，從而人眼接收到的分辨率不至于太低。以圖3所示的8視點裸眼屏幕為例，將柱狀透鏡傾斜放置，與水平面成一定夾角，該夾角由像素點物理寬高決定，屏幕像素的排列也交錯放置，在透鏡傾斜方向依次排列1到8視點對應(yīng)的像素，每個透鏡寬度區(qū)域內(nèi)包含了完整的8個視點的像素點。經(jīng)過傾斜放置，可以計算得到水平方向分辨率變成原圖像的1/4，垂直方向分辨率變?yōu)樵瓉淼?/2。存在一種壞的情況，當(dāng)人左眼看到視點8的圖像，右眼看到視點2的圖像，根據(jù)8視點排列原理，此時畫面左右顛倒［12］，同時模擬兩眼的相機間距最大，好比于眼睛瞳距過大，人眼很難聚焦因而無法獲得立體圖像。運用體感交互技術(shù)與裸眼3D顯示技術(shù)，構(gòu)建自然、沉浸的交互輸入與輸出，提升了交互體驗。系統(tǒng)設(shè)計框架如圖4所示。系統(tǒng)包括體感交互輸入與裸眼3D顯示輸出兩部分，與玩家之間形成信息傳遞循環(huán)鏈，從而玩家可以持續(xù)感受裸眼3D畫面信息并且根據(jù)眼見內(nèi)容作出回應(yīng)動作。目前能夠?qū)崿F(xiàn)手勢輸入的硬件設(shè)備包括LeapMotion、Kinect、數(shù)據(jù)手套等，本系統(tǒng)設(shè)計采用了微軟的Kinect體感設(shè)備作為體感動作檢測與交互工具。體感交互輸入設(shè)計體感交互輸入過程包括數(shù)據(jù)平滑濾波、坐標(biāo)矯正與坐標(biāo)系轉(zhuǎn)換、動作識別鏈識別等過程。體感數(shù)據(jù)平滑濾波保證數(shù)據(jù)的穩(wěn)定性，本系統(tǒng)使用的濾波器描述為：Pn=axRn+(1-a)xPn-1濾波的核心是低通濾波器原理，Pn是經(jīng)過濾波算法過后的骨骼坐標(biāo)點輸出；a為濾波系數(shù)，通常是個比較小的值；Rn是本次得到的骨骼點坐標(biāo)；Pn-1是上一次濾波得到的骨骼坐標(biāo)。該濾波可以很好濾除骨骼抖動，但同時也降低了響應(yīng)速度。姿勢矯正與坐標(biāo)系轉(zhuǎn)換將傳感器檢測到的體感數(shù)據(jù)轉(zhuǎn)化為用戶自身坐標(biāo)系。坐標(biāo)轉(zhuǎn)換只是涉及轉(zhuǎn)換公式的運用，這里不再贅述。在文獻［13］中，運用了姿勢序列有限狀態(tài)機的方法識別動態(tài)手勢，將關(guān)節(jié)點位置限制與動作時間限制都納入動作檢測依據(jù)來提升準(zhǔn)確率，同時識別的時間開銷也相應(yīng)增大。在娛樂應(yīng)用系統(tǒng)，更追求的是動作的響應(yīng)速度，并且對于較短時間連續(xù)動作的識別如果關(guān)節(jié)運動路徑超出限制時時間戳也容易超出限制，本設(shè)計中構(gòu)建的動作識別鏈只考慮時間限制，包括狀態(tài)集定義、時間戳驗證。狀態(tài)集中的狀態(tài)通過關(guān)節(jié)點的空間位置特征和手勢姿態(tài)（手張開、握拳等）來進行表征。對于游戲UI界面的操作時，玩家手的位置可能位于空間任何位置并發(fā)生動作，這里將這一類動作稱為自由動作，在構(gòu)建動作識別鏈時將自由動作的空間位置特征留空，識別鏈開始識別之后再向其賦值。動作識別鏈狀態(tài)轉(zhuǎn)移圖如圖5所示。so為狀態(tài)集的初始狀態(tài)，表示關(guān)鍵骨骼點在空間中的特定位置，該狀態(tài)之后開啟時間戳計時；S1到Sk為狀態(tài)鏈中間狀態(tài)，對于自由狀態(tài)而言，S1的空間位置信息初始化為0,其余狀態(tài)位置信息記錄與S1的相對值；f0為自由動作狀態(tài)鏈的入口，當(dāng)手控制光標(biāo)與UI元素發(fā)生碰撞激發(fā)，一旦進入狀態(tài)鏈即通過T0操作為自由動作狀態(tài)鏈的定義位置信息并開啟時間戳；f1表示識別成功，將會通知系統(tǒng)界面做出響應(yīng)；如果在f1之前任何狀態(tài)的時間戳超時即進入到f2復(fù)位識別鏈，識別無效。例如，在揮手動作中，S0-S4的狀態(tài)及時間戳定義如表1所示。狀態(tài)定義兼容左右手，時間戳即為該狀態(tài)到下一狀態(tài)之間的時間差，S0到S1之間的時差設(shè)置較長，原因是有的人可能第一個動作不是向胸前揮手而是先向外側(cè)，這時當(dāng)回到胸前時只要時間不超過1s識別狀態(tài)鏈依然可以有效工作。從揮手動作鏈的識別可以看出，不考慮位置超限對于實際應(yīng)用場景具有更好的適應(yīng)性，整個揮手動作在2.5s以內(nèi)完成，符合正常揮手速度。對于UI界面的選項選取等自由動作，首先是手標(biāo)與UI選項發(fā)生碰撞，然后將所有狀態(tài)的位置信息疊加當(dāng)前位置，抓取選擇動作的狀態(tài)轉(zhuǎn)移如表2所示。當(dāng)手與選項發(fā)生碰撞，狀態(tài)鏈等待手掌張開狀態(tài)，只有手掌從展開狀態(tài)變?yōu)殚]合狀態(tài)才會引發(fā)抓取選擇動作有效。上文描述的姿勢識別鏈適用于要求識別延時小、需要識別的動作比較少、動作持續(xù)時間短的場合，比如娛樂應(yīng)用。本系統(tǒng)根據(jù)姿勢識別鏈實現(xiàn)了揮手動作、暫停手勢舉手動作、抓取選擇動作等的識別，用戶交互動作識別過程多使用自由動作的識別而減少構(gòu)建特殊姿勢序列表達特定的命令。2.2裸眼3D顯示輸出設(shè)計本系統(tǒng)運用8視點裸眼3D技術(shù)作為顯示輸出，包括相機組圖像獲取、圖像合成處理、光柵分離像過程。在unity3D引擎里先經(jīng)過8個攝像機獲取到8個視點的圖像，分別賦值給8張RenderTexture，再經(jīng)過圖像合成算法生成屏幕區(qū)域每個像素發(fā)光點處的圖像。如圖6所示，8個攝像機水平等間距分開，圖像合成算法根據(jù)輸入的8視點圖像計算得到一幅顯示在柱狀透鏡光柵焦平面上的屏幕圖像，具體過程如下:Step1初始化像素索引(X,Y)=(O,O)，發(fā)光點陣列索引(x,y)=(O,O)，偏移Xoff，柱狀透鏡與水平方向夾角余切值cote,8個相機的圖像分別為P1-P8，輸出圖像為Po；Step2將像素點行索引進行偏移，偏移公式為：X=X-Xoff-Yxcote因為一個像素點對應(yīng)3個發(fā)光點且在屏幕上水平排列，所以需要將陣列索引進一步偏移:xStep3針對R,G,B發(fā)光點分別計算視點索引，表示為N，因為只表現(xiàn)水平視差，將xR,xG,xB分別帶入下面式子得到該發(fā)光點處應(yīng)該顯示哪個相機的圖像，該視點圖像索引為1到8的整數(shù)。N(x)Step4分別計算輸出顯示像素點的RGB值，公式為：Step5對X,Y進行自增得到下一個像素點坐標(biāo)，如果輸出圖像的每個像素點都計算完則退出算法，否則跳轉(zhuǎn)到Step2。算法中Xoff用于調(diào)節(jié)透鏡與像素點的起始對齊問題，第2步將圖像按照像素點進行偏移，但是一個像素點背后對應(yīng)3個發(fā)光點，于是按照發(fā)光點的位置再一次進行偏移操作，然后在第3步中求取對應(yīng)像素點處應(yīng)該顯現(xiàn)的圖像視點。因為發(fā)光點處的光是具有發(fā)散的點光源，由多種原因可引起3維圖像之間的串?dāng)_［14］，計算視點索引不是按照像素點計算，而是以發(fā)光點陣為單位?；谝陨嫌懻摰南到y(tǒng)設(shè)計方法，實現(xiàn)了一款結(jié)合體感交互與裸眼3D顯示的互動宣傳系統(tǒng)，并在IntelCorei7,16G內(nèi)存，英偉達GTX960顯卡的主機和長虹42寸裸眼3D顯示屏上進行了測試。系統(tǒng)交互過程為玩家通過肢體動作控制人物模型在場景漫游，期間會有附帶廣告信息的金幣等出現(xiàn)。圖7為相機拍攝的裸眼屏幕上實際輸出畫面，圖8是在普通顯示器上的畫面效果。從圖8可以看出，畫面在水平方向產(chǎn)生疊影，即8個攝像機圖像重疊放置，圖7也是8個相機中的某一個看到的畫面還原。玩家進入游戲之后看到的畫面效果如圖9所示?？梢暯嵌葴y定在距離裸眼屏幕2.5m位置從右到左水平移動，用相機拍攝不同角度的屏幕畫面，得到結(jié)果如圖10所示。圖10中，圖片都是用單目相機在雙眼可見出屏效果的位置拍攝，相機模擬了人的一只眼睛。從這些圖片中可以看出，在可視區(qū)域內(nèi)的合適位置，單目獲得的圖像畫面清晰，圖像串?dāng)_［15］在可接受范圍。經(jīng)過測定，8視點的裸眼畫面可視角度在120°以上，符合在公眾場合展示的需求。宣傳效果分析為了測試本文設(shè)計的互動系統(tǒng)在商業(yè)宣傳方面的有效性，在實驗室模擬商場廣告展示環(huán)境，將42寸裸眼3D展示的互動宣傳系統(tǒng)和55寸普通大屏幕廣告機相鄰放置，互動宣傳系統(tǒng)體驗時長為2min，大屏廣告機同樣播放2min富有創(chuàng)意的宣傳廣告，邀請了20名志愿者進入實驗室并經(jīng)過兩個展區(qū)(如圖11)，記錄志愿者在兩個展區(qū)的駐留時間以及在這個過程中的表情和動作變化，得到結(jié)果如表3所示表3中，平均駐留時間是從志愿者停留在屏幕面前并觀看內(nèi)容到其離開所用的時間的平均值，在兩款宣傳方案總時長一致的情況下，顧客駐留時間可以反映出系統(tǒng)對顧客的吸引力。情緒波動次數(shù)是記錄志愿者面部表情出現(xiàn)驚訝、微笑等情緒激動的平均次數(shù)，情緒波動次數(shù)反映了系統(tǒng)對顧客的感染力。平均詢問次數(shù)是志愿者在體驗過程中或者體驗過后詢問內(nèi)容相關(guān)信息的次數(shù)，包括詢問商品價格、參數(shù)等，反映了顧客的購買傾向。同時，參與測試的20名志愿者全部有主動與互動宣傳系統(tǒng)交互的行為，系統(tǒng)的交互沉浸感強烈。該模擬測試說明，將需要宣傳的元素制作為具有強烈出屏與入屏效果的物件，將會大幅提升商品的廣告宣傳效應(yīng)。本文詳細(xì)介紹了柱狀透鏡式裸眼3D顯示的原理，基于Kinect體感傳感器設(shè)計了體感動作識別方法，設(shè)計并實現(xiàn)了體感交互與裸眼3D展示結(jié)合的體感游戲。結(jié)果顯示，將體感交互與裸眼3D結(jié)合的展示方式能夠顯著增加交互沉浸感，吸引玩家體驗欲望。但多視點裸眼3D存在視點順序顛倒的情況，因此觀看裸眼畫面最好位置不動，而在體感游戲中玩家可能左右移動，會造成3D畫面抖動。今后的工作將會繼續(xù)研究如何減弱或消除這種抖動?！鞠嚓P(guān)文獻】CHANGY.HMMBasedDynamicHandGestureRecognition[D].SouthChinaUniversityofTechnology,2012.KIMJ,HEJ,LYONSK,etal.TheGestureWatch:AWirelessContact-freeGestureBasedWristInterfance.Proc.ISWC'07,2007:15-22.ZENGF,LIT,LIM.Non-contactGUImanipulationapproachbasedonmachinelearningandKinect[J].JournalofFrontiersofComputerScienceandTechnology,2014,8(2):171-178.ZHAOD.3DDisplayTechnologyUsedinEducation[D].ShaanxiNormalUniversity,2011:11-51.⑸劉璞，正交偏振3D顯示系統(tǒng)的研究[D].四川成都：電子科技大學(xué),2009.