基于Kinect非規(guī)則投影表面幾何校正技術(shù)研究

1、 基于Kinect非規(guī)則投影表面幾何校正技術(shù)研究 摘 要：構(gòu)建投影顯示系統(tǒng)的一個關(guān)鍵技術(shù)就是高精度的幾何校正，投影儀投射圖像到非規(guī)則表面上，投影圖像會發(fā)生變形扭曲現(xiàn)象，嚴(yán)重影響觀察者的視覺效果。針對此，提出了一種非規(guī)則投影表面的幾何校正算法，該算法首先用Kinect對非規(guī)則投影表面進行三維重建。通過建立目標(biāo)校正平面以確定理想觀察視點，在該視點下建立視點坐標(biāo)系，將非規(guī)則投影表面特征點的三維世界坐標(biāo)值轉(zhuǎn)換為理想觀察視點坐標(biāo)系下的坐標(biāo)值，根據(jù)解算對應(yīng)區(qū)域的單應(yīng)性矩陣并對原圖像進行預(yù)處理。通過實驗結(jié)果表明，該算法不以攝像機為基準(zhǔn)，適用于任意、非規(guī)則的投影表面，無需專業(yè)的投影幕布，得到校正后的投影圖像符

2、合觀察者正常視覺效果。Keys：幾何校正；投影；Kinect；非規(guī)則表面1 引言隨著投影顯示技術(shù)在軍事模擬、科學(xué)研究、廣告媒體等領(lǐng)域的廣泛應(yīng)用，其相關(guān)技術(shù)也成為備受關(guān)注的研究熱點1,2。精確的幾何校正是投影顯示技術(shù)的關(guān)鍵技術(shù)之一，其基礎(chǔ)是建立投影儀緩存圖像與投影表面圖像之間的幾何位置對應(yīng)關(guān)系3,4。當(dāng)投影儀投射圖像到非規(guī)則表面上，投影表面圖像會扭曲變形，嚴(yán)重影響觀察者的視覺效果，因此需要對投影儀緩存圖像進行預(yù)處理，預(yù)處理后的圖像再經(jīng)過投影儀投射到非規(guī)則表面上，使觀察者能夠正常識別投影圖像的顯示內(nèi)容5,6。近年來，隨著投影顯示技術(shù)的不斷提高，出現(xiàn)了由攝像機代替觀察者觀察投影畫面的自動幾何校正方法

3、，對攝像機和投影儀分別進行標(biāo)定得到對應(yīng)的內(nèi)外參，再通過攝像機反饋的信息對圖像的扭曲部分進行反向校正，從而對投影圖像進行必要的幾何校正7,8。這些幾何校正的主要思想在于通過使用攝像機提供閉環(huán)控制，由攝像機監(jiān)控投影圖像利用計算機視覺技術(shù)計算出幾何偏移量，實現(xiàn)投影圖像的自動幾何校正效果7-10。實際工程中，在投影儀和攝像機聯(lián)合標(biāo)定的環(huán)節(jié)中，首先需要對攝像機進行標(biāo)定，利用攝像機標(biāo)定的結(jié)果再對投影儀進行標(biāo)定，攝像機標(biāo)定的誤差結(jié)果必定會引入到投影儀標(biāo)定中，使得三維重建與測量中精度和準(zhǔn)確性受到影響；其次該幾何校正算法是以攝像機的位置為基準(zhǔn)，觀察者離攝像機位置越近，觀察效果越理想。本文通過合理設(shè)定一個觀察視點

4、以及視點坐標(biāo)系，建立非規(guī)則投影表面特征點三維坐標(biāo)值與視點坐標(biāo)系下特征點三維坐標(biāo)值的關(guān)系，對非規(guī)則投影表面影響機理進行了更進一步的研究。不以攝像機為基準(zhǔn)，而以理想視點來對非規(guī)則投影表面進行幾何校正是本文方法最大的特點。2 算法描述投影圖像的幾何校正就是將原始圖像進行預(yù)處理，再由投影儀投射在投影表面上，使輸出的圖像在正確的位置上顯示出符合觀察者的視覺效果，即形成一幅無任何幾何畸變的投影圖像。其核心目的是確立原始圖像與預(yù)處理圖像之間的轉(zhuǎn)換關(guān)系。因此本文先通過對非規(guī)則投影表面進行三維重建，建立一個公共的目標(biāo)校正平面，確定一個理想的觀察視點，在該視點上建立視點坐標(biāo)系，將投影表面上所有特征點的世界坐標(biāo)轉(zhuǎn)換

5、為視點坐標(biāo)，解算每塊區(qū)域的單應(yīng)性矩陣，通過該單應(yīng)性矩陣與對應(yīng)區(qū)域的目標(biāo)投影圖像進行預(yù)處理，預(yù)處理圖像由投影儀投射到非規(guī)則投影表面上，使觀察者獲取到正常的視覺感知。2.1 非規(guī)則投影表面的三維重建三維重建可以幫助人們快速精確地將日常生活中的物體數(shù)字化,并將其在計算機中以三維數(shù)字信息的形式展現(xiàn)。本文借助微軟公司開發(fā)和銷售的Kinect第二代體感傳感器,將其作為深度和彩色數(shù)據(jù)的輸入設(shè)備。首先Kinect對準(zhǔn)棋盤格標(biāo)定板捕獲圖像，設(shè)Kinect中彩色相機內(nèi)參為krgb，紅外相機內(nèi)參為kir，則prgb，pir分別是彩色相機和紅外相機圖像坐標(biāo)系下的一點，Prgb，Pir分別是彩色相機和紅外相機的相機坐標(biāo)

6、系下一點，由小孔成像模型可知。(1) (2)公式(1)(2)分別表示彩色相機和紅外相機的相機坐標(biāo)轉(zhuǎn)換到圖像坐標(biāo)的轉(zhuǎn)換關(guān)系。將世界坐標(biāo)系原點設(shè)置在棋盤格標(biāo)定板的左上角處，則世界坐標(biāo)系中的點P變換到相機坐標(biāo)系下，分別變換到彩色相機坐標(biāo)系下以及紅外相機坐標(biāo)系下。(3) (4)將公式(3)中用表示，并帶入公式(4)得到公式（5）。(5) (6)因此，在同一場景下紅外相機和彩色相機配準(zhǔn)如公式(6)所示。2.2 理想視點及視點坐標(biāo)系的建立由于觀察者在不同視角下對非規(guī)則投影表面下的感知效果不一致，因此需要對三維重建后的非規(guī)則投影表面進行相應(yīng)處理，具體過程如下：投影儀投射棋盤格圖像到非規(guī)則投影表面上，Kine

7、ct的紅外相機和彩色相機同時對非規(guī)則投影表面上的特征點進行圖像采集，彩色相機采集到的棋盤格圖像進行鏡頭畸變校正11，紅外相機采集到的圖像進行雙邊濾波，其目的是為了使Kinect的紅外相機和彩色相機配準(zhǔn)更加精確。使用2.1節(jié)的算法對Kinect的紅外相機和彩色相機進行配準(zhǔn)操作，通過特征點檢測算法得到特征點在世界坐標(biāo)系中的三維值。對所有特征點的深度信息采用均值處理來獲得一個值，如公式（7）所示。(7)通過值且于的平面平行作為目標(biāo)校正平面，根據(jù)特征點在目標(biāo)校正平面的分布情況，獲取所有特征點橫坐標(biāo)的最小值以及所有特征點的最大值，縱坐標(biāo)的最小值，縱坐標(biāo)的最大值。分別記三維坐標(biāo),則矩形作為目標(biāo)校正矩形，即

8、所有特征點均可映射到目標(biāo)校正矩形內(nèi)。如圖1所示，對角線和的交點即為該矩形的中心，建立理想視點以及視點坐標(biāo)系，其中視點坐標(biāo)系于Kinect采用相同的右手坐標(biāo)系。設(shè)定理想視點到目標(biāo)校正平面的距離為，記為視點坐標(biāo)系原點，軸與重合指向，軸和軸分別于Kinect相機的軸和軸平行。,為視點V的世界坐標(biāo)，則世界坐標(biāo)系到視點坐標(biāo)系之間旋轉(zhuǎn)矩陣為單位矩陣，記做，平移向量，則可將特征點的世界坐標(biāo)轉(zhuǎn)換為視點坐標(biāo)系下的坐標(biāo)。圖1 建立理想視點及視點坐標(biāo)系2.3 區(qū)域單應(yīng)性矩陣的求解對于非規(guī)則投影表面上的每一個特征點和投影儀緩存圖像上對應(yīng)的特征點,可以利用單應(yīng)性矩陣對兩者之間的關(guān)系進行轉(zhuǎn)換，如公式（8）所示。(8)其中

9、，。實驗中采用棋盤格的角點作為特征點，使用opencv對圖像進行特征點檢測。一行9個角點，有6行，共有54個角點，將棋盤格圖像中每個格子的四個頂點，按照公式（8），計算出該格子區(qū)域的單應(yīng)性矩陣，共有40個單應(yīng)性矩陣，即基于理想視點下非規(guī)則投影表面上投影圖像與投影儀待緩存圖像之間的變換矩陣。3 算法實現(xiàn)與實驗分析為了驗證非規(guī)則投影表面幾何校正的有效性以及可行性，首先構(gòu)建一套適用于非規(guī)則投影的投影系統(tǒng)，該系統(tǒng)的硬件設(shè)備采用一臺用于信息存儲和計算的計算機，一臺Kinect以及一臺投影機。其中采用的計算機型號為聯(lián)想P310，主要用來對投影圖像的預(yù)處理以及對非規(guī)則投影表面的三維重建。投影儀采用的是愛普生

10、EB-W6，Kinect采用的是微軟二代Kinect產(chǎn)品，計算機的操作系統(tǒng)為Windows 10,64位。本實驗采用墻角作為非規(guī)則投影表面，將投影圖像投射在非規(guī)則表面上，因為投影圖像會發(fā)生圖像畸變（如圖2所示），畸變圖像使得觀察者的視覺受到一定的影響，長時間觀看容易導(dǎo)致視覺疲勞，因此需要對其進行投影幾何校正。通過采用本文方法進行非規(guī)則投影表面幾何校正，即可得到如圖3所示的投影校正后的圖像，可以看出校正后的圖像符合觀察者的視覺感知效果。圖2 投影儀投射圖像于墻角，墻角上的投影圖像發(fā)生扭曲變形的現(xiàn)象圖3在理想視點下，對墻角投影圖像進行幾何校正后的投影效果實驗中需要注意三點：（1）Kinect和投影

11、儀的位置始終保持不變，如果后續(xù)過程中Kinect或投影儀的位置發(fā)生變化，則需要重新對投影表面進行三維重建，重新計算理想視點位置以及重新創(chuàng)建理想視點坐標(biāo)系等一系列預(yù)操作部分。（2）Kinect的視場能夠全部包含非規(guī)則投影表面上投影圖像的全部內(nèi)容。（3）調(diào)整棋盤格的位置，使棋盤格某一列角點處于墻角接縫處。4 結(jié)論針對非規(guī)則投影表面造成投影圖像幾何畸變問題，提出了非規(guī)則投影表面幾何校正技術(shù)研究。通過實驗分析可知，本方法解決了日常不規(guī)則投影表面造成的投影圖像畸變問題，與傳統(tǒng)攝像機反饋的幾何校正方法相比，該方法不以攝像機為基準(zhǔn)，而以理想觀察視點來對投影圖像進行校正，無需專業(yè)的投影幕布，可以對非規(guī)則固定投

12、影表面上的投影圖像進行幾何校正，校正后的效果能夠符合觀看者正常視覺感知，然而本文只是針對非規(guī)則投影表面的單臺投影儀進行幾何校正研究，后期將繼續(xù)研究多臺投影儀在非規(guī)則投影表面上投影圖像的幾何校正問題。Reference：1Hangzhou. Geometry Calibration for Multi-projector Tiled Display WallJ. Journal of Computer-Aided Design & Computer Graphics, 2008, 20(6):707-712.2藍(lán)建梁,丁友東. 基于結(jié)構(gòu)光與單應(yīng)的投影機幾何校正J. 光電子激光, 2015(5):

13、1010-1018.3Leigh J, Johnson A, Renambot L, et al. Scalable Resolution Display WallsJ. Proceedings of the IEEE, 2012, 101(1):115-129.4Sajadi B, Majumder A. Autocalibration of multiprojector CAVE-like immersive environmentsJ. IEEE Transactions on Visualization & Computer Graphics, 2012, 18(3):381.5Res

14、ch C, Keitler P, Menk C, et al. Semi-automatic calibration of a projector-camera system using arbitrary objects with known geometryJ. 2015:271-272.6Zhao L, Weng D, Li D. The autogeometric correction of multiprojector for cylindrical surface using Bzier patchesJ. Journal of the Society for Information Display, 2015, 22(9):473-481.7李冬,謝敬輝,趙璐,等. 多投影機非平面自動幾何校正J. 計算機工程與應(yīng)用, 2015, 51(07):194-203.8Lei Z, Liu X, Lu W, et al. A New Calibration Method of the Projector in Structured Light Measurement TechnologyJ. Proc