增強(qiáng)現(xiàn)實(shí)技術(shù)(第五章)概述課件

1、第五章 三維注冊(cè)與虛實(shí)融合 5.1 虛實(shí)融合原理 5.2 相機(jī)標(biāo)定技術(shù) 5.3 圖像的標(biāo)識(shí)識(shí)別 5.4 虛實(shí)融合增強(qiáng)顯示案例：中聯(lián)重科增強(qiáng)現(xiàn)實(shí).mp4 （128) 5.1 虛實(shí)融合原理增強(qiáng)現(xiàn)實(shí)系統(tǒng)必須能夠?qū)崟r(shí)地檢測(cè)出觀測(cè)者(或攝像機(jī))相對(duì)于真實(shí)場(chǎng)景的位置和方向角，以及成像系統(tǒng)(攝像機(jī))的內(nèi)部參數(shù)(焦距和成像屏幕大小等)。根據(jù)這些信息實(shí)時(shí)確定所要添加的虛擬信息在投影系統(tǒng)中的大小、方向和映射位置。在用戶看來，無論從任何角度觀察，都應(yīng)該使虛擬物體與真實(shí)場(chǎng)景保持三維歐氏空間的幾何一致性。這就是AR中的三維注冊(cè)(Registration)所要完成的任務(wù)。5.1 虛實(shí)融合原理實(shí)現(xiàn)虛實(shí)融合的關(guān)鍵技術(shù)，是相機(jī)

2、標(biāo)定與三維注冊(cè)技術(shù)，通過精準(zhǔn)的相機(jī)標(biāo)定與三維注冊(cè)，使虛擬物體可以與真實(shí)世界進(jìn)行無縫融合。在真實(shí)世界中人為地設(shè)定世界坐標(biāo)系的原點(diǎn)、X坐標(biāo)、y坐標(biāo)、Z坐標(biāo)，并測(cè)量出多個(gè)標(biāo)志點(diǎn)的三維坐標(biāo)值。對(duì)攝像機(jī)攝取的圖像進(jìn)行視覺識(shí)別，找到各標(biāo)志點(diǎn)在圖像顯示坐標(biāo)系中的二維坐標(biāo)值。通過各個(gè)標(biāo)志點(diǎn)在世界坐標(biāo)系中的三維坐標(biāo)值和在顯示坐標(biāo)系中的二維坐標(biāo)值，實(shí)時(shí)計(jì)算出攝像機(jī)的焦距、成像屏幕大小等內(nèi)部參數(shù)、在世界坐標(biāo)系中的位置和方向角等外部參數(shù)。識(shí)別出通過提取給定的一幅或多幅圖像的特征點(diǎn)來計(jì)算攝像機(jī)在真實(shí)世界的相對(duì)位置和方向，根據(jù)這些信息實(shí)時(shí)確定系統(tǒng)中要添加的虛擬物體在真實(shí)環(huán)境中的正確位置。使用基于計(jì)算機(jī)視覺的相機(jī)標(biāo)定技術(shù)對(duì)

3、標(biāo)識(shí)進(jìn)行識(shí)別，實(shí)現(xiàn)系統(tǒng)中的三維注冊(cè)。三維注冊(cè)子模塊以圖像檢測(cè)模塊的輸出結(jié)果為數(shù)據(jù)的輸入，通過相機(jī)標(biāo)定內(nèi)部參數(shù)和外部參數(shù)的算法，將程序中所用到標(biāo)記的三維位置和姿態(tài)計(jì)算出來。相機(jī)的外部參數(shù)作為輸出結(jié)果輸入到虛實(shí)融合子模塊，用DirectX或openGL中的虛擬相機(jī)模擬真實(shí)世界中的相機(jī)，產(chǎn)生良好的虛實(shí)環(huán)境無縫融合的場(chǎng)景。將三維的虛擬動(dòng)畫模型渲染到特定的標(biāo)識(shí)物上，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的效果。5.1 虛實(shí)融合原理根據(jù)實(shí)時(shí)計(jì)算出攝像機(jī)的焦距、成像屏幕大小等內(nèi)部參數(shù)、在世界坐標(biāo)系中的位置和方向角等外部參數(shù)設(shè)定虛擬相機(jī)。通過虛擬相機(jī)對(duì)三維虛擬場(chǎng)景進(jìn)行變換。（1）將變換后的虛擬場(chǎng)景的影像疊加到實(shí)際場(chǎng)景的影像中，實(shí)現(xiàn)虛實(shí)

4、融合。將虛實(shí)融合后的圖像通過頭盔或投影機(jī)顯示出來，觀察者看到的是虛實(shí)融合后的場(chǎng)景。（2）將三維的虛擬動(dòng)畫貼圖渲染到真實(shí)世界的標(biāo)識(shí)物上，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的效果。 如：“別克汽車十城市巡展潘多拉項(xiàng)目.MOV” 5.1 虛實(shí)融合原理第五章 三維注冊(cè)與虛實(shí)融合 5.1 虛實(shí)融合原理 5.2 相機(jī)標(biāo)定技術(shù) 5.3 圖像的標(biāo)識(shí)識(shí)別 5.4 虛實(shí)融合5.2 相機(jī)標(biāo)定技術(shù)通過相機(jī)標(biāo)定技術(shù)實(shí)時(shí)計(jì)算出攝像機(jī)的焦距、成像屏幕大小等內(nèi)部參數(shù)、在世界坐標(biāo)系中的位置和方向角等外部參數(shù)。相機(jī)標(biāo)定技術(shù)與四個(gè)坐標(biāo)系統(tǒng)有關(guān)，分別是世界坐標(biāo)系，成像平面坐標(biāo)系，相機(jī)坐標(biāo)系和圖像顯示坐標(biāo)系。四個(gè)坐標(biāo)系的關(guān)系世界坐標(biāo)系： 選擇一個(gè)基準(zhǔn)坐標(biāo)系

5、來描述攝像機(jī)安放在現(xiàn)實(shí)世界的位置，并用它描述世界環(huán)境中任何物體的位置，由基準(zhǔn)觀測(cè)原點(diǎn)和X軸、Y軸、Z軸組成。成像平面坐標(biāo)系：相機(jī)的焦點(diǎn)為坐標(biāo)系的原點(diǎn)o 1，成像平面的中軸為x 1 、y 1軸。相機(jī)坐標(biāo)系： o點(diǎn)是攝像機(jī)(camera)的光心，x軸和y軸與成像坐標(biāo)系x 1 、y 1軸平行，z軸為攝像機(jī)的光軸，與成像平面垂直。由o點(diǎn)、x、y、z軸組成的直角坐標(biāo)系稱為攝像機(jī)坐標(biāo)系。圖像顯示坐標(biāo)系： 顯示在計(jì)算機(jī)屏幕上的圖像坐標(biāo)u、v，左上角為坐標(biāo)原點(diǎn)。 u、v分別與x 1 、y 1軸平行。四個(gè)坐標(biāo)系的關(guān)系世界坐標(biāo)系與攝像機(jī)坐標(biāo)系的關(guān)系R為旋轉(zhuǎn)矩陣，表示兩個(gè)坐標(biāo)系各坐標(biāo)軸之間旋轉(zhuǎn)向量，t是平移向量，也

6、是世界坐標(biāo)系原點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)值 x=r11X+r12Y+r13Z+t1 y=r21X+r22Y+r23Z+t2 z=r31X+r32Y+r33Z+t1R=t=成像平面坐標(biāo)系與攝像機(jī)坐標(biāo)系的關(guān)系上式用齊次方程表示：三角形OO1P1和OO2P相似： f/z=O1P1/O2P2=x1/x=y1/y 成像平面坐標(biāo)系與圖像顯示坐標(biāo)系的關(guān)系上式用齊次方程表示：O1為成像平面坐標(biāo)原點(diǎn)，是攝像機(jī)光軸與圖像平面的交點(diǎn)dx和dy表示一個(gè)像素在x1軸與y1軸方向上的大小。u= v=綜合以上三個(gè)關(guān)系式，得sx=1/dx sx 為水平方向上的圖像尺度因子sy=1/dy sy為垂直方向上的圖像尺度因子P稱為投影矩

7、陣，含有五個(gè)未知數(shù)，反映相機(jī)的內(nèi)部參數(shù)： f，即相機(jī)的焦距，單位是毫米， Sx即水平方向上的圖像尺度因子，單位是像素/毫米 Sy即垂直方向上的圖像尺度因子，單位是像素/毫米 (u。，v。)表示圖像屏幕中心點(diǎn)像素所處的行數(shù)和列數(shù)。D稱為旋轉(zhuǎn)平移矩陣，六個(gè)未知數(shù)，反映相機(jī)的外部參數(shù)： R含有的三個(gè)旋轉(zhuǎn)角 t含有的世界坐標(biāo)系原點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)值四個(gè)坐標(biāo)系的關(guān)系當(dāng)相機(jī)選定后，內(nèi)部參數(shù)不變。當(dāng)相機(jī)的位置和角度固定后，外部參數(shù)不變。根據(jù)若干已知二維點(diǎn)與其對(duì)應(yīng)三維點(diǎn)的坐標(biāo)值，求解P矩陣和D矩陣中含有的11個(gè)未知數(shù)，從而確定攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)。相機(jī)參數(shù)的求取上述含有P、D的矩陣關(guān)系可以改寫為：相

8、機(jī)參數(shù)的求取寫成方程式：將第3式代入1、2式：相機(jī)參數(shù)的求取由一個(gè)已知的二維點(diǎn)的坐標(biāo)與其對(duì)應(yīng)的三維點(diǎn)的坐標(biāo)，我們可以獲得兩個(gè)方程，由于方程中有12個(gè)未知數(shù)，我們至少要知道 6 組這樣的點(diǎn)。當(dāng)選擇多于6個(gè)特征點(diǎn)時(shí)，就會(huì)有多組解。這些解有一定誤差，但應(yīng)該誤差不大對(duì)每個(gè)求得的系數(shù)算均值，再用各系數(shù)誤差的平方和最小的一組解作為最佳的一組解。相機(jī)參數(shù)的求取第五章 三維注冊(cè)與虛實(shí)融合 5.1 虛實(shí)融合原理 5.2 相機(jī)標(biāo)定技術(shù) 5.3 圖像的標(biāo)識(shí)識(shí)別 5.4 虛實(shí)融合在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，經(jīng)過圖像分割、邊緣檢測(cè)和輪廓提取之后，我們就可以把以上步驟的結(jié)果用于標(biāo)識(shí)識(shí)別子模塊根據(jù)模式匹配算法，使系統(tǒng)從攝像機(jī)的視頻圖

9、像中正確的識(shí)別出預(yù)先設(shè)計(jì)好的標(biāo)識(shí)，同時(shí)給出標(biāo)識(shí)的ID號(hào)碼，作為系統(tǒng)中圖形顯示子模塊輸入?yún)?shù)的一部分，以使得圖形顯示子模塊將預(yù)先設(shè)計(jì)好的三維模型正確的顯示在特定的標(biāo)記上，實(shí)現(xiàn)對(duì)真實(shí)環(huán)境的增強(qiáng)。標(biāo)識(shí)分為兩類，一類是人工設(shè)定好的標(biāo)識(shí)，一類是場(chǎng)景中自然具備的。人工設(shè)定好的標(biāo)識(shí)一般由具有一定寬度的黑色封閉的矩形框和內(nèi)部的各種圖形或文字兩部分構(gòu)成。5.3 圖像的標(biāo)識(shí)識(shí)別對(duì)于人工設(shè)定好的標(biāo)識(shí)通過對(duì)視頻中的每一幀圖像運(yùn)用圖像分割、邊緣提取、連通區(qū)域檢測(cè)、輪廓提取等過程判斷視頻圖像中是否含有封閉的黑色矩形框。匹配連通區(qū)域中的四邊形結(jié)構(gòu)，記錄視頻圖像中所有標(biāo)識(shí)所在區(qū)域和坐標(biāo)。分別提取各個(gè)標(biāo)識(shí)四邊形的邊緣像素坐標(biāo)，

10、找出四邊形標(biāo)識(shí)四個(gè)頂點(diǎn)坐標(biāo)，計(jì)算出標(biāo)識(shí)邊緣的直線方程(屏幕坐標(biāo))。由于系統(tǒng)中使用的標(biāo)識(shí)記是事先設(shè)計(jì)的有規(guī)則的標(biāo)識(shí)，所以能夠快速獲得檢測(cè)結(jié)果。5.3 圖像的標(biāo)識(shí)識(shí)別對(duì)于人工設(shè)定好的標(biāo)識(shí)標(biāo)識(shí)所代表的具體信息用標(biāo)識(shí)內(nèi)部的圖形或文字表示，如表示何種目標(biāo)或在此應(yīng)顯示何種虛擬物體。具體的標(biāo)識(shí)內(nèi)部圖像可以根據(jù)需要手動(dòng)選擇任意的圖像作為標(biāo)識(shí)物，可以通過幾種圖元的組合自動(dòng)生成工程中所需要標(biāo)識(shí)。進(jìn)行模板匹配，來實(shí)現(xiàn)標(biāo)識(shí)識(shí)別。在做標(biāo)識(shí)匹配前，需要進(jìn)行圖像正規(guī)化。5.3 圖像的標(biāo)識(shí)識(shí)別圖像正規(guī)化系統(tǒng)中采集圖像的攝像頭在采集圖像的時(shí)候處于隨機(jī)的位置，即從任何角度任何位置拍攝都可以，那么，攝像頭鏡面不一定與標(biāo)識(shí)物的平面是

11、平行的，攝像頭的光軸也并不一定是垂直于標(biāo)識(shí)物。所以采集到的圖像也是不規(guī)則的，標(biāo)識(shí)物的外輪廓發(fā)生了一定的變形，這些變形包括平移、旋轉(zhuǎn)、縮放仿射變形等。為了用預(yù)先制作的模版和圖像進(jìn)行匹配，從而識(shí)別標(biāo)識(shí)物的ID號(hào)碼，需要對(duì)圖像進(jìn)行幾何變換，使圖像正規(guī)化5.3 圖像的標(biāo)識(shí)識(shí)別圖像正規(guī)化將從攝像頭獲取的標(biāo)識(shí)圖像轉(zhuǎn)變?yōu)閿z像頭和圖像是正對(duì)著的，攝像頭的光心垂直于標(biāo)識(shí)物時(shí)拍攝的視頻圖像。一般情況下，由于由攝像機(jī)引起的這種圖像變換是仿射變換。通常情況下，這種變換是線性的，即能夠保持線段的直線性、距離化、平行性不變。在圖像線性變形的假設(shè)條件下，變形圖像點(diǎn)的坐標(biāo)(X,Y)與原圖像上點(diǎn)的坐標(biāo)(x,y)之間的關(guān)系是:5

12、.3 圖像的標(biāo)識(shí)識(shí)別其中，C為3*3的矩陣，這個(gè)矩陣的第三列對(duì)平面圖像沒有影響，所以只要確定了變形圖像上的3個(gè)點(diǎn)以及在沒有變形圖像上與它們對(duì)應(yīng)的3個(gè)點(diǎn)的坐標(biāo)，就可以代入方程組，求出方程中的六個(gè)未知數(shù)。也就是求得了變形圖像和未變形圖像之間的對(duì)應(yīng)關(guān)系。5.3 圖像的標(biāo)識(shí)識(shí)別模板匹配圖像匹配技術(shù)是數(shù)字圖像處理領(lǐng)域的一項(xiàng)重要研究。根據(jù)已知模式(模板圖)，到另一幅圖中搜索相匹配的子圖像的過程，稱為模板匹配。模板就是一幅已知的小圖像，具體地說模板匹配的過程是在一幅大圖像中搜尋目標(biāo)，己知該圖中有要找的目標(biāo)，通過一定的算法可以在圖中找到目標(biāo)，確定其坐標(biāo)位置。圖像的模板匹配技術(shù)可以分成直接基于灰度值的方法以及基

13、于特征提取的方法兩大類。5.3 圖像的標(biāo)識(shí)識(shí)別一幅圖像與另一幅圖像接近的程度需要一個(gè)尺度來描述，在數(shù)學(xué)上常用向量的范數(shù)做為一個(gè)尺度。假設(shè)輸入圖像為M，已知圖像為T，它們之間的相似度可以用下式衡量：其中，d是一個(gè)距離標(biāo)量，表示兩個(gè)向量之間的距離。通過在圖像中尋找使d值最小的區(qū)域，確定被尋找的圖像T在輸入圖像中的位置等信息。為了防止出現(xiàn)匹配錯(cuò)誤的情況，一般會(huì)在應(yīng)用中設(shè)置一個(gè)閥值，當(dāng)d小于某個(gè)閥值時(shí)，認(rèn)為兩幅圖像有一定可比的相似度，當(dāng)d大于某個(gè)閥值時(shí)，認(rèn)為兩幅圖像不具有可比的相似度，不參與d值的比較。5.3 圖像的標(biāo)識(shí)識(shí)別由于在拍攝圖像的時(shí)候，會(huì)因?yàn)楣庹諒?qiáng)度不同，獲取的圖像在灰度級(jí)的分布上會(huì)不同，這

14、種情況使得兩張?jiān)拘螤钕嗨频膱D像被檢測(cè)為不相似。為了避免這種情況，實(shí)際應(yīng)用中使用兩個(gè)向量的夾角這個(gè)標(biāo)準(zhǔn)來衡量?jī)蓚€(gè)圖像的相似度，公式如下:系統(tǒng)中采用標(biāo)準(zhǔn)相似度來進(jìn)行模版匹配。所采用的特征是圖像的標(biāo)識(shí)物區(qū)域的面積比幾何特征。面積比計(jì)算比較簡(jiǎn)單，實(shí)時(shí)性好;同時(shí)在圖像進(jìn)行線性變換的過程中面積比特征不會(huì)改變。在對(duì)系統(tǒng)的標(biāo)識(shí)物事先設(shè)定好的情況下會(huì)有較高的精度。5.3 圖像的標(biāo)識(shí)識(shí)別第五章 三維注冊(cè)與虛實(shí)融合 5.1 虛實(shí)融合原理 5.2 相機(jī)標(biāo)定技術(shù) 5.3 圖像的標(biāo)識(shí)識(shí)別 5.4 虛實(shí)融合5.4 虛實(shí)融合對(duì)虛擬的三維物體進(jìn)行投影變換等三維注冊(cè)操作后，其大小、朝向、位置等都與實(shí)際場(chǎng)景匹配。直接將變換后的虛

15、擬場(chǎng)景的影像疊加到實(shí)際場(chǎng)景的影像中，實(shí)現(xiàn)虛實(shí)融合，或者將三維的虛擬動(dòng)畫貼圖渲染到真實(shí)世界的標(biāo)識(shí)物上，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的效果，都沒有大的問題。為了取得更好的效果，虛實(shí)融合模塊除完成前景和虛景融合外，還要進(jìn)行遮擋處理、邊緣融合等工作。虛實(shí)融合模塊還要將光照、陰影、前景色彩增強(qiáng)等視覺效果根據(jù)環(huán)境的需要和真實(shí)世界的場(chǎng)景加入到系統(tǒng)中，使得增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的場(chǎng)景更加逼真。5.4 虛實(shí)融合在系統(tǒng)中，為了達(dá)到逼真的虛實(shí)融合的效果，正確顯示虛擬物體和真實(shí)物體的遮擋關(guān)系，需要將深度檢測(cè)模塊的輸出結(jié)果傳入虛實(shí)結(jié)合子?？欤搶?shí)結(jié)合子模塊根據(jù)真實(shí)場(chǎng)景中的物體與虛擬物體的遮擋關(guān)系進(jìn)行虛擬場(chǎng)景與真實(shí)場(chǎng)景的無縫融合。虛實(shí)融合模塊處理虛擬物體與真實(shí)物體之間的遮擋關(guān)系的具體步驟如下:5.4 虛實(shí)融合如果物體在監(jiān)控區(qū)域，將物體的深度信息和監(jiān)控區(qū)域中虛擬物體的深度信息進(jìn)行比較。如果真實(shí)場(chǎng)景中物體的深度大于虛擬投影三維模型的深度信息，從固定攝像機(jī)的視角看，真實(shí)場(chǎng)景中的物體與虛擬物體的空間位置關(guān)系是真實(shí)場(chǎng)景的物體在后，虛擬物體在前，那么就直接將三維虛擬的模型投影在標(biāo)記物上。如果真實(shí)場(chǎng)景中物體的深度小于虛擬投影的三維模型的深度信息，真實(shí)場(chǎng)景的物體在前，虛擬物體在后，那么就將三維虛擬的模型投影在標(biāo)記物上之后