增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義(28張)課件

1、章基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)框架2.1系統(tǒng)框架2.2系統(tǒng)的模塊介紹2.3圖像采集與處理模塊2.4三維模型繪制模塊2.5標(biāo)識識別模塊2.6三維注冊模塊2.7深度檢測模塊2.8虛實(shí)融合模塊2.9動作交互模塊2.1 系統(tǒng)框架 2.2 系統(tǒng)的模塊介紹 系統(tǒng)由9個(gè)主要的子模塊組成：圖像采集子模塊數(shù)字圖像處理子模塊注冊定位子模塊標(biāo)識識別子模塊，深度檢測子模塊圖形渲染子模塊用戶交互子模塊虛實(shí)融合子模塊多媒體控制子模塊2.2 系統(tǒng)的模塊介紹圖像采集子模塊從圖像輸入設(shè)備中采集視頻流，從視頻流中獲取視頻圖像。數(shù)字圖像處理子模塊為三維注冊子模塊和虛實(shí)結(jié)合子模塊提供非常重要的基礎(chǔ)數(shù)據(jù)。它的具體功能是通過圖像分割，邊緣檢測

2、等圖像處理方法對采集的圖像進(jìn)行處理，從工作環(huán)境背景中識別出預(yù)先在環(huán)境中設(shè)置的用于定位的標(biāo)志。標(biāo)識識別子模塊根據(jù)模式匹配算法，使系統(tǒng)從攝像機(jī)的視頻圖像中正確的識別出預(yù)先設(shè)計(jì)好的標(biāo)記物，同時(shí)給出標(biāo)記物的ID號碼，作為系統(tǒng)中圖形顯示子模塊輸入?yún)?shù)的一部分，以使得圖形顯示子模塊將預(yù)先設(shè)計(jì)好的三維模型正確的顯示在特定的位置上。2.2 系統(tǒng)的模塊介紹注冊定標(biāo)子模塊以圖像檢測模塊的輸出結(jié)果為數(shù)據(jù)的輸入，通過相機(jī)標(biāo)定內(nèi)部參數(shù)的算法和相機(jī)標(biāo)定的外部參數(shù)的算法，將程序中所用到標(biāo)記的三維位置和姿態(tài)計(jì)算出來，最后相機(jī)的外部參數(shù)作為輸出結(jié)果輸入到虛實(shí)結(jié)合子模塊，用openGL等軟件中的虛擬相機(jī)模擬真實(shí)世界中的相機(jī)，產(chǎn)生

3、良好的虛實(shí)環(huán)境無縫融合的場景。深度檢測子模塊檢測特定空間點(diǎn)的深度信息。為了判斷系統(tǒng)中渲染的虛擬物體與真實(shí)環(huán)境中物體的遮擋關(guān)系，系統(tǒng)中需要計(jì)算虛擬物體與真實(shí)場景中物體的深度信息，通過比較它們的深度信息，確定虛擬物體與真實(shí)場景中物體的遮擋關(guān)系，實(shí)現(xiàn)系統(tǒng)中真實(shí)場景與虛擬物體遮擋一致性，同時(shí)通過檢測真實(shí)場景中用戶的手勢等交互動作，完成用戶與場景中虛擬物體的自然交互。2.2 系統(tǒng)的模塊介紹圖形繪制子模塊實(shí)現(xiàn)對虛擬三維模型實(shí)時(shí)動態(tài)的渲染。 虛實(shí)融合模塊主要完成前景和虛景融合、遮擋處理、邊緣融合等工作。額外的視覺效果，如光照、前景色彩增加等也在模塊中實(shí)現(xiàn)。為了達(dá)到逼真的虛實(shí)融合的效果，正確顯示虛擬物體和真實(shí)

4、物體的遮擋關(guān)系，需要將深度檢測模塊的輸出結(jié)果作為輸入傳入虛實(shí)結(jié)合子模快，虛實(shí)結(jié)合子模塊根據(jù)真實(shí)場景中的物體與虛擬物體的遮擋關(guān)系進(jìn)行虛擬場景與真實(shí)場景的無縫融合。用戶交互子模塊為用戶提供兩種與虛擬三維模型進(jìn)行直接交互的方式。多媒體控制模塊模擬系統(tǒng)環(huán)境中產(chǎn)生的各種各樣的聲音元素，同時(shí)把視頻文件播放出來。2.3 圖像采集與處理模塊圖像采集模塊主要功能是從圖像輸入設(shè)備中采集視頻流，從視頻流中獲取視頻圖像。 增強(qiáng)現(xiàn)實(shí)系統(tǒng)圖像的采集應(yīng)該滿足實(shí)時(shí)性、精確性的要求。目前性能較高的CCD攝像頭都可以滿足系統(tǒng)對圖像精度和獲取速度的要求。微軟DirectX開發(fā)包中的Direetshow模塊，是微軟公司發(fā)布的在Win

5、dows環(huán)境下運(yùn)行的一種流媒體處理體系，是DirectX的組成部分之一。Directshow支持很多種多媒體格式，包括常用的ASF，MPEG，AVI，MP3，WAV等。當(dāng)系統(tǒng)安裝有硬件加速設(shè)備的時(shí)候，Directshow可以自動檢測并使用硬件加速設(shè)備。同樣，它也支持沒有硬件加速設(shè)備的系統(tǒng)。2.3 圖像采集與處理模塊2.3 圖像采集與處理模塊在基于計(jì)算機(jī)視覺的系統(tǒng)工程中，數(shù)字圖像處理子模塊為三維注冊子模塊和虛實(shí)結(jié)合子模塊提供非常重要的基礎(chǔ)數(shù)據(jù)。它的具體功能是通過圖像分割、邊緣檢測等圖像處理方法對采集的圖像進(jìn)行處理，從工作環(huán)境背景中識別出預(yù)先在環(huán)境中設(shè)置的用于定位的標(biāo)志。數(shù)字圖像處理子模塊的性能優(yōu)

6、劣直接影響系統(tǒng)在三維注冊階段的實(shí)時(shí)性和虛擬結(jié)合模塊中無縫融合的精確性。數(shù)字圖像處理子模塊的三個(gè)主要過程是圖像預(yù)處理與圖像分割，邊緣檢測和提取系統(tǒng)感興趣的特征點(diǎn)。 2.3 圖像采集與處理模塊具體實(shí)現(xiàn)在第三章詳細(xì)介紹 2.4 三維模型繪制模塊可以用DirectX、游戲引擎中的繪制三維模型語句和渲染語句來繪制三維模型，但所繪制的模型相對簡單。用3Ds MAX、Maya來繪制三維模型，然后導(dǎo)出到增強(qiáng)現(xiàn)實(shí)程序開發(fā)環(huán)境。三維模型的運(yùn)動控制由增強(qiáng)現(xiàn)實(shí)程序開發(fā)環(huán)境中的程序?qū)崿F(xiàn)，但人物運(yùn)動序列等看可以在3Ds MAX、Maya 中建好后導(dǎo)出。模型的復(fù)制可以用程序?qū)崿F(xiàn)。 具體繪制方法在第四章中詳細(xì)介紹2.5 標(biāo)識

7、識別模塊在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，經(jīng)過圖像分割、邊緣檢測和輪廓提取之后，我們就可以把以上步驟的結(jié)果用于標(biāo)識識別子模塊根據(jù)模式匹配算法，使系統(tǒng)從攝像機(jī)的視頻圖像中正確的識別出預(yù)先設(shè)計(jì)好的標(biāo)識，同時(shí)給出標(biāo)識的ID號碼，作為系統(tǒng)中圖形顯示子模塊輸入?yún)?shù)的一部分，以使得圖形顯示子模塊將預(yù)先設(shè)計(jì)好的三維模型正確的顯示在特定的標(biāo)記上，實(shí)現(xiàn)對真實(shí)環(huán)境的增強(qiáng)。標(biāo)識分為兩類，一類是人工設(shè)定好的標(biāo)識，一類是場景中自然具備的。人工設(shè)定好的標(biāo)識一般由具有一定寬度的黑色封閉的矩形框和內(nèi)部的各種圖形或文字兩部分構(gòu)成。2.5 標(biāo)識識別模塊對于人工設(shè)定好的標(biāo)識通過對視頻中的每一幀圖像運(yùn)用圖像分割、邊緣提取、連通區(qū)域檢測、輪廓提取等過

8、程判斷視頻圖像中是否含有封閉的黑色矩形框。匹配連通區(qū)域中的四邊形結(jié)構(gòu)，記錄視頻圖像中所有標(biāo)識所在區(qū)域和坐標(biāo)。分別提取各個(gè)標(biāo)識四邊形的邊緣像素坐標(biāo)，找出四邊形標(biāo)識四個(gè)頂點(diǎn)坐標(biāo)，計(jì)算出標(biāo)識邊緣的直線方程(屏幕坐標(biāo))。由于系統(tǒng)中使用的標(biāo)識記是事先設(shè)計(jì)的有規(guī)則的標(biāo)識，所以能夠快速獲得檢測結(jié)果。2.5 標(biāo)識識別模塊對于人工設(shè)定好的標(biāo)識標(biāo)識所代表的具體信息用標(biāo)識內(nèi)部的圖形或文字表示，如表示何種目標(biāo)或在此應(yīng)顯示何種虛擬物體。具體的標(biāo)識內(nèi)部圖像可以根據(jù)需要手動選擇任意的圖像作為標(biāo)識物，可以通過幾種圖元的組合自動生成工程中所需要標(biāo)識。進(jìn)行模板匹配，來實(shí)現(xiàn)標(biāo)識識別。在做標(biāo)識匹配前，需要進(jìn)行圖像正規(guī)化。2.5 標(biāo)識

9、識別模塊圖像正規(guī)化系統(tǒng)中采集圖像的攝像頭在采集圖像的時(shí)候處于隨機(jī)的位置，即從任何角度任何位置拍攝都可以，那么，攝像頭鏡面不一定與標(biāo)識物的平面是平行的，攝像頭的光軸也并不一定是垂直于標(biāo)識物。所以采集到的圖像也是不規(guī)則的，標(biāo)識物的外輪廓發(fā)生了一定的變形，這些變形包括平移、旋轉(zhuǎn)、縮放仿射變形等。為了用預(yù)先制作的模版和圖像進(jìn)行匹配，從而識別標(biāo)識物的ID號碼，需要對圖像進(jìn)行幾何變換，使圖像正規(guī)化2.5 標(biāo)識識別模塊圖像正規(guī)化將從攝像頭獲取的標(biāo)識圖像轉(zhuǎn)變?yōu)閿z像頭和圖像是正對著的，攝像頭的光心垂直于標(biāo)識物時(shí)拍攝的視頻圖像。一般情況下，由于由攝像機(jī)引起的這種圖像變換是仿射變換。通常情況下，這種變換是線性的，即

10、能夠保持線段的直線性、距離化、平行性不變。在圖像線性變形的假設(shè)條件下，變形圖像點(diǎn)的坐標(biāo)(X,Y)與原圖像上點(diǎn)的坐標(biāo)(x,y)之間的關(guān)系是:2.5 標(biāo)識識別模塊其中，C為3*3的矩陣，這個(gè)矩陣的第三列對平面圖像沒有影響，所以只要確定了變形圖像上的3個(gè)點(diǎn)以及在沒有變形圖像上與它們對應(yīng)的3個(gè)點(diǎn)的坐標(biāo)，就可以代入方程組，求出方程中的六個(gè)未知數(shù)。也就是求得了變形圖像和未變形圖像之間的對應(yīng)關(guān)系。2.5 標(biāo)識識別模塊模板匹配圖像匹配技術(shù)是數(shù)字圖像處理領(lǐng)域的一項(xiàng)重要研究。根據(jù)已知模式(模板圖)，到另一幅圖中搜索相匹配的子圖像的過程，稱為模板匹配。模板就是一幅已知的小圖像，具體地說模板匹配的過程是在一幅大圖像中

11、搜尋目標(biāo)，己知該圖中有要找的目標(biāo)，通過一定的算法可以在圖中找到目標(biāo)，確定其坐標(biāo)位置。圖像的模板匹配技術(shù)可以分成直接基于灰度值的方法以及基于特征提取的方法兩大類。2.5 標(biāo)識識別模塊一幅圖像與另一幅圖像接近的程度需要一個(gè)尺度來描述，在數(shù)學(xué)上常用向量的范數(shù)做為一個(gè)尺度。假設(shè)輸入圖像為M，已知圖像為T，它們之間的相似度可以用下式衡量：其中，d是一個(gè)距離標(biāo)量，表示兩個(gè)向量之間的距離。通過在圖像中尋找使d值最小的區(qū)域，確定被尋找的圖像T在輸入圖像中的位置等信息。為了防止出現(xiàn)匹配錯(cuò)誤的情況，一般會在應(yīng)用中設(shè)置一個(gè)閥值，當(dāng)d小于某個(gè)閥值時(shí)，認(rèn)為兩幅圖像有一定可比的相似度，當(dāng)d大于某個(gè)閥值時(shí)，認(rèn)為兩幅圖像不具

12、有可比的相似度，不參與d值的比較。2.5 標(biāo)識識別模塊由于在拍攝圖像的時(shí)候，會因?yàn)楣庹諒?qiáng)度不同，獲取的圖像在灰度級的分布上會不同，這種情況使得兩張?jiān)拘螤钕嗨频膱D像被檢測為不相似。為了避免這種情況，實(shí)際應(yīng)用中使用兩個(gè)向量的夾角這個(gè)標(biāo)準(zhǔn)來衡量兩個(gè)圖像的相似度，公式如下:系統(tǒng)中采用標(biāo)準(zhǔn)相似度來進(jìn)行模版匹配。所采用的特征是圖像的標(biāo)識物區(qū)域的面積比幾何特征。面積比計(jì)算比較簡單，實(shí)時(shí)性好;同時(shí)在圖像進(jìn)行線性變換的過程中面積比特征不會改變。在對系統(tǒng)的標(biāo)識物事先設(shè)定好的情況下會有較高的精度。2.6 三維注冊模塊增強(qiáng)現(xiàn)實(shí)系統(tǒng)必須能夠?qū)崟r(shí)地檢測出觀測者(或攝像機(jī))相對于真實(shí)場景的位置和方向角，以及成像系統(tǒng)(攝像

13、機(jī))的內(nèi)部參數(shù)(焦距和像元高寬比等)根據(jù)這些信息來實(shí)時(shí)確定所要添加的虛擬信息在真實(shí)空間中的映射位置，并將這些信息實(shí)時(shí)顯示在圖象中的正確位置。在用戶看來，無論從任何角度觀察，都應(yīng)該使虛擬物體與真實(shí)場景保持三維歐氏空間的幾何一致性。這就是AR中的虛實(shí)注冊(Registration)所要完成的任務(wù)。2.6 三維注冊模塊三維注冊子模塊以圖像檢測模塊的輸出結(jié)果為數(shù)據(jù)的輸入，通過相機(jī)標(biāo)定內(nèi)部參數(shù)的算法和相機(jī)標(biāo)定的外部參數(shù)的算法，將程序中所用到標(biāo)記的三維位置和姿態(tài)計(jì)算出來。相機(jī)的外部參數(shù)作為輸出結(jié)果輸入到虛實(shí)融合子模塊，用DirectX或openGL中的虛擬相機(jī)模擬真實(shí)世界中的相機(jī)，產(chǎn)生良好的虛實(shí)環(huán)境無縫融

14、合的場景。將三維的虛擬動畫模型渲染到特定的標(biāo)識物上，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的效果。該模塊的詳細(xì)設(shè)計(jì)和具體的算法在第五章有詳細(xì)的討論。2.7 深度檢測模塊為了判斷系統(tǒng)中渲染的虛擬物體與真實(shí)環(huán)境中物體的遮擋關(guān)系，系統(tǒng)中需要計(jì)算虛擬物體與真實(shí)場景中物體的深度信息，通過比較它們的深度信息，確定虛擬物體與真實(shí)場景中物體的遮擋關(guān)系，實(shí)現(xiàn)系統(tǒng)中真實(shí)場景與虛擬物體遮擋一致性由計(jì)算機(jī)視覺的相機(jī)標(biāo)定技術(shù)可以知道，一幅圖像中的一個(gè)點(diǎn)確定空間中一條直線與這個(gè)點(diǎn)相對應(yīng)，為了在系統(tǒng)中求取圖像上一點(diǎn)的深度信息，需要兩幅圖像或多幅圖像。計(jì)算一個(gè)點(diǎn)在多幅圖像上深度信息的直線方程，然后聯(lián)方程，用最小二乘法計(jì)算出圖像點(diǎn)的深度信息。2.7 深

15、度檢測模塊深度檢測模塊的流程圖2.8 虛實(shí)融合模塊虛實(shí)融合模塊主要完成前景和虛景融合、遮擋處理、邊緣融合等工作。額外的視覺效果，如光照、前景色彩增加等也在模塊中實(shí)現(xiàn)。在系統(tǒng)中，為了達(dá)到逼真的虛實(shí)融合的效果，正確顯示虛擬物體和真實(shí)物體的遮擋關(guān)系，需要將深度檢測模塊的輸出結(jié)果作為輸入傳入虛實(shí)結(jié)合子?？欤搶?shí)結(jié)合子模塊根據(jù)真實(shí)場景中的物體與虛擬物體的遮擋關(guān)系進(jìn)行虛擬場景與真實(shí)場景的無縫融合。虛實(shí)融合模塊處理虛擬物體與真實(shí)物體之間的遮擋關(guān)系的具體步驟如下:2.8 虛實(shí)融合模塊如果物體在監(jiān)控區(qū)域，將物體的深度信息和監(jiān)控區(qū)域中虛擬物體的深度信息進(jìn)行比較。如果真實(shí)場景中物體的深度大于虛擬投影三維模型的深度信

16、息，從固定攝像機(jī)的視角看，真實(shí)場景中的物體與虛擬物體的空間位置關(guān)系是真實(shí)場景的物體在后，虛擬物體在前，那么就直接將三維虛擬的模型投影在標(biāo)記物上。如果真實(shí)場景中物體的深度小于虛擬投影的三維模型的深度信息，真實(shí)場景的物體在前，虛擬物體在后，那么就將三維虛擬的模型投影在標(biāo)記物上之后，將高斯摳圖得到的真實(shí)物體的圖像渲染到虛擬三維模型之上，顯示真實(shí)物體與虛擬物體的遮擋關(guān)系。2.8 虛實(shí)融合模塊虛實(shí)融合模塊要將光照、陰影、前景色彩增強(qiáng)等視覺效果根據(jù)環(huán)境的需要和真實(shí)世界的場景加入到系統(tǒng)中，使得增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的場景更加逼真。2.9 動作交互模塊動作交互模塊為用戶提供與虛擬三維模型進(jìn)行直接交互的方式。用戶動作通

17、過兩種方式取得，一種是通過Kinect、扇形傳感器等硬件設(shè)備取得，一種是通過對視頻信號的識別直接取得手部等的肢體動作信號。把動作信息以輸入?yún)?shù)的形式傳給動作交互模塊，動作交互模塊分析參數(shù)后輸出交互的語義信號，并把這個(gè)信號以參數(shù)的形式傳給圖像渲染模塊的動畫控制函數(shù)，觸發(fā)一段預(yù)先設(shè)定好的動畫。1、不是井里沒有水，而是你挖的不夠深。不是成功來得慢，而是你努力的不夠多。2、孤單一人的時(shí)間使自己變得優(yōu)秀，給來的人一個(gè)驚喜，也給自己一個(gè)好的交代。3、命運(yùn)給你一個(gè)比別人低的起點(diǎn)是想告訴你，讓你用你的一生去奮斗出一個(gè)絕地反擊的故事，所以有什么理由不努力!4、心中沒有過分的貪求，自然苦就少。口里不說多余的話，自

18、然禍就少。腹內(nèi)的食物能減少，自然病就少。思緒中沒有過分欲，自然憂就少。大悲是無淚的，同樣大悟無言。緣來盡量要惜，緣盡就放。人生本來就空，對人家笑笑，對自己笑笑，笑著看天下，看日出日落，花謝花開，豈不自在，哪里來的塵埃!5、心情就像衣服，臟了就拿去洗洗，曬曬，陽光自然就會蔓延開來。陽光那么好，何必自尋煩惱，過好每一個(gè)當(dāng)下，一萬個(gè)美麗的未來抵不過一個(gè)溫暖的現(xiàn)在。6、無論你正遭遇著什么，你都要從落魄中站起來重振旗鼓，要繼續(xù)保持熱忱，要繼續(xù)保持微笑，就像從未受傷過一樣。7、生命的美麗，永遠(yuǎn)展現(xiàn)在她的進(jìn)取之中;就像大樹的美麗，是展現(xiàn)在它負(fù)勢向上高聳入云的蓬勃生機(jī)中;像雄鷹的美麗，是展現(xiàn)在它搏風(fēng)擊雨如蒼天之魂的翱翔中;像江河的美麗，是展現(xiàn)在它波濤洶涌一瀉千里的奔流中。8、有些事，不可避免地發(fā)生，陰晴圓缺皆有規(guī)律，我們只能坦然地接受;有些事，只要你愿意努力，矢志不渝地付出，就能慢慢改變它的軌跡。9、與其埋怨世界，不如改變自己。管好自己的心，做好自己的事，比什么都強(qiáng)。人生無完美，曲折亦風(fēng)景。別把失去看得過重，放棄是另一種擁有;不要經(jīng)常艷羨他人，人做到了，心悟到了，相信屬于你的風(fēng)景就在