20基于PC平臺的AR系統(tǒng)技術(shù)_14講49ppt課件

1、基于PC平臺的AR系統(tǒng)關(guān)鍵技術(shù)研討和基于VR培訓(xùn)系統(tǒng)開發(fā).基于PC平臺的AR系統(tǒng)關(guān)鍵技術(shù)研討 基于VR培訓(xùn)系統(tǒng)開發(fā).基于PC平臺的AR系統(tǒng)關(guān)鍵技術(shù)研討系統(tǒng)總體構(gòu)造實(shí)時(shí)跟蹤系統(tǒng) 多通道交互技術(shù) 場景交融技術(shù)AR開發(fā)平臺Illusion虛擬物體制造和頭盔顯示虛擬魔幻屋的設(shè)計(jì)與實(shí)現(xiàn) .系統(tǒng)總體構(gòu)造實(shí)時(shí)跟蹤系統(tǒng)多通道交互 場景交融 AR開發(fā)平臺Illusion 顯示部分.實(shí)時(shí)跟蹤系統(tǒng) 在AR系統(tǒng)中，實(shí)現(xiàn)虛擬信息和真實(shí)信息無縫集成要處理系統(tǒng)的靜態(tài)和動態(tài)錯(cuò)誤 ：處理靜態(tài)錯(cuò)誤所采用的技術(shù)方案處理動態(tài)錯(cuò)誤所采用的技術(shù)方案.靜態(tài)錯(cuò)誤處理方案 基于計(jì)算機(jī)視覺實(shí)際的實(shí)時(shí)跟蹤技術(shù)和跟蹤系統(tǒng)的實(shí)現(xiàn)實(shí)時(shí)的、較好精度和魯棒

2、的動態(tài)定位計(jì)算模塊簡便的、自動的、高精度和魯棒的攝像頭定標(biāo)技術(shù)多目視覺跟蹤系統(tǒng)的設(shè)計(jì)原那么和安裝措施前往.動態(tài)錯(cuò)誤處理方案 人工標(biāo)志的設(shè)計(jì)針對標(biāo)志的圖像跟蹤算法基于并行機(jī)制的實(shí)時(shí)圖像處置技術(shù)基于并行機(jī)制的實(shí)時(shí)圖像繪制技術(shù)基于PC平臺的實(shí)時(shí)、高性能的圖形數(shù)據(jù)顯示管理系統(tǒng).兩節(jié)點(diǎn)視覺跟蹤系統(tǒng)兩節(jié)點(diǎn)跟蹤系統(tǒng)根本構(gòu)造.跟蹤標(biāo)志的設(shè)計(jì)一切的圖案點(diǎn)共面;每個(gè)圓點(diǎn)的半徑一樣；相鄰圓點(diǎn)的圓心上下左右的間隔相等；其中邊緣兩組點(diǎn)的圓心分別共線，并且這兩條線相互垂直；點(diǎn)的顏色為白色，背底為黑色; .人工特征點(diǎn)提取和匹配算法原始圖像二值化圖像候選特征連通域4，523候選特征點(diǎn)及其中心坐標(biāo)特征點(diǎn)圖像中根本點(diǎn)陣特征點(diǎn)的中

3、心圖像坐標(biāo)和陳列次序，擴(kuò)展點(diǎn)陣特征點(diǎn)的中心圖像坐標(biāo)規(guī)范圖像中擴(kuò)展點(diǎn)陣中點(diǎn)的中心圖像坐標(biāo)和陳列次序完成目的的識別6711閥值分割 2種子填充 3外形限制 4求解幾何中心 5幾何約束處置 6透視變換 7特征映射 .人工標(biāo)志的空間姿態(tài)重建 Zc1 u1, v1, 1 T = M1 x, y, z, 1T Zc2 u2, v2, 1 T = M2 x, y, z, 1T單個(gè)人工標(biāo)志物的跟蹤和三維重建 左圖像右圖像重建結(jié)果.多目視覺系統(tǒng)由于兩個(gè)攝像頭的有效跟蹤范圍有限，可采用多攝像頭陣列的多目跟蹤技術(shù)和姿態(tài)重建，本發(fā)明中采用了呈平面網(wǎng)格分布的多目立體視覺構(gòu)造，每個(gè)攝像頭的光軸垂直程度面，光心均勻的分布在

4、網(wǎng)格點(diǎn)上，圖中陰影部分為有效跟蹤范圍。在建立該多目視覺系統(tǒng)時(shí)，H為攝像頭光心的安裝高度，h為穩(wěn)定的跟蹤區(qū)域的高度，普通情況下，攝像頭的兩個(gè)方向的視角不同，設(shè)；為保證各個(gè)方向穩(wěn)定的跟蹤區(qū)域的高度h相等，網(wǎng)格的間距d1、d2應(yīng)滿足一定的約束；如下式所示： 在實(shí)踐安裝多目立體視覺系統(tǒng)時(shí)，思索到攝像頭的參數(shù)和方向不能夠完全一致，為保證穩(wěn)定的跟蹤區(qū)域的高度h,參與修正因子h,可按下面兩式的計(jì)算d1、d2。.多目視覺系統(tǒng)構(gòu)架.多通道交互技術(shù)視覺通道AR系統(tǒng)經(jīng)過視覺通道產(chǎn)生以用戶本人為視點(diǎn)的包括各種景物和運(yùn)動目的的場景，人經(jīng)過頭盔顯示器(HMD)等立體顯示設(shè)備進(jìn)展察看。 聽覺通道在AR系統(tǒng)中參與三維虛擬聲音

5、，可以加強(qiáng)用戶在虛擬環(huán)境中的沉浸感和交互性。工程中采用Direct Sound技術(shù)完成了背景音樂、音效的三維聲音定位。力反響在本工程AR系統(tǒng)中，由引入力反響，經(jīng)過力學(xué)反響支配桿，讓用戶對加強(qiáng)現(xiàn)實(shí)環(huán)境有了一種“看得見摸得著的覺得。 用戶的輸入.零訓(xùn)練的語音識別系統(tǒng) 目前環(huán)繞言語技術(shù)的另一個(gè)領(lǐng)域就是如何把現(xiàn)有的語音識別技術(shù)運(yùn)用到各個(gè)領(lǐng)域，讓加強(qiáng)現(xiàn)實(shí)環(huán)境了解人的言語，可以提高人機(jī)交互的自然性。 本工程中采用Spark SDK開發(fā)工具包，無須進(jìn)展語音訓(xùn)練，即可識別定義好的語音命令，并與Internet控制技術(shù)相結(jié)合，實(shí)現(xiàn)了加強(qiáng)現(xiàn)實(shí)環(huán)境的交互。系統(tǒng)的構(gòu)造如以下圖所示：.場景交融技術(shù) 坐標(biāo)轉(zhuǎn)換 真實(shí)場景視

6、頻采集 真實(shí)攝像頭參數(shù)求解 攝像頭標(biāo)定和校正 虛擬攝像頭校正 真假交融 .坐標(biāo)轉(zhuǎn)換 前往.真實(shí)場景視頻采集 我們運(yùn)用DirectShow構(gòu)架的軟件模塊，經(jīng)過視頻采集卡采集外部視頻信號。這個(gè)軟件模塊的濾鏡圖如下：前往.真實(shí)攝像頭參數(shù)求解方法 攝像頭模型 標(biāo)定算法 畸變校正算法 焦距、視角的計(jì)算 前往.AR開發(fā)平臺Illusion AR開發(fā)平臺Illusion的義務(wù)是完成AR工程所需求的實(shí)時(shí)圖形顯示和交互功能。AR工程需求實(shí)現(xiàn)的圖形功能是真實(shí)場景數(shù)據(jù)和虛擬場景數(shù)據(jù)交融并顯示，交融后場景的內(nèi)容可以經(jīng)過各種知或者未知的方式進(jìn)展交互，支持特效的擴(kuò)展，支持動畫，支持故事線等。AR開發(fā)平臺Illusion具

7、有以下特征： 管理擴(kuò)展模塊的才干 采用OpenInventor的顯示機(jī)能 支持視頻交融 分層式軟件構(gòu)造：采用中心層、擴(kuò)展層和運(yùn)用層三層構(gòu)造，從而可實(shí)現(xiàn)靈敏的模塊化管理、開放的擴(kuò)展體系.AR開發(fā)平臺Illusion模塊化構(gòu)造 系統(tǒng)中心主要由DM,FM,IM三大模塊組成 ；AR中心系統(tǒng)功能框圖如下：Illision workspace: COREDMFMIMDOC/VIEWFRAMEWNDIllision.dll功能管理MAP*.dll數(shù)據(jù)管理MAP.模塊劃分Studio 用于構(gòu)造根底模塊 iCom提供基于DirectPlay的通訊功能； iCore提供根底的模塊和數(shù)據(jù)管理功能； iDeform提

8、供變形計(jì)算，用于支持頂點(diǎn)動畫； Illusion提供應(yīng)用程序載體。Plugin 用于構(gòu)造擴(kuò)展模塊 Animation提供詳細(xì)的動畫實(shí)現(xiàn) Camera模塊提供Camera控制功能 GA、VA模塊實(shí)現(xiàn)了詳細(xì)的剛體動畫(GA)、頂點(diǎn)動畫(VA)數(shù)據(jù)操作 Illusion模塊提供了根底啟動管理功能，決議了整個(gè)系統(tǒng)的啟動配置 Video模塊實(shí)現(xiàn)的是視頻捕捉，至于捕捉以后的數(shù)據(jù)如何運(yùn)用那么是由 iCore模塊決議的 .三維虛擬物體的制造AR系統(tǒng)中包括真假兩方面的數(shù)據(jù)，虛擬的數(shù)據(jù)就是必需發(fā)明一個(gè)虛擬環(huán)境，這個(gè)虛擬環(huán)境包括三維模型、三維聲音等，在這些要素中，由于在人的覺得中，視覺攝取的信息量最大，反響亦最為靈

9、敏，所以發(fā)明一個(gè)逼真而又合理的模型，并且可以實(shí)時(shí)動態(tài)地顯示是最重要的。虛擬現(xiàn)實(shí)系統(tǒng)構(gòu)建的很大一部分任務(wù)也是建造逼真適宜的三維模型。.三維虛擬物體的制造虛擬場景的構(gòu)造主要有以下途徑： 基于模型的構(gòu)造方法 ： (1)多邊形建模； (2) NURBS建模 ； (3)細(xì)分曲面技術(shù) ； 基于圖像的繪制 (IBR) .加強(qiáng)現(xiàn)實(shí)中虛擬物體的創(chuàng)建技術(shù) 為了充分利用發(fā)揚(yáng)藝術(shù)創(chuàng)作人員的發(fā)明力，允許他們利用熟習(xí)的主流三維建模工具3D Max進(jìn)展虛擬場景和物體進(jìn)展建模，然后利用開發(fā)的公用轉(zhuǎn)換插件實(shí)現(xiàn)三維虛擬物體的導(dǎo)出，并AR系統(tǒng)中加以利用，可以大大加快系統(tǒng)的開發(fā)進(jìn)程。本系統(tǒng)中的三維模型利用3DMAX制造、導(dǎo)出，然后在

10、Illusion平臺進(jìn)展調(diào)整和顯示，整個(gè)制造流程包括如下4個(gè)部分：物體外型材質(zhì)紋理動畫制造合成導(dǎo)出.加強(qiáng)現(xiàn)實(shí)顯示系統(tǒng)Monitor-based加強(qiáng)現(xiàn)實(shí)顯示系統(tǒng)光學(xué)透視式(Optical See-through)加強(qiáng)現(xiàn)實(shí)顯示系統(tǒng)視頻透視式(Video See-through)加強(qiáng)現(xiàn)實(shí)顯示系統(tǒng).前往Monitor-based加強(qiáng)現(xiàn)實(shí)系統(tǒng).前往光學(xué)透視式加強(qiáng)現(xiàn)實(shí)系統(tǒng).前往視頻透視式加強(qiáng)現(xiàn)實(shí)系統(tǒng) .頭盔顯示系統(tǒng)I本工程采用視頻透視式頭盔顯示系統(tǒng)，為了實(shí)現(xiàn)良好的沉浸感，必需實(shí)現(xiàn)基于頭盔雙通道的立體顯示技術(shù)。由于頭盔具有兩個(gè)微型液晶顯示器，可以同時(shí)顯示左右眼的圖像，為了可以將加強(qiáng)場景立體顯示出來，需求完成

11、真實(shí)場景的立體視頻采集和虛擬場景的立體渲染后，進(jìn)展場景交融如以下圖所示。 . .采用微軟公司MicrosoftDirectShow的濾鏡(Filter)技術(shù)與多線程技術(shù)的雙通道視頻數(shù)據(jù)采集。由于實(shí)時(shí)視頻數(shù)據(jù)量很大，同時(shí)為了兼容多種不同的視頻捕捉卡，所以采集視頻數(shù)據(jù)時(shí)采用了濾鏡技術(shù)，雙通道的視頻數(shù)據(jù)采集在兩線程中分別進(jìn)展，采集到的視頻數(shù)據(jù)保管在兩個(gè)視頻緩沖區(qū)中，利用線程同步機(jī)制來保證采集的視頻數(shù)據(jù)的同步，從而實(shí)現(xiàn)雙通道視頻數(shù)據(jù)的采集。這樣有效地利用了CPU的資源，提高了系統(tǒng)的實(shí)時(shí)性，可在普通PC上實(shí)現(xiàn)。立體視頻采集.虛擬場景的立體渲染基于Open Inventor的立體渲染 立體渲染有兩種方式：

12、旋轉(zhuǎn)相機(jī)：該方法存在喪失集合一致性的問題：當(dāng)兩個(gè)攝像機(jī)旋轉(zhuǎn)時(shí)，他們的投影軸就不同了。于是就會出現(xiàn)兩種情況：由于兩個(gè)視點(diǎn)的Z軸次序出現(xiàn)微小的差別，在兩個(gè)視圖中，外形方向就不能堅(jiān)持一致。該方法還要求當(dāng)場景中的察看位置變化時(shí)，立體焦點(diǎn)也能不斷變化。 平移相機(jī)：該方法處理了上述問題，無扭曲實(shí)現(xiàn)所需的立體效果。經(jīng)過添加與降低視景體的非對稱，場景將相對屏幕發(fā)生挪動。 .虛擬魔幻屋的設(shè)計(jì)與實(shí)現(xiàn) 虛擬魔幻屋是一個(gè)本工程研討成果的綜合表達(dá) ,構(gòu)造圖如下：.基于VR培訓(xùn)系統(tǒng)開發(fā)三維可視化驅(qū)動系統(tǒng)虛擬控制系統(tǒng) 工程分析子系統(tǒng)構(gòu)造 .SHU-虛擬機(jī)床系統(tǒng)虛擬機(jī)床由虛擬控制系統(tǒng)、三維可視化驅(qū)動系統(tǒng)構(gòu)成、機(jī)床構(gòu)造建模和運(yùn)

13、動學(xué)分析共同構(gòu)成，其功能構(gòu)造圖如下：.三維可視化驅(qū)動系統(tǒng) 包括了場景繪制模塊、機(jī)床裝配模塊、機(jī)床模型導(dǎo)入模塊、切削仿真模塊、人機(jī)交互模塊、網(wǎng)絡(luò)通訊模塊等六個(gè)模塊。其中，網(wǎng)絡(luò)通訊模塊與虛擬數(shù)控系統(tǒng)進(jìn)展通訊，將操作指令傳送給切削仿真模塊；場景繪制模塊擔(dān)任圖形場景的渲染，根據(jù)導(dǎo)入的機(jī)床模型與切削仿真、裝配仿真的結(jié)果現(xiàn)實(shí)繪出制虛擬車床；人機(jī)交互模塊那么使操作者可以經(jīng)過三位鼠標(biāo)與立體眼鏡等交互設(shè)備對虛擬車床場景進(jìn)展遨游。 .仿真系統(tǒng)的根本數(shù)據(jù)構(gòu)造.虛擬控制系統(tǒng)本系統(tǒng)是仿上海開通數(shù)控的KT590T控制系統(tǒng)而設(shè)計(jì)的虛擬數(shù)控系統(tǒng)。其可用于緊湊型機(jī)床的微處置器控制CNC延續(xù)軌跡控制系統(tǒng)。本虛擬數(shù)控系統(tǒng)是將KT5

14、90T實(shí)現(xiàn)于PC平臺上，并且經(jīng)過網(wǎng)絡(luò)將實(shí)時(shí)插補(bǔ)的數(shù)據(jù)保送基于OpenGL開發(fā)平臺的虛擬機(jī)床上，實(shí)現(xiàn)對加工過程的仿真，功能模塊選擇表示如以下圖。 .工程分析子系統(tǒng) 包括數(shù)據(jù)讀入模塊、計(jì)算模塊和可視化模塊。經(jīng)過將工程分析的參考數(shù)據(jù)讀入系統(tǒng)，運(yùn)用結(jié)點(diǎn)的參考數(shù)據(jù)或計(jì)算公式計(jì)算出工程分析結(jié)果，最后將工程分析結(jié)果采用可視化的手段表現(xiàn)出來。 數(shù)據(jù)讀入模塊 將工程分析的參考數(shù)據(jù)讀入系統(tǒng)。參考數(shù)據(jù)是仿真圖形結(jié)點(diǎn)的參考數(shù)據(jù)，他們是計(jì)算出結(jié)點(diǎn)的工程分析結(jié)果的根底。計(jì)算模塊 運(yùn)用結(jié)點(diǎn)的參考數(shù)據(jù)或計(jì)算公式計(jì)算出工程分析結(jié)果。其中，工件的變形采用推導(dǎo)出的解析式可以直接求出，刀具的工程分析結(jié)果那么需經(jīng)過圖形結(jié)點(diǎn)的參考值，結(jié)

15、合插值等算法計(jì)算得出?？梢暬K 將工程分析結(jié)果采用可視化的手段表現(xiàn)出來。工件的變形經(jīng)過軸線位移表示，刀具的工程分析結(jié)果那么經(jīng)過顏色的予以深淺反映。.工程分析部分的根本數(shù)據(jù)構(gòu)造.采用的關(guān)鍵技術(shù) 虛擬機(jī)床的控制系統(tǒng) 系統(tǒng)集成及三維驅(qū)動采用的關(guān)鍵技術(shù) 三維鼠標(biāo)運(yùn)用中采用的關(guān)鍵技術(shù) 切削過程仿真的關(guān)鍵技術(shù) 工程分析關(guān)鍵技術(shù) .軟數(shù)控系統(tǒng)處理的關(guān)鍵問題直線差補(bǔ)圓弧差補(bǔ)軟數(shù)控通訊協(xié)議.系統(tǒng)集成及三維驅(qū)動處理的關(guān)鍵問題 車床模型的導(dǎo)入機(jī)床裝配過程描畫言語的設(shè)計(jì)V代碼；機(jī)床裝配仿真與場景繪制模塊的接口。 .三維鼠標(biāo)技術(shù) 三維鼠標(biāo)是一款真正的三維輸入設(shè)備，它可以監(jiān)測到手指施加其上的最細(xì)微的力，并將其分解成,X,Y,Z的平移與轉(zhuǎn)動，同步即時(shí)地操作3D 圖形。在操作三維圖形或?qū)ο髸r(shí)，提供了良好的六自在度的交互控制。 用戶即可以經(jīng)過三維鼠標(biāo)控制機(jī)床的平移與旋轉(zhuǎn)運(yùn)動，也可以運(yùn)用三維鼠標(biāo)的視點(diǎn)控制，閱讀整個(gè)場景