增強現(xiàn)實的系統(tǒng)結(jié)構(gòu)與關(guān)鍵技術(shù)研究

1、增強現(xiàn)實的系統(tǒng)結(jié)構(gòu)與關(guān)鍵技術(shù)研究 摘要：首先概要介紹了增強現(xiàn)實技術(shù)的概念、相關(guān)特性，并總結(jié)了增強現(xiàn)實系統(tǒng)的總體結(jié)構(gòu)，概略介紹了各組成部分的功能以及對應(yīng)的關(guān)鍵技術(shù)。然后在此基礎(chǔ)上論述了關(guān)鍵技術(shù)中的顯示技術(shù)和跟蹤注冊技術(shù)，最后對增強現(xiàn)實的當(dāng)前應(yīng)用和未來趨勢做出了概要總結(jié)。 關(guān)鍵詞：增強現(xiàn)實；跟蹤注冊；實時跟蹤；虛實配準(zhǔn) 1引言 增強現(xiàn)實技術(shù)ar（augmented reality）是在虛擬現(xiàn)實vr技術(shù)（virtual reality）的基礎(chǔ)上發(fā)展起來的典型的交叉學(xué)科，具有十分廣泛的研究和應(yīng)用范圍，涉及到諸多技術(shù)領(lǐng)域，如計算機圖形和圖像處理、人機界面交互設(shè)計、移動計算、計算機網(wǎng)絡(luò)技術(shù)、信號處理技術(shù)、

2、以及新型顯示器和傳感器的設(shè)計等。 與傳統(tǒng)虛擬現(xiàn)實技術(shù)所要達(dá)到的完全沉浸的效果不同，ar將計算機生成的虛擬影像實時準(zhǔn)確地疊加在實景對象上，從而允許用戶使用實景對象與虛擬的影像進(jìn)行實時無縫交互。ar技術(shù)需具有3方面的特點：（1）真實與虛擬圖像的結(jié)合，（2）實時互動，（3）根據(jù)實景物理對象對虛擬影像進(jìn)行定位。由于增強現(xiàn)實具有將真實場景同虛擬物體加以融合并實現(xiàn)實時交互的特性，能夠增強用戶對現(xiàn)實環(huán)境的理解和認(rèn)知。 本文首先討論增強現(xiàn)實系統(tǒng)的總體架構(gòu)，在此基礎(chǔ)上著重論述增強顯示的關(guān)鍵技術(shù)，即：顯示技術(shù)、跟蹤注冊技術(shù)、相關(guān)方法及其各自的特性，在本文的最后，對增強現(xiàn)實應(yīng)用和未來趨勢概要地作出總結(jié)。 2增加現(xiàn)實

3、系統(tǒng)架構(gòu) 增強現(xiàn)實的整體系統(tǒng)通常由場景采集、跟蹤注冊、虛擬場景發(fā)生器、虛實合成、顯示系統(tǒng)和人機交互界面等多個子系統(tǒng)構(gòu)成，如圖1所示。 增強現(xiàn)實系統(tǒng)中，通過處理現(xiàn)實實景的圖像建立起實景空間，根據(jù)跟蹤注冊技術(shù)確定攝像機的姿態(tài)以及虛擬圖像的空間定位，虛擬圖像與實景圖像通過配準(zhǔn)排列，合成未虛實融合的增強現(xiàn)實環(huán)境，這個環(huán)境再輸入到顯示系統(tǒng)呈現(xiàn)給用戶，最后用戶通過交互設(shè)備與場景環(huán)境進(jìn)行互動。其中，讓虛實準(zhǔn)確結(jié)合的注冊步驟非常關(guān)鍵，和最后的顯示輸出端一起，決定了用戶對增強現(xiàn)實環(huán)境的最終感知效果， 3增強現(xiàn)實系統(tǒng)的顯示技術(shù) 增強現(xiàn)實系統(tǒng)的能夠利用融合計算機視覺、顯示技術(shù)、多傳感器等技術(shù)對真實場景進(jìn)行擴(kuò)展和增強

4、，根據(jù)eitoku提出的標(biāo)準(zhǔn)，ar的顯示裝置的設(shè)計應(yīng)該有4個準(zhǔn)則：（1）虛擬信息與現(xiàn)實世界共存；（2）支持協(xié)同工作；（3）不給用戶增加特殊儀器的負(fù)擔(dān)用戶；（4）支持顯示自然的三維圖像。主要集中在3種類型：透視式的頭部佩戴顯示器，基于投影顯示器和手持式顯示器。 3.1頭部配戴顯示設(shè)備 透視式hmds通過光學(xué)或視頻技術(shù)，使用戶看到將虛擬物體與現(xiàn)實實景融合后的場景。這類顯示器又可分為光學(xué)透視ost（optical see through）和視頻透視vst（video see through）的hmd。 用戶通過ost hmd可以直接看到現(xiàn)實實景與虛擬信息疊加融合后的場景。例如google正式發(fā)布的眼

5、鏡項目“google glass”，這款眼鏡集智能手機、gps、相機于一身，所有的信息都能即時展現(xiàn)在眼前，比以往的設(shè)計頭盔式顯示器更小更薄的頭部佩戴裝置。 ost hmd對真實環(huán)境幾-乎無損顯示。用戶獲得的信息比較可靠全面，對真實環(huán)境與虛擬圖像融合匹配的精確度要求較高。首先由攝像機攝取實景圖像，然后將生成的信息或虛擬影像圖像疊加在攝像機視頻上，通過顯示系統(tǒng)呈現(xiàn)給用戶。vst hmd的優(yōu)點在于較好地處理諸如被遮擋場景、色彩強度等問題，以保持真實場景與虛擬圖像的一致性。 3.2投影顯示設(shè)備 基于投影技術(shù)的顯示，不需要用戶佩戴設(shè)備，對用戶的體驗保持最低限度的侵?jǐn)_?，F(xiàn)有多種投影顯示技術(shù)，將圖像信息直接

6、投射到真實物體的表面，通常是在固定的物體的表面。投影設(shè)備同時能夠?qū)D像投影到更大范圍的環(huán)境中。 投影顯示設(shè)備更加適合室內(nèi)增強現(xiàn)實環(huán)境，生成圖像的焦點不隨用戶視角的改變而改變。投影顯示設(shè)備與固定的跟蹤定位設(shè)備相配合，將虛擬物體投影到真實世界中的相應(yīng)位置。例如大眾研究集團(tuán)與大眾服務(wù)學(xué)院聯(lián)合開發(fā)的投影式增強現(xiàn)實系統(tǒng)，可用于新車型的開發(fā)與技術(shù)創(chuàng)新的培訓(xùn)。 3.3手持顯示設(shè)備（hand held device） 手持設(shè)備的增強現(xiàn)實應(yīng)用不需要額外的設(shè)備和應(yīng)用程序的能力，對用戶體驗沒有侵?jǐn)_，易于攜帶和高度移動自由度等優(yōu)點，廣泛為社會所接受，因此經(jīng)常被用于在廣告，教育和培訓(xùn)吸引用戶注意的重要設(shè)備。 layer

7、 app是典型的智能手機上的增強現(xiàn)實應(yīng)用程序之一。用戶在指定的位置，使用手機內(nèi)置羅盤以確定鏡頭所指的方向，在手機顯示屏上即可顯示出場景中的細(xì)節(jié)信息，當(dāng)用戶平移其設(shè)備的攝像頭左右，屏幕上會填充不同的景點信息，包括快速通道的可用性，景點的描述等等。 4增強現(xiàn)實系統(tǒng)的跟蹤注冊技術(shù) 跟蹤是指跟蹤3d空間中的一點或幾點的3d坐標(biāo)與6dof的姿態(tài)信息，注冊即是虛擬物體和真實場景在三維空間中位置的一致性，即在空間上的整合，跟蹤注冊是一個持續(xù)的動態(tài)過程。跟蹤注冊是增強現(xiàn)實系統(tǒng)中的緊密相關(guān)的關(guān)鍵技術(shù)。目前廣泛應(yīng)用的注冊跟蹤技術(shù)可以分為3類：基于傳感器的注冊跟蹤技術(shù)、基于視覺的跟蹤注冊技術(shù)、和基于傳感器與實際的混

8、合跟蹤注冊技術(shù)。 4.1基于傳感器的跟蹤注冊 基于傳感器的跟蹤注冊技術(shù)，首先記錄實際場景中用戶的方向和位置，在便保持虛擬空間和真實空間連續(xù)性的基礎(chǔ)上，實現(xiàn)虛擬對象與實際場景的精確配準(zhǔn)融合。常用的傳感器技術(shù)主要有：磁場（magnetic）跟蹤注冊、聲學(xué)（acoustic）跟蹤注冊、光學(xué)（ortic）跟蹤注冊、慣性（inertial）跟蹤注冊。 磁場跟蹤注冊系統(tǒng)，由控制器、磁場發(fā)射器和接收器組成，利用磁場相關(guān)的參數(shù)，從而確定用戶的位置和方位。例如徐彤等設(shè)計的六自由度電磁跟蹤系統(tǒng)。 聲學(xué)跟蹤注冊系統(tǒng)包括超聲波發(fā)射器、接收器、和處理單元。利用同一聲源到達(dá)不同地點或者不同聲源的超聲波到達(dá)同一地點的時間差

9、、聲壓差等參數(shù)進(jìn)行跟蹤注冊。超聲波跟蹤注冊系統(tǒng)成本低，抗電磁干擾能力強，但是非常容易受周圍環(huán)境的噪聲、溫度、濕度以及遮擋問題的影響。 光學(xué)跟蹤注冊系統(tǒng)使用感光設(shè)備，接受發(fā)光元件產(chǎn)生的光線，用以測量目標(biāo)的方位。該類系統(tǒng)的精度高，不受噪聲和電磁場影響。主要缺點是易受視線和遮擋的影響，而且設(shè)備昂貴。 慣性跟蹤注冊系統(tǒng)使用慣性傳感器，獲取用戶或攝像機的運動方向和姿態(tài)，獲取攝像機的運動位置和速度。使用慣性跟蹤注冊技術(shù)存在著漂移和誤差累計，因此精度不高，必須與其他注冊跟蹤技術(shù)聯(lián)合使用，才能達(dá)到較高的精度。 基于傳感器的跟蹤注冊系統(tǒng)，可以記錄真實場景中用戶的方向和位置，在此基礎(chǔ)上保持虛擬空間和真實空間的連續(xù)

10、性，實現(xiàn)精確配準(zhǔn)與虛實圖像的融合。 4.2基于視覺（vision-based）的跟蹤注冊 基于視覺的跟蹤注冊基于視覺跟蹤的跟蹤注冊則不需要使用傳感器設(shè)備，由于硬件成本相對低廉，而受到越來越多地關(guān)注。 基于視覺的跟蹤注冊過程為：首先根據(jù)攝像機攝入的圖像或視頻流進(jìn)行處理，檢測圖像中目標(biāo)物體的特征，并欲與預(yù)存的場景圖像的特征進(jìn)行匹配。若匹配成功，通過圖像特征可以獲得攝像鏡頭的單應(yīng)性矩陣，據(jù)此可以計算出攝像鏡頭相對于場景中物體的位置及姿態(tài)。跟蹤注冊主要是基于標(biāo)識的跟蹤和無標(biāo)識的跟蹤。 基于標(biāo)識的跟蹤注冊技術(shù)，由于標(biāo)識是人工放置，由此根據(jù)計算機視覺中的透視投影算法，即可獲取攝像機相對于標(biāo)識的轉(zhuǎn)換矩陣，從

11、而獲得注冊信息。目前基于標(biāo)識的跟蹤注冊系統(tǒng)，已有artoolkit，artag等。artoolkit較為適用小規(guī)模的應(yīng)用，而artag在處理較大規(guī)模的應(yīng)用時則處理速度更快?；跇?biāo)識的跟蹤注冊計算復(fù)雜度較低，具有較好的精確性，但同時也易受遮擋的影響。 無標(biāo)識跟蹤注冊技術(shù)，又稱為基于自然特征點的注冊跟蹤技術(shù)，是直接利用場景中存在并且容易識別的實景物體的自然特征，提取識別的基準(zhǔn)點。經(jīng)典的算法有ferns算法、surf算法、和sift算法。在手持設(shè)備上運用時，由于真實的場景往往比較復(fù)雜無標(biāo)識跟蹤注冊的計算量較大，實時性較差。 4.3混合跟蹤注冊技術(shù) 混合跟蹤注冊是指在同一增強現(xiàn)實系統(tǒng)中采用兩種以上的跟

12、蹤注冊，以實現(xiàn)各種跟蹤注冊的優(yōu)勢互補?；趥鞲衅鞯母欁约夹g(shù)跟蹤需要較為昂貴的硬件設(shè)備，易受外部環(huán)境變化的影響，但是實時性好，魯棒性高?；跇?biāo)識的跟蹤注冊的主要性能特點是精度高，實時性較差。把這兩種注冊跟蹤技術(shù)相結(jié)合，則可以綜合各自的優(yōu)點，彌補各自的缺點，使其成為一個魯棒性較強、實時性較好、精度較高并且受外界干擾較小的綜合跟蹤注冊系統(tǒng)。例如azuma等在1998年提出的將gps、視覺跟蹤注冊技術(shù)和慣性傳感器三種技術(shù)綜合戶外增強現(xiàn)實系統(tǒng)。 5結(jié)語 增強現(xiàn)實技術(shù)雖然和虛擬現(xiàn)實技術(shù)可以追溯至同一個起源，但對它的研究要比虛擬現(xiàn)實技術(shù)落后很長的時間。盡管如此，增強現(xiàn)實一經(jīng)出現(xiàn)就引起了國際工業(yè)界和學(xué)術(shù)界的極大重視，國際上眾多科研機構(gòu)、學(xué)術(shù)組織，商業(yè)公司，如波音、索尼，羅克韋爾都競相展開對它的研究。 實時視頻圖像處理技術(shù)、計