增強(qiáng)現(xiàn)實(shí)的解決方案

1、移動(dòng)增強(qiáng)現(xiàn)實(shí)關(guān)鍵技術(shù)及研究增強(qiáng)現(xiàn)實(shí)是隨著計(jì)算機(jī)圖形技術(shù)、可視化技術(shù)以及光電成像技術(shù)等一系列技術(shù)的發(fā)展在 近年出現(xiàn)的，虛擬現(xiàn)實(shí)營(yíng)造一個(gè)和用戶(hù)周?chē)h(huán)境完全不同的由計(jì)算機(jī)生成的虛擬場(chǎng)景， 而增強(qiáng)現(xiàn)實(shí)則是把計(jì)算機(jī)生成的虛擬物體或文字信息疊加到真實(shí)的環(huán)境中，增強(qiáng)現(xiàn)實(shí)在 虛擬環(huán)境和真實(shí)環(huán)境之間搭起了一個(gè)橋梁。是一個(gè)典型的增強(qiáng)現(xiàn)實(shí)場(chǎng)景，用戶(hù)借助手機(jī)、平板電腦等智能終端顯示設(shè)備自帶的攝像 頭觀察周?chē)恼鎸?shí)環(huán)境，在其手持的智能終端顯示屏上除了可以看到其周?chē)恼鎸?shí)環(huán)境 之外，還可以看到由計(jì)算機(jī)生成的虛擬輔助信息，如最近的麥當(dāng)勞在哪個(gè)位置，這可以 通過(guò)在周?chē)h(huán)境上疊加一個(gè)漢堡來(lái)表示附近有一家麥當(dāng)勞店。當(dāng)用戶(hù)來(lái)到一個(gè)

2、陌生城市,如果要找最近的地鐵站，可以通過(guò)手機(jī)攝像頭掃描周?chē)h(huán)境來(lái)得知最近的地鐵站或其他 一些感興趣的地點(diǎn)在哪個(gè)位置。除了在工業(yè)、醫(yī)療等領(lǐng)域具有十分廣泛的應(yīng)用，近年來(lái) 增強(qiáng)現(xiàn)實(shí)在軍事領(lǐng)域也有非常廣泛的應(yīng)用。在本次國(guó)防電子展上展出了一套單兵作戰(zhàn)系 統(tǒng)，借助攝像機(jī)和頭盔顯示器士兵在觀察戰(zhàn)場(chǎng)環(huán)境時(shí)可以看到例如敵方的火力點(diǎn)等很多 提示信息。在夜晚和惡劣天氣情況下這套系統(tǒng)具有重要作用，可以更好的保護(hù)士兵，使 得士兵能夠更好地地完成作戰(zhàn)任務(wù)。近年來(lái)增強(qiáng)現(xiàn)實(shí)技術(shù)得到了很大的發(fā)展，圖2是一些典型的增強(qiáng)現(xiàn)實(shí)應(yīng)用，在體育轉(zhuǎn)播時(shí)，借助增強(qiáng)現(xiàn)實(shí)技術(shù)可以把運(yùn)動(dòng)員的名字或者所做國(guó)家的國(guó)旗疊加在跑道上，由于事 先已經(jīng)獲取了攝

3、像機(jī)以及賽場(chǎng)環(huán)境的準(zhǔn)確參數(shù)，可以保證在實(shí)時(shí)轉(zhuǎn)播時(shí)由計(jì)算機(jī)所添加 的虛擬物體或者文字信息天衣無(wú)縫的融合到當(dāng)前環(huán)境中。除了體育轉(zhuǎn)播以外，現(xiàn)在很多 的演出中也應(yīng)用了增強(qiáng)現(xiàn)實(shí)技術(shù)。增強(qiáng)現(xiàn)實(shí)的另外一個(gè)典型應(yīng)用是運(yùn)行在手機(jī)上的一個(gè)智能感知系統(tǒng)。例如借助增強(qiáng)現(xiàn)實(shí) 技術(shù)，當(dāng)用戶(hù)到達(dá)一個(gè)陌生的環(huán)境需要獲取信息時(shí)，通過(guò)舉起手機(jī)拍攝周?chē)h(huán)境，所有 的陌生文字都可以變成其熟悉的語(yǔ)言。在商業(yè)區(qū)舉起手機(jī)拍攝就可以很快找到最近的快 餐店的地址。當(dāng)想知道天氣時(shí)，只需要拍攝一下天空，就可以獲得天氣的信息。移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)所需要解決的系列關(guān)鍵技術(shù)移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)由硬件和軟件兩部分構(gòu)成。硬件部分主要包括可以把用戶(hù)當(dāng)前所處的 真實(shí)環(huán)

4、境和計(jì)算機(jī)所生成的虛擬物體以及文字同時(shí)進(jìn)行顯示的顯示載體，這既可以是單 兵作戰(zhàn)系統(tǒng)中的頭盔顯示器，也可以是用戶(hù)手持的智能手機(jī)或者是平板電腦。除了融合 顯示裝置外，還需要了解用戶(hù)意圖的人機(jī)交互設(shè)備，因?yàn)橄到y(tǒng)需要知道用戶(hù)現(xiàn)在的需求 是什么，采用傳統(tǒng)的鍵盤(pán)鼠標(biāo)無(wú)法實(shí)現(xiàn)這樣的人機(jī)交互，需要采用包括語(yǔ)音識(shí)別、眼動(dòng) 跟蹤、身體動(dòng)作跟蹤等一系列的自然交互手段。此外還需要硬件計(jì)算平臺(tái)來(lái)完成融合顯 示、虛擬物體的繪制以及人機(jī)交互等一系列的復(fù)雜運(yùn)算。除了上述硬件平臺(tái)之外還需要 一系列軟件的支撐，包括識(shí)別當(dāng)前用戶(hù)所看到的場(chǎng)景中的物體種類(lèi)以及物體具體位置的 識(shí)別和跟蹤軟件，把虛擬的三維物體進(jìn)行實(shí)時(shí)的繪制和融合顯示的三

5、維圖形渲染繪制軟 件，這些硬件和軟件平臺(tái)一起構(gòu)成了移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)。目前有三種方式可以實(shí)現(xiàn)移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)，包括基于頭盔式顯示器的移動(dòng)增強(qiáng)現(xiàn)實(shí)系 統(tǒng)、基于手持投影儀的移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)以及基于智能手機(jī)、平板電腦等便攜智能終端 的移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)。盡管移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)已經(jīng)顯示出了在諸多領(lǐng)域中廣泛的應(yīng)用前景，但是由于技術(shù)條件 和成本的限制，和大規(guī)模的推廣應(yīng)用尚有一定的距離，目前比較成熟的應(yīng)用大多集中在 軍事、醫(yī)療等對(duì)價(jià)格不是特別敏感的領(lǐng)域。目前制約移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)性能的因素主要包括以下兩個(gè)方面，一是移動(dòng)計(jì)算平臺(tái)的計(jì) 算資源、電池的壽命和重量的限制。二是戶(hù)外場(chǎng)景復(fù)雜多變的因素，由于戶(hù)外存在光照 的變化

6、以及遮擋等問(wèn)題， 同時(shí)用戶(hù)在戶(hù)外的場(chǎng)景中自由移動(dòng)，事先無(wú)法預(yù)測(cè)用戶(hù)的軌跡,而環(huán)境又會(huì)有陰晴雨雪變化，所有這些不可控的因素制約了移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用。開(kāi)發(fā)移動(dòng)增強(qiáng)現(xiàn)實(shí)需要攻克以下六項(xiàng)關(guān)鍵技術(shù)：一、高效便攜的終端定位系統(tǒng)，為了獲得用戶(hù)在環(huán)境中的準(zhǔn)確位置，完成對(duì)用戶(hù)在環(huán)境 中的準(zhǔn)確定位，目前有幾種方法可以實(shí)現(xiàn)，當(dāng)用戶(hù)攜帶手機(jī)時(shí)，通過(guò)移動(dòng)網(wǎng)絡(luò)可以對(duì)用 戶(hù)進(jìn)行粗略定位，可以記錄用戶(hù)在網(wǎng)絡(luò)中的一個(gè)歷史軌跡，通過(guò)這樣的一系列的歷史數(shù) 據(jù)，在服務(wù)器端可以對(duì)用戶(hù)當(dāng)前的位置有一個(gè)相對(duì)精確的估計(jì)，這些的復(fù)雜運(yùn)算是在服 務(wù)器端實(shí)現(xiàn)的，借助服務(wù)器端強(qiáng)大的計(jì)算能力，可以在不占用移動(dòng)端過(guò)多資源的情況下 獲取準(zhǔn)確的定位。二

7、、移動(dòng)終端和多核工作站之間不同計(jì)算能力設(shè)備間的任務(wù)協(xié)同。為了實(shí)現(xiàn)移動(dòng)增強(qiáng)現(xiàn) 實(shí)系統(tǒng)，要完成非常多復(fù)雜的運(yùn)算，包括對(duì)用戶(hù)位置的跟蹤、渲染、繪制等，這些復(fù)雜 的運(yùn)算任務(wù)要在移動(dòng)終端和系統(tǒng)的服務(wù)器中進(jìn)行協(xié)調(diào)，目前的解決方案是把一部分工作 放在手機(jī)端由手機(jī)實(shí)現(xiàn)，而將另外一部分復(fù)雜運(yùn)算放在服務(wù)器中實(shí)現(xiàn)。三、海量目標(biāo)的精確識(shí)別。在生活中有時(shí)我們希望能夠知道用戶(hù)面前的建筑物是什么， 用戶(hù)面前的車(chē)是什么型號(hào)，目前有多種方式實(shí)現(xiàn)這樣的功能。為了識(shí)別出這些物體，可 以通過(guò)提取對(duì)象的輪廓特征、紋理特征等來(lái)辨識(shí)。由于戶(hù)外環(huán)境的復(fù)雜多變，單一的特 征很難實(shí)現(xiàn)百分之百的識(shí)別，為此在移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，通過(guò)多特征融合進(jìn)行物

8、體識(shí) 別，例如對(duì)于同一個(gè)用戶(hù)眼前的建筑物，首先提取它的多種特征，通過(guò)融合多種特征來(lái) 更加詳盡的對(duì)目標(biāo)加以識(shí)別和描述。四、六自由度跟蹤定位，即知道用戶(hù)在環(huán)境中是在向哪個(gè)方向看以及確定用戶(hù)所處的位 置，所采用的方法是事先在計(jì)算機(jī)存儲(chǔ)部分已經(jīng)標(biāo)好的圖像，當(dāng)實(shí)際用戶(hù)使用的時(shí)候， 通過(guò)將拍攝到場(chǎng)景中的圖像和事先存儲(chǔ)的圖像進(jìn)行匹配可以獲得準(zhǔn)確的六自由度信息。五、多傳感器數(shù)據(jù)融合。目前移動(dòng)智能終端帶有多種傳感器，在實(shí)際使用中即可以通過(guò) 計(jì)算機(jī)視覺(jué)技術(shù)對(duì)攝像頭所拍攝的環(huán)境物體進(jìn)行跟蹤，也可以采用慣性傳感器進(jìn)行姿態(tài) 跟蹤，通過(guò)融合多個(gè)傳感器的輸出可以獲取更加準(zhǔn)確的跟蹤結(jié)果。六、真實(shí)、高效的3D渲染。為了實(shí)現(xiàn)移動(dòng)

9、增強(qiáng)現(xiàn)實(shí)系統(tǒng)，還需要把生成的三維物體準(zhǔn)確 的繪制到當(dāng)前的場(chǎng)景中，考慮到移動(dòng)終端資源的限制，需要繪制算法能夠盡可能簡(jiǎn)化，解決的方法之一就是簡(jiǎn)化傳輸數(shù)據(jù)的冗余性，從而實(shí)現(xiàn)真實(shí)高效的三維渲染。下面介紹國(guó)外的典型應(yīng)用。圖3所示是增強(qiáng)現(xiàn)實(shí)瀏覽器，用戶(hù)只需要在手機(jī)上選擇一個(gè)頻道，在拍攝周?chē)h(huán)境的時(shí)候，用戶(hù)所有感興趣的信息都會(huì)自動(dòng)出現(xiàn)在屏幕上。比如在 選擇餐飲的時(shí)候，周?chē)乃械娘埖甑姆?hào)都會(huì)出現(xiàn)在屏幕上，用戶(hù)可以通過(guò)點(diǎn)擊屏幕 看到對(duì)應(yīng)的評(píng)價(jià)，甚至可以下載飯店的優(yōu)惠券。移動(dòng)增強(qiáng)現(xiàn)實(shí)在博物館導(dǎo)覽方面也有很好的應(yīng)用。博物館提供了非常多的展品，但目前 所有展品的標(biāo)簽所提供的信息都是有限的，用戶(hù)到博物館參觀時(shí)希望知

10、道展品背后的故 事。借助移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)，用戶(hù)進(jìn)入到博物館時(shí)可以在手機(jī)上下載一個(gè)軟件，當(dāng)用戶(hù) 在博物館內(nèi)進(jìn)行游覽時(shí)當(dāng)用戶(hù)看到感興趣的展品，通過(guò)手機(jī)屏幕呈現(xiàn)和這個(gè)展品有關(guān)的 文字、圖片以及視頻等信息可以增強(qiáng)用戶(hù)對(duì)展品的認(rèn)識(shí)。移動(dòng)增強(qiáng)現(xiàn)實(shí)在電子商務(wù)方面也有很多的應(yīng)用，例如近年來(lái)在北京地鐵站出現(xiàn)的虛擬購(gòu) 物超市，消費(fèi)者只要通過(guò)手機(jī)拍攝想要購(gòu)買(mǎi)的物品并發(fā)送給服務(wù)商，就可以享受到送貨 上門(mén)的服務(wù)。移動(dòng)增強(qiáng)現(xiàn)實(shí)在教學(xué)培訓(xùn)上也有廣泛的應(yīng)用，國(guó)外開(kāi)發(fā)了一款在iPhone上的運(yùn)行的軟件，可以在實(shí)際的電路上通過(guò)三維顯示的方式來(lái)疊加學(xué)生需要搭建的電子元器件來(lái)指導(dǎo) 學(xué)生進(jìn)行電路的搭建。在化學(xué)、地理等等一些教學(xué)中，通過(guò)

11、對(duì)三維的分子結(jié)構(gòu)以及三維 的空間星系進(jìn)行增強(qiáng)顯示可以加深對(duì)這些知識(shí)的理解。在導(dǎo)航導(dǎo)覽方面增強(qiáng)現(xiàn)實(shí)具有更加廣泛的應(yīng)用，目前國(guó)外新開(kāi)發(fā)的GPS軟件上已經(jīng)應(yīng)用了增強(qiáng)現(xiàn)實(shí)，當(dāng)把這樣一款 GPS安放在駕駛的車(chē)輛上，就會(huì)看到前方的道路地面疊加出 了方向箭頭，可以實(shí)時(shí)指引駕駛員，通過(guò)這樣的可視化手段為用戶(hù)提供了非常好的使用 感受。在本屆國(guó)防電子展上也有多款產(chǎn)品應(yīng)用了增強(qiáng)現(xiàn)實(shí)技術(shù)，例如晚上駕駛照明條件不好時(shí)，可以借助紅外傳感器觀察周?chē)h(huán)境，然后把增強(qiáng)后的路況借助增強(qiáng)現(xiàn)實(shí)技術(shù)顯示在風(fēng)擋 玻璃并后準(zhǔn)確的疊加在駕駛員前方的道路上，從而增強(qiáng)用戶(hù)對(duì)環(huán)境的理解。增強(qiáng)現(xiàn)實(shí)在商業(yè)廣告方面也有很多的應(yīng)用，Ibuttefly是一

12、款下載在iPhone上的AR應(yīng)用，是旅游和餐飲業(yè)的一個(gè)很好的宣傳平臺(tái)。在娛樂(lè)游戲方面，增強(qiáng)現(xiàn)實(shí)可以把用戶(hù)周 圍的真實(shí)場(chǎng)景變?yōu)橛螒驁?chǎng)景，而在社交網(wǎng)絡(luò)應(yīng)用上，增強(qiáng)現(xiàn)實(shí)技術(shù)可以方便用戶(hù)與好友 進(jìn)行在線交流。近年來(lái)增強(qiáng)現(xiàn)實(shí)在古跡重建及導(dǎo)覽方面也有很多的應(yīng)用，例如用戶(hù)到圓明園進(jìn)行游覽時(shí) 可以通過(guò)增強(qiáng)現(xiàn)實(shí)技術(shù)看到圓明園被燒毀之前的壯美建筑，加深對(duì)古跡現(xiàn)場(chǎng)的理解。發(fā)展方向移動(dòng)增強(qiáng)現(xiàn)實(shí)的一個(gè)發(fā)展方向是基于投影儀的移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)。盡管目前手機(jī)屏幕越 來(lái)越大，但是不可能無(wú)限增大，同時(shí)大的顯示屏幕對(duì)于電池是一個(gè)非常大的考驗(yàn)。美國(guó) MIT開(kāi)發(fā)的移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)借助微型的投影儀把增強(qiáng)信息投到用戶(hù)手上以及用戶(hù)閱讀 的報(bào)紙上，同時(shí)用戶(hù)可以通過(guò)不同的手部動(dòng)作和投射出的影