Oculus Insight內(nèi)向外追蹤技術(shù)的起步、發(fā)展與未來(lái)

-6-OculusInsight內(nèi)向外追蹤技術(shù)的起步、發(fā)展與未來(lái)VR設(shè)備原本需要利用外部傳感器來(lái)追蹤所述的運(yùn)動(dòng)。用于實(shí)現(xiàn)追蹤的攝像頭接入PC,而盡管這是可行的方案,但降低了VR的便攜性和增加了設(shè)置簡(jiǎn)單度。VR硬件原本需要通過數(shù)據(jù)線接入PC,直到Facebook工程團(tuán)隊(duì)發(fā)覺了一種剪掉線纜的方法。

當(dāng)安娜科茲明斯基(AnnaKozminski)于2022年作為軟件程序工程師加入Facebook的時(shí)候,她的任務(wù)非常簡(jiǎn)潔:剪掉VR設(shè)備的線纜,這樣無(wú)論何時(shí)何地,任何人都能夠戴上頭顯并立刻沉醉在的虛擬現(xiàn)實(shí)世界中,無(wú)需外部追攝像頭來(lái)捕獲環(huán)境。

安娜指出:"我們盼望構(gòu)建一個(gè)允許你像真實(shí)世界那樣自然輕松地在VR世界中移動(dòng),并且能夠在里面進(jìn)行自由探究的系統(tǒng)。'

對(duì)于安娜加入的團(tuán)隊(duì),其使命是為消費(fèi)者VR設(shè)備開發(fā)首款功能完備的"內(nèi)向外'追蹤系統(tǒng)。這項(xiàng)技術(shù)將能夠追蹤用戶的完整運(yùn)動(dòng)范圍(亦即六自由度),同時(shí)可以精確地定位頭顯和兩個(gè)運(yùn)動(dòng)掌握器的位置。

VR設(shè)備原本需要利用外部傳感器來(lái)追蹤所述的運(yùn)動(dòng)。用于實(shí)現(xiàn)追蹤的攝像頭接入PC,而盡管這是可行的方案,但降低了VR的便攜性和增加了設(shè)置簡(jiǎn)單度。

安娜表示:"借助頭顯的內(nèi)向外追蹤,步入VR就像戴上耳機(jī)聽音樂一樣簡(jiǎn)潔。'

但團(tuán)隊(duì)的使命遠(yuǎn)非易事。他們必需將討論試驗(yàn)室中最先進(jìn)的計(jì)算機(jī)視覺技術(shù)帶到任何人都可以使用的消費(fèi)設(shè)備。追蹤需要精確到低于1毫米,需要足以捕獲頭部的微妙傾斜或手部的短暫快速閃動(dòng)。它必需足夠強(qiáng)大,可以滿意現(xiàn)實(shí)世界家庭中的幾乎全部條件。它同時(shí)必需足夠高效,而且可以依靠于電池來(lái)實(shí)現(xiàn)功能。

OculusQuest是第一款內(nèi)嵌全六自由度追蹤和雙掌握器追蹤的頭顯設(shè)備。

為了實(shí)現(xiàn)這一點(diǎn),安娜及其團(tuán)隊(duì)利用計(jì)算機(jī)視覺和自研算法來(lái)生成用戶周遭環(huán)境的實(shí)時(shí)3D映射,這樣頭顯就能夠計(jì)算你所在的位置并將其傳至虛擬現(xiàn)實(shí)世界。

Facebook將這個(gè)系統(tǒng)稱為OculusInsight。它使得全新的OculusQuest和RiftS頭顯成為可能。日前,這家公司撰文介紹了蘇黎世、門洛帕克和西雅圖工程師團(tuán)隊(duì)是如何將這項(xiàng)技術(shù)變?yōu)楝F(xiàn)實(shí)的過程,下面是映維網(wǎng)的詳細(xì)整理:

OculusQuest頭顯中的攝像頭和追蹤傳感器

1.SLAM

OculusInsight內(nèi)向外追蹤的基礎(chǔ)是SLAM(即時(shí)定位與地圖構(gòu)建),它主要通過計(jì)算機(jī)視覺CV算法來(lái)融合來(lái)自多個(gè)傳感器的輸入數(shù)據(jù),從而在不斷更新的數(shù)字映射中確定對(duì)象的位置。SLAM早已用于機(jī)器人技術(shù)和智能手機(jī)中的AR相機(jī)效果,而Facebook也在2022年通過SantaCruzVR頭顯原型進(jìn)行了演示。但OculusInsight需要前所未有的精度和效率,這意味著它需要適配最新的追蹤技術(shù)和計(jì)算機(jī)視覺。

"大多數(shù)技術(shù)都是從學(xué)術(shù)開頭,源于試驗(yàn)室。'安娜如是說(shuō)道。她加入Facebook蘇黎士的工程團(tuán)隊(duì)不是偶然。實(shí)際上,這里的大多數(shù)成員都是來(lái)自于研發(fā)自動(dòng)導(dǎo)航系統(tǒng)的ZurichEye項(xiàng)目(由著名學(xué)院蘇黎世聯(lián)邦理工學(xué)院和蘇黎世高校組織組織)。

為了構(gòu)建更先進(jìn)的SLAM,工程團(tuán)隊(duì)借鑒了Facebook多年來(lái)在人工智能方面的討論工程工作,構(gòu)建用于理解視頻中消失的對(duì)象和行為的系統(tǒng),并且開發(fā)了能夠支持移動(dòng)設(shè)備的高效計(jì)算機(jī)視覺算法。

2.應(yīng)用于前沿VR設(shè)備

奧斯卡林德(OskarLinde)是Facebook團(tuán)隊(duì)中負(fù)責(zé)OculusInsight的首席機(jī)器感知架構(gòu)師,他在構(gòu)建超高效SLAM系統(tǒng)方面有著豐富的閱歷。林德是13thLab的聯(lián)合創(chuàng)始人,后者曾于2022年首次展現(xiàn)了用于消費(fèi)者應(yīng)用的視覺SLAM技術(shù)(用于AR手游)。Facebook于2022年收購(gòu)了13thLab及其SLAM技術(shù),而林德順勢(shì)加入公司并負(fù)責(zé)開發(fā)VR頭顯的內(nèi)向外追蹤功能,同時(shí)組建了開頭專研OculusInsight的團(tuán)隊(duì)。

2022年的OculusInsight團(tuán)隊(duì)正在全心全意地投入到工作之中,但他們面臨著一個(gè)核心挑戰(zhàn):創(chuàng)建基于SLAM的精確和高效算法,并且足以支持OculusQuest等移動(dòng)設(shè)備。林德的搭檔是工程經(jīng)理喬爾赫胥(JoelHesch),后者主要是討論將基于視覺、激光和慣性傳感器的SLAM技術(shù)用以以幫助機(jī)器人導(dǎo)航,并致力于移動(dòng)AR和VR應(yīng)用。來(lái)到Facebook的赫胥負(fù)責(zé)把OculusInsight整合至Quest和RiftS的團(tuán)隊(duì)。

林德、赫胥、安娜,以及他們的團(tuán)隊(duì)鑒了Facebook之前用于移動(dòng)AR的SLAM工作,以及初代OculusRift系統(tǒng)中的追蹤技術(shù),但他們需要查找新的方法來(lái)調(diào)整設(shè)計(jì)它們,從而能夠支持VR頭顯實(shí)現(xiàn)內(nèi)向外追蹤。

在智能手機(jī)端,SLAM利用手機(jī)攝像頭創(chuàng)建"世界鎖定'的照片和視頻效果。但對(duì)于VR,這涉及多個(gè)攝像頭,額外的傳感器,以及需要在三維空間中追蹤的三個(gè)不同對(duì)象。

安娜解釋說(shuō):"我們一次性需要解決三個(gè)移動(dòng)組件:頭顯,以及兩個(gè)額外的掌握器。我們每一次都需要獵取正確的姿勢(shì)。'

團(tuán)隊(duì)同時(shí)遇到了其他挑戰(zhàn)。當(dāng)你揮舞虛擬光劍或操縱虛擬飛船時(shí),假如運(yùn)動(dòng)掌握器過于過近或遠(yuǎn)離頭顯,頭顯攝像頭將難以清晰地感知掌握器的紅外LED。OculusInsight同時(shí)采納了其他傳感器,包括頭顯和掌握器內(nèi)嵌的慣性測(cè)量單元所供應(yīng)的加速度和速率數(shù)據(jù)。系統(tǒng)必需實(shí)時(shí)地處理全部數(shù)據(jù),而對(duì)于Quest而言,這一切都需要由移動(dòng)芯片集執(zhí)行。

3.毫米級(jí)追蹤精度

為了解決所述挑戰(zhàn),OculusInsight團(tuán)隊(duì)有條不紊地改進(jìn)系統(tǒng)。為了提高系統(tǒng)的追蹤精度和速度,他們構(gòu)建了全新的計(jì)算機(jī)視覺算法。他們同時(shí)在各種樣本環(huán)境中錄制了數(shù)千小時(shí)的視頻,然后用來(lái)訓(xùn)練系統(tǒng)識(shí)別其環(huán)境中的特征。例如,通過定位和追蹤沙發(fā)的角落或桌子的邊緣,OculusInsight可以實(shí)時(shí)地對(duì)一個(gè)人在房間內(nèi)的準(zhǔn)確位置進(jìn)行三角測(cè)量(類似于人眼檢測(cè)對(duì)象的方式)。

團(tuán)隊(duì)同時(shí)利用了特別精確的OptiTrack動(dòng)捕陣列,一種用于好萊塢視覺特效制作的相同類型設(shè)備。通過對(duì)比OptiTrack和OculusInsight的測(cè)量數(shù)據(jù),工程人員能夠微調(diào)系統(tǒng)的計(jì)算機(jī)視覺算法,從而實(shí)現(xiàn)毫米以內(nèi)的追蹤精度。

4.大量測(cè)試

盡管討論試驗(yàn)室的重點(diǎn)是實(shí)現(xiàn)精確?????、可測(cè)量、可重復(fù)的結(jié)果,但對(duì)于構(gòu)建能夠支持消費(fèi)者日常用例的技術(shù)而言,團(tuán)隊(duì)需要將重點(diǎn)轉(zhuǎn)移到感知指標(biāo)。換句話說(shuō):VR用戶對(duì)給定體驗(yàn)的實(shí)際感受是如何?

為了解決所謂的"Swimminess'(物理位置與運(yùn)動(dòng)和虛擬位置與運(yùn)動(dòng)不匹配時(shí)消失的失向感)和抖動(dòng)(視覺頻閃和畫面拖尾)等感知偽影,工程團(tuán)隊(duì)充分發(fā)揮了自己的想象力。

為了記錄運(yùn)動(dòng)并提升OculusInsight的追蹤性能,蘇黎世團(tuán)隊(duì)的工程師大衛(wèi)沃格特(DavidVogt)正在設(shè)置OptiTrack動(dòng)捕系統(tǒng)

蘇黎世團(tuán)隊(duì)在多種環(huán)境和條件下利用OptiTrack動(dòng)捕系統(tǒng)對(duì)OculusInsight進(jìn)行了測(cè)試,而他們是將自己作為測(cè)試對(duì)象。

為了測(cè)試OculusInsight在現(xiàn)實(shí)世界中的性能,蘇黎世團(tuán)隊(duì)的工程師利用了數(shù)以百計(jì)的真實(shí)世界房間。上圖是其中一個(gè)用于測(cè)試的房間。

5.超越VR,成為AR眼鏡的基礎(chǔ)

如今,OculusInsight將步入VR體驗(yàn)變得前所未有的輕松。對(duì)于RiftS,你只需將頭顯接入PC,無(wú)需額外的傳感器。Quest則完全不需要計(jì)算機(jī),可以開箱即用并支持房間規(guī)模體驗(yàn)。但是,Facebook對(duì)將來(lái)的暢想遠(yuǎn)遠(yuǎn)超越了今