AR--增強(qiáng)現(xiàn)實(shí)的技術(shù)實(shí)現(xiàn)與案例課件

1、-89-AR增強(qiáng)現(xiàn)實(shí)的技術(shù)實(shí)現(xiàn)及案例AR先烈：谷歌眼鏡（Google Glass）2012年4月發(fā)布，它可以通過(guò)聲音控制拍照、視頻通話和辨明方向，以及上網(wǎng)沖浪、處理文字信息和電子郵件等。先鋒：微軟HoloLens全息眼鏡于北京時(shí)間2015年1月22日凌晨與Window10同時(shí)發(fā)布，6月15日微軟在E3游戲展上展示更完整的現(xiàn)實(shí)增強(qiáng)版Minecraft游戲。新銳：Magic Leap成立于2011年，2014年獲得谷歌領(lǐng)投的5.42億美元投資，Magic Leap曾在2015年9月發(fā)布過(guò)一段“直接利用Magic Leap技術(shù)”實(shí)現(xiàn)的視頻，沒(méi)有添加任何特效，但樣品一直沒(méi)有曝光。- 91 -AR提到A

2、R，可能想到的應(yīng)用： 戰(zhàn)斗機(jī)的平視顯示器 汽車的HUD（Head Up Display）抬頭顯示（或稱平視顯示器）（寶馬汽車高端車型均已應(yīng)用此類技術(shù)）圖片來(lái)源：AUTONET- 92 -ARAR其實(shí)一直在我們的生活中 購(gòu)物比價(jià)軟件； 點(diǎn)讀筆； 谷歌的對(duì)譯； 語(yǔ)音翻譯軟件APP； 導(dǎo)航軟件APP； 旅游景區(qū)介紹景點(diǎn)的APP；等等國(guó)內(nèi)企業(yè)的機(jī)會(huì)不在于平臺(tái)，而在于找到用戶痛點(diǎn)，從小功能突破。汽車后裝HUD生產(chǎn)商N(yùn)avdy2014年8月眾籌引起轟動(dòng)效應(yīng)，目前國(guó)內(nèi)在汽車HUD領(lǐng)域創(chuàng)業(yè)的正如火如荼，可以連接汽車OBD接口顯示汽車狀態(tài)數(shù)據(jù)、可連手機(jī)接電話及語(yǔ)音回短信、可導(dǎo)航、可語(yǔ)音或手勢(shì)交互，漸漸將成為汽車

3、智能平臺(tái)。該領(lǐng)域技術(shù)難點(diǎn)在于臺(tái)式機(jī)的散熱、強(qiáng)日光下的呈像清晰度，或者要拋棄Navdy路線。Navdy采用DLP技術(shù)， 配備了5.1英寸透明HUD“Feels Like Driving In The Future”- 93 -ARAR有兩類，一類是不融合現(xiàn)實(shí)，只從旁提示信息用，像Google Glass，一類是與現(xiàn)實(shí)融合，而融合方式又分兩種，一種是透明AR（optical see-through)：透過(guò)鏡片直接看到現(xiàn)實(shí)世界；另一種是視頻疊加AR（video see-through或videooverlay）：通過(guò)攝像頭捕捉前方現(xiàn)實(shí)世界，以視頻加其它增強(qiáng)信息共同呈現(xiàn)給用戶。AR可以看成VR的超集，

4、鏡片前面一遮就成了VR，不過(guò)目前AR的FOV還是太小了，反過(guò)來(lái)，VR加個(gè)前置攝像頭也可實(shí)現(xiàn)視頻疊加型AR，現(xiàn)在手機(jī)和平板上已經(jīng)出現(xiàn)了很多video overlay的APP，比如上海的小熊尼奧（15年獲紀(jì)源資本GGV Capital領(lǐng)投、高通等跟投的1.2億人民幣）。兩種融合AR遭遇的挑戰(zhàn)都是刷新延遲，視頻疊加AR相比透明AR，優(yōu)勢(shì)在于算法簡(jiǎn)單、劣勢(shì)在于多為2D視頻，如果是3D沉浸式的，延遲問(wèn)題更大。視頻疊加AR的兩大底層引擎，德國(guó)Metaio于15年5月22日被蘋(píng)果收購(gòu)后暫停對(duì)外服務(wù)，Vuforia于隨后的 10月12日被高通賣(mài)給了物聯(lián)網(wǎng)公司PTC還對(duì)外服務(wù)，其它引擎還有法國(guó)TOTAL IMM

5、ERSION的DFusion、國(guó)內(nèi)的Realmax、亮風(fēng)臺(tái)HiScene等。圖片來(lái)源：小熊尼奧口袋動(dòng)物園- 94 -ARSight（以色列2012）導(dǎo)演兼編?。旱つ釥?拉索- 95 -Google Glass谷歌眼鏡最初在2012年4月5日發(fā)布，13年10月30日又發(fā)布了第二代，加了微型耳塞（前代骨傳感耳機(jī)在嘈雜背景下聽(tīng)不清），并對(duì)小型近視眼鏡架做了適配處理，14年4月15日正式限量以1500美元發(fā)售，7月正式開(kāi)放直播功能。GoogleGlass可抬頭喚醒或者“OK glass” 語(yǔ)音喚醒、摘除鎖屏，可手勢(shì)L型比劃或眨眼拍照、可錄像分享、收發(fā)短信、上網(wǎng)、處理電郵、查詢天氣路況等，只是應(yīng)用市場(chǎng)G

6、lassware中的APP不到50款，均免費(fèi)。- 96 -Google GlassLCOS 硅基液晶微投影技術(shù)。Google Glass實(shí)際上就是微型投影儀+攝像頭+傳感器+存儲(chǔ)傳輸+操控設(shè)備的結(jié)合體，用的是Himax的Color Sequential LCOS顯示器（類似于DLP，用硅基液晶反射光線），型號(hào)HX7309，分辨率640 x360 ，顯示區(qū)尺寸4.8*2.7毫米，經(jīng)曲面鍍膜棱鏡反射后，顯示效果如同2.4米外的25英寸16:9屏幕，攝像頭像素為500萬(wàn)，可拍攝 720p視頻，16G內(nèi)存，支持WiFi與藍(lán)牙連接；全鏡重50g，電池570mAh，藏于右鏡架腳， 一次充電6小時(shí)可用，但拍

7、照只能用2小時(shí)，拍視頻撐不到40分鐘。圖片來(lái)源：謝煜，知乎- 97 -Google Glass2015年1月19日，谷歌正式停止了谷歌眼鏡的“探索者”項(xiàng)目，雖然成了先烈，索尼、三星、聯(lián)想以及國(guó)內(nèi)很多初創(chuàng)企業(yè)也在跟進(jìn)發(fā)展自己的Glass。Google Glass得到了外科醫(yī)生、建筑工人、機(jī)修工程師等技術(shù)人才的認(rèn)可，但失敗的原因有三點(diǎn)：1、1500美元的價(jià)格太貴，應(yīng)用少顯得性價(jià)比不高；2、掛在右眼上方的小屏幕，與現(xiàn)實(shí)世界分離，斜眼分散注意力，容易有出行風(fēng)險(xiǎn)；3、助長(zhǎng)了偷拍、偷錄等不法行為，觸及了隱私與版權(quán)的底線，有些酒吧、餐廳、影院等公共場(chǎng)合明確禁止使用，用戶甚至得到了“眼鏡混蛋”（Glassho

8、les）的不雅稱呼，有人認(rèn)為正是谷歌的極端限售造成了擁有眼鏡的人成為少數(shù)派，所以被社會(huì)孤立。- 98 -Google Glass谷歌眼鏡應(yīng)用：Emotient通過(guò)表情分析情緒，雖然有認(rèn)為Google Glass的應(yīng)用場(chǎng)景太少，但類似Emotient這樣的系統(tǒng)在商業(yè)營(yíng)銷分析中還是很有幫助。第三方Emotient2014年3月7日推出了一體驗(yàn)款全新應(yīng)用，可以利用谷歌眼鏡分析其他人的心理感受。Emotient 起源于加州大學(xué)的 “機(jī)器感知實(shí)驗(yàn)室”(Machine Perception Lab)，它能分辨出類似于喜悅、憤怒、悲傷、驚訝等等基礎(chǔ)表情，以及焦慮、沮喪等復(fù)雜表情，普通網(wǎng)絡(luò)攝像頭就能支持分析。

9、這家公司已經(jīng)于2016年1月8日被蘋(píng)果收購(gòu)。- 99 -Google Glass谷歌眼鏡的工作被分配至托尼 法戴爾(Tony Fadell)領(lǐng)導(dǎo)的消費(fèi)類硬件部門(mén)（Nest）智能家居，Tony是iPod之父。2014年5月原Glass項(xiàng)目負(fù)責(zé)人Adrian Wong投奔Oculus VR，由曾在博士倫擔(dān)任高管負(fù)責(zé)太陽(yáng)鏡Outlook Eyewear設(shè)計(jì)推廣的營(yíng)銷人才Ivy Ross接任。眼鏡研究并未停止，未來(lái)可能更關(guān)注用戶需求，新款Google Glass 可能不久就會(huì)面世，15年6月Google又公開(kāi)招聘Glass項(xiàng)目高級(jí)生產(chǎn)技術(shù)工程師，16年1月?lián)A盛頓郵報(bào)報(bào)道，有人在FCC（聯(lián)邦通信委員會(huì)

10、）網(wǎng)站上找到了Google Glass 的材料，增設(shè)了錄制視頻的閃爍提示燈以規(guī)避隱私侵犯問(wèn)題，另有消息稱，眼鏡復(fù)出將主打2B路線，以盡量規(guī)避隱私爭(zhēng)議。不過(guò)看圖還是單目的！- 100 -微軟HOLOLENS微軟HoloLens于北京時(shí)間2015年1月22日凌晨與Window10同時(shí)發(fā)布，迅速贏得輿論關(guān)注，6月15日微軟在E3游戲展上展示更完整的現(xiàn)實(shí)增強(qiáng)版Minecraft游戲。HoloLens利用3D投射，在現(xiàn)實(shí)場(chǎng)景之上疊加一層立體的虛擬展示界面，通過(guò)手勢(shì)、語(yǔ)音、藍(lán)牙點(diǎn)擊配件Clicker交互，支持眼球追蹤，可以在墻上獲取消息、查找聯(lián)系人，在客廳墻上直接進(jìn)行Skype視頻通話、觀看球賽，在地上、

11、家具間玩Minecraft等游戲，甚至于可以將創(chuàng)造的虛擬物品通過(guò)3D打印變?yōu)閷?shí)物。“Because when you changethe way you see the world, youcan change the world you see.”Hololens不認(rèn)為自己是AR，而認(rèn)為自己是MR（Mix Reality）- 101 -微軟HOLOLENS微軟Hololens項(xiàng)目由前 Xbox 孵化項(xiàng)目總經(jīng)理、被譽(yù)為 Kinect 之父的 Alex Kipman負(fù)責(zé)，他是巴西裔，2001年加入微軟后成為100多項(xiàng)專利的第一發(fā)明者，被譽(yù)為美國(guó)高科技行業(yè)25位最具創(chuàng)新人才之一?？岙a(chǎn)品Kinect

12、是微軟在2009年6月2日E3大展上發(fā)布的Xbox 360的體感外設(shè)， 2010年6月14日更現(xiàn)名， 11月4日在北美正式發(fā)售。它是一種3D體感攝影機(jī)，可即時(shí)動(dòng)態(tài)捕捉、影像辨識(shí)、語(yǔ)音辨識(shí)、社群互動(dòng)。 2013年5月28日的XboxOne發(fā)布會(huì)上，微軟展示了第二代Kinect，11月22日正式發(fā)售，捆綁銷售。- 102 -微軟HOLOLENSHololens借用了Kinect的核心技術(shù)，準(zhǔn)確說(shuō)應(yīng)該是頭戴版Kinect+微投影。Kinect一代是基于測(cè)量紅外光斑來(lái)進(jìn)行深度檢測(cè)，Kinect二代是基于time-of-flight技術(shù)。一代采用的是以色列PrimeSense的三維測(cè)量技術(shù)，該公司后來(lái)被

13、蘋(píng)果收購(gòu)，而二代采用的ToF技術(shù)是09年微軟收購(gòu)的以色列公司3DV的，微軟之所以沒(méi)有在一代產(chǎn)品中采用3DV的技術(shù)，主要是3DV的感光芯片要測(cè)量光飛行時(shí)間，須做到飛秒級(jí)的快門(mén)，據(jù)說(shuō)他們?cè)谛酒杏玫缴榛?，使其時(shí)鐘頻率提高到上百G，但這樣做成本太高。兩代Kinect都是兩個(gè)傳感器，一個(gè)是紅外傳感器，主要用來(lái)監(jiān)視人體的動(dòng)作、深度和溫度，另一個(gè)則是用來(lái)識(shí)別顏色的RGB攝像頭，兩代都有人臉檢測(cè)，3維重建等功能。 Kinect一代，彩色攝像頭為640*480，深度攝像頭為320*240，只能識(shí)別兩個(gè)人的骨骼數(shù)據(jù)；K二代，彩色為1080P，深度攝像頭為512*424，能識(shí)別六個(gè)人的骨骼、手指的靈活運(yùn)動(dòng)，甚至

14、能監(jiān)控用戶的脈搏，識(shí)別穩(wěn)定精度更高。一代二代微軟HOLOLENSKinect上市之初微軟5億美元營(yíng)銷，邀請(qǐng)美國(guó)脫口秀女王Oprah Winfrey在節(jié)目中說(shuō)“You are the controller”標(biāo)語(yǔ)，贏巨大關(guān)注。消費(fèi)者可以150美元單買(mǎi)Kinect1，或以299美元同時(shí)購(gòu)買(mǎi)Xbox 360和Kinect1，銷售一度良好。但是，Kinect叫好不叫座，2015年停產(chǎn)！Xbox One上市后與Kinect2捆綁499美元銷售，問(wèn)題是一直配套游戲多屬家庭娛樂(lè)與健身，并且體感游戲?qū)蛷d空間有要求，缺重型游戲。難敵399美元的索尼PS4，銷售比拉開(kāi)到1:3，微軟只得于2014年6月9日放開(kāi)捆綁

15、銷售，可以399美元購(gòu)買(mǎi)Xbox One，主機(jī)銷售雖稍稍追回，因?yàn)閮r(jià)錢(qián)低了，且沒(méi)有了Kinect的資源占用，圖像性能提升了10%，而Kinect則慢慢滑向深淵。微軟為了擴(kuò)大應(yīng)用，還曾于2012年2月推出第一代Kinect for Windows，售價(jià)為249美元，2014年7月推出第二代Kinect forWindows，售價(jià)為199美元，不過(guò)，最后到2015年4月初宣布停產(chǎn)。Kinect家族累計(jì)賣(mài)出2900萬(wàn)部。Kinect團(tuán)隊(duì)轉(zhuǎn)戰(zhàn)Hololens，是新生，還是會(huì)重蹈覆轍？- 103 - 104 -微軟HOLOLENSHoloLens是一款基于深度攝像頭，高性能處理器和雙屏幕顯示的頭戴式計(jì)算

16、機(jī)設(shè)備，可以獨(dú)立使用，支持WiFi和藍(lán)牙，內(nèi)置CPU、GPU和一顆首創(chuàng)的HPU全息處理器，具備立體音效系統(tǒng)以及一整套傳感器實(shí)現(xiàn)各種功能。不過(guò)Hololens不像Google Glass那樣在室外用，而是設(shè)定為室內(nèi)用，避免了Google Glass的隱私爭(zhēng)議，我們認(rèn)為一是室內(nèi)光線較暗、利于其展現(xiàn)，二是Hololens室內(nèi)預(yù)建模的需要。圖片來(lái)源：Imgur，作者不詳微軟HOLOLENSHoloLens原理如下圖：微軟憑借積累深厚的Kinect深度攝像頭技術(shù)，以及基于SLAM（實(shí)時(shí)定位與地圖構(gòu)建）技術(shù)打造的Kinect Fushion 3D建模技術(shù)，從原型機(jī)試用報(bào)告看，3D渲染達(dá)到720P畫(huà)質(zhì)、刷新

17、無(wú)延遲、定位精準(zhǔn)。再下圖，感覺(jué)Hololens在識(shí)別方面用的還是Kinect1的光編碼技術(shù)，如果能用上Kinect2的ToF技術(shù)，產(chǎn)品就可以用于戶外，但是，成本！功耗！資料來(lái)源：聶崇嶺，36氪；徐浩，知乎- 105 - 106 -微軟HOLOLENS全息波導(dǎo)呈像原理，國(guó)內(nèi)也有論文研究（），乃微投產(chǎn)生圖像經(jīng)透鏡后變平行光，在光柵1的衍射效應(yīng)下滿足全反射條件并沿波導(dǎo)方向無(wú)損前行，到達(dá)光柵2后從波導(dǎo)射出進(jìn)入人眼成像，這種垂直偏轉(zhuǎn)傳播方法減少了傳播距離、減少了折鏡使用，有利于簡(jiǎn)潔輕型化。為了保障圖像的完整并給眼睛一些活動(dòng)空間，需要擴(kuò)展出瞳技術(shù)，即分多次出射并多次成像。需要克服的是復(fù)雜的像差形式與嚴(yán)重色

18、散。Kipman則透露：“光粒子會(huì)在設(shè)備的光引擎中跳動(dòng)數(shù)百萬(wàn)次，然后進(jìn)入頭盔的兩個(gè)透鏡，在里面的藍(lán)綠紅玻璃層之間跳躍，而后進(jìn)入你的眼球后方”。據(jù)悉Hololens微投采用的是雙LCoS方案，也是Himax產(chǎn)品。這里借用Sony在研的全色體全息波導(dǎo)眼戴顯示技術(shù)圖來(lái)說(shuō)明，Sony把紅藍(lán)光柵置于一個(gè)波導(dǎo)內(nèi)部，綠色置于另一波導(dǎo)內(nèi)部，微軟應(yīng)該是全部獨(dú)立了。（資料來(lái)源：中科院長(zhǎng)春光學(xué)所曾飛）微投光柵1光柵2- 107 -微軟HOLOLENS微軟在13年底1.5億美元向軍工企業(yè)ODG收購(gòu)了幾十項(xiàng)智能眼鏡方面的專利，應(yīng)該有所憑借，而ODG自己還在做眼鏡，針對(duì)2B市場(chǎng)15年6月預(yù)售一款R-7的眼鏡，16年二季度

19、開(kāi)始發(fā)貨，售價(jià)2750美元，重約125g，效果相當(dāng)于在房間里看65寸電視。資料來(lái)源：刻度網(wǎng)- 108 -微軟HOLOLENS微軟2015年1月對(duì)少數(shù)媒體開(kāi)放的原型機(jī)體驗(yàn)，達(dá)到震撼效果，雖然是線路板裸露的很大很沉重的產(chǎn)品，但性能上比Kinect要強(qiáng)大，能耗要相對(duì)較低，其左右各二的深度攝像頭的視角達(dá)到120 x 120度，投影也是全視野。不過(guò)，5月Build大會(huì)開(kāi)放體驗(yàn)的開(kāi)發(fā)者版反而trade off成40度的視窗，就像在兩英尺外觀看15英寸的顯示屏，被輿論一頓痛扁！公司稱，因?yàn)橹圃烊⑼队八枰牟Ａ謴?fù)雜，視野越寬、玻璃越大，廢品率會(huì)提升不少，成本顯著提高，另外電量也跟不上。該窄版在一般情況

20、下續(xù)航最高可達(dá)5.5小時(shí)，但重度玩家可能撐不到2.5小時(shí)。微軟HOLOLENSHololens開(kāi)發(fā)者套件于2016年2月29日開(kāi)始預(yù)訂，并于3月30日舊金山Build開(kāi)發(fā)者大會(huì)正式推出，售價(jià)3000美元。套件包括開(kāi)發(fā)工具及HoloStudio、Skype、HoloTour等軟件，配套新游戲也被曝光，其中包括Fragments、YoungConker、RoboRaid三款游戲。Fragments犯罪游戲，玩家在起居室中調(diào)查案件并詢問(wèn)游戲角色；Young Conker將松鼠帶到玩家房間；RoboRaid第一視角射擊游戲，消滅墻面上出現(xiàn)的入侵外星人。購(gòu)買(mǎi)者還將獲得數(shù)百款Windows商店UWP應(yīng)用，

21、UWP通用應(yīng)用平臺(tái)，一次編譯、可在各類微軟系終端運(yùn)行。參數(shù)：顯示屏：透明全息透鏡；2xHD 16:9光學(xué)引擎；自動(dòng)校準(zhǔn)瞳孔距離；2.3全光點(diǎn)全息分辨率；2.5K流明全息密度。內(nèi)存：2GB；存儲(chǔ)：64GB；重量：579g；相機(jī)：200萬(wàn)像素照片，720P視頻；電池：2-3小時(shí)活躍使用電池壽命，2周待機(jī)時(shí)間，被動(dòng)冷卻；OS：Win10。- 109 - 110 -微軟HOLOLENSHololens到底有什么用？有人說(shuō)有了Hololens就不用買(mǎi)電視了，甚至開(kāi)玩笑說(shuō)家里也不用裝修了，只要一張沙發(fā)床就能入住。目前Hololens的問(wèn)題包括價(jià)格昂貴、室內(nèi)使用、視野窄。3000美元價(jià)格使得只能限于2B業(yè)務(wù)

22、，如果要2C的話，價(jià)格要砍剩一成才合適。我們認(rèn)為AR的價(jià)格應(yīng)低于VR，AR不適合像VR一樣玩重型游戲，在家中真實(shí)環(huán)境下打怪、日久會(huì)形成精神障礙，AR的作用更多的就是對(duì)現(xiàn)實(shí)的增強(qiáng)，而非對(duì)現(xiàn)實(shí)的虛幻。這樣AR可以降低性能要求、降低成本與價(jià)格。盡量應(yīng)做到室外使用，室外對(duì)AR有剛需，實(shí)時(shí)3D建模對(duì)室外非2B項(xiàng)目非必需可簡(jiǎn)化，并可根據(jù)外部光線強(qiáng)弱自動(dòng)調(diào)節(jié)亮度。窄視場(chǎng)、沉浸感差的問(wèn)題可以將就，把它當(dāng)做雙目版GoogleGlass就好了，至少不會(huì)有“GG眼”（右圖）。耗電量：計(jì)算視覺(jué)、SLAM，以及反向3D建模，都很耗費(fèi)計(jì)算量，需要簡(jiǎn)化?？傊覀冋J(rèn)為，目前可以將就Hololens的窄視場(chǎng)版本，但價(jià)格最好在3

23、00美元以內(nèi)。寬視場(chǎng)版本要出來(lái)估計(jì)沒(méi)有三年、五年不行，電池、鏡片材料并不遵循摩爾定律。- 111 -Google Glass可能之反擊當(dāng)然，谷歌也不是吃素的，谷歌3D建模神器Project Tango2014年2月從GoogleX畢業(yè)，谷歌還成功為該項(xiàng)目研發(fā)出一款A(yù)ndroid手機(jī)原型機(jī)，配備了一系列攝像頭、傳感器和芯片，它能在你走動(dòng)時(shí)，自動(dòng)掃描四周繪制出周圍世界的 3D 模型，每秒進(jìn)行1500萬(wàn)次3D測(cè)量。項(xiàng)目其實(shí)是摩托羅拉移動(dòng)此前的研發(fā)團(tuán)隊(duì)負(fù)責(zé)，項(xiàng)目負(fù)責(zé)人Jonny Lee曾在微軟的 Kinect 項(xiàng)目工作，2011年加入Google。谷歌也是內(nèi)嵌Kinect使用的PrimeSense深度

24、處理芯片，矢量處理器使用硅谷創(chuàng)業(yè)公司Movidius的芯片，后者已經(jīng)發(fā)布了核數(shù)量從8個(gè)增加到12個(gè)的“Myriad2”。Magic LeapMagic Leap成立于2011年，2014年2月完成5000萬(wàn)美元A輪融資，2014年10月得到谷歌投資，2015年3月公司發(fā)布過(guò)一段AR辦公室打怪的第一人稱射擊游戲視頻，這是比微軟更領(lǐng)先的創(chuàng)意，一下子吸引了業(yè)界的注意，不過(guò)該公司當(dāng)時(shí)并沒(méi)有附帶真實(shí)性聲明。順帶說(shuō)一下，此舉倒是刺激了微軟不斷去開(kāi)發(fā)配套Hololens的游戲，微軟透露RoboRaid由一支8人團(tuán)體用了短短12個(gè)星期就開(kāi)發(fā)出來(lái)了，以顯示其開(kāi)發(fā)環(huán)境之友好 。Magic Leap宣傳語(yǔ)：Your

25、 new way to bring magic backinto the world.Magic Leap也不認(rèn)為自己是AR，而認(rèn)為自己是CR（ CinematicReality）電影級(jí)現(xiàn)實(shí)。- 112 - 113 -Magic LeapMagic Leap于2015年10月20號(hào)華爾街日?qǐng)?bào) WSJD展會(huì)上展示了一個(gè)視頻，辦公桌下緊張的機(jī)器人、辦公桌上的太陽(yáng)系，視頻注腳特別強(qiáng)調(diào)，這是利用Magic Leap技術(shù)實(shí)現(xiàn)并實(shí)拍的視頻，沒(méi)有添加任何特效。- 114 -Magic LeapMagic Leap隨后不久又公布了一條新視頻，體育館中躍起大鯨魚(yú)，視頻中的觀眾是裸眼的，讓人震驚裸眼全息時(shí)代的到來(lái)

26、，Magic Leap總是用一個(gè)個(gè)視頻撩撥大眾的神經(jīng)，但產(chǎn)品為何至今尚未揭曉，引發(fā)無(wú)數(shù)質(zhì)疑，特效！騙子？這次的確是特效，Magic Leap是需要佩戴眼鏡的，視網(wǎng)膜呈像，它還是給公眾帶來(lái)了新的概念，數(shù)字光場(chǎng)技術(shù)(Digital Lightfield），也是與Hololens最大的不同。Magic LeapMagic Leap2014年10月獲得由谷歌領(lǐng)投的5.42億美元B輪融資，高通資本、KPCB、Andreessen Horowitz等大牌投資機(jī)構(gòu)跟投，請(qǐng)注意是谷歌自己，而非其風(fēng)險(xiǎn)投資部門(mén)Google Capital和Google Ventures，谷歌新任CEO桑達(dá)爾 皮查伊(Sundar

27、 Pichai)（俗稱劈柴）甚至出任了該公司董事。2016年2月完成 7.935 億美元 C 輪融資，阿里巴巴2億美元領(lǐng)投，Wellington Management, T. Rowe Price,JP Morgan, Morgan Stanley, Fidelity Investments,Warner Bros., Qualcomm Ventures, Google 跟投， 蔡崇信入董事會(huì)，估值達(dá) 45 億美元（非之前傳說(shuō)的120億美元）。有人質(zhì)疑谷歌投資這是給微軟Hololens逼急了亂投醫(yī)，難道這么多大佬捧場(chǎng)竟遭遇了皇帝的新裝？- 115 -桑達(dá)爾 皮查伊（1972-），印度裔，201

28、5年8月就任谷歌CEO- 116 -Magic LeapMagic Leap的團(tuán)隊(duì)堪稱夢(mèng)幻。創(chuàng)始人兼CEO，Rony Abovitz曾是MAKO外科手術(shù)機(jī)器人公司的聯(lián)合創(chuàng)始人，這家公司最后作價(jià)16.5億美元賣(mài)掉。朋友們?cè)u(píng)價(jià)Rony風(fēng)趣幽默、思維活躍、善于說(shuō)服人，也常會(huì)做出一些讓人意想不到的事情。創(chuàng)始人Rony AbovitzMagic Leap其實(shí)聚集了很多計(jì)算視覺(jué)、數(shù)字光場(chǎng)技術(shù)的大牛，比如感知研究的高級(jí)副總裁 Gary Bradski，他于1999年在Intel時(shí)就創(chuàng)立了OpenCV(開(kāi)源計(jì)算機(jī)視覺(jué)工具庫(kù))，他還是Stanford顧問(wèn)教授（可惜此人于16年5月正與公司互訴公堂），再比如計(jì)算視

29、覺(jué)的技術(shù)負(fù)責(zé)人Jean-Yves Bouguet，原來(lái)在Google負(fù)責(zé)谷歌街景車的制造。團(tuán)隊(duì)還有知名游戲設(shè)計(jì)師Graeme Devine、著名科技市場(chǎng)首席營(yíng)銷官Brian Wallace、Beats公司前CFO Scott Henry，還有一位科幻傳奇小說(shuō)作家Neal Stephenson被任命為“chief futurist”，他是雪崩、鉆石年代、編碼寶典、巴洛克記等經(jīng)典科幻小說(shuō)的作者。Magic LeapMagic Leap產(chǎn)品原理分為四個(gè)步驟：1、數(shù)字光場(chǎng)拍攝（光場(chǎng)相機(jī)）；2、3D信息感知-SLAM-3D場(chǎng)景識(shí)別-3D反向建模-實(shí)時(shí)CG圖像渲染；3、光場(chǎng)顯示；4、交互。第2步在微軟Ho

30、lolens中做過(guò)介紹，Magic Leap露了一手，初始的校準(zhǔn)、傳統(tǒng)方法是對(duì)著國(guó)際象棋棋盤(pán)反復(fù)校準(zhǔn)，他們對(duì)著一個(gè)特制奇形怪狀物體一次快速校準(zhǔn)；第4步前文介紹較多， Magic Leap開(kāi)發(fā)了手套，申請(qǐng)了一些手勢(shì)指令的專利。Magic Leap光場(chǎng)顯示想達(dá)到的效果：1、從眼鏡中看出去無(wú)法辨真假，因?yàn)樗?jiàn)都是從真實(shí)光場(chǎng)中采集的光線集，傳統(tǒng)顯示沒(méi)有保留光線方向信息，屏幕是漫反射的，從屏幕上某一點(diǎn)發(fā)出的所有射線都是相同顏色的，而光場(chǎng)顯示要求從同一點(diǎn)出發(fā)的不同射線具有不同的顏色；2、眼睛長(zhǎng)時(shí)間不疲勞，因?yàn)楣鈭?chǎng)信息完整、人眼想看哪里、哪里就能自動(dòng)對(duì)焦，而不是屏顯3D、眼睛始終聚焦屏幕上。公司稱，他們開(kāi)發(fā)

31、了一種全新的光場(chǎng)芯片，并將在佛羅里達(dá)用廢棄的摩托羅拉工廠做生產(chǎn)。資料來(lái)源：顧險(xiǎn)峰- 117 - 118 -Magic Leap數(shù)字光場(chǎng)拍攝：描述一個(gè)光場(chǎng)需要7個(gè)維度：3個(gè)三維坐標(biāo)，2個(gè)極坐標(biāo)表示這個(gè)點(diǎn)上通過(guò)的光的方向，1個(gè)波長(zhǎng)表示光的顏色，還有1個(gè)是時(shí)間t。如果只考慮光場(chǎng)被投射到二維平面（如視網(wǎng)膜）的話，關(guān)鍵維度只有4個(gè)：2個(gè)是平面上點(diǎn)的坐標(biāo)，2個(gè)是入射光的方向，相比2D拍攝多了后2維。光場(chǎng)魔盒解釋：假設(shè)用一個(gè)玻璃盒子罩住一只兔子，我們記錄下盒子表面任意一點(diǎn)向三維空間任意一個(gè)方向發(fā)出的一條射線，這時(shí)即使挪走這只兔子，我們觀察光場(chǎng)信息還是會(huì)以為兔子在原處。早期光場(chǎng)采集的方法簡(jiǎn)單粗暴，就是用大規(guī)模

32、相機(jī)陣列，隨著數(shù)字相機(jī)技術(shù)的成熟，開(kāi)始密集針孔相機(jī)，最后是按照仿生學(xué)的昆蟲(chóng)復(fù)眼來(lái)獲得光場(chǎng)。資料來(lái)源：顧險(xiǎn)峰- 119 -Magic Leap光場(chǎng)相機(jī)（Camera 3.0，1代是膠片相機(jī)，2代是數(shù)碼相機(jī)）代表產(chǎn)品Lytro可先拍照、后取焦，2006年斯坦福畢業(yè)的吳義仁(Yi-Ren Ng，馬來(lái)西亞裔，1979年9月21日)創(chuàng)辦，博士論文終孵化出2012年2月第一代產(chǎn)品，價(jià)格399.99美元（后折價(jià)到139.99美元），玩具型產(chǎn)品，2014年7月第二代Illum，價(jià)格1599美元，有點(diǎn)專業(yè)派頭。二代4000萬(wàn)像素光場(chǎng)解析度（40-megaray光場(chǎng)感應(yīng)器），一代為1100萬(wàn)像素。鏡頭與傳感器中間

33、有9萬(wàn)顆微鏡頭陣列，記錄的全部光場(chǎng)原始信息包含大量不同方向的光信號(hào)疊加在一起，Ng利用傅立葉變換把不同的信號(hào)分解開(kāi)，再根據(jù)使用者的需要重新組合，名為“傅立葉切片攝影”的后期處理方式合成出聚焦于任意一點(diǎn)的照片。吳義仁與Lytro第一代產(chǎn)品Magic Leap但是，Lytro至今銷售不佳，原因：1、單看2D畫(huà)質(zhì)僅4百萬(wàn)像素，還不如手機(jī)鏡頭（2D照片大小5M，RAW格式則是50M，xRAW格式142M），因?yàn)橐獌?chǔ)存多個(gè)深度層面信息，單層分辨率就低了；2、用途有限，后取焦的需求少，媒體記者暗光偷拍、抓拍算是一種小眾需求；3、光場(chǎng)信息量大，抓拍時(shí)又容易因成像時(shí)間長(zhǎng)而錯(cuò)過(guò)最佳時(shí)機(jī)；4、沒(méi)有可變焦的視頻錄制

34、功能，因?yàn)樾畔⒘刻罅耍?、先拍照后對(duì)焦功能被對(duì)手快速模仿并推出廉價(jià)替代品，比如有軟件一次拍多張不同焦點(diǎn)的畫(huà)面、松下推出一次拍1秒的不同景深4K視頻，以及谷歌推出的免費(fèi)拍照應(yīng)用可調(diào)節(jié)照片景深?？傊?，我們認(rèn)為L(zhǎng)ytro嫁接上Magic Leap才有望帶來(lái)需求井噴，不過(guò)也要先解決光場(chǎng)信息壓縮問(wèn)題，目前已有MIT的Tesseract等研究壓縮感知，類似于唱片-WAV-MP3等有損壓縮-FLAC等無(wú)損壓縮。且等著！- 120 -Lytro第二代Illum- 121 -Magic LeapLytro2011年6月獲得5000萬(wàn)美元A輪投資，2013年11月獲得4000萬(wàn)美元投資，2015年2月獲得500

35、0萬(wàn)美元投資，愷英網(wǎng)絡(luò)16年2月18日公告稱擬400萬(wàn)美元投資Lytro，持股1.27%，總估值3.15億美元。但目前Lytro每年都要虧損掉4000萬(wàn)美元。Lytro2015年宣布轉(zhuǎn)戰(zhàn)虛擬現(xiàn)實(shí)，11月發(fā)布了全新的可拍攝360全景的光場(chǎng)相機(jī)Lytro Immerge，產(chǎn)品尚未正式發(fā)售。Magic LeapMagic Leap光場(chǎng)呈像方式采用光纖投影顯示(Fiber optic projector)，負(fù)責(zé)人BrianSchowengerdt ，導(dǎo)師是華盛頓大學(xué)Eric Seibel教授，導(dǎo)師團(tuán)隊(duì)研究?jī)?nèi)窺鏡數(shù)十載，Brian的想法很聰明，把過(guò)程倒過(guò)來(lái)可以做成一個(gè)高分辨率的投影儀，他早在2004年就

36、發(fā)了相關(guān)論文，2013 年曾公開(kāi)展示一種直徑 1 毫米、基于光纖掃描的內(nèi)窺鏡，原理是微電腦通過(guò)基于微機(jī)電系統(tǒng)MEMS的驅(qū)動(dòng)器 Actuator，精確控制超細(xì)光纖末端，在1毫米直徑的管子中高速旋轉(zhuǎn)，由小變大畫(huà)同心圓來(lái)完成掃描，1mm寬9mm長(zhǎng)的光纖能投射幾寸大的高清蝴蝶圖像 ，有人發(fā)現(xiàn)它現(xiàn)在已經(jīng)在為美國(guó)國(guó)防部研制分辨率達(dá)到 4K 級(jí)別的光纖掃描顯示設(shè)備。視頻鏈接：資料來(lái)源：聶崇嶺，36氪；胡伯濤，知乎- 122 - 123 -Magic Leap光場(chǎng)顯示主要是兩種方法：空間復(fù)用（space multiplexing）和時(shí)間復(fù)用（timemultiplexing）。有研究表明用6個(gè)聚焦距離加上一種

37、線性混合（linear blending）的渲染算法就基本能實(shí)現(xiàn)從約30厘米到無(wú)窮遠(yuǎn)讓人眼自然對(duì)焦?！翱臻g復(fù)用”用一根光線實(shí)現(xiàn)不同聚焦距離，Nvidia做的原型屬于這種，Magic Leap公布的專利也是這種，因?yàn)楣饫w輸出的只是2D畫(huà)面，要還原光場(chǎng)，Magic Leap在光纖外端放上一個(gè)彎曲微鏡陣列，鏡面受光線方向2維數(shù)字信號(hào)控制磁場(chǎng)來(lái)快速調(diào)整，每個(gè)小單元反射光纖2D光的一部分來(lái)生成3D空間中一個(gè)特定點(diǎn)的光場(chǎng)，最大問(wèn)題是分辨率大打折扣；“時(shí)間復(fù)用”就是用高速原件快速產(chǎn)生不同的聚焦距離，這樣分辨率不損失。此外用光纖束的位置差來(lái)得到不同聚焦距離效率更高，光纖束也能實(shí)現(xiàn)更大的FOV。Magic Le

38、ap可能實(shí)際上用后種。資料來(lái)源：谷歌吳博士，鈦媒體；胡伯濤，知乎圖片來(lái)源：金色葡萄，果殼網(wǎng)- 124 -Magic Leap光場(chǎng)顯示的難點(diǎn)：這是很多技術(shù)派人士關(guān)心的，目前釋放出來(lái)的視頻都是在昏暗環(huán)境中，用3D圖像的高亮來(lái)遮擋真實(shí)環(huán)境。如何能在一個(gè)明亮的環(huán)境中渲染黑色的圖像？或者說(shuō)，如何將真實(shí)環(huán)境的物體完全替換掉？Magic Leap也申請(qǐng)了相關(guān)專利，用凸鏡形成虛像、同時(shí)遮蔽現(xiàn)實(shí)實(shí)像。圖片來(lái)源：金色葡萄，果殼網(wǎng)Magic Leap 總之，Magic Leap原理中的技術(shù)都有多年的學(xué)術(shù)界研究，并被證明是可行的，Magic Leap把它們組合起來(lái)，有創(chuàng)新之處，但比Hololens還要大一個(gè)數(shù)量級(jí)的計(jì)

39、算量怎樣才能做到小型化，這是最大的問(wèn)題，目前體驗(yàn)者反映的一個(gè)詞是“Bulky”，所以我們認(rèn)為Magic Leap開(kāi)發(fā)者版本要出來(lái)至少需要五年以上、甚至十年時(shí)間，Magic Leap連續(xù)融資就是為了打好持久戰(zhàn)。 光場(chǎng)技術(shù)解決的是真3D、眼部無(wú)疲勞，目前的技術(shù)達(dá)到的是假3D、無(wú)眩暈，性價(jià)比上也不差，用戶真的會(huì)為價(jià)格昂貴的光場(chǎng)顯示買(mǎi)單嗎？ 光場(chǎng)其實(shí)是一個(gè)古老的概念， 1846年法拉第給出的定義，光場(chǎng)拍攝早在1936年就有開(kāi)始研究，光場(chǎng)顯示在1996年被微軟和斯坦福學(xué)者引進(jìn)到計(jì)算機(jī)圖形學(xué)領(lǐng)域，發(fā)展到今天已經(jīng)20年了。 據(jù)悉微軟曾經(jīng)出過(guò)一版基于光場(chǎng)的游戲，類似孤島尋寶，所有場(chǎng)景都是從真實(shí)自然中采集，非常

40、逼真，但是最后沒(méi)有引起任何反響，無(wú)疾而終。我們認(rèn)為微軟的光場(chǎng)試驗(yàn)失敗于當(dāng)時(shí)還沒(méi)有沉浸式頭盔設(shè)備的配合，現(xiàn)在有些不同了，如果這條路能成功，我們估計(jì)微軟利用技術(shù)積淀追上來(lái)的機(jī)率也存在。- 125 - 126 -全息3D投影3D全息投影因?yàn)槭锹阊?D被人看好，該技術(shù)利用光線干涉原理記錄物體光波信息，再利用光線衍射原理再現(xiàn)物體光波信息實(shí)現(xiàn)成象，1947年英國(guó)物理學(xué)家蓋伯發(fā)明，1962年蘇聯(lián)科學(xué)家丹尼蘇克拍攝得第一張實(shí)際記錄了三維物體的光學(xué)全息投影照片，技術(shù)發(fā)展并不快，目前有些應(yīng)用如在博物館中的展示、舞臺(tái)晚會(huì)表演如羊年春晚李宇春表演的蜀繡、日本初音未來(lái)的演唱會(huì)等，但直到目前所有的全息成像都需要一個(gè)成像介

41、質(zhì)，比如透度很高的成像膜、紗、霧氣、塑料、玻璃等，所以被稱作偽全息。網(wǎng)友DIY的成像罩子，利用手機(jī)實(shí)現(xiàn)全息投影全息展示柜- 127 -全息3D投影Bleen號(hào)稱是“世界上第一款真正意義上的全息3D投影儀”，可在上方8.3英尺的范圍內(nèi)投影出實(shí)時(shí)動(dòng)態(tài)全息影像，并能觸摸實(shí)時(shí)交互，Bleen稱不是噴水霧做介質(zhì)。它在Indiegogo上眾籌，225美元預(yù)定，擬2015年10月上市，價(jià)格400美元，但是它跳票了！日本Aerial Burton研發(fā)了一套系統(tǒng)，使用了一系列精準(zhǔn)調(diào)節(jié)的激光發(fā)射器，有選擇地電離空氣分子全息成像，并能觸摸交互，產(chǎn)品也是原型，像素低?？纱┐鞯摹⒏咔逦?、空氣介質(zhì)的真全息投影技術(shù)要走入生活還需要相當(dāng)長(zhǎng)時(shí)間。Bleen效果圖Aerial Burton的觸摸交互演示- 128 -VR/AR二合一（VR+視頻疊加式AR）Oculus于15年5月收購(gòu)英國(guó)一家計(jì)算機(jī)視覺(jué)公司Surreal Vision，擅長(zhǎng)3D場(chǎng)景技術(shù)