ar增強(qiáng)現(xiàn)實(shí)的技術(shù)實(shí)現(xiàn)及案例.ppt

1、89,AR 增強(qiáng)現(xiàn)實(shí)的技術(shù)實(shí)現(xiàn)及案例,AR 先烈：谷歌眼鏡（Google Glass）2012年4月發(fā)布， 它可以通過聲音控制拍照、視頻通話和辨明方向， 以及上網(wǎng)沖浪、處理文字信息和電子郵件等。 先鋒：微軟HoloLens全息眼鏡于北京時間2015年 1月22日凌晨與Window10同時發(fā)布，6月15日微軟 在E3游戲展上展示更完整的現(xiàn)實(shí)增強(qiáng)版Minecraft 游戲。 新銳：Magic Leap成立于2011年，2014年獲得谷 歌領(lǐng)投的5.42億美元投資，Magic Leap曾在2015年 9月發(fā)布過一段“直接利用Magic Leap技術(shù)”實(shí)現(xiàn) 的視頻，沒有添加任何特效，但樣品一直沒有曝光

2、,91,AR,提到AR，可能想到的應(yīng)用： 戰(zhàn)斗機(jī)的平視顯示器 汽車的HUD（Head Up Display）抬頭顯示（或稱平視顯示器）（寶馬汽車高 端車型均已應(yīng)用此類技術(shù),圖片來源：AUTONET,92,AR AR其實(shí)一直在我們的生活中 購物比價軟件； 點(diǎn)讀筆； 谷歌的對譯； 語音翻譯軟件APP； 導(dǎo)航軟件APP； 旅游景區(qū)介紹景點(diǎn)的APP,等等 國內(nèi)企業(yè)的機(jī)會不在于平臺，而在于找到用戶痛點(diǎn)，從小功能突破。汽車后 裝HUD生產(chǎn)商N(yùn)avdy2014年8月眾籌引起轟動效應(yīng)，目前國內(nèi)在汽車HUD領(lǐng) 域創(chuàng)業(yè)的正如火如荼，可以連接汽車OBD接口顯示汽車狀態(tài)數(shù)據(jù)、可連手機(jī) 接電話及語音回短信、可導(dǎo)航、可語

3、音或手勢交互，漸漸將成為汽車智能平 臺。該領(lǐng)域技術(shù)難點(diǎn)在于臺式機(jī)的散熱、強(qiáng)日光下的呈像清晰度，或者要拋 棄Navdy路線,Navdy采用DLP技術(shù)， 配備了5.1英寸透明HUD “Feels Like Driving In The Future,93,AR,AR有兩類，一類是不融合現(xiàn)實(shí)，只從旁提示信息用，像Google Glass，一類是 與現(xiàn)實(shí)融合，而融合方式又分兩種，一種是透明AR（optical see-through)：透 過鏡片直接看到現(xiàn)實(shí)世界；另一種是視頻疊加AR（video see-through或video overlay）：通過攝像頭捕捉前方現(xiàn)實(shí)世界，以視頻加其它增強(qiáng)信息共同

4、呈現(xiàn)給用 戶。AR可以看成VR的超集，鏡片前面一遮就成了VR，不過目前AR的FOV還是 太小了，反過來，VR加個前置攝像頭也可實(shí)現(xiàn)視頻疊加型AR，現(xiàn)在手機(jī)和平板 上已經(jīng)出現(xiàn)了很多video overlay的APP，比如上海的小熊尼奧（15年獲紀(jì)源資本 GGV Capital領(lǐng)投、高通等跟投的1.2億人民幣）。兩種融合AR遭遇的挑戰(zhàn)都是,刷新延遲，視頻疊加AR相比透明AR，優(yōu)勢在于算法簡單、劣勢在于多為2D視頻,如果是3D沉浸式的，延遲問題更大,視頻疊加AR的兩大底層引擎，德國Metaio 于15年5月22日被蘋果收購后暫停對外服 務(wù)，Vuforia于隨后的 10月12日被高通賣給 了物聯(lián)網(wǎng)公司

5、PTC還對外服務(wù)，其它引擎,還有法國TOTAL IMMERSION的DFusion,國內(nèi)的Realmax、亮風(fēng)臺HiScene等,圖片來源：小熊尼奧口袋動物園,94,AR,Sight（以色列2012） 導(dǎo)演兼編?。旱つ釥?拉索,95,Google Glass,谷歌眼鏡最初在2012年4月5日發(fā)布，13年10月30日又發(fā)布了第二代，加了微型 耳塞（前代骨傳感耳機(jī)在嘈雜背景下聽不清），并對小型近視眼鏡架做了適配處 理，14年4月15日正式限量以1500美元發(fā)售，7月正式開放直播功能。Google Glass可抬頭喚醒或者“OK glass” 語音喚醒、摘除鎖屏，可手勢L型比劃或眨眼 拍照、可錄像分

6、享、收發(fā)短信、上網(wǎng)、處理電郵、查詢天氣路況等，只是應(yīng)用市 場Glassware中的APP不到50款，均免費(fèi),96,Google Glass,LCOS 硅基液晶微投影技術(shù)。Google Glass實(shí)際上就是微型投影儀+攝像頭+傳 感器+存儲傳輸+操控設(shè)備的結(jié)合體，用的是Himax的Color Sequential LCOS顯 示器（類似于DLP，用硅基液晶反射光線），型號HX7309，分辨率640 x360 ， 顯示區(qū)尺寸4.8*2.7毫米，經(jīng)曲面鍍膜棱鏡反射后，顯示效果如同2.4米外的25英 寸16:9屏幕，攝像頭像素為500萬，可拍攝 720p視頻，16G內(nèi)存，支持WiFi與藍(lán) 牙連接；全鏡

7、重50g，電池570mAh，藏于右鏡架腳， 一次充電6小時可用，但拍 照只能用2小時，拍視頻撐不到40分鐘,圖片來源：謝煜，知乎,97,Google Glass,2015年1月19日，谷歌正式停止了谷歌眼鏡的“探索者”項(xiàng)目，雖然成了先烈， 索尼、三星、聯(lián)想以及國內(nèi)很多初創(chuàng)企業(yè)也在跟進(jìn)發(fā)展自己的Glass。 Google Glass得到了外科醫(yī)生、建筑工人、機(jī)修工程師等技術(shù)人才的認(rèn)可，但失 敗的原因有三點(diǎn)：1、1500美元的價格太貴，應(yīng)用少顯得性價比不高；2、掛在 右眼上方的小屏幕，與現(xiàn)實(shí)世界分離，斜眼分散注意力，容易有出行風(fēng)險；3、 助長了偷拍、偷錄等不法行為，觸及了隱私與版權(quán)的底線，有些酒吧

8、、餐廳、影 院等公共場合明確禁止使用，用戶甚至得到了“眼鏡混蛋”（Glassholes）的不 雅稱呼，有人認(rèn)為正是谷歌的極端限售造成了擁有眼鏡的人成為少數(shù)派，所以被 社會孤立,98,Google Glass,谷歌眼鏡應(yīng)用：Emotient通過表情分析情緒，雖然有認(rèn)為Google Glass的應(yīng)用 場景太少，但類似Emotient這樣的系統(tǒng)在商業(yè)營銷分析中還是很有幫助。 第三方Emotient2014年3月7日推出了一體驗(yàn)款全新應(yīng)用，可以利用谷歌眼鏡分 析其他人的心理感受。Emotient 起源于加州大學(xué)的 “機(jī)器感知實(shí)驗(yàn)室” (Machine Perception Lab)，它能分辨出類似于喜

9、悅、憤怒、悲傷、驚訝等等基 礎(chǔ)表情，以及焦慮、沮喪等復(fù)雜表情，普通網(wǎng)絡(luò)攝像頭就能支持分析。這家公司 已經(jīng)于2016年1月8日被蘋果收購,99,Google Glass,谷歌眼鏡的工作被分配至托尼 法戴爾(Tony Fadell)領(lǐng)導(dǎo)的消費(fèi)類硬件部門（Nest,智能家居，Tony是iPod之父。2014年5月原Glass項(xiàng)目負(fù)責(zé)人Adrian Wong投奔 Oculus VR，由曾在博士倫擔(dān)任高管負(fù)責(zé)太陽鏡Outlook Eyewear設(shè)計(jì)推廣的營 銷人才Ivy Ross接任。眼鏡研究并未停止，未來可能更關(guān)注用戶需求，新款 Google Glass 可能不久就會面世，15年6月Google又公開

10、招聘Glass項(xiàng)目高級生,產(chǎn)技術(shù)工程師，16年1月?lián)A盛頓郵報報道，有人在FCC（聯(lián)邦通信委員會,網(wǎng)站上找到了Google Glass 的材料，增設(shè)了錄制視頻的閃爍提示燈以規(guī)避隱私 侵犯問題，另有消息稱，眼鏡復(fù)出將主打2B路線，以盡量規(guī)避隱私爭議。不過看 圖還是單目的,100,微軟HOLOLENS,微軟HoloLens于北京時間2015年1月22日凌晨與Window10同時發(fā)布，迅速贏得 輿論關(guān)注，6月15日微軟在E3游戲展上展示更完整的現(xiàn)實(shí)增強(qiáng)版Minecraft游 戲。HoloLens利用3D投射，在現(xiàn)實(shí)場景之上疊加一層立體的虛擬展示界面，通,過手勢、語音、藍(lán)牙點(diǎn)擊配件Clicker交互，

11、支持眼球追蹤，可以在墻上獲取消息,查找聯(lián)系人，在客廳墻上直接進(jìn)行Skype視頻通話、觀看球賽，在地上、家具間 玩Minecraft等游戲，甚至于可以將創(chuàng)造的虛擬物品通過3D打印變?yōu)閷?shí)物,Because when you change the way you see the world, you can change the world you see.” Hololens不認(rèn)為自己是AR，而 認(rèn)為自己是MR（Mix Reality,101,微軟HOLOLENS 微軟Hololens項(xiàng)目由前 Xbox 孵化項(xiàng)目總經(jīng)理、 被譽(yù)為 Kinect 之父的 Alex Kipman負(fù)責(zé)，他是 巴西裔，20

12、01年加入微軟后成為100多項(xiàng)專利的 第一發(fā)明者，被譽(yù)為美國高科技行業(yè)25位最具創(chuàng) 新人才之一。 酷產(chǎn)品Kinect是微軟在2009年6月2日E3大展上 發(fā)布的Xbox 360的體感外設(shè)， 2010年6月14日 更現(xiàn)名， 11月4日在北美正式發(fā)售。它是一種 3D體感攝影機(jī)，可即時動態(tài)捕捉、影像辨識、 語音辨識、社群互動。 2013年5月28日的Xbox One發(fā)布會上，微軟展示了第二代Kinect，11月 22日正式發(fā)售，捆綁銷售,102,微軟HOLOLENS,Hololens借用了Kinect的核心技術(shù)，準(zhǔn)確說應(yīng)該是頭戴版Kinect+微投影。 Kinect一代是基于測量紅外光斑來進(jìn)行深度檢

13、測，Kinect二代是基于time-of-flight 技術(shù)。一代采用的是以色列PrimeSense的三維測量技術(shù)，該公司后來被蘋果收 購，而二代采用的ToF技術(shù)是09年微軟收購的以色列公司3DV的，微軟之所以沒 有在一代產(chǎn)品中采用3DV的技術(shù)，主要是3DV的感光芯片要測量光飛行時間，須,做到飛秒級的快門，據(jù)說他們在芯片中用到砷化鎵，使其時鐘頻率提高到上百G,但這樣做成本太高,兩代Kinect都是兩個傳感器，一個是紅外傳感器，主要用來監(jiān)視人體的動作、深 度和溫度，另一個則是用來識別顏色的RGB攝像頭，兩代都有人臉檢測，3維重 建等功能。 Kinect一代，彩色攝像頭為640*480，深度攝像頭

14、為320*240，只能 識別兩個人的骨骼數(shù)據(jù)；K二代，彩色為1080P，深度攝像頭為512*424，能識,別六個人的骨骼、手指的靈活運(yùn)動，甚至能監(jiān)控用戶的脈搏，識別穩(wěn)定精度更高,一代,二代,微軟HOLOLENS,Kinect上市之初微軟5億美元營銷，邀請美國脫口秀女王Oprah Winfrey在節(jié)目中 說“You are the controller”標(biāo)語，贏巨大關(guān)注。消費(fèi)者可以150美元單買 Kinect1，或以299美元同時購買Xbox 360和Kinect1，銷售一度良好。 但是，Kinect叫好不叫座，2015年停產(chǎn)！Xbox One上市后與Kinect2捆綁499美 元銷售，問題是一

15、直配套游戲多屬家庭娛樂與健身，并且體感游戲?qū)蛷d空間有 要求，缺重型游戲。難敵399美元的索尼PS4，銷售比拉開到1:3，微軟只得于 2014年6月9日放開捆綁銷售，可以399美元購買Xbox One，主機(jī)銷售雖稍稍追 回，因?yàn)閮r錢低了，且沒有了Kinect的資源占用，圖像性能提升了10%，而 Kinect則慢慢滑向深淵。微軟為了擴(kuò)大應(yīng)用，還曾于2012年2月推出第一代 Kinect for Windows，售價為249美元，2014年7月推出第二代Kinect for Windows，售價為199美元，不過，最后到2015年4月初宣布停產(chǎn)。Kinect家族 累計(jì)賣出2900萬部。 Kinec

16、t團(tuán)隊(duì)轉(zhuǎn)戰(zhàn)Hololens，是新生，還是會重蹈覆轍？ - 103,104,微軟HOLOLENS,HoloLens是一款基于深度攝像頭，高性能處理器和雙屏幕顯示的頭戴式計(jì)算機(jī)設(shè) 備，可以獨(dú)立使用，支持WiFi和藍(lán)牙，內(nèi)置CPU、GPU和一顆首創(chuàng)的HPU全息 處理器，具備立體音效系統(tǒng)以及一整套傳感器實(shí)現(xiàn)各種功能。不過Hololens不像 Google Glass那樣在室外用，而是設(shè)定為室內(nèi)用，避免了Google Glass的隱私爭,議，我們認(rèn)為一是室內(nèi)光線較暗、利于其展現(xiàn)，二是Hololens室內(nèi)預(yù)建模的需要,圖片來源：Imgur，作者不詳,微軟HOLOLENS,HoloLens原理如下圖：微軟憑

17、借積累深厚的Kinect深度攝像頭技術(shù)，以及基于 SLAM（實(shí)時定位與地圖構(gòu)建）技術(shù)打造的Kinect Fushion 3D建模技術(shù)，從原型 機(jī)試用報告看，3D渲染達(dá)到720P畫質(zhì)、刷新無延遲、定位精準(zhǔn)。再下圖，感覺 Hololens在識別方面用的還是Kinect1的光編碼技術(shù)，如果能用上Kinect2的ToF技 術(shù)，產(chǎn)品就可以用于戶外，但是，成本！功耗,資料來源： 聶崇嶺，36氪； 徐浩，知乎 - 105,106,微軟HOLOLENS,全息波導(dǎo)呈像原理，國內(nèi)也有論文研究（http:/ 經(jīng)透鏡后變平行光，在光柵1的衍射效應(yīng)下滿足全反射條件并沿波導(dǎo)方向無損前 行，到達(dá)光柵2后從波導(dǎo)射出進(jìn)入人眼成

18、像，這種垂直偏轉(zhuǎn)傳播方法減少了傳播 距離、減少了折鏡使用，有利于簡潔輕型化。為了保障圖像的完整并給眼睛一些 活動空間，需要擴(kuò)展出瞳技術(shù)，即分多次出射并多次成像。需要克服的是復(fù)雜的 像差形式與嚴(yán)重色散。Kipman則透露：“光粒子會在設(shè)備的光引擎中跳動數(shù)百 萬次，然后進(jìn)入頭盔的兩個透鏡，在里面的藍(lán)綠紅玻璃層之間跳躍，而后進(jìn)入你 的眼球后方”。據(jù)悉Hololens微投采用的是雙LCoS方案，也是Himax產(chǎn)品,這里借用Sony在研的全 色體全息波導(dǎo)眼戴顯示技 術(shù)圖來說明，Sony把紅,藍(lán)光柵置于一個波導(dǎo)內(nèi)部,綠色置于另一波導(dǎo)內(nèi)部， 微軟應(yīng)該是全部獨(dú)立了。 （資料來源：中科院長春,光學(xué)所曾飛,微投,

19、光柵1,光柵2,107,微軟HOLOLENS,微軟在13年底1.5億美元向軍工企業(yè)ODG收購了幾十項(xiàng)智能眼鏡方面的專利，應(yīng),該有所憑借，而ODG自己還在做眼鏡，針對2B市場15年6月預(yù)售一款R-7的眼鏡,16年二季度開始發(fā)貨，售價2750美元，重約125g，效果相當(dāng)于在房間里看65寸 電視,資料來源：刻度網(wǎng),108,微軟HOLOLENS,微軟2015年1月對少數(shù)媒體開放的原型機(jī)體驗(yàn)，達(dá)到震撼效果，雖然是線路板裸 露的很大很沉重的產(chǎn)品，但性能上比Kinect要強(qiáng)大，能耗要相對較低，其左右各 二的深度攝像頭的視角達(dá)到120 x 120度，投影也是全視野。 不過，5月Build大會開放體驗(yàn)的開發(fā)者版

20、反而trade off成40度的視窗，就像在兩 英尺外觀看15英寸的顯示屏，被輿論一頓痛扁！公司稱，因?yàn)橹圃烊⑼队八?要的玻璃十分復(fù)雜，視野越寬、玻璃越大，廢品率會提升不少，成本顯著提高， 另外電量也跟不上。該窄版在一般情況下續(xù)航最高可達(dá)5.5小時，但重度玩家可 能撐不到2.5小時,微軟HOLOLENS,Hololens開發(fā)者套件于2016年2月29日開始預(yù)訂，并于3月30日舊金山Build開發(fā) 者大會正式推出，售價3000美元。套件包括開發(fā)工具及HoloStudio、Skype、 HoloTour等軟件，配套新游戲也被曝光，其中包括Fragments、Young Conker、RoboR

21、aid三款游戲。Fragments犯罪游戲，玩家在起居室 中調(diào)查案件并詢問游戲角色；Young Conker將松鼠帶到玩家房間； RoboRaid第一視角射擊游戲，消滅墻面上出現(xiàn)的入侵外星人。購買者還將 獲得數(shù)百款Windows商店UWP應(yīng)用，UWP通用應(yīng)用平臺，一次編譯、可在各類 微軟系終端運(yùn)行。 參數(shù)：顯示屏：透明全息透鏡； 2xHD 16:9光學(xué)引擎；自動校準(zhǔn)瞳 孔距離；2.3全光點(diǎn)全息分辨率； 2.5K流明全息密度。內(nèi)存：2GB； 存儲：64GB；重量：579g；相機(jī),200萬像素照片，720P視頻；電池,2-3小時活躍使用電池壽命，2周待 機(jī)時間，被動冷卻；OS：Win10。 - 1

22、09,110,微軟HOLOLENS,Hololens到底有什么用？有人說有了Hololens就不用買電視了，甚至開玩笑說家 里也不用裝修了，只要一張沙發(fā)床就能入住。目前Hololens的問題包括價格昂 貴、室內(nèi)使用、視野窄。 3000美元價格使得只能限于2B業(yè)務(wù)，如果要2C的話，價格要砍剩一成才合適。 我們認(rèn)為AR的價格應(yīng)低于VR，AR不適合像VR一樣玩重型游戲，在家中真實(shí)環(huán) 境下打怪、日久會形成精神障礙，AR的作用更多的就是對現(xiàn)實(shí)的增強(qiáng)，而非對 現(xiàn)實(shí)的虛幻。這樣AR可以降低性能要求、降低成本與價格。 盡量應(yīng)做到室外使用，室外對AR有剛需，實(shí)時3D建模對室外非 2B項(xiàng)目非必需可簡化，并可根據(jù)外

23、部光線強(qiáng)弱自動調(diào)節(jié)亮度。 窄視場、沉浸感差的問題可以將就，把它當(dāng)做雙目版Google Glass就好了，至少不會有“GG眼”（右圖）。 耗電量：計(jì)算視覺、SLAM，以及反向3D建模，都很耗費(fèi)計(jì)算量， 需要簡化。 總之我們認(rèn)為，目前可以將就Hololens的窄視場版本，但價格最好在300美元以 內(nèi)。寬視場版本要出來估計(jì)沒有三年、五年不行，電池、鏡片材料并不遵循摩爾,定律,111,Google Glass可能之反擊,當(dāng)然，谷歌也不是吃素的，谷歌3D建模神器Project Tango2014年2月從Google X畢業(yè)，谷歌還成功為該項(xiàng)目研發(fā)出一款A(yù)ndroid手機(jī)原型機(jī)，配備了一系列攝 像頭、傳感

24、器和芯片，它能在你走動時，自動掃描四周繪制出周圍世界的 3D 模 型，每秒進(jìn)行1500萬次3D測量。項(xiàng)目其實(shí)是摩托羅拉移動此前的研發(fā)團(tuán)隊(duì)負(fù)責(zé)， 項(xiàng)目負(fù)責(zé)人Jonny Lee曾在微軟的 Kinect 項(xiàng)目工作，2011年加入Google。谷歌 也是內(nèi)嵌Kinect使用的PrimeSense深度處理芯片，矢量處理器使用硅谷創(chuàng)業(yè)公司 Movidius的芯片，后者已經(jīng)發(fā)布了核數(shù)量從8個增加到12個的“Myriad2,Magic Leap,Magic Leap成立于2011年，2014年2月完成5000萬美元A輪融資，2014年10月 得到谷歌投資，2015年3月公司發(fā)布過一段AR辦公室打怪的第一人稱射

25、擊游戲視 頻，這是比微軟更領(lǐng)先的創(chuàng)意，一下子吸引了業(yè)界的注意，不過該公司當(dāng)時并沒 有附帶真實(shí)性聲明。順帶說一下，此舉倒是刺激了微軟不斷去開發(fā)配套Hololens,的游戲，微軟透露RoboRaid由一支8人團(tuán)體用了短短12個星期就開發(fā)出來了,以顯示其開發(fā)環(huán)境之友好,Magic Leap宣傳語： Your new way to bring magic back into the world. Magic Leap也不認(rèn)為自己是AR， 而認(rèn)為自己是CR（ Cinematic Reality）電影級現(xiàn)實(shí)。 - 112,113,Magic Leap,Magic Leap于2015年10月20號華爾街日報

26、 WSJD展會上展示了一個視頻， 辦公桌下緊張的機(jī)器人、辦公桌上的太陽系，視頻注腳特別強(qiáng)調(diào)，這是利用 Magic Leap技術(shù)實(shí)現(xiàn)并實(shí)拍的視頻，沒有添加任何特效,114,Magic Leap,Magic Leap隨后不久又公布了一條新視頻，體育館中躍起大鯨魚，視頻中的觀眾 是裸眼的，讓人震驚裸眼全息時代的到來，Magic Leap總是用一個個視頻撩撥大 眾的神經(jīng)，但產(chǎn)品為何至今尚未揭曉，引發(fā)無數(shù)質(zhì)疑，特效！騙子？這次的確是 特效，Magic Leap是需要佩戴眼鏡的，視網(wǎng)膜呈像，它還是給公眾帶來了新的概 念，數(shù)字光場技術(shù)(Digital Lightfield），也是與Hololens最大的不同

27、,Magic Leap Magic Leap2014年10月獲得由谷歌領(lǐng)投的5.42億美元B輪 融資，高通資本、KPCB、Andreessen Horowitz等大牌 投資機(jī)構(gòu)跟投，請注意是谷歌自己，而非其風(fēng)險投資部門 Google Capital和Google Ventures，谷歌新任CEO桑達(dá) 爾 皮查伊(Sundar Pichai)（俗稱劈柴）甚至出任了該公 司董事。2016年2月完成 7.935 億美元 C 輪融資，阿里巴 巴2億美元領(lǐng)投，Wellington Management, T. Rowe Price, JP Morgan, Morgan Stanley, Fidelity

28、 Investments, Warner Bros., Qualcomm Ventures, Google 跟投， 蔡崇 信入董事會，估值達(dá) 45 億美元（非之前傳說的120億美,元）。 有人質(zhì)疑谷歌投資這是給微軟Hololens逼急了亂投醫(yī)，難道這么多大佬捧場竟遭 遇了皇帝的新裝？ - 115,桑達(dá)爾 皮查伊 （1972-），印度 裔，2015年8月就 任谷歌CEO,116,Magic Leap Magic Leap的團(tuán)隊(duì)堪稱夢幻。創(chuàng)始人 兼CEO，Rony Abovitz曾是MAKO外 科手術(shù)機(jī)器人公司的聯(lián)合創(chuàng)始人，這 家公司最后作價16.5億美元賣掉。朋 友們評價Rony風(fēng)趣幽默、思維活

29、躍、 善于說服人，也常會做出一些讓人意 想不到的事情,創(chuàng)始人Rony Abovitz,Magic Leap其實(shí)聚集了很多計(jì)算視覺、數(shù)字光場技術(shù)的大牛，比如感知研究的高 級副總裁 Gary Bradski，他于1999年在Intel時就創(chuàng)立了OpenCV(開源計(jì)算機(jī)視,覺工具庫)，他還是Stanford顧問教授（可惜此人于16年5月正與公司互訴公堂,再比如計(jì)算視覺的技術(shù)負(fù)責(zé)人Jean-Yves Bouguet，原來在Google負(fù)責(zé)谷歌街景 車的制造。團(tuán)隊(duì)還有知名游戲設(shè)計(jì)師Graeme Devine、著名科技市場首席營銷官 Brian Wallace、Beats公司前CFO Scott Henr

30、y，還有一位科幻傳奇小說作家 Neal Stephenson被任命為“chief futurist”，他是雪崩、鉆石年代、編,碼寶典、巴洛克記等經(jīng)典科幻小說的作者,Magic Leap,Magic Leap產(chǎn)品原理分為四個步驟：1、數(shù)字光場拍攝（光場相機(jī)）；2、3D信 息感知-SLAM-3D場景識別-3D反向建模-實(shí)時CG圖像渲染；3、光場顯示；4、交 互。第2步在微軟Hololens中做過介紹，Magic Leap露了一手，初始的校準(zhǔn)、傳 統(tǒng)方法是對著國際象棋棋盤反復(fù)校準(zhǔn)，他們對著一個特制奇形怪狀物體一次快速 校準(zhǔn)；第4步前文介紹較多， Magic Leap開發(fā)了手套，申請了一些手勢指令的專

31、 利。 Magic Leap光場顯示想達(dá)到的效果：1、從眼鏡中看出去無法辨真假，因?yàn)樗?都是從真實(shí)光場中采集的光線集，傳統(tǒng)顯示沒有保留光線方向信息，屏幕是漫反 射的，從屏幕上某一點(diǎn)發(fā)出的所有射線都是相同顏色的，而光場顯示要求從同一 點(diǎn)出發(fā)的不同射線具有不同的顏色；2、眼睛長時間不疲勞，因?yàn)楣鈭鲂畔⑼暾?人眼想看哪里、哪里就能自動對焦，而不是屏顯3D、眼睛始終聚焦屏幕上。公 司稱，他們開發(fā)了一種全新的光場芯片，并將在佛羅里達(dá)用廢棄的摩托羅拉工廠 做生產(chǎn)。 資料來源：顧險峰 - 117,118,Magic Leap,數(shù)字光場拍攝：描述一個光場需要7個維度：3個三維坐標(biāo)，2個極坐標(biāo)表示這個 點(diǎn)上

32、通過的光的方向，1個波長表示光的顏色，還有1個是時間t。如果只考慮光 場被投射到二維平面（如視網(wǎng)膜）的話，關(guān)鍵維度只有4個：2個是平面上點(diǎn)的坐 標(biāo)，2個是入射光的方向，相比2D拍攝多了后2維。 光場魔盒解釋：假設(shè)用一個玻璃盒子罩住一只兔子，我們記錄下盒子表面任意一 點(diǎn)向三維空間任意一個方向發(fā)出的一條射線，這時即使挪走這只兔子，我們觀察 光場信息還是會以為兔子在原處。 早期光場采集的方法簡單粗暴，就是用大規(guī)模相機(jī)陣列，隨著數(shù)字相機(jī)技術(shù)的成 熟，開始密集針孔相機(jī)，最后是按照仿生學(xué)的昆蟲復(fù)眼來獲得光場,資料來源：顧險峰,119,Magic Leap,光場相機(jī)（Camera 3.0，1代是膠片相機(jī)，2

33、代是數(shù)碼相機(jī)）代表產(chǎn)品Lytro可先 拍照、后取焦，2006年斯坦福畢業(yè)的吳義仁(Yi-Ren Ng，馬來西亞裔，1979年9 月21日)創(chuàng)辦，博士論文終孵化出2012年2月第一代產(chǎn)品，價格399.99美元,后折價到139.99美元），玩具型產(chǎn)品，2014年7月第二代Illum，價格1599美元,有點(diǎn)專業(yè)派頭。二代4000萬像素光場解析度（40-megaray光場感應(yīng)器），一代 為1100萬像素。鏡頭與傳感器中間有9萬顆微鏡頭陣列，記錄的全部光場原始信 息包含大量不同方向的光信號疊加在一起，Ng利用傅立葉變換把不同的信號分 解開，再根據(jù)使用者的需要重新組合，名為“傅立葉切片攝影”的后期處理方式

34、 合成出聚焦于任意一點(diǎn)的照片,吳義仁與Lytro第一代產(chǎn)品,Magic Leap,但是，Lytro至今銷售不佳，原因：1、單看2D畫質(zhì)僅4百萬像素，還不如手機(jī)鏡 頭（2D照片大小5M，RAW格式則是50M，xRAW格式142M），因?yàn)橐獌Υ娑鄠€ 深度層面信息，單層分辨率就低了；2、用途有限，后取焦的需求少，媒體記者 暗光偷拍、抓拍算是一種小眾需求；3、光場信息量大，抓拍時又容易因成像時 間長而錯過最佳時機(jī)；4、沒有可變焦的視頻錄制功能，因?yàn)樾畔⒘刻罅耍?、 先拍照后對焦功能被對手快速模仿并推出廉價替代品，比如有軟件一次拍多張不 同焦點(diǎn)的畫面、松下推出一次拍1秒的不同景深4K視頻，以及谷歌推出

35、的免費(fèi)拍 照應(yīng)用可調(diào)節(jié)照片景深。 總之，我們認(rèn)為Lytro嫁接上 Magic Leap才有望帶來需求井噴,不過也要先解決光場信息壓縮問題,目前已有MIT的Tesseract等研究壓 縮感知，類似于唱片-WAV-MP3等 有損壓縮-FLAC等無損壓縮。且等 著！ - 120,Lytro第二代Illum,121,Magic Leap,Lytro2011年6月獲得5000萬美元A輪投資，2013年11月獲得4000萬美元投資， 2015年2月獲得5000萬美元投資，愷英網(wǎng)絡(luò)16年2月18日公告稱擬400萬美元投 資Lytro，持股1.27%，總估值3.15億美元。但目前Lytro每年都要虧損掉400

36、0萬 美元。 Lytro2015年宣布轉(zhuǎn)戰(zhàn)虛擬現(xiàn)實(shí)，11月發(fā)布了全新的可拍攝360全景的光場相機(jī) Lytro Immerge，產(chǎn)品尚未正式發(fā)售,Magic Leap Magic Leap光場呈像方式采用光纖投影顯示 (Fiber optic projector)，負(fù)責(zé)人Brian Schowengerdt ，導(dǎo)師是華盛頓大學(xué)Eric Seibel 教授，導(dǎo)師團(tuán)隊(duì)研究內(nèi)窺鏡數(shù)十載，Brian的想 法很聰明，把過程倒過來可以做成一個高分辨 率的投影儀，他早在2004年就發(fā)了相關(guān)論文， 2013 年曾公開展示一種直徑 1 毫米、基于光纖 掃描的內(nèi)窺鏡，原理是微電腦通過基于微機(jī)電 系統(tǒng)MEMS的驅(qū)動器

37、 Actuator，精確控制超細(xì)光 纖末端，在1毫米直徑的管子中高速旋轉(zhuǎn)，由小 變大畫同心圓來完成掃描，1mm寬9mm長的光 纖能投射幾寸大的高清蝴蝶圖像 ，有人發(fā)現(xiàn)它 現(xiàn)在已經(jīng)在為美國國防部研制分辨率達(dá)到 4K 級 別的光纖掃描顯示設(shè)備。 視頻鏈接：http:/,資料來源：聶崇嶺，36氪； 胡伯濤，知乎 - 122,123,Magic Leap,光場顯示主要是兩種方法：空間復(fù)用（space multiplexing）和時間復(fù)用（time,multiplexing）。有研究表明用6個聚焦距離加上一種線性混合（linear blending,的渲染算法就基本能實(shí)現(xiàn)從約30厘米到無窮遠(yuǎn)讓人眼自然對

38、焦。“空間復(fù)用”用 一根光線實(shí)現(xiàn)不同聚焦距離，Nvidia做的原型屬于這種，Magic Leap公布的專利 也是這種，因?yàn)楣饫w輸出的只是2D畫面，要還原光場，Magic Leap在光纖外端 放上一個彎曲微鏡陣列，鏡面受光線方向2維數(shù)字信號控制磁場來快速調(diào)整，每 個小單元反射光纖2D光的一部分來生成3D空間中一個特定點(diǎn)的光場，最大問題 是分辨率大打折扣； “時間復(fù)用”就是用高速原件快速產(chǎn) 生不同的聚焦距離，這樣分辨率不損 失。此外用光纖束的位置差來得到不 同聚焦距離效率更高，光纖束也能實(shí) 現(xiàn)更大的FOV。Magic Leap可能實(shí) 際上用后種。 資料來源：谷歌吳博士，鈦媒體；胡伯濤，知乎,圖片來

39、源：金色葡萄，果殼網(wǎng),124,Magic Leap,光場顯示的難點(diǎn)：這是很多技術(shù)派人士關(guān)心的，目前釋放出來的視頻都是在昏暗 環(huán)境中，用3D圖像的高亮來遮擋真實(shí)環(huán)境。如何能在一個明亮的環(huán)境中渲染黑 色的圖像？或者說，如何將真實(shí)環(huán)境的物體完全替換掉？Magic Leap也申請了相 關(guān)專利，用凸鏡形成虛像、同時遮蔽現(xiàn)實(shí)實(shí)像,圖片來源：金色葡萄，果殼網(wǎng),Magic Leap,總之，Magic Leap原理中的技術(shù)都有多年的學(xué)術(shù)界研究，并被證明是可行的， Magic Leap把它們組合起來，有創(chuàng)新之處，但比Hololens還要大一個數(shù)量級的 計(jì)算量怎樣才能做到小型化，這是最大的問題，目前體驗(yàn)者反映的一個

40、詞是 “Bulky”，所以我們認(rèn)為Magic Leap開發(fā)者版本要出來至少需要五年以上、 甚至十年時間，Magic Leap連續(xù)融資就是為了打好持久戰(zhàn)。 光場技術(shù)解決的是真3D、眼部無疲勞，目前的技術(shù)達(dá)到的是假3D、無眩暈， 性價比上也不差，用戶真的會為價格昂貴的光場顯示買單嗎？ 光場其實(shí)是一個古老的概念， 1846年法拉第給出的定義，光場拍攝早在1936 年就有開始研究，光場顯示在1996年被微軟和斯坦福學(xué)者引進(jìn)到計(jì)算機(jī)圖形 學(xué)領(lǐng)域，發(fā)展到今天已經(jīng)20年了。 據(jù)悉微軟曾經(jīng)出過一版基于光場的游戲，類似孤島尋寶，所有場景都是從真實(shí) 自然中采集，非常逼真，但是最后沒有引起任何反響，無疾而終。我們認(rèn)

41、為微 軟的光場試驗(yàn)失敗于當(dāng)時還沒有沉浸式頭盔設(shè)備的配合，現(xiàn)在有些不同了，如 果這條路能成功，我們估計(jì)微軟利用技術(shù)積淀追上來的機(jī)率也存在。 - 125,126,全息3D投影,3D全息投影因?yàn)槭锹阊?D被人看好，該技術(shù)利用光線干涉原理記錄物體光波信 息，再利用光線衍射原理再現(xiàn)物體光波信息實(shí)現(xiàn)成象，1947年英國物理學(xué)家蓋伯 發(fā)明，1962年蘇聯(lián)科學(xué)家丹尼蘇克拍攝得第一張實(shí)際記錄了三維物體的光學(xué)全息 投影照片，技術(shù)發(fā)展并不快，目前有些應(yīng)用如在博物館中的展示、舞臺晚會表演 如羊年春晚李宇春表演的蜀繡、日本初音未來的演唱會等，但直到目前所有 的全息成像都需要一個成像介質(zhì)，比如透度很高的成像膜、紗、霧氣、

42、塑料、玻 璃等，所以被稱作偽全息,網(wǎng)友DIY的成像罩子，利用手機(jī)實(shí)現(xiàn)全息投影,全息展示柜,127,全息3D投影,Bleen號稱是“世界上第一款真正意義上的全息3D投影儀”，可在上方8.3英尺的 范圍內(nèi)投影出實(shí)時動態(tài)全息影像，并能觸摸實(shí)時交互，Bleen稱不是噴水霧做介 質(zhì)。它在Indiegogo上眾籌，225美元預(yù)定，擬2015年10月上市，價格400美元， 但是它跳票了！日本Aerial Burton研發(fā)了一套系統(tǒng)，使用了一系列精準(zhǔn)調(diào)節(jié)的激 光發(fā)射器，有選擇地電離空氣分子全息成像，并能觸摸交互，產(chǎn)品也是原型，像 素低。可穿戴的、高清晰度、空氣介質(zhì)的真全息投影技術(shù)要走入生活還需要相當(dāng) 長時間,Bleen效果圖,Aerial Burton的觸摸交互演示,128,VR/AR二合一（VR+視頻疊加式AR,Oculus于15年5月收購英國一家計(jì)算機(jī)視覺公司Surreal Vision，擅長3D場