典型3D ToF系統(tǒng)組成有哪些

典型3DToF系統(tǒng)組成有哪些？上海數(shù)跡智能科技有限公司（簡稱：數(shù)跡智能）專注于3D視覺智能處理器及3D智能相機的研發(fā)和銷售，提供Smart3D-ISP系列處理器、SmartToF?系列相機及人數(shù)統(tǒng)計、體積測量、隱私監(jiān)護等應(yīng)用的配套解決方案。數(shù)跡智能管理團隊多來自富士通、聯(lián)想、IBM等國際一流公司以及國內(nèi)頂尖高校，掌握3D飛行時間（ToF）應(yīng)用普及的核心技術(shù)，具備強大的創(chuàng)新研發(fā)實力，與世界領(lǐng)先的ToF圖像傳感器廠商合作緊密，擁有多項技術(shù)專利和豐富的行業(yè)應(yīng)用成果儲備。近些年，隨著華為、OPPO、vivo等廠商將3DToF技術(shù)導(dǎo)入智能手機，并且蘋果新款iPhone手機也預(yù)期采用ToF技術(shù)，預(yù)示著新一輪3D傳感與成像應(yīng)用浪潮正在襲來。在此背景下，麥姆斯咨詢近日采訪了數(shù)跡智能技術(shù)總監(jiān)鄒耀先生，就3D成像及信號處理技術(shù)進(jìn)行交流。鄒耀：從機遇角度講，2019年各大手機廠商紛紛導(dǎo)入ToF技術(shù)，傳言新款iPhone機型也將搭載ToF攝像頭。ToF技術(shù)作為手機行業(yè)的新風(fēng)口，得益于5G與AI的發(fā)展，作為在AR/VR應(yīng)用中不可或缺的技術(shù)手段，必將伴隨著5G的普及而普及。我們認(rèn)為ToF技術(shù)不僅僅是手機行業(yè)的狂歡，更是滿足未來5G與AI應(yīng)用需求的最重要的技術(shù)之一，也將是智能制造、智能駕駛、機器人等領(lǐng)域的標(biāo)配，市場空間將超乎想象。ToF技術(shù)機遇和挑戰(zhàn)并存，作為3D成像的新技術(shù)，在系統(tǒng)性能、功耗和成本等方面還有待成熟改善。我們認(rèn)為其將與2D成像技術(shù)發(fā)展成熟的路線相似。ToF系統(tǒng)涉及多種技術(shù)，是一個復(fù)雜的系統(tǒng)，不只涉及發(fā)光器件、傳感器還涉及圖像信號處理（ISP）技術(shù)。面臨場景的適應(yīng)性，如何在任意場景下獲取可靠和準(zhǔn)確的深度數(shù)據(jù)是非常大的技術(shù)挑戰(zhàn)，是ToF技術(shù)普及的關(guān)鍵。目前尚未出現(xiàn)爆款級的應(yīng)用其主要原因是缺乏3DISP增強引擎來消除干擾，降低功耗，提高實時性能；缺少面向3D行業(yè)的ISPIP及中間件，無法有力支撐上層應(yīng)用；以ISP技術(shù)為核心，系統(tǒng)性地提升ToF性能并降低功耗和成本是幾年來數(shù)跡智能團隊的研發(fā)目標(biāo)，誰率先解決了這些問題則必將抓住ToF帶來市場的發(fā)展機遇。從目前的研發(fā)成果來看，我們有很大的勝算！記者：典型3DToF系統(tǒng)組成有哪些？鄒耀：典型的3DToF系統(tǒng)主要由發(fā)射端、接收端和控制方案端組成。目前ToF發(fā)射端的核心是由VCSEL、LED等發(fā)光器件組成，主要負(fù)責(zé)發(fā)射850nm或940nm的調(diào)制光信號，這一塊主要廠商有國外的歐司朗（OSRAM）、飛利浦（Philips）、艾邁斯半導(dǎo)體（ams）、Lumentum、II-VI和國內(nèi)的縱慧芯光、睿熙科技、博昇光電等。接收端的核心是基于飛行時間法的CCD/CMOS圖像傳感器芯片，負(fù)責(zé)將接收到的調(diào)制光信號轉(zhuǎn)化為電信號，這一塊的主流廠商包括璦鐠瑞思（ESPROS）、索尼（Sony）、英飛凌（Infineon）、松下（Panasonic）和國內(nèi)的炬佑智能（OPNOUS）、艾普柯微電子（Epticore）等。另外，接收端還包括窄帶濾光片和光學(xué)鏡頭等?？刂品桨付藙t是串聯(lián)整個3DToF系統(tǒng)方案的“中樞神經(jīng)”，包括整個系統(tǒng)的模塊控制、時序信號、數(shù)據(jù)校準(zhǔn)降噪處理、軟件驅(qū)動開發(fā)工具包等。數(shù)跡智能就是一家主要立足于控制方案端的3DToF系統(tǒng)解決方案提供商，我們在3DToF系統(tǒng)方案中的軟件算法核心技術(shù)上會成為未來3D圖像信號處理器中的“長矛利劍”。記者：3D成像應(yīng)用為什么需要3D圖像信號處理器（ISP）？3DISP能做什么？鄒耀：3DISP主要用于提升3D圖像質(zhì)量，以及實現(xiàn)ToF圖像傳感器參數(shù)的自動控制等，能夠大幅降低3D成像應(yīng)用的開發(fā)難度，縮短3D成像產(chǎn)品的上市時間?？梢哉f，3DISP既是ToF圖像傳感器到3D成像應(yīng)用的推進(jìn)器，也是3D成像市場爆發(fā)的必要條件，這是因為：（1）ToF圖像傳感器的規(guī)?；秃Ａ繎?yīng)用市場前景是3DISP研制的前提，這一條件已經(jīng)具備。當(dāng)前，ToF圖像傳感器已經(jīng)完成從CCD到CMOS的技術(shù)演進(jìn)，同時逐步在智能手機上規(guī)?；褂茫ㄗ罹叽硇缘闹悄苁謾C包括華為Mate30Pro和未來的蘋果iPhone）也意味著ToF圖像傳感器的規(guī)?；殉蔀楸厝唬S著規(guī)模效應(yīng)帶來的成本降低，越來越多的應(yīng)用將會結(jié)合3D成像技術(shù)進(jìn)行開發(fā)。因此，多家著名咨詢機構(gòu)預(yù)測，3D成像應(yīng)用市場在未來五年將具有極高的增速。例如Yole認(rèn)為全球3D成像和傳感市場將從2017年的21億美元增長至2023年的185億美元，復(fù)合年增長率高達(dá)44%。（2）3DISP層級的處理器產(chǎn)品是3D成像應(yīng)用的剛需，3DISP是銜接傳感器和應(yīng)用的重要橋梁。目前95%的基于3D成像應(yīng)用項目均處于概念原型階段（基于我們自己的100多家模組用戶的統(tǒng)計數(shù)據(jù)），且研制進(jìn)展非常緩慢，主要原因在于3DISP的缺失。每款應(yīng)用均需要解決3D圖像增強、校準(zhǔn)、參數(shù)自動控制等3DISP層級的問題。試想一下2D成像的海量應(yīng)用市場，如果沒有2DISP，讓每款應(yīng)用都直接面對“單反相機的手動模式”，是無法如此繁榮的。（3）3DISP是2DISP的超集，具有很高的技術(shù)門檻。ToF圖像傳感器的控制參數(shù)數(shù)量、成像運算量、校準(zhǔn)復(fù)雜度、應(yīng)用難度均遠(yuǎn)高于普通的2D圖像傳感器，并且核心運算內(nèi)容和2D-ISP差別巨大，無法直接采用2DISP技術(shù)。記者：數(shù)跡智能在3DISP方面有哪些技術(shù)儲備？鄒耀：我們具備做好3DISP的必要條件，當(dāng)前3DISP層級上的技術(shù)積累處于領(lǐng)先地位。（1）3DISP的基礎(chǔ)架構(gòu)技術(shù)積累和經(jīng)驗。這部分我們團隊有多年的多媒體加速IP、多核DSP（自有知識產(chǎn)權(quán)）、MCU類芯片的成功流片和項目經(jīng)驗。（2）3DISP層級的技術(shù)領(lǐng)先，相關(guān)專利儲備超過50項。這部分的技術(shù)領(lǐng)先離不開大量3D成像應(yīng)用的項目經(jīng)驗以及ToF圖像傳感器的底層信號鏈路和信號處理上的實踐。目前，我們在跟蹤100多家用戶在3D模組使用過程中，已經(jīng)完成3DISP的規(guī)格定義并在模組開發(fā)套件中進(jìn)行了大量實踐；尤其是3DISP中非常重要的校準(zhǔn)技術(shù)方面，我們的自動校準(zhǔn)設(shè)備已經(jīng)獲得索尼（Sony）ToF圖像傳感器部門的認(rèn)可和2020年的訂單；同時作為3DISP硬件載體的索尼2020年新一代ToF圖像傳感器的官方評估套件也確認(rèn)由我們團隊主要負(fù)責(zé)。記者：請您再介紹下數(shù)跡智能的核心團隊情況。鄒耀：數(shù)跡智能目前的團隊無論是技術(shù)產(chǎn)品能力還是市場運營能力，在業(yè)內(nèi)都具備優(yōu)秀的競爭力及未來的進(jìn)化能力；團隊成員主要來自富士通、聯(lián)想、IBM等國際一流公司以及國內(nèi)頂尖高校；團隊成員曾自主設(shè)計并擁有知識產(chǎn)權(quán)多媒體DSP，包括體系架構(gòu)、指令集、編譯器、仿真器、集成開發(fā)環(huán)境，并成功流片和應(yīng)用，可作為3DISP的核心；團隊成員中參與項目經(jīng)驗豐富，曾經(jīng)參與過SONYLSI的數(shù)個IP前端設(shè)計服務(wù)，HPTG（現(xiàn)ams）的ToF傳感器嵌入式軟硬件平臺等項目；在有影響的國際會議和期刊中發(fā)表多篇論文并在相關(guān)領(lǐng)域擁有數(shù)十項專利。記者：數(shù)跡智能3DISP的產(chǎn)品形式（銷售形式）有哪幾種？鄒耀：我們的3DISP與常規(guī)的硬件IP產(chǎn)品類似，初期會以FPGA形態(tài)存在（2020年），然后是IP軟核硬核授權(quán)（License）方式（2021~2023年），后期會根據(jù)應(yīng)用規(guī)?；潭?，考慮做成專用集成電路（ASIC）或系統(tǒng)級芯片（SoC）的形式。記者：數(shù)跡智能的目標(biāo)市場有哪些？可以談?wù)勈袌鲆?guī)劃嗎？鄒耀：ToF將來的應(yīng)用將會非常廣泛，市場也會逐步成熟。將來我們的主要的目標(biāo)是將圍繞著智能手機、電子領(lǐng)域、自動駕駛、機器人、AR/VR等巨量市場進(jìn)行布局；將數(shù)跡智能的產(chǎn)品以各種形態(tài)與合作模式賦能3D視覺的蓬勃發(fā)展。從市場規(guī)劃來說，我們也會更加務(wù)實的由近及遠(yuǎn)的推動業(yè)務(wù)良性發(fā)展，開發(fā)適合市場的終端應(yīng)用型產(chǎn)品；不斷拓寬通用型產(chǎn)品的的打磨，讓ToF通用型產(chǎn)品產(chǎn)能上量；并不斷積累行業(yè)經(jīng)驗建立不可替代的核芯能力。記者：數(shù)跡智能的競爭對手有哪些？鄒耀：智能手機、汽車、安防等終端廠商自研3DISP是一種潛在的競爭。但是，以技術(shù)領(lǐng)先的硬件IP授權(quán)方式進(jìn)入這些領(lǐng)域的SoC芯片或方案可以規(guī)避這種直接競爭，甚至可以將他們轉(zhuǎn)換為客戶，例如：Chips&Media視頻編解碼器IP、英特爾（Intel）收購的HabanaLabs人工智能（AI）加速IP等案例充分說明確保IP技術(shù)領(lǐng)先是創(chuàng)業(yè)公司切入熱點市場的可行方式。當(dāng)前我們3DISP層級上的技術(shù)積累處于領(lǐng)先地位，并積極推進(jìn)3DISP的IP產(chǎn)品化。記者：與2DISP廠商和ToF圖像傳感器廠商相比，數(shù)跡智能自研3DISP有哪些競爭優(yōu)勢？鄒耀：與2DISP廠商相比：3DISP是2DISP的超集，具有很高的技術(shù)門檻，2DISP廠商做3DISP不是一個技術(shù)的簡單升級，也需要大量的3DISP層級的技術(shù)儲備，這部分我們目前的技術(shù)積累領(lǐng)先地位是最大的優(yōu)勢。與ToF圖像傳感器廠商相比，實際上不是直接競爭關(guān)系而是產(chǎn)業(yè)上下游的合作關(guān)系。圖像傳感器和ISP本質(zhì)屬于產(chǎn)業(yè)鏈細(xì)分環(huán)節(jié)，圖像傳感器只解決最基本的信號解調(diào)和基于用戶參數(shù)成像控制；且從2D成像應(yīng)用市場上看，海量應(yīng)用都是基于2DISP輸出的圖像再進(jìn)行處理的（直接基于CMOS圖像傳感器芯片輸出圖像的很少），且2DISP的產(chǎn)品形態(tài)也基本以獨立于CMOS圖像傳感器之外的方式存在（集成在APSoC控制器或獨立ISP芯片）。記者：與數(shù)跡智能合作的ToF圖像傳感器廠商有哪些？可以介紹合作進(jìn)展嗎？鄒耀：數(shù)跡智能與ESPROS、Sony等國際知名ToF圖像傳感器廠商建立了良好的合作伙伴關(guān)系。數(shù)跡智能是國內(nèi)首家提供基于SonyiMX556傳感器的3D相機的廠商，通過扎實的技術(shù)能力取得