典型3D ToF系統(tǒng)組成有哪些

典型3DToF系統(tǒng)組成有哪些？上海數(shù)跡智能科技有限公司（簡稱：數(shù)跡智能）專注于3D視覺智能處理器及3D智能相機的研發(fā)和銷售，提供Smart3D-ISP系列處理器、SmartToF?系列相機及人數(shù)統(tǒng)計、體積測量、隱私監(jiān)護等應用的配套解決方案。數(shù)跡智能管理團隊多來自富士通、聯(lián)想、IBM等國際一流公司以及國內頂尖高校，掌握3D飛行時間（ToF）應用普及的核心技術，具備強大的創(chuàng)新研發(fā)實力，與世界領先的ToF圖像傳感器廠商合作緊密，擁有多項技術專利和豐富的行業(yè)應用成果儲備。近些年，隨著華為、OPPO、vivo等廠商將3DToF技術導入智能手機，并且蘋果新款iPhone手機也預期采用ToF技術，預示著新一輪3D傳感與成像應用浪潮正在襲來。在此背景下，麥姆斯咨詢近日采訪了數(shù)跡智能技術總監(jiān)鄒耀先生，就3D成像及信號處理技術進行交流。鄒耀：從機遇角度講，2019年各大手機廠商紛紛導入ToF技術，傳言新款iPhone機型也將搭載ToF攝像頭。ToF技術作為手機行業(yè)的新風口，得益于5G與AI的發(fā)展，作為在AR/VR應用中不可或缺的技術手段，必將伴隨著5G的普及而普及。我們認為ToF技術不僅僅是手機行業(yè)的狂歡，更是滿足未來5G與AI應用需求的最重要的技術之一，也將是智能制造、智能駕駛、機器人等領域的標配，市場空間將超乎想象。ToF技術機遇和挑戰(zhàn)并存，作為3D成像的新技術，在系統(tǒng)性能、功耗和成本等方面還有待成熟改善。我們認為其將與2D成像技術發(fā)展成熟的路線相似。ToF系統(tǒng)涉及多種技術，是一個復雜的系統(tǒng)，不只涉及發(fā)光器件、傳感器還涉及圖像信號處理（ISP）技術。面臨場景的適應性，如何在任意場景下獲取可靠和準確的深度數(shù)據(jù)是非常大的技術挑戰(zhàn)，是ToF技術普及的關鍵。目前尚未出現(xiàn)爆款級的應用其主要原因是缺乏3DISP增強引擎來消除干擾，降低功耗，提高實時性能；缺少面向3D行業(yè)的ISPIP及中間件，無法有力支撐上層應用；以ISP技術為核心，系統(tǒng)性地提升ToF性能并降低功耗和成本是幾年來數(shù)跡智能團隊的研發(fā)目標，誰率先解決了這些問題則必將抓住ToF帶來市場的發(fā)展機遇。從目前的研發(fā)成果來看，我們有很大的勝算！記者：典型3DToF系統(tǒng)組成有哪些？鄒耀：典型的3DToF系統(tǒng)主要由發(fā)射端、接收端和控制方案端組成。目前ToF發(fā)射端的核心是由VCSEL、LED等發(fā)光器件組成，主要負責發(fā)射850nm或940nm的調制光信號，這一塊主要廠商有國外的歐司朗（OSRAM）、飛利浦（Philips）、艾邁斯半導體（ams）、Lumentum、II-VI和國內的縱慧芯光、睿熙科技、博昇光電等。接收端的核心是基于飛行時間法的CCD/CMOS圖像傳感器芯片，負責將接收到的調制光信號轉化為電信號，這一塊的主流廠商包括璦鐠瑞思（ESPROS）、索尼（Sony）、英飛凌（Infineon）、松下（Panasonic）和國內的炬佑智能（OPNOUS）、艾普柯微電子（Epticore）等。另外，接收端還包括窄帶濾光片和光學鏡頭等?？刂品桨付藙t是串聯(lián)整個3DToF系統(tǒng)方案的“中樞神經(jīng)”，包括整個系統(tǒng)的模塊控制、時序信號、數(shù)據(jù)校準降噪處理、軟件驅動開發(fā)工具包等。數(shù)跡智能就是一家主要立足于控制方案端的3DToF系統(tǒng)解決方案提供商，我們在3DToF系統(tǒng)方案中的軟件算法核心技術上會成為未來3D圖像信號處理器中的“長矛利劍”。記者：3D成像應用為什么需要3D圖像信號處理器（ISP）？3DISP能做什么？鄒耀：3DISP主要用于提升3D圖像質量，以及實現(xiàn)ToF圖像傳感器參數(shù)的自動控制等，能夠大幅降低3D成像應用的開發(fā)難度，縮短3D成像產品的上市時間?？梢哉f，3DISP既是ToF圖像傳感器到3D成像應用的推進器，也是3D成像市場爆發(fā)的必要條件，這是因為：（1）ToF圖像傳感器的規(guī)?；秃Ａ繎檬袌銮熬笆?DISP研制的前提，這一條件已經(jīng)具備。當前，ToF圖像傳感器已經(jīng)完成從CCD到CMOS的技術演進，同時逐步在智能手機上規(guī)?；褂茫ㄗ罹叽硇缘闹悄苁謾C包括華為Mate30Pro和未來的蘋果iPhone）也意味著ToF圖像傳感器的規(guī)?；殉蔀楸厝?，隨著規(guī)模效應帶來的成本降低，越來越多的應用將會結合3D成像技術進行開發(fā)。因此，多家著名咨詢機構預測，3D成像應用市場在未來五年將具有極高的增速。例如Yole認為全球3D成像和傳感市場將從2017年的21億美元增長至2023年的185億美元，復合年增長率高達44%。（2）3DISP層級的處理器產品是3D成像應用的剛需，3DISP是銜接傳感器和應用的重要橋梁。目前95%的基于3D成像應用項目均處于概念原型階段（基于我們自己的100多家模組用戶的統(tǒng)計數(shù)據(jù)），且研制進展非常緩慢，主要原因在于3DISP的缺失。每款應用均需要解決3D圖像增強、校準、參數(shù)自動控制等3DISP層級的問題。試想一下2D成像的海量應用市場，如果沒有2DISP，讓每款應用都直接面對“單反相機的手動模式”，是無法如此繁榮的。（3）3DISP是2DISP的超集，具有很高的技術門檻。ToF圖像傳感器的控制參數(shù)數(shù)量、成像運算量、校準復雜度、應用難度均遠高于普通的2D圖像傳感器，并且核心運算內容和2D-ISP差別巨大，無法直接采用2DISP技術。記者：數(shù)跡智能在3DISP方面有哪些技術儲備？鄒耀：我們具備做好3DISP的必要條件，當前3DISP層級上的技術積累處于領先地位。（1）3DISP的基礎架構技術積累和經(jīng)驗。這部分我們團隊有多年的多媒體加速IP、多核DSP（自有知識產權）、MCU類芯片的成功流片和項目經(jīng)驗。（2）3DISP層級的技術領先，相關專利儲備超過50項。這部分的技術領先離不開大量3D成像應用的項目經(jīng)驗以及ToF圖像傳感器的底層信號鏈路和信號處理上的實踐。目前，我們在跟蹤100多家用戶在3D模組使用過程中，已經(jīng)完成3DISP的規(guī)格定義并在模組開發(fā)套件中進行了大量實踐；尤其是3DISP中非常重要的校準技術方面，我們的自動校準設備已經(jīng)獲得索尼（Sony）ToF圖像傳感器部門的認可和2020年的訂單；同時作為3DISP硬件載體的索尼2020年新一代ToF圖像傳感器的官方評估套件也確認由我們團隊主要負責。記者：請您再介紹下數(shù)跡智能的核心團隊情況。鄒耀：數(shù)跡智能目前的團隊無論是技術產品能力還是市場運營能力，在業(yè)內都具備優(yōu)秀的競爭力及未來的進化能力；團隊成員主要來自富士通、聯(lián)想、IBM等國際一流公司以及國內頂尖高校；團隊成員曾自主設計并擁有知識產權多媒體DSP，包括體系架構、指令集、編譯器、仿真器、集成開發(fā)環(huán)境，并成功流片和應用，可作為3DISP的核心；團隊成員中參與項目經(jīng)驗豐富，曾經(jīng)參與過SONYLSI的數(shù)個IP前端設計服務，HPTG（現(xiàn)ams）的ToF傳感器嵌入式軟硬件平臺等項目；在有影響的國際會議和期刊中發(fā)表多篇論文并在相關領域擁有數(shù)十項專利。記者：數(shù)跡智能3DISP的產品形式（銷售形式）有哪幾種？鄒耀：我們的3DISP與常規(guī)的硬件IP產品類似，初期會以FPGA形態(tài)存在（2020年），然后是IP軟核硬核授權（License）方式（2021~2023年），后期會根據(jù)應用規(guī)?；潭?，考慮做成專用集成電路（ASIC）或系統(tǒng)級芯片（SoC）的形式。記者：數(shù)跡智能的目標市場有哪些？可以談談市場規(guī)劃嗎？鄒耀：ToF將來的應用將會非常廣泛，市場也會逐步成熟。將來我們的主要的目標是將圍繞著智能手機、電子領域、自動駕駛、機器人、AR/VR等巨量市場進行布局；將數(shù)跡智能的產品以各種形態(tài)與合作模式賦能3D視覺的蓬勃發(fā)展。從市場規(guī)劃來說，我們也會更加務實的由近及遠的推動業(yè)務良性發(fā)展，開發(fā)適合市場的終端應用型產品；不斷拓寬通用型產品的的打磨，讓ToF通用型產品產能上量；并不斷積累行業(yè)經(jīng)驗建立不可替代的核芯能力。記者：數(shù)跡智能的競爭對手有哪些？鄒耀：智能手機、汽車、安防等終端廠商自研3DISP是一種潛在的競爭。但是，以技術領先的硬件IP授權方式進入這些領域的SoC芯片或方案可以規(guī)避這種直接競爭，甚至可以將他們轉換為客戶，例如：Chips&Media視頻編解碼器IP、英特爾（Intel）收購的HabanaLabs人工智能（AI）加速IP等案例充分說明確保IP技術領先是創(chuàng)業(yè)公司切入熱點市場的可行方式。當前我們3DISP層級上的技術積累處于領先地位，并積極推進3DISP的IP產品化。記者：與2DISP廠商和ToF圖像傳感器廠商相比，數(shù)跡智能自研3DISP有哪些競爭優(yōu)勢？鄒耀：與2DISP廠商相比：3DISP是2DISP的超集，具有很高的技術門檻，2DISP廠商做3DISP不是一個技術的簡單升級，也需要大量的3DISP層級的技術儲備，這部分我們目前的技術積累領先地位是最大的優(yōu)勢。與ToF圖像傳感器廠商相比，實際上不是直接競爭關系而是產業(yè)上下游的合作關系。圖像傳感器和ISP本質屬于產業(yè)鏈細分環(huán)節(jié)，圖像傳感器只解決最基本的信號解調和基于用戶參數(shù)成像控制；且從2D成像應用市場上看，海量應用都是基于2DISP輸出的圖像再進行處理的（直接基于CMOS圖像傳感器芯片輸出圖像的很少），且2DISP的產品形態(tài)也基本以獨立于CMOS圖像傳感器之外的方式存在（集成在APSoC控制器或獨立ISP芯片）。記者：與數(shù)跡智能合作的ToF圖像傳感器廠商有哪些？可以介紹合作進展嗎？鄒耀：數(shù)跡智能與ESPROS、Sony等國際知名ToF圖像傳感器廠商建立了良好的合作伙伴關系。數(shù)跡智能是國內首家提供基于SonyiMX556傳感器的3D相機的廠商，通過扎實的技術能力取得