構(gòu)建智能汽車時(shí)代的數(shù)字底座：國(guó)產(chǎn)芯片和OS的機(jī)遇和挑戰(zhàn)

博士地平線創(chuàng)始人&首席科學(xué)家030403040101智能汽車時(shí)代芯片與OS的重要性：創(chuàng)新數(shù)字底座建設(shè)智能汽車時(shí)代開(kāi)放的協(xié)同建設(shè)智能汽車時(shí)代開(kāi)放的協(xié)同創(chuàng)新生態(tài)：不僅僅是開(kāi)源OSzonRoboticszonRobotics智能汽車個(gè)人電腦智能汽車個(gè)人電腦將成為人類科技發(fā)展最大的母生態(tài)智智能手機(jī)zonRobotics2021年中國(guó)占世界新能源車份額53%動(dòng)力電池也排名世界第一/10，僅次于房地產(chǎn)，是中國(guó)培養(yǎng)經(jīng)濟(jì)新動(dòng)能的關(guān)鍵產(chǎn)業(yè) 中國(guó)擁有全球最大的汽車市場(chǎng)駛接受度最高來(lái)源：調(diào)研機(jī)構(gòu)Jato2021年中國(guó)占世界新能源車份額53%動(dòng)力電池也排名世界第一/10，僅次于房地產(chǎn)，是中國(guó)培養(yǎng)經(jīng)濟(jì)新動(dòng)能的關(guān)鍵產(chǎn)業(yè) 中國(guó)擁有全球最大的汽車市場(chǎng)駛接受度最高來(lái)源：調(diào)研機(jī)構(gòu)JatoDynamics，2021年全球主要市場(chǎng)汽車銷量與增長(zhǎng)率《2020年12月份社會(huì)消費(fèi)品零售總額增長(zhǎng)4.6%》新聞稿東樹(shù)，源：中汽中心;PrecedenceResearch源：中汽中心;PrecedenceResearchzonRobotics全球半導(dǎo)體市場(chǎng)營(yíng)收(億美元)全球汽車芯片市場(chǎng)營(yíng)收(億美元)4204 1000190% 半導(dǎo)體兩大市場(chǎng)：手機(jī)和汽車芯片市場(chǎng)增量分析機(jī)主芯片20億臺(tái)汽車智能芯片1億臺(tái)設(shè)備數(shù)量(單位：百萬(wàn)臺(tái))平均芯片售價(jià)(單位：美元/臺(tái))zonRobotics載高精度傳感器成為其關(guān)鍵要素能操作系統(tǒng)智能汽車的數(shù)字底座，是產(chǎn)業(yè)的最佳破局點(diǎn)載高精度傳感器成為其關(guān)鍵要素能操作系統(tǒng)部與發(fā)改委等部委聯(lián)合發(fā)布《智能汽車創(chuàng)新發(fā)展戰(zhàn)略》建設(shè)智能汽車關(guān)鍵零部件5個(gè)產(chǎn)業(yè)集群：產(chǎn)品研發(fā)與產(chǎn)業(yè)化智能終端芯片和操作系統(tǒng)能計(jì)算平臺(tái)芯片終端品牌中國(guó)成為全球頂級(jí)汽車智能芯片的“角斗場(chǎng)”市理想ONE地平線征程?3首發(fā)型mSnapdragonRide市小鵬P7蔚來(lái)ET7市”：每年推出一代高性能芯片20192019年8月發(fā)布BPU?伯努利1.0架構(gòu)2020年9月發(fā)布BPU?伯努利2.0架構(gòu)2021年7月發(fā)布BPU?貝葉斯架構(gòu)理想自研成功的AEB系統(tǒng)獲業(yè)界好評(píng)zonRobotics2021新款理想ONE：地平線征程?3芯片首發(fā)量產(chǎn)車型理想自研成功的AEB系統(tǒng)獲業(yè)界好評(píng)zonRobotics款是自主品牌中銷量最高的車型搭載兩顆款是自主品牌中銷量最高的車型搭載兩顆地平線“征程?芯片的理想22021年1月-12月累計(jì)交付90,491輛zonRobotics從0到1的突破，到1到N的開(kāi)放共贏+點(diǎn)合作45+裝定點(diǎn)征程芯片出貨100+態(tài)合作伙伴上汽大通MAXUS江淮思皓QX長(zhǎng)城哈弗H9廣汽江淮思皓QX長(zhǎng)城哈弗H9廣汽AIONYMIFAEV智己汽車長(zhǎng)安UNI-T奇瑞螞蟻長(zhǎng)安UNI-K嵐圖FREE廣汽傳祺GS4Plus2021款理想ONE上汽榮威SUV其他多個(gè)車廠車型FPS最強(qiáng)計(jì)算性能*TOPSFPS最強(qiáng)計(jì)算性能*TOPS超大AI算力12860毫秒業(yè)界最低延遲30Watt超低功耗***MSCoCo物體檢測(cè)：保持MSCoCo數(shù)據(jù)集上的精度mAP=34.6%，輸入分辨率為512X512溫度為125度時(shí)的功耗zonRobotics01040104智能汽車時(shí)代芯片與智能汽車時(shí)代芯片與OS的重要性：創(chuàng)新數(shù)字底座建設(shè)智能汽車時(shí)代開(kāi)放的協(xié)同建設(shè)智能汽車時(shí)代開(kāi)放的協(xié)同創(chuàng)新生態(tài)：不僅僅是開(kāi)源OSzonRobotics11AI&)(()(2016年地平線提出“AI計(jì)算的新摩爾定律”11AI&)(()(優(yōu)化目?jī)?yōu)化目標(biāo)：最先進(jìn)深度學(xué)習(xí)算法在芯片上的計(jì)算效率：FPS(FramesPerSecond)&&11))世界領(lǐng)先的算法創(chuàng)新和工程化世界領(lǐng)先的算法創(chuàng)新和工程化扎實(shí)的車級(jí)規(guī)SoC芯片設(shè)計(jì)zonRobotics2020年6月《科學(xué)》MIT學(xué)者論文：TheTopHHardwarearchitectureeperformanceengineeringalgorithmsHardwareingProcessorainspecializationRemovingsoftwareiloringsoftwaretohardwarefeaturesNewproblemdomainsNewmachinemodelsrtunityTechnologyAlgorithmsSoftwareTheBottomForexample,semiconductortechnologyPerformancegainsafterMoore'slawends.Inthepost-Mooreera,improvementsincomputingpowerwilincreasinglycomefromtechnologiesatthe"Top"ofthecomputingstack,notfromthoseatthe"Bottom”reversingthehistoricaltrend.zonRobotics貝葉斯BPU?計(jì)算架構(gòu)：為高等級(jí)自動(dòng)駕駛而生神經(jīng)網(wǎng)絡(luò)架構(gòu)BPU化利用AI加速計(jì)算方面的最新創(chuàng)新度軟硬件并行化/Memory-in-mpute算密度和能量效率N，目標(biāo)神經(jīng)網(wǎng)絡(luò)達(dá)到8TOPS/WattBBrainProcessingUnit自動(dòng)駕駛場(chǎng)景不同自動(dòng)駕駛場(chǎng)景下的AI算子際工況優(yōu)化低批量，高性能致力于降低延遲能安全需求全面安全覆蓋ASILBSEooCProcessingunitDomainspec.(pool/resize/warp)Ultra-highbandwidthProcessingunitDomainspec.(pool/resize/warp)Ultra-highbandwidthinterconnectL12-DMemoryArray脈動(dòng)卷積IElementwiseI數(shù)據(jù)重塑IProcessingunitDatareshape(padding/concat/…)ProcessingunitSystolicconvx2ProcessingunitLoad-storeProcessingunitElement-wise兩個(gè)獨(dú)立的或協(xié)作的內(nèi)核2x64=128TOPS的神經(jīng)網(wǎng)絡(luò)性能DomainspecificI讀寫(xiě)內(nèi)存貝葉斯BPU?凝聚了對(duì)AI、深度學(xué)習(xí)和自動(dòng)駕駛場(chǎng)景的深度洞察，實(shí)現(xiàn)高效AI計(jì)算，提升自動(dòng)駕駛體驗(yàn)高性能，低延遲Memory-in-compute和高帶寬數(shù)據(jù)互連本地?cái)?shù)據(jù)計(jì)算在不影響準(zhǔn)確率的情況下提高性能本地?cái)?shù)據(jù)計(jì)算高度并行化處理稀疏化加速CO模型上：征程5的AI性能和Orin-X不相伯仲，但能效是Orin-X的330% XavierOrin-X征程5 53CO模型上：征程5的AI性能和Orin-X不相伯仲，但能效是Orin-X的330% XavierOrin-X征程5 535929227XTVGG1080PEFFICIENTNETLITE00.40.80.20.51.1VGG2014)1080PRESNET(2015)RESNEXT(2016)EFFICIENTNETLITE0?征程5性能為初步結(jié)果，數(shù)字隨后續(xù)軟硬件優(yōu)化會(huì)進(jìn)一步提高效模型：軟硬結(jié)合后征程5性能超過(guò)Orin-X，能效高達(dá)Orin-X的870%自動(dòng)駕駛典型任務(wù)各精度下最佳幀率(FPS)XavierOrin-X征程544%42%40%38%36%34%32%30%1021041061081010101210141016101810?高效率模型(EfficientNet)下，對(duì)比自動(dòng)駕駛核心負(fù)載—目標(biāo)檢測(cè)的平均幀率?同精度下，征程5實(shí)際AI性能為Orin-X的268%，能效為Orin-X的870%01020102智能汽車時(shí)代芯片與智能汽車時(shí)代芯片與OS的重要性：創(chuàng)新數(shù)字底座04建設(shè)智能汽車時(shí)代開(kāi)放的協(xié)同創(chuàng)新生態(tài)：不僅僅是開(kāi)源OSzonRobotics的突擊隊(duì)、特種兵。我們同國(guó)際先進(jìn)水平在核心技術(shù)上懸殊，一個(gè)很突出的原因，就是我們的骨干企業(yè)沒(méi)有像微軟、英——習(xí)近平總書(shū)記在網(wǎng)信工作座談會(huì)上的講話zonRobotics現(xiàn)芯片架構(gòu)與操作系統(tǒng)的緊密聯(lián)盟indowsroid?Journey計(jì)算性能的最大化軟硬高度協(xié)同軟件難以適配多個(gè)芯片架構(gòu)地平線推出結(jié)合征程5芯片的開(kāi)源OS——TogetherOSTM攜手合作伙伴共建車載OS基座，助力行業(yè)構(gòu)建車載OS生態(tài)系統(tǒng)Perception感知Microkernel微內(nèi)核Hypervisor虛擬化引擎SafetyRTOS/Linux統(tǒng)一系統(tǒng)服務(wù)接口通用Driver驅(qū)動(dòng)框架件ADS自動(dòng)駕駛APA自動(dòng)泊車HMI智能交互IOV智能網(wǎng)聯(lián)CVIS車路協(xié)同智能車控IVI娛樂(lè)導(dǎo)航 Communication Recorder錄制 Render渲染 Calibration校準(zhǔn) Data數(shù)據(jù)虛擬化第三方OSVM支持第三方芯片支持 Planning規(guī)劃 Control控制Location定位Decision決策車載基礎(chǔ)OSROS2/DataflowFusion融合AUTOSARAPSensor&23HorizonRobotics2022智能駕駛/自動(dòng)駕駛HorizonMatrix?客戶方案N客戶方案1客戶方案2流暢交互的共駕方案SuperDrive客戶方案N智能駕駛/自動(dòng)駕駛HorizonMatrix?客戶方案N客戶方案1客戶方案2流暢交互的共駕方案SuperDrive客戶方案N客戶方案1客戶方案2解決方案技術(shù)?AIAlgorithm&AppDevSaaSAIAlgorithm&APPDevToolchainOn-shelfAIModules智能人機(jī)交互HorizonHalo?客戶方案N客戶方案1客戶方案2CompatibleCompatibletootherOSLinux,QNX,Android,AliOS,HOS,etc.TogetherOSTM01020102智能汽車時(shí)代芯片與智能汽車時(shí)代芯片與OS的重要性：創(chuàng)新數(shù)字底座04建設(shè)智能汽車時(shí)代開(kāi)放的協(xié)同創(chuàng)新生態(tài)：不僅僅是開(kāi)源OSzonRobotics25HorizonRobotics2022智能駕駛/自動(dòng)駕駛HorizonMatrix?客戶方案N客戶方案1客戶方案2流暢交互的共駕體驗(yàn)客戶方案N客戶方案1客戶方案2解決方案技術(shù)智能駕駛/自動(dòng)駕駛HorizonMatrix?客戶方案N客戶方案1客戶方案2流暢交互的共駕體驗(yàn)客戶方案N客戶方案1客戶方案2解決方案技術(shù)?AIAlgorithm&AppDevSaaSAIAlgorithm&APPDevToolchainOn-shelfAIModulesCompatibletootherOSLinux,QNX,Android,AliOS,HOS,etc.TogetherOSTM車規(guī)級(jí)實(shí)時(shí)安全操作系統(tǒng)智能人機(jī)交互HorizonHaloTM客戶方案N客戶方案1客戶方案2zonRobotics智能駕駛/自動(dòng)駕駛客戶方案N客戶方案1客戶方案2流暢交互的共駕體驗(yàn)智能駕駛/自動(dòng)駕駛客戶方案N客戶方案1客戶方案2流暢交互的共駕體驗(yàn)客戶方案N客戶方案1客戶方案2解決方案技術(shù)車企自主開(kāi)發(fā)芯片Journey?BPU?IPTogetherOSTM車規(guī)級(jí)實(shí)時(shí)安全操作系統(tǒng)兼容其他操作系統(tǒng)Linux,QNX,Android,AliOS,HOS,etc.?AI算法和軟件開(kāi)發(fā)平臺(tái)AI算法和應(yīng)用軟件開(kāi)發(fā)工具鏈On-shelfAIModules智能人機(jī)交互n客戶方案N客戶方案1客戶方案226整車廠CA……整車廠D整車廠CA……整車廠D地平線將向整車廠開(kāi)放BPUIP授權(quán)推動(dòng)汽車芯片產(chǎn)業(yè)躍遷BBPUBPU工具包術(shù)支持BPUIP授權(quán)參考設(shè)計(jì)整車開(kāi)發(fā)整車廠創(chuàng)新的整車開(kāi)發(fā)整車廠創(chuàng)新的領(lǐng)先性越來(lái)越高etherOS整車開(kāi)發(fā)操作系統(tǒng)OS自動(dòng)駕駛軟硬件系統(tǒng)BPU操作系統(tǒng)OS整車開(kāi)發(fā)自動(dòng)駕駛軟硬件系統(tǒng)整車開(kāi)發(fā)BPUBPUBPU操作系統(tǒng)OS自動(dòng)駕駛軟硬件系統(tǒng)動(dòng)駕駛軟硬件系統(tǒng)BPU整車開(kāi)發(fā)地平線可支持的商業(yè)