自動駕駛控制器芯片選型設(shè)計(jì)方案詳解

1、自動駕駛控制器芯片選型設(shè)計(jì)方案詳解中央控制器作為自動駕駛核心部件，作為自動駕駛的大腦”端，通常需要外接多個攝像頭、毫米波雷達(dá)、激光雷達(dá)，以及 IMU等設(shè)備，完成的 功能包含圖像識別、數(shù)據(jù)處理等。因此，其需要具備多傳感器融合、定 位、路徑規(guī)劃、決策控制、無線通訊、高速通訊的能力，因而從始至終 牽動著整個處理及控制命脈。這里需要注意的是，由于自動駕駛傳感器 對于駕駛輔助系統(tǒng)的復(fù)雜度影響力（主要表現(xiàn)在計(jì)算能力、傳輸帶寬、 存儲能力等）幾乎是成倍的增加，特別是側(cè)視攝像頭的加入導(dǎo)致需要預(yù) 處理的視頻數(shù)據(jù)成倍的增加，同時，激光雷達(dá)的加入又不斷地生成千萬 級的待處理點(diǎn)云信息，這就對其自動駕駛控制器計(jì)算性能及

2、算法能力提 出了比較大的需求，這也使得我們需要對自動駕駛控制器芯片選型單獨(dú) 提出的需求。由于要完成大量運(yùn)算，域控制器一般都要匹配一個核心運(yùn)算力強(qiáng)的處理 器，能夠提供自動駕駛不同級別算力的支持，其運(yùn)行時期的信息交換速 度、算法計(jì)算速度、存儲能力等均受到其內(nèi)部控制芯片的影響。對于自動駕駛控制器芯片選型而言，主要考慮如下一些技術(shù)要求參數(shù)信 息來進(jìn)行方案設(shè)計(jì)。a）Core :內(nèi)核通常是空間中心。一方面便于自動駕駛控制器和外圍傳感 器、執(zhí)行器通訊，同時也用外圍來保護(hù)它。core強(qiáng)調(diào)運(yùn)行態(tài)，通常出現(xiàn)的core-down ,是指cpu計(jì)算上出現(xiàn)問題了，core強(qiáng)調(diào)的是自動駕駛控制器整體對外功能中的核心功能。

3、b）DMIPS :主要用于測整數(shù)計(jì)算能力。包含每秒鐘能夠執(zhí)行的指令集數(shù) 量，以及其這些指令集在實(shí)現(xiàn)我的測試程序的時候，每秒鐘能夠?qū)崿F(xiàn)的 工作數(shù)量，這個能力由cpu的架構(gòu)，內(nèi)存memory的訪問速度等硬件特性來決定。它是一個測量CPU運(yùn)行相應(yīng)測試程序時表現(xiàn)出來的相對性能高低的一個單位（很多自動駕駛芯片評估場合，人們習(xí)慣用MIPS作為這個性能指標(biāo)的單位）。c）Memory :存儲器管理單元的主要功能包括：虛擬地址到物理地址映 射、存儲器訪問權(quán)限控制、高速緩存支持等；d）DataFlash : DataFlash是美國 ATMEL 公司推出的大容量串行Flash存儲器產(chǎn)品，采用Nor技術(shù)制造，可用于

4、存儲數(shù)據(jù)和程序代碼。與并行Flash存儲器相比，所需引腳少，體積小，易于擴(kuò)展，與單片機(jī)或控制器 連接簡單，工作可靠，所以類似 DataFlash的串行Flash控制器越來越多 的用在自動駕駛控制器產(chǎn)品和測控系統(tǒng)評估中。e）ISP : ISP作為視覺處理芯片核心，其主要功能包括AE （自動曝光）、AF （自動對焦）、 AWB （自動白平衡）、去除圖像噪聲、 LSC（Lens Shading Correction） 、BPC（Bad PixelCorrection） ,最后把 Raw Data 保存起來，傳給 videocodec 或CV 等。通過ISP可以得到更 好的圖像效果，因此在自動駕駛汽車

5、上對ISP的要求很高，比如開始集成雙通道甚至三通道的ISP。一般來說ISP是集成在AP里面（對很多AP芯片廠商來說，這是差異化競爭的關(guān)鍵部分），但是隨著需求的變化 也出現(xiàn)了獨(dú)立的ISP,主要原因是可以更靈活的配置，同時彌補(bǔ)及配合 AP芯片內(nèi)ISP功能的不足。f）算力：自動駕駛的實(shí)現(xiàn)，需要依賴環(huán)境感知傳感器對道路環(huán)境的信息進(jìn) 行采集，將采集到的數(shù)據(jù)傳送到汽車中央處理器進(jìn)行處理，用來識別障 礙物、可行道路等，依據(jù)識別結(jié)果，規(guī)劃路徑、制定車速，自動控制汽 車行駛。整個過程需要在一瞬間完成，延時必須要控制在毫秒甚至微秒級別，才能保證自動駕駛的行駛安全。要完成瞬時處理、反饋、決策規(guī) 劃、執(zhí)行的效果，對中

6、央處理器的算力要求非常高。在自動駕駛中，最 耗費(fèi)算力的當(dāng)屬視覺處理，占到全部算力需求的一半以上，且自動駕駛 級別每升高一級，對計(jì)算力的需求至少增加十倍。L2級別需要2個TOPS的算力,L3需要24個TOPS的算力,L4為320TOPS , L5為 4000+TOPS 。gHI交互通同交互/祝覺好三位一體的控制體驗(yàn)E3自2*加同視城密爾 火盤*牌4也就整劉 rn(r:Tterl鼻施公司光有算力還不夠，考慮汽車應(yīng)用的復(fù)雜性，汽車處理器還需要同時考慮 算力利用率、是否通過車規(guī)和安全標(biāo)準(zhǔn)等。算力理論值取決于運(yùn)算精 度、MAC的數(shù)量和運(yùn)行頻率。如下表示了一種典型的單幀算力計(jì)算方理論算力是根據(jù) Net卷積

7、層的乘法運(yùn)算累加得出，卷積層中的每次乘加(MAC )算成兩個 OPS,卷積運(yùn)算量占 DL NET的90%以上，其它輔助運(yùn)算或其它層的運(yùn)算忽略不計(jì)，SSD所有卷積層乘法運(yùn)算總數(shù)是40GMACs ,所以理論算力是 80GOPS 。其中,聲測巾貞率 謂正巾質(zhì)率真實(shí)值和理論值差異極大，考慮其它運(yùn)算層，硬件實(shí)際利用率要高一 些。決定算力真實(shí)值最主要因素是內(nèi)存( SRAM和DRAM)帶寬，還有 實(shí)際運(yùn)行頻率(即供電電壓或溫度)，還有算法的batch尺寸。g)功耗：在最高性能模式下，如果自動駕駛控制器的芯片功耗級別較 高，即使其自身性能強(qiáng)勁，但也會引發(fā)某些未可預(yù)知的隱患，如發(fā)熱量 成倍增加，耗電率成倍增加，

8、這些結(jié)果尤其對于新能源車型來說也毫無 疑問是顆 核彈工因此，我們在前期自動駕駛芯片設(shè)計(jì)中需要充分考慮 其功耗指標(biāo)。h)CSI : CSI作為前端-配置邏輯接口，可以支持大多數(shù)通用的可用的 CMOS攝像頭接口，支持方便YCC,YUV,Bayer 或者是RGB的數(shù)據(jù)格式輸入，完全可控的 8-bit或16-bit數(shù)據(jù)到32-bit的FIFO進(jìn)行打包， 32*32大小的FIFO存儲接受到的的圖像像素數(shù)據(jù)，該 FIFO可以通過可 編程的IO或者是DMA進(jìn)行讀取。后端-提供了直接到 eMMA的預(yù)處理 PrP塊接口(PrP和PP組成了 MX27圖形加速器 eM MA , PrP和PP能夠 用來給視頻做預(yù)處理

9、和后期處理，例如，放大，縮小，顏色轉(zhuǎn)換)。提供sensor的可屏蔽中斷源，該中斷源也是中斷可控的，提供給外部sensor用的，可配置的主時鐘頻率，由統(tǒng)計(jì)數(shù)據(jù)產(chǎn)生的自動曝光(AE)和自動白平衡(AWB)控制。i)3D GPU : GPU是基于大的吞吐量設(shè)計(jì)，用來處理大規(guī)模的并行計(jì)算。GPU的控制單元可以把多個的訪問合并成少的訪問。GPU將更多的晶體管用于執(zhí)行單元，而非像CPU那樣用作復(fù)雜的數(shù)據(jù)cache和指令控制。由于GPU具有超強(qiáng)的浮點(diǎn)計(jì)算能力，可用于在智能汽車前端的圖像或視 頻處理領(lǐng)域的應(yīng)用，也越來越多地應(yīng)用在中央控制器高性能計(jì)算的主流 設(shè)計(jì)中。j)ETH和CAN :中央控制器芯片設(shè)計(jì)中需要

10、充分考慮其連接接口是否支 持以太網(wǎng)和CANFD等高級數(shù)據(jù)連接傳輸方式，這是接收并有效處理數(shù) 據(jù)的前提。k)PCIe :作為CPU的局部總線，最大的特點(diǎn)在于數(shù)據(jù)傳輸吞吐量大和延 遲低。l）SaftyGoal :功能安全目標(biāo)是整個自動駕駛中央控制器的核心設(shè)計(jì)需求，由于其影響對整個自動駕駛功能設(shè)計(jì)中的單點(diǎn)失效分析結(jié)果，因此，在前期硬件設(shè)計(jì)中就需要充分考慮其是否能夠完全滿足系統(tǒng)對于硬件的功能安全設(shè)計(jì)需求。m）OTA :遠(yuǎn)程升級為用戶修復(fù)軟件故障，大幅度縮短中間步驟的時間，使軟件快速到達(dá)用戶，同時可以為車輛增加新功能，拓寬服務(wù)”和運(yùn)營”的范疇。因此，中央控制器芯片是否支持OTA對于減少汽車制造產(chǎn)商和用戶

11、的成本，包括汽車制造產(chǎn)商的召回成本，用戶的時間成本，增加用戶的新鮮感，增加車輛的附加價值顯得不可或缺。n）封裝類型：控制器封裝尺寸的大小、引腳定義等影響整體駕駛控制器 對安裝形式的影響，同時影響對外圍部件的連接情況分布。o）溫度/電壓：控制器的溫度控制范圍包括其存儲、使用環(huán)境溫度，且后期若實(shí)際車輛確認(rèn)前毫米波控制器總成布置區(qū)域存儲、使用環(huán)境溫度高于該值，需要在該基礎(chǔ)上進(jìn)行一定程度的整改上調(diào)范圍，并滿足OEM要求，且供應(yīng)商需要保證不因?yàn)橛布O(shè)計(jì)缺陷導(dǎo)致召回。p）其他前沿技術(shù)：如控制器是否支持 MCU+MPU的集成控制方式，還是只支持單芯片控制的形式。由如上對于自動駕駛域控制器選型過程中比較重要的

12、幾個因素，我們對 市場主流的控制器芯片進(jìn)行了統(tǒng)計(jì)分析得出如下分析結(jié)果對比表：自動駕駛控制器主流芯片性能對比品牌NXP/S32G274瑞薩/RCARM3TI/TDA4x地平線/J3Core1GHz : 4 xA531.7GHz :2 x A571.8GHz : 2 xA724 x A53功耗2w1w5w2.5wDMIPS15.9k24.5k34k10KMemory32-bitLPDDR4/1ch32-bitLPDDR4/2ch32-bitLPDDR4/1ch32-bitLPDDR4/1chCSI雙路MIPI雙路MIPI雙路MIPI雙路MIPI算力-5TOPs8Tops5TopsGPU+ISP2x

13、1 or 1x2 megapixel 30 fpsIMR+230GFLOPS176 GFLOPS-功能安全ASIL B+ASIL BASIL B+QMETH2 x SGMII/1xRGMIIRGMII8xRGMII/SGMII1x RGMIICANFD支持支持支持支持OTA支持支持支持支持前端技術(shù) 應(yīng)用MCU+MPU 集成無MCU+MPU 集成MCU+MPU集成域控制器ECU資源分配及優(yōu)化自動駕駛控制器的整個 ECU資源需要在其具體的算法控制中得到算力分 配，其中關(guān)鍵的 AD處理過程包括如下主要的幾個部分。道路運(yùn)動目標(biāo) 檢測、道路結(jié)構(gòu)檢測(基于前視攝像頭)、目標(biāo)形態(tài)檢測、預(yù)測分析、 道路結(jié)構(gòu)檢

14、測(基于側(cè)視攝像頭)、道路運(yùn)動目標(biāo)檢測(基于側(cè)視攝像 頭)。各部分參數(shù)主要包括了對CPU運(yùn)行資源、算力、運(yùn)行帶寬、運(yùn)行時間等，如下表表示了一種典型的各個算法對于算力運(yùn)行占用的資源統(tǒng) 計(jì)分析，其中兩個不同的芯片分別暫用不同計(jì)算需求。KeyADProcessingCPU(DMIPS )CPU Time(ms)深度學(xué)習(xí)算力(TOPS8bit )深度學(xué)習(xí)時間(ms)總時間(ms)芯片道路目標(biāo)檢 測150053T15 J|20Main道路結(jié)構(gòu)檢 測側(cè)50021.5T1517Main交通語義檢 測150072T1522Main目標(biāo)語義檢 測50031.5T4171Main預(yù)測50010.5T2|3Main

15、旁路目標(biāo)檢 測50021.5T1517Sub旁路結(jié)構(gòu)檢 測1500A2T1015Sub由于芯片算力的有效利用率影響著整個算法效率，因此對算力的計(jì)算和 分析是提前。如上軟件模塊算法的算力效率牽涉到MAC計(jì)算效率問題。如果相應(yīng)的自動駕駛模塊算法或者說CNN卷積需要的算力是 1TOPS ,而運(yùn)算平臺的算力是4TOPS ,那么利用效率只有25% ,運(yùn)算單元大部分時候都在等待數(shù)據(jù)傳送，特別是批量待處理的尺寸較小時候，存儲帶寬不足會嚴(yán)重限 制性能。但如果超出平臺的運(yùn)算能力，延遲會大幅度增加，存儲瓶頸一 樣很要命。效率在 90-95%情況下，存儲瓶頸影響最小，但這并不意味著 不影響了，影響依然存在。然而平臺

16、不會只運(yùn)算一種算法，運(yùn)算利用效 率很難穩(wěn)定在 90-95%。因此，我們需要對系統(tǒng)算法存儲及運(yùn)行帶寬等參數(shù)進(jìn)行詳細(xì)分析。1）算法內(nèi)存管理算法內(nèi)存估計(jì)涉及對軟件模塊（包含車輛運(yùn)動估計(jì)VED、潛在風(fēng)險評估、縱向控制功能、橫向控制功能、附加控制功能、環(huán)境建模EM ）的閃存Flash、內(nèi)存SRAM的評估影響，一般各軟件模塊占用的內(nèi)存資源池 如下：軟件模塊Flash ( Byte )SRAM ( Byte )VED7000010000Longitudinal Functiolgo Utlities Common Library1000020000Eate

17、ral Function150000|35000Side Function103024|180002)算法運(yùn)行帶寬一般的，芯片帶寬包含DDR帶寬和總線帶寬兩種評估單位，其中 DDR帶寬一般為25.6GB (Byte),針對圖像/視頻處理的有效利用帶寬為 70%-80%。總線帶寬的計(jì)算是基于路游的多層拓?fù)浼軜?gòu)，且總線同各個 處理系統(tǒng)和 DDR控制器以多端口進(jìn)行連接，大小一般為128bit ,800MHz。總線帶寬設(shè)計(jì)采用多端口超適配的方式，保證連接任何端口的 處理系統(tǒng)可以單獨(dú)使用全部DDR帶寬，各處理系統(tǒng)間通過QOS機(jī)制，保障實(shí)時數(shù)據(jù)流的帶寬。如下表示了攝像頭及ISP的帶寬及配置受的資源約束：?

18、攝像頭精度、幀率、像素精度和HDR曝光數(shù)?單組MIPI的接口帶寬?單組MIPI的接口虛擬通道數(shù)?單ISP流水線的數(shù)據(jù)處理率? Inline或離線模式?輸出格式及后處理需求而實(shí)際的網(wǎng)絡(luò)帶寬取決于如下幾種因素:?圖像精度?網(wǎng)絡(luò)的模型架構(gòu)和拓?fù)?網(wǎng)絡(luò)的剪枝、量化和壓縮?網(wǎng)絡(luò)圖的分割是否需要中間結(jié)果寫回到DDRffi.俺川本口RQM 飛卜，I1. r.DRAM：. I 分t.竽，3( fPDdMil, 13J(-kORA摘h/上云 . IriJRAMd - ：1：-,.；Mb 附必曾 MDUMfltltl I對于各個軟件處理端而言，需要進(jìn)行準(zhǔn)確的帶寬分析才能實(shí)現(xiàn)較好的軟 件控制。因此，設(shè)計(jì)較好的帶寬分析算法是實(shí)現(xiàn)有效的帶寬利用的前 提。其中最簡單有效的解決方法還是提高內(nèi)存帶寬。提高內(nèi)存帶寬有三 種方法，一是縮短運(yùn)算單元與存儲器之間的物理距離，二是使用高帶寬 內(nèi)存即HBM ,三加大內(nèi)存容量。此外，也可以設(shè)計(jì)一些軟件改善內(nèi)存瓶 頸的方法，比如修改