汽車智能座艙系統(tǒng)與應用 課件 2-1 了解智能座艙的技術架構

能力模塊二

對智能座艙硬件的基本認知任務一

了解智能座艙的技術架構作為一名智能座艙測試崗位實習生，在培訓期間，上級要求你快速熟悉架構體系，對今后的開發(fā)測試工作整體模塊有更清晰的認知，你需要整理一份智能座艙整理架構體系的思維導圖，并整理目前常見的智能網(wǎng)聯(lián)汽車車型的技術架構。任務引入Tasktointroduce01智能座艙的整體架構簡介02智能座艙基礎平臺架構的核心目錄

CONTENTS03目前座艙技術架構及算法分析智能座艙的整體架構簡介PART0101智能座艙的整體架構簡介例如：導航主機是一家，液晶儀表是一家，同時還有一個AVM系統(tǒng)（全景式監(jiān)控影像系統(tǒng)）是一家，線束連接就非常復雜。

在傳統(tǒng)座艙中，儀表、娛樂、中控等系統(tǒng)相互獨立，主要由單一芯片驅動單個功能/系統(tǒng)，通信開銷大。01智能座艙的整體架構簡介

隨著技術發(fā)展，座艙相關的系統(tǒng)也在往集成式的路線進行發(fā)展?，F(xiàn)在智能座艙的車內軟硬件一體化聚合，實現(xiàn)車輛感知精細化，車輛可在上車-行駛-下車的整個用車周期中，為駕乘人主動提供場景化的服務，實現(xiàn)機器自主/半自主決策。01智能座艙的整體架構簡介AI單元：接觸最多的單元，主要用于處理各類傳感器的感知結果(音、頻或其他信號),并且將處理后的結果傳入處理器進行推理計算。通信單元：實現(xiàn)互通互聯(lián)，包含GSM(全球移動通信系統(tǒng))/GPRS(通用分組無線服務技術)/C-V2X(基于蜂窩網(wǎng)的車載通信技術)、GPS、WiFi以及藍牙等的無線連接。網(wǎng)關單元：用于保障座艙域內安全可靠的數(shù)據(jù)傳輸、內置存儲和常用網(wǎng)關接口，包括車載以太網(wǎng)(ETH)、控制器局域網(wǎng)(CAN.CANFD)、本地聯(lián)網(wǎng)(LIN)和車內聯(lián)網(wǎng)(FlexRay)等接口。硬件平臺包含了A單元、通信計算以及網(wǎng)關3個單元。硬件平臺01智能座艙的整體架構簡介系統(tǒng)層先是通過虛擬機監(jiān)視器(Hypervisor)+板級支持包(BoardSupportPackage，BSP)的方式實現(xiàn)硬件平臺的虛擬化，使得系統(tǒng)軟件可以更方便地與不同硬件平臺對接。由于底層操作系統(tǒng)開發(fā)周期長，投入資金大，因此當前汽車座艙底層操作系統(tǒng)均在QNX、Linux和Android的基礎上定制開發(fā)，因此當前座艙底層操作系統(tǒng)以QNX和Linux為主。系統(tǒng)層直接運行在硬件之上，用于提供底層的算法、通信、狀態(tài)管理等服務。系統(tǒng)層01智能座艙的整體架構簡介目前解決異構分布式系統(tǒng)之間的互聯(lián)和操作問題通常采用中間件技術。數(shù)據(jù)分布服務DDS(DataDistributionService)滿足多種分布式實時通信要求。車載操作系統(tǒng)需要建立跨多單元、高速、高效的DDS機制，DDS可采用發(fā)布/訂閱架構?；谙到y(tǒng)層提供的感知、通信及管理等基礎服務，中間件技術主要是實現(xiàn)座艙不同功能的模塊化，用于上層座艙場景的開發(fā)。在智能基礎平臺里，多個分布的信息源與多個接收這些源的分布網(wǎng)絡節(jié)點構成了異構分布式網(wǎng)絡。中間件01智能座艙的整體架構簡介該層就是座艙用戶直接體驗到的各類場景及功能。包含：感知模塊，如情緒感知、行為動作感知、疲勞感知等。場景開發(fā)平臺可以根據(jù)這些感知結果進行具體的場景開發(fā)，例如，檢測到駕駛員打電話時會進行語音提醒，檢測到疲勞時，會播放音樂等。應用層智能座艙基礎平臺架構的核心PART02其核心為：用抽象層分離軟件與硬件，用一套基礎軟件平臺承載獨立的功能，實現(xiàn)即插即用，價值高的將從硬件轉移到軟件；用功能集的方式增加軟件復用率，允許跨車輛和汽車線路增加軟件模塊的再使用。SOA架構可以實現(xiàn)多功能、多終端的無縫連接

在軟件部分，智能座艙的核心架構為SOA架構，其中域控制器能夠實現(xiàn)軟硬件解耦。應用層功能獨立，基礎軟件平臺創(chuàng)造新的機遇。架構需從“信號導向”轉變?yōu)椤胺諏颉保⊿OA）。02智能座艙基礎平臺架構的核心SOA架構可以實現(xiàn)多功能、多終端的無縫連接。02智能座艙基礎平臺架構的核心

在硬件部分，SoC芯片成為目前智能座艙技術的核心硬件。SoC（SystemonChip）又稱系統(tǒng)級芯片，是一種集成電路的芯片，可以有效地降低電子/信息系統(tǒng)產品的開發(fā)成本，縮短開發(fā)周期，提高產品的競爭力。02智能座艙基礎平臺架構的核心SoC芯片瑞薩NXP德州儀器高通聯(lián)發(fā)科英特爾型號R-CARH3I.mxBQMJacinto7820ASA8155PMT2712A3960制造工藝16納米28納米16納米14納米7納米28納米14納米內核8664864CPU算力40k26k22k45.2k85k22k42kGPU頻率600MHZ850MHZ750MHZ624MHZ700MHZ900MHZ650MHZGPU算力288128166.45881142133216車規(guī)級AEC-Q100ASIL-BAEC-Q100ASIL-BAEC-Q100ASIL-BAEC-Q100AEC-Q100AEC-Q100目前座艙技術架構及算法分析PART0303目前座艙技術架構及算法分析座艙技術架構分析目前市面上主流車型座艙架構組成大多是這七個部分：硬件、底層芯片、系統(tǒng)平臺、車機服務、決策中心、交互應用以及云端服務，整個智能座艙系統(tǒng)按照這個架構的形式進行信息交互。03目前座艙技術架構及算法分析座艙技術架構分析硬件組成：主要是原始感光或應聲部件，用于接收DMS攝像頭輸入的駕駛員面部或手部信息及OMS輸入的乘員信息。同時，接收車內乘員輸入的相關語音信息，車載音響、顯示等硬件單元。底層芯片：主要是圖像或語音處理芯片功能包含對人臉識別、情緒識別、手勢識別、危險行為識別、多模語音、功能算法等應用。系統(tǒng)平臺：與智能駕駛類似,智能座艙在系統(tǒng)平臺層面需要建立硬件適配及驅動控制,包含進行安全數(shù)字輸入輸出單元、電源能量分配、編解碼、音頻輸出、顯示、can通信等單元。車機服務：智能座艙的核心服務，則更加依賴于車機服務進行相應的能力控制。整個車機服務包括系統(tǒng)控制、車身控制、數(shù)據(jù)服務、OTA(汽車遠程升級技術)、底盤狀態(tài)及車身數(shù)據(jù)等內容。03目前座艙技術架構及算法分析座艙技術架構分析決策中心：主要是通過感知SDK(軟件開發(fā)工具包)建立場景SDK，從而構建定制化場景及圖像/語音感知能力。多模態(tài)座艙交互技術總體包含:語音+手勢+視線智能人機交互系統(tǒng)。這里我們把圖像和語音感知處理能力統(tǒng)稱為多模態(tài)交互應用技術框架。交互應用：包括車身控制、系統(tǒng)控制、第三方APP交互控制、語音播報、用戶界面等幾個方面。同時，對于第三方應用中的地圖、天氣、音樂等也有一定要求。云端服務：由于大量的數(shù)據(jù)涉及遠程傳輸和監(jiān)控，且智能座艙的大算力算法模塊處理也更加依賴云端管理和計算能力。智能座艙云端服務包括算法模型訓練、在線場景仿真、數(shù)據(jù)安全、OTA管理數(shù)據(jù)倉儲、賬號服務等。03目前座艙技術架構及算法分析智能座艙算法分類介紹駕駛員面部識別類：包含人頭識別、人眼識別、眼睛識別等;駕駛員動作識別類：手勢動作識別、身體動作識別、嘴唇識別等;座艙聲音識別類：前排雙音區(qū)檢測、聲紋識別、語音性別識別/年齡識別等；座艙光線識別類：座艙氛圍燈、座艙主體背景、座艙內飾等。目前，智能座艙算法模塊大致分為以下四大類:03