汽車智能座艙系統(tǒng)與應(yīng)用 課件全套 模塊1-6 對(duì)智能座艙系統(tǒng)的基本認(rèn)知-掌握智能座艙場(chǎng)景測(cè)試技術(shù)

能力模塊一

對(duì)智能座艙系統(tǒng)的基本認(rèn)知任務(wù)一

認(rèn)知智能座艙系統(tǒng)的概念及結(jié)構(gòu)近年來，隨著“電動(dòng)化、網(wǎng)聯(lián)化、智能化、共享化”的汽車“新四化”加速發(fā)展，汽車正在從“單一的交通工具”向集休閑、娛樂、辦公等多功能于一體“第三空間”轉(zhuǎn)變，智能座艙系統(tǒng)在其中發(fā)揮重要作用。作為智能座艙測(cè)試崗位新入職的實(shí)習(xí)生，在培訓(xùn)期間，你的主管需要你對(duì)智能座艙系統(tǒng)進(jìn)行初步了解，有助于理解行業(yè)技術(shù)發(fā)展。查閱相關(guān)資料，完成智能座艙系統(tǒng)認(rèn)知信息表整理并向其匯報(bào)。任務(wù)引入Tasktointroduce01智能座艙的定義03智能座艙的應(yīng)用場(chǎng)景02智能座艙的基本組成部件04智能座艙場(chǎng)景功能場(chǎng)景介紹目錄

CONTENTS智能座艙的定義PART0101智能座艙的定義智能座艙就是在智能化和網(wǎng)聯(lián)化發(fā)展下的車載產(chǎn)品，可以與人、路、車本身進(jìn)行智能交互的座艙，是人車關(guān)系從工具向伙伴演進(jìn)的重要紐帶和關(guān)鍵節(jié)點(diǎn)。

通俗來講，智能座艙其實(shí)就是汽車駕駛艙中的人機(jī)交互，是將汽車的駕駛信息與娛樂信息進(jìn)行整合，并利用大數(shù)據(jù)信息的處理能力，為各用戶提供更加便捷、有效且充滿未來科技感的汽車駕駛體驗(yàn)。01智能座艙的定義汽車從最早能夠反映車速和發(fā)動(dòng)機(jī)轉(zhuǎn)速的機(jī)械儀表，已經(jīng)完全演變?yōu)楫?dāng)前主流的顯示駕駛信息的液晶儀表和實(shí)現(xiàn)人機(jī)交互的中控屏。屏幕的變化01智能座艙的定義屏幕數(shù)量也隨著智能化發(fā)展而有所變化。中控屏的技術(shù)發(fā)展也從小屏到大屏，再?gòu)拇笃恋诫p聯(lián)屏，雙聯(lián)屏到三聯(lián)屏，再到貫穿的一體超大屏的不斷“進(jìn)化”。屏幕的變化特斯拉modelS17英寸大屏比亞迪唐獨(dú)立中屏紅旗HS5雙聯(lián)屏01智能座艙的定義超大貫穿屏通常應(yīng)用在豪華車型上，例如林肯Z的貫穿式大屏、福特EVOS的27英寸貫穿屏、全新一代蒙迪歐1.1米的超大屏、奔馳EQS轎車的17.7寸+12.3寸大彩電。屏幕的變化奔馳EQS貫穿式大屏多屏交互已成為發(fā)展的主流。目前大部分車企采用1-2塊中控屏幕的方案，隨著座艙朝著車輛感知精細(xì)化、實(shí)現(xiàn)機(jī)器自主/半自主決策方向發(fā)展，3塊屏幕及以上方案的占比也將明顯提升。智能座艙的基本組成部件PART0202智能座艙的基本組成部件

操控系統(tǒng)包括：方向盤；

娛樂系統(tǒng)包括：中控臺(tái)屏幕、后排多媒體、麥克風(fēng)等；

通信系統(tǒng)包括：藍(lán)牙、WIFI、NFC等；

交互系統(tǒng)包括：中控屏、儀表盤、HUD（HeadUpDisplay，抬頭顯示系統(tǒng)）；

感知系統(tǒng)包括：雷達(dá)、攝像頭、駕駛員健康監(jiān)控系統(tǒng)、空氣質(zhì)量傳感器等。從硬件范圍來看：智能座艙包括了帶給駕駛員和乘客更加安全、舒適、智能的駕乘體驗(yàn)所有模塊，主要包含：02智能座艙的基本組成部件02智能座艙的基本組成部件智能座艙包含了車機(jī)互聯(lián)、語音交互、駕駛員狀態(tài)監(jiān)控、生物識(shí)別、車路協(xié)同、安全預(yù)警、物聯(lián)網(wǎng)、信息安全等功能，主要是在用戶體驗(yàn)上進(jìn)行功能設(shè)計(jì)，在舒適化、智慧化等方向上不斷提升。從軟件范圍來看：智能座艙的應(yīng)用場(chǎng)景PART0303智能座艙的應(yīng)用場(chǎng)景一、人機(jī)共駕場(chǎng)景

人機(jī)共駕場(chǎng)景下，智能座艙能通過交互感知技術(shù)為用戶提供一定程度的機(jī)械自主決策。車內(nèi)感知系統(tǒng)（IVS）將對(duì)駕駛員狀態(tài)進(jìn)行主動(dòng)提醒，信息顯示系統(tǒng)的智能化程度也將提升。

廣汽埃安ADiGO3.0的方向盤脫離預(yù)警廣汽埃安ADiGO3.0的HOD（方向盤脫離預(yù)警），在方向盤安裝了電容式傳感器，非常靈敏，因此雙手只要輕輕搭在方向盤上即可。系統(tǒng)也支持短暫的脫手功能，傳感器會(huì)在雙手離開方向盤幾秒鐘后再發(fā)出警報(bào)，從而為用戶提供一定程度的機(jī)械自主決策。03智能座艙的應(yīng)用場(chǎng)景智能座艙的交互感知拓展到外部環(huán)境，智能座艙的服務(wù)場(chǎng)景與便利性得到延伸，涵蓋娛樂、生活、附加信息等一系列活動(dòng)的出行服務(wù)，智能網(wǎng)聯(lián)實(shí)現(xiàn)駕乘人員線上線下體驗(yàn)的無縫連接，車輛將真正作為“第三生活空間”。隨著虛擬個(gè)人助理的發(fā)展，家庭和汽車之間會(huì)出現(xiàn)更深層次的連接，用戶可通過手機(jī)的語音助手遠(yuǎn)程操控車內(nèi)設(shè)備。二、內(nèi)外聯(lián)合場(chǎng)景應(yīng)用場(chǎng)景03智能座艙的應(yīng)用場(chǎng)景智能座艙甚至可以睡眠場(chǎng)景，一鍵/語音操作，即可實(shí)現(xiàn)座椅放倒打平，天幕遮陽簾關(guān)閉，大屏亮度調(diào)暗，助眠輕音樂與香氛開啟，再安裝單向隱私簾，進(jìn)入舒適的睡眠空間。通過電量安全檢測(cè)，空氣安全監(jiān)測(cè)，起夜安全光設(shè)計(jì)以及定時(shí)鬧鐘，完成安全睡眠環(huán)境布置。二、內(nèi)外聯(lián)合場(chǎng)景應(yīng)用場(chǎng)景小鵬P5智能睡眠場(chǎng)景03智能座艙的應(yīng)用場(chǎng)景智能座艙將為用戶提供高質(zhì)量的游戲、影音等娛樂服務(wù)。智能座艙的人機(jī)交互是建立在AI技術(shù)的輔助駕駛功能。利用AI和傳感器的配合，提高駕駛安全和提升座艙互動(dòng)便利。 三、“應(yīng)用為王”場(chǎng)景03智能座艙的應(yīng)用場(chǎng)景華為HarmonyOS，車輛的主機(jī)可以與其他智能終端連接并共享信息，各種硬件設(shè)備可以與人，車輛和家庭連接。HarmonyOS智能座艙生態(tài)應(yīng)用HMI設(shè)計(jì)規(guī)范，強(qiáng)調(diào)了聚焦駕駛場(chǎng)景的核心任務(wù)；簡(jiǎn)潔高效交互，減少學(xué)習(xí)成本；三、“應(yīng)用為王”場(chǎng)景HarmonyOS智能座艙共享信息連接智能座艙常見功能場(chǎng)景介紹PART0404智能座艙常見功能場(chǎng)景介紹DMS（駕駛員監(jiān)測(cè)系統(tǒng)）是檢測(cè)駕駛員出現(xiàn)疲勞及其他異常駕駛狀態(tài)的輔助設(shè)備。DMS系統(tǒng)基于攝像頭和近紅外技術(shù)，從閉眼、凝視方向、打哈欠和頭部運(yùn)動(dòng)等，檢測(cè)駕駛員狀態(tài)。若出現(xiàn)情況能及時(shí)語音燈光提示，起到警示駕駛員，防范駕駛嚴(yán)重事故的作用。一、駕駛員監(jiān)測(cè)系統(tǒng)04智能座艙常見功能場(chǎng)景介紹早期的條目式語音，在使用時(shí)你必須像背誦課文一樣對(duì)系統(tǒng)說出標(biāo)準(zhǔn)而又死板的指令，才能得到系統(tǒng)的正確回應(yīng)，哪怕說錯(cuò)一個(gè)字都不行。二、AI語音助手目前語音助手在識(shí)別準(zhǔn)確率提升之后，還能夠完成聲源定位、語義理解、單句多任務(wù)等功能。例如聲源定位可以讓后排右邊的乘客僅說出打開我的車窗，就能實(shí)現(xiàn)精準(zhǔn)定位，打開車窗。04智能座艙常見功能場(chǎng)景介紹語義理解能夠憑借粗略描述就能精準(zhǔn)反饋結(jié)果。自然語義理解(NLU)是語音控制迄今為止最困難的一步，因?yàn)橄到y(tǒng)需要理解用戶原始問題的意圖。其最大的特點(diǎn)就是對(duì)中文語言進(jìn)行了深入的優(yōu)化，無需刻板的命令詞匯，系統(tǒng)便可聽懂“人話”，能夠達(dá)到自然語音的效果。

二、AI語音助手蔚來語音助手NOMI04智能座艙常見功能場(chǎng)景介紹小鵬的語音助手小P目前的語音交互響應(yīng)速度達(dá)到了毫秒級(jí)，在線請(qǐng)求延時(shí)水平在1.8-2.0秒，對(duì)其進(jìn)行連續(xù)對(duì)話實(shí)測(cè)，1分鐘內(nèi)可完成了40+個(gè)指令。此外，小P在語音交互方面可做到前后四座收聲識(shí)別，如精準(zhǔn)識(shí)別副駕駛乘客下達(dá)調(diào)節(jié)座椅指令，聯(lián)動(dòng)可單獨(dú)調(diào)節(jié)副駕駛座椅。二、AI語音助手小鵬的語音助手小P04智能座艙常見功能場(chǎng)景介紹比亞迪“小迪”，持免喚醒和語音直達(dá)功能（oneshot），避免重復(fù)的喚醒詞，比如，調(diào)節(jié)音量，開關(guān)空調(diào)等操作，用戶直接發(fā)出“增大/減小音量”“打開/關(guān)閉空調(diào)”等指令即可。聲源定位功能，小迪可分辨出語音指令來自主駕還是副駕，并做出相應(yīng)的反饋指令二、AI語音助手比亞迪語音助手小迪工作狀態(tài)1、請(qǐng)查閱應(yīng)用為王場(chǎng)景中，有哪些應(yīng)用是被廣泛使用的，并簡(jiǎn)要概括。2、請(qǐng)查閱智能座艙具體需要哪些硬件，請(qǐng)簡(jiǎn)要說明這些硬件及作用。1.各組派代表闡述資料查詢結(jié)果。2.各組就各自的查詢結(jié)果進(jìn)行交流，并分享技巧。隨堂討論獨(dú)立完成智能座艙系統(tǒng)的概念及結(jié)構(gòu)的查詢，并將教材中表格填寫完畢。任務(wù)實(shí)施感謝觀看能力模塊一

對(duì)智能座艙系統(tǒng)的基本認(rèn)知任務(wù)二

了解智能座艙的發(fā)展歷程、前景及政策在公司某次合作項(xiàng)目中，主管要求你以PPT的形式整理智能座艙發(fā)展現(xiàn)狀資料用于項(xiàng)目介紹。你需要查閱智能座艙的發(fā)展歷程，重點(diǎn)了解我國(guó)智能座艙的相關(guān)政策。任務(wù)引入Tasktointroduce01智能座艙的發(fā)展歷程03智能座艙的相關(guān)政策02智能座艙的發(fā)展前景目錄

CONTENTS智能座艙的發(fā)展歷程PART0101智能座艙的發(fā)展歷程

智能座艙的發(fā)展呈現(xiàn)顯著的“三段式”發(fā)展節(jié)奏。分別為2000年以前機(jī)械時(shí)代、2000年-2015年電子時(shí)代、2015年至今智能時(shí)代。

第一階段，以駕駛和控制為中心，僅包含機(jī)械儀表盤以及功放機(jī)頭的駕駛環(huán)境。只有單一的機(jī)械儀表，簡(jiǎn)單的音頻播放設(shè)備，物理操作按鍵，沒有中控顯示屏，并且集成度較低，安全程度極低，智能化無。01智能座艙的發(fā)展歷程

第二階段，汽車開始智能化，網(wǎng)聯(lián)化，更多的傳感器和芯片技術(shù)，使汽車的感知能力和信息化處理能力有了較大進(jìn)步。

座艙多為機(jī)械儀表，極少數(shù)有液晶儀表，除此之外，多為物理按鍵，極少數(shù)為觸屏，擁有娛樂系統(tǒng)，小尺寸娛樂顯示，除此之外，集成度較低，安全程度較低，智能化程度低。01智能座艙的發(fā)展歷程2015年至今的智能時(shí)代，這階段的座艙也隨著汽車技術(shù)發(fā)展已正式進(jìn)入了智能化發(fā)展進(jìn)程當(dāng)中。

座艙大尺寸屏顯示、多聯(lián)屏出現(xiàn)，信息娛樂系統(tǒng)功能逐漸豐富，交互方式多樣，且為高度集成化，安全程度較高，智能化程度高。智能座艙的發(fā)展前景PART0202智能座艙的發(fā)展前景

交互界面走向多元化、復(fù)合化；

大屏化、多屏化、便捷化的聚屏?xí)r代來臨；

人性化駕駛體驗(yàn)的不斷升級(jí)；

自動(dòng)駕駛技術(shù)的不斷成熟。

當(dāng)前，我國(guó)的汽車智能座艙發(fā)展還處于起步階段，還有非常廣闊的發(fā)展空間和前景，總結(jié)為以下四個(gè)方面：02智能座艙的發(fā)展前景傳統(tǒng)的汽車座艙往往是通過機(jī)械的方式進(jìn)行交互的，在當(dāng)前的汽車駕駛中，駕駛?cè)藛T和車輛之間的交互逐漸增多，例如一些按鈕觸碰、語音指令等。交互界面走向多元化、復(fù)合化車輛的語音交互要遠(yuǎn)比其他交互方式更加便捷、高效，不需要浪費(fèi)駕駛?cè)藛T或者是操作人員較多的時(shí)間和注意力。隨著汽車智能座艙的不斷發(fā)展，多模態(tài)交互技術(shù)的使用也一定程度上拓展了人機(jī)交互空間。02智能座艙的發(fā)展前景在汽車智能設(shè)計(jì)中，智能座艙屏幕設(shè)計(jì)的尺寸逐漸變大，數(shù)量也漸漸變多。大屏化、多屏化、便捷化的聚屏?xí)r代來臨該屏幕承載的數(shù)據(jù)信息內(nèi)容也越來越多樣化，整體呈現(xiàn)出大屏化、多屏化、便捷化的發(fā)展趨勢(shì)。02智能座艙的發(fā)展前景

汽車智能座艙的快速發(fā)展，使得越來越多的用戶對(duì)駕駛場(chǎng)景的要求也越來越高。通過消費(fèi)者需求調(diào)研可看到，除了傳統(tǒng)的導(dǎo)航地圖，消費(fèi)者對(duì)車機(jī)上裝有豐富APP實(shí)現(xiàn)影視音樂、生活服務(wù)功能的需求較高。人性化駕駛體驗(yàn)的不斷升級(jí)02智能座艙的發(fā)展前景

在旅行游玩方面，能夠滿足用戶對(duì)線路規(guī)劃的需要，保障其出行路線更加科學(xué)，提高其出行效率和行車的安全程度。此外，還要使其能夠良好對(duì)出行路上的相關(guān)設(shè)施進(jìn)行提示，比如一些服務(wù)區(qū)、加油站、停車場(chǎng)等，使其有效地為用戶出行提供優(yōu)質(zhì)服務(wù)體驗(yàn)。人性化駕駛體驗(yàn)的不斷升級(jí)02智能座艙的發(fā)展前景自動(dòng)駕駛技術(shù)的不斷成熟

于用戶體驗(yàn)而言，將智能座艙中的人機(jī)交互、沉浸式體驗(yàn)等內(nèi)容，與智能駕駛的各項(xiàng)功能深度結(jié)合、聯(lián)動(dòng)，能夠直接提升用戶的安全感與舒適感，增強(qiáng)智能汽車的用戶使用體驗(yàn)。智能駕駛與智能座艙是汽車智能化變革的兩大核心功能域。汽車智能座艙的自動(dòng)駕駛功能是指通過利用一定信息技術(shù)來對(duì)行車路面信息進(jìn)行識(shí)別，并根據(jù)實(shí)際行車需要對(duì)其車輛進(jìn)行一定控制。智能座艙的相關(guān)政策PART0303智能座艙的相關(guān)政策

智能網(wǎng)聯(lián)汽車是指通過搭載先進(jìn)傳感器等裝置，運(yùn)用人工智能等新技術(shù)，具有自動(dòng)駕駛功能，逐步成為智能移動(dòng)空間和應(yīng)用終端的新一代汽車。汽車智能座艙的發(fā)展，也代表著汽車未來發(fā)展的方向，社會(huì)大眾對(duì)汽車駕駛的智能化需求與科技發(fā)展、人工智能技術(shù)發(fā)展的需求不斷增加，我國(guó)近些年相繼出臺(tái)了一系列法律法規(guī)促進(jìn)了自動(dòng)駕駛及智能汽車發(fā)展。發(fā)布時(shí)間發(fā)布單位政策名稱主要內(nèi)容2022年11月中華人民共和國(guó)中央人民政府《進(jìn)一步提高產(chǎn)品、工程和服務(wù)質(zhì)里行動(dòng)方案（2022-2025年）》加強(qiáng)系統(tǒng)融合、時(shí)間同步、仿真計(jì)量測(cè)試技術(shù)研究，提升智能網(wǎng)聯(lián)汽車的環(huán)境感知、決策和安全性能。2022年4月中華人民共和國(guó)中央人民政府《交通領(lǐng)域科技創(chuàng)新中長(zhǎng)期發(fā)展規(guī)劃綱要（2021-2035年）》推動(dòng)新能源汽車和智能網(wǎng)聯(lián)汽車研發(fā)，突破高效安全純電驅(qū)動(dòng)、燃料電池與整車設(shè)計(jì)、車載智能感知與控制等關(guān)鍵技術(shù)及設(shè)備。1、請(qǐng)查閱各大車廠是如何發(fā)展智能座艙的，并簡(jiǎn)要概括。2、請(qǐng)查閱智能座艙的發(fā)展歷程，請(qǐng)簡(jiǎn)要概括。1.各組派代表闡述資料查詢結(jié)果。2.各組就各自的查詢結(jié)果進(jìn)行交流，并分享技巧。隨堂討論除政策出臺(tái)促進(jìn)智能座艙外，經(jīng)濟(jì)環(huán)境、社會(huì)需求這兩個(gè)方面如何推動(dòng)了智能座艙的發(fā)展？上網(wǎng)整理資料，并完成教材工單。任務(wù)實(shí)施感謝觀看能力模塊一

對(duì)智能座艙系統(tǒng)的基本認(rèn)知任務(wù)三

了解常見車型的智能座艙作為智能座艙相關(guān)的技術(shù)助理，在某次市場(chǎng)分析報(bào)告會(huì)上，你的主管安排你協(xié)助市場(chǎng)部完成目前主流車型的智能座艙相關(guān)應(yīng)用功能的整理，熟悉整車廠、互聯(lián)網(wǎng)企業(yè)、傳統(tǒng)及新銳車企的智能座艙技術(shù)路線，并能夠針對(duì)某款車型進(jìn)行智能座艙應(yīng)用功能分析。任務(wù)引入Tasktointroduce01當(dāng)前主流智能座艙的技術(shù)路線分類認(rèn)知02智能座艙典型車型應(yīng)用目錄

CONTENTS當(dāng)前主流智能座艙的技術(shù)路線分類認(rèn)知PART0101當(dāng)前主流智能座艙的技術(shù)路線分類認(rèn)知

阿里、騰訊在智能座艙領(lǐng)域的發(fā)展主張“軟件定義”，專注于車內(nèi)場(chǎng)景的內(nèi)容應(yīng)用端，關(guān)聯(lián)用戶在車內(nèi)的休閑、娛樂和工作需求。

阿里、騰訊

百度和華為在技術(shù)開發(fā)上更注重的是智能座艙軟硬件的深度集成。屏幕的變化智能座艙典型車型應(yīng)用PART0202智能座艙典型車型應(yīng)用相比蔚來其他車型，蔚來ET7在基礎(chǔ)硬件上做了不少提升，從英偉達(dá)TegraX1升級(jí)到了高通驍龍8155，車機(jī)系統(tǒng)和NOMI的反應(yīng)速度都有明顯提升。蔚來ET7智能座艙典型應(yīng)用

數(shù)字鑰匙還首次應(yīng)用了UWB技術(shù)，車內(nèi)人臉傳感器改到了方向盤后方，增加了對(duì)寵物的識(shí)別能力，還有一些諸如60WType-C快充、AirCushion壓力舒緩系統(tǒng)等等硬件。02智能座艙典型車型應(yīng)用蔚來ET7智能座艙典型應(yīng)用主要功能應(yīng)用如下：（1）車內(nèi)氛圍燈設(shè)計(jì)精巧，氛圍光源全部為隱藏式，打開氛圍燈后，它通過LED光源會(huì)反射到內(nèi)飾各面板上，這種漫反射的柔光更容易讓人產(chǎn)生沉浸感，擁有諸多主題，如“曠野”“秘境”“螢火”“霞光”等等預(yù)設(shè)的主題模板。02智能座艙典型車型應(yīng)用蔚來ET7智能座艙典型應(yīng)用（2）自動(dòng)開啟兒童鎖：駕駛員除了可以通過中控屏對(duì)后排左右車門和左右車窗進(jìn)行獨(dú)立鎖止控制外，還可以開啟兒童鎖自動(dòng)上鎖功能，通過車內(nèi)攝像頭可以自動(dòng)識(shí)別后排乘客的兒童身份和乘坐的位置，以此來自動(dòng)開啟相應(yīng)一側(cè)的兒童鎖與車窗鎖。02智能座艙典型車型應(yīng)用蔚來ET7智能座艙典型應(yīng)用（3）智能音場(chǎng)調(diào)節(jié)實(shí)現(xiàn)更沉浸式體驗(yàn)：蔚來ET7標(biāo)配23個(gè)揚(yáng)聲器，總功率達(dá)到了1000W，并按照7.1.4聲道方案進(jìn)行布局，用戶在車內(nèi)即可享受到杜比全景聲的沉浸體驗(yàn)，另外，值得一提的是它的“智能音場(chǎng)調(diào)節(jié)”功能，它可以根據(jù)當(dāng)前車內(nèi)的用戶位置，自動(dòng)切換最優(yōu)的聲場(chǎng)，讓車內(nèi)每位乘客都能享受到這場(chǎng)聽覺盛宴。后排乘客可以通過語音控制的功能包括：車窗、閱讀燈、空調(diào)、座椅加熱/通風(fēng)/按摩/壓力舒緩。強(qiáng)大的語音交互能力使得后排乘客更便捷地打造專屬的舒適空間，基本實(shí)現(xiàn)了免動(dòng)手的交互體驗(yàn)。（4）后排乘客語音控制：蔚來ET7使用了4組麥克風(fēng)陣列和專用NPU核心，聽音辨位更精準(zhǔn)。02智能座艙典型車型應(yīng)用蔚來ET7智能座艙典型應(yīng)用02智能座艙典型車型應(yīng)用蔚來ET7智能座艙典型應(yīng)用（5）“快捷場(chǎng)景”：在中控屏內(nèi)的一級(jí)菜單中，可以看到一個(gè)叫做“快捷場(chǎng)景”的圖標(biāo)，簡(jiǎn)單來說這個(gè)功能可以讓車輛滿足某種條件后，自動(dòng)運(yùn)行某些功能，這些條件和功能可以由用戶自己來定制，組合出適合自己的個(gè)性化場(chǎng)景。作為大屏設(shè)計(jì)的領(lǐng)路人，特斯拉對(duì)智能化一直有著自己的見解，比如極簡(jiǎn)到放棄了儀表屏，把所有功能與操作都放在中控屏里。作為汽車智能化應(yīng)用領(lǐng)域中不可忽視的車企車型，我們需要對(duì)特斯拉的座艙智能化典型應(yīng)用有一定了解。02智能座艙典型車型應(yīng)用特斯拉ModelY智能座艙典型應(yīng)用02智能座艙典型車型應(yīng)用特斯拉ModelY智能座艙典型應(yīng)用特斯拉ModelY不僅支持自動(dòng)登錄賬號(hào)，方便用戶上車后自動(dòng)同步個(gè)人的偏好，比如上車后自動(dòng)調(diào)整合適坐姿與后視鏡位置、自動(dòng)開啟適合自己的空調(diào)；ModelY更可以對(duì)屏幕亮度、氛圍燈顏色、電池電量顯示方式、大燈、車窗鎖/兒童鎖、轉(zhuǎn)向模式、停止模式、輔助駕駛內(nèi)相關(guān)功能、離車后自動(dòng)上鎖、駐車時(shí)解鎖、鎖車提示音、鎖車時(shí)關(guān)閉車窗、自動(dòng)遠(yuǎn)光燈、大燈延遲照明這些功能進(jìn)行偏好設(shè)置。（1）賬號(hào)支持更多的偏好設(shè)置，提升用戶使用便利性02智能座艙典型車型應(yīng)用特斯拉ModelY智能座艙典型應(yīng)用特斯拉ModelY的手套箱表面上并沒有物理拉手，必須從中控屏內(nèi)開啟。并且可以設(shè)置4位開啟密碼，在代客模式下默認(rèn)禁止開啟手套箱，這種設(shè)計(jì)強(qiáng)化了手套箱的私密性，為用戶帶來更安全的感受。（2）帶密碼開啟的手套箱，為用戶帶來更安全的感受02智能座艙典型車型應(yīng)用特斯拉ModelY智能座艙典型應(yīng)用特斯拉ModelY可以通過方向盤右側(cè)的按鍵去激活語音助手，但它的語義理解能力有限，但語音可控制的硬件更多；比如可通過語音控制折疊/打開后視鏡、開閉兒童鎖、車窗鎖等，這為它極簡(jiǎn)內(nèi)飾取消物理按鍵彌補(bǔ)了一些實(shí)用性。（3）語音可控更多硬件，彌補(bǔ)極簡(jiǎn)內(nèi)飾便利性的不足02智能座艙典型車型應(yīng)用特斯拉ModelY智能座艙典型應(yīng)用特斯拉ModelY除了中控屏觸控的游戲之外，用戶還可以通過方向盤和手柄對(duì)游戲進(jìn)行操控。更令人欣喜的是，現(xiàn)在已經(jīng)有主流的游戲下放到了ModelY的車機(jī)中。（4）游戲生態(tài)多樣性豐富，支持手柄和方向盤玩游戲02智能座艙典型車型應(yīng)用特斯拉ModelY智能座艙典型應(yīng)用特斯拉ModelY到達(dá)目的地停好車后，它會(huì)自動(dòng)監(jiān)控車輛周圍的可疑活動(dòng)。當(dāng)探測(cè)到可疑行為時(shí)，車輛將根據(jù)威脅的嚴(yán)重程度做出反應(yīng)。（5）哨兵模式1、請(qǐng)查閱各大車廠的發(fā)展智能座艙都有哪些功能，并簡(jiǎn)要概括。2、請(qǐng)查閱百度的智能座艙技術(shù)方向，請(qǐng)簡(jiǎn)要概括。1.各組派代表闡述資料查詢結(jié)果。2.各組就各自的查詢結(jié)果進(jìn)行交流，并分享技巧。隨堂討論查閱網(wǎng)絡(luò)資料，自主選取一款車型進(jìn)行智能座艙應(yīng)用功能分析，并在教材中完成表單填寫。任務(wù)實(shí)施感謝觀看能力模塊二

對(duì)智能座艙硬件的基本認(rèn)知任務(wù)一

了解智能座艙的技術(shù)架構(gòu)作為一名智能座艙測(cè)試崗位實(shí)習(xí)生，在培訓(xùn)期間，上級(jí)要求你快速熟悉架構(gòu)體系，對(duì)今后的開發(fā)測(cè)試工作整體模塊有更清晰的認(rèn)知，你需要整理一份智能座艙整理架構(gòu)體系的思維導(dǎo)圖，并整理目前常見的智能網(wǎng)聯(lián)汽車車型的技術(shù)架構(gòu)。任務(wù)引入Tasktointroduce01智能座艙的整體架構(gòu)簡(jiǎn)介02智能座艙基礎(chǔ)平臺(tái)架構(gòu)的核心目錄

CONTENTS03目前座艙技術(shù)架構(gòu)及算法分析智能座艙的整體架構(gòu)簡(jiǎn)介PART0101智能座艙的整體架構(gòu)簡(jiǎn)介例如：導(dǎo)航主機(jī)是一家，液晶儀表是一家，同時(shí)還有一個(gè)AVM系統(tǒng)（全景式監(jiān)控影像系統(tǒng)）是一家，線束連接就非常復(fù)雜。

在傳統(tǒng)座艙中，儀表、娛樂、中控等系統(tǒng)相互獨(dú)立，主要由單一芯片驅(qū)動(dòng)單個(gè)功能/系統(tǒng)，通信開銷大。01智能座艙的整體架構(gòu)簡(jiǎn)介

隨著技術(shù)發(fā)展，座艙相關(guān)的系統(tǒng)也在往集成式的路線進(jìn)行發(fā)展?，F(xiàn)在智能座艙的車內(nèi)軟硬件一體化聚合，實(shí)現(xiàn)車輛感知精細(xì)化，車輛可在上車-行駛-下車的整個(gè)用車周期中，為駕乘人主動(dòng)提供場(chǎng)景化的服務(wù)，實(shí)現(xiàn)機(jī)器自主/半自主決策。01智能座艙的整體架構(gòu)簡(jiǎn)介AI單元：接觸最多的單元，主要用于處理各類傳感器的感知結(jié)果(音、頻或其他信號(hào)),并且將處理后的結(jié)果傳入處理器進(jìn)行推理計(jì)算。通信單元：實(shí)現(xiàn)互通互聯(lián)，包含GSM(全球移動(dòng)通信系統(tǒng))/GPRS(通用分組無線服務(wù)技術(shù))/C-V2X(基于蜂窩網(wǎng)的車載通信技術(shù))、GPS、WiFi以及藍(lán)牙等的無線連接。網(wǎng)關(guān)單元：用于保障座艙域內(nèi)安全可靠的數(shù)據(jù)傳輸、內(nèi)置存儲(chǔ)和常用網(wǎng)關(guān)接口，包括車載以太網(wǎng)(ETH)、控制器局域網(wǎng)(CAN.CANFD)、本地聯(lián)網(wǎng)(LIN)和車內(nèi)聯(lián)網(wǎng)(FlexRay)等接口。硬件平臺(tái)包含了A單元、通信計(jì)算以及網(wǎng)關(guān)3個(gè)單元。硬件平臺(tái)01智能座艙的整體架構(gòu)簡(jiǎn)介系統(tǒng)層先是通過虛擬機(jī)監(jiān)視器(Hypervisor)+板級(jí)支持包(BoardSupportPackage，BSP)的方式實(shí)現(xiàn)硬件平臺(tái)的虛擬化，使得系統(tǒng)軟件可以更方便地與不同硬件平臺(tái)對(duì)接。由于底層操作系統(tǒng)開發(fā)周期長(zhǎng)，投入資金大，因此當(dāng)前汽車座艙底層操作系統(tǒng)均在QNX、Linux和Android的基礎(chǔ)上定制開發(fā)，因此當(dāng)前座艙底層操作系統(tǒng)以QNX和Linux為主。系統(tǒng)層直接運(yùn)行在硬件之上，用于提供底層的算法、通信、狀態(tài)管理等服務(wù)。系統(tǒng)層01智能座艙的整體架構(gòu)簡(jiǎn)介目前解決異構(gòu)分布式系統(tǒng)之間的互聯(lián)和操作問題通常采用中間件技術(shù)。數(shù)據(jù)分布服務(wù)DDS(DataDistributionService)滿足多種分布式實(shí)時(shí)通信要求。車載操作系統(tǒng)需要建立跨多單元、高速、高效的DDS機(jī)制，DDS可采用發(fā)布/訂閱架構(gòu)?；谙到y(tǒng)層提供的感知、通信及管理等基礎(chǔ)服務(wù)，中間件技術(shù)主要是實(shí)現(xiàn)座艙不同功能的模塊化，用于上層座艙場(chǎng)景的開發(fā)。在智能基礎(chǔ)平臺(tái)里，多個(gè)分布的信息源與多個(gè)接收這些源的分布網(wǎng)絡(luò)節(jié)點(diǎn)構(gòu)成了異構(gòu)分布式網(wǎng)絡(luò)。中間件01智能座艙的整體架構(gòu)簡(jiǎn)介該層就是座艙用戶直接體驗(yàn)到的各類場(chǎng)景及功能。包含：感知模塊，如情緒感知、行為動(dòng)作感知、疲勞感知等。場(chǎng)景開發(fā)平臺(tái)可以根據(jù)這些感知結(jié)果進(jìn)行具體的場(chǎng)景開發(fā)，例如，檢測(cè)到駕駛員打電話時(shí)會(huì)進(jìn)行語音提醒，檢測(cè)到疲勞時(shí)，會(huì)播放音樂等。應(yīng)用層智能座艙基礎(chǔ)平臺(tái)架構(gòu)的核心PART02其核心為：用抽象層分離軟件與硬件，用一套基礎(chǔ)軟件平臺(tái)承載獨(dú)立的功能，實(shí)現(xiàn)即插即用，價(jià)值高的將從硬件轉(zhuǎn)移到軟件；用功能集的方式增加軟件復(fù)用率，允許跨車輛和汽車線路增加軟件模塊的再使用。SOA架構(gòu)可以實(shí)現(xiàn)多功能、多終端的無縫連接

在軟件部分，智能座艙的核心架構(gòu)為SOA架構(gòu)，其中域控制器能夠?qū)崿F(xiàn)軟硬件解耦。應(yīng)用層功能獨(dú)立，基礎(chǔ)軟件平臺(tái)創(chuàng)造新的機(jī)遇。架構(gòu)需從“信號(hào)導(dǎo)向”轉(zhuǎn)變?yōu)椤胺?wù)導(dǎo)向”（SOA）。02智能座艙基礎(chǔ)平臺(tái)架構(gòu)的核心SOA架構(gòu)可以實(shí)現(xiàn)多功能、多終端的無縫連接。02智能座艙基礎(chǔ)平臺(tái)架構(gòu)的核心

在硬件部分，SoC芯片成為目前智能座艙技術(shù)的核心硬件。SoC（SystemonChip）又稱系統(tǒng)級(jí)芯片，是一種集成電路的芯片，可以有效地降低電子/信息系統(tǒng)產(chǎn)品的開發(fā)成本，縮短開發(fā)周期，提高產(chǎn)品的競(jìng)爭(zhēng)力。02智能座艙基礎(chǔ)平臺(tái)架構(gòu)的核心SoC芯片瑞薩NXP德州儀器高通聯(lián)發(fā)科英特爾型號(hào)R-CARH3I.mxBQMJacinto7820ASA8155PMT2712A3960制造工藝16納米28納米16納米14納米7納米28納米14納米內(nèi)核8664864CPU算力40k26k22k45.2k85k22k42kGPU頻率600MHZ850MHZ750MHZ624MHZ700MHZ900MHZ650MHZGPU算力288128166.45881142133216車規(guī)級(jí)AEC-Q100ASIL-BAEC-Q100ASIL-BAEC-Q100ASIL-BAEC-Q100AEC-Q100AEC-Q100目前座艙技術(shù)架構(gòu)及算法分析PART0303目前座艙技術(shù)架構(gòu)及算法分析座艙技術(shù)架構(gòu)分析目前市面上主流車型座艙架構(gòu)組成大多是這七個(gè)部分：硬件、底層芯片、系統(tǒng)平臺(tái)、車機(jī)服務(wù)、決策中心、交互應(yīng)用以及云端服務(wù)，整個(gè)智能座艙系統(tǒng)按照這個(gè)架構(gòu)的形式進(jìn)行信息交互。03目前座艙技術(shù)架構(gòu)及算法分析座艙技術(shù)架構(gòu)分析硬件組成：主要是原始感光或應(yīng)聲部件，用于接收DMS攝像頭輸入的駕駛員面部或手部信息及OMS輸入的乘員信息。同時(shí)，接收車內(nèi)乘員輸入的相關(guān)語音信息，車載音響、顯示等硬件單元。底層芯片：主要是圖像或語音處理芯片功能包含對(duì)人臉識(shí)別、情緒識(shí)別、手勢(shì)識(shí)別、危險(xiǎn)行為識(shí)別、多模語音、功能算法等應(yīng)用。系統(tǒng)平臺(tái)：與智能駕駛類似,智能座艙在系統(tǒng)平臺(tái)層面需要建立硬件適配及驅(qū)動(dòng)控制,包含進(jìn)行安全數(shù)字輸入輸出單元、電源能量分配、編解碼、音頻輸出、顯示、can通信等單元。車機(jī)服務(wù)：智能座艙的核心服務(wù)，則更加依賴于車機(jī)服務(wù)進(jìn)行相應(yīng)的能力控制。整個(gè)車機(jī)服務(wù)包括系統(tǒng)控制、車身控制、數(shù)據(jù)服務(wù)、OTA(汽車遠(yuǎn)程升級(jí)技術(shù))、底盤狀態(tài)及車身數(shù)據(jù)等內(nèi)容。03目前座艙技術(shù)架構(gòu)及算法分析座艙技術(shù)架構(gòu)分析決策中心：主要是通過感知SDK(軟件開發(fā)工具包)建立場(chǎng)景SDK，從而構(gòu)建定制化場(chǎng)景及圖像/語音感知能力。多模態(tài)座艙交互技術(shù)總體包含:語音+手勢(shì)+視線智能人機(jī)交互系統(tǒng)。這里我們把圖像和語音感知處理能力統(tǒng)稱為多模態(tài)交互應(yīng)用技術(shù)框架。交互應(yīng)用：包括車身控制、系統(tǒng)控制、第三方APP交互控制、語音播報(bào)、用戶界面等幾個(gè)方面。同時(shí)，對(duì)于第三方應(yīng)用中的地圖、天氣、音樂等也有一定要求。云端服務(wù)：由于大量的數(shù)據(jù)涉及遠(yuǎn)程傳輸和監(jiān)控，且智能座艙的大算力算法模塊處理也更加依賴云端管理和計(jì)算能力。智能座艙云端服務(wù)包括算法模型訓(xùn)練、在線場(chǎng)景仿真、數(shù)據(jù)安全、OTA管理數(shù)據(jù)倉(cāng)儲(chǔ)、賬號(hào)服務(wù)等。03目前座艙技術(shù)架構(gòu)及算法分析智能座艙算法分類介紹駕駛員面部識(shí)別類：包含人頭識(shí)別、人眼識(shí)別、眼睛識(shí)別等;駕駛員動(dòng)作識(shí)別類：手勢(shì)動(dòng)作識(shí)別、身體動(dòng)作識(shí)別、嘴唇識(shí)別等;座艙聲音識(shí)別類：前排雙音區(qū)檢測(cè)、聲紋識(shí)別、語音性別識(shí)別/年齡識(shí)別等；座艙光線識(shí)別類：座艙氛圍燈、座艙主體背景、座艙內(nèi)飾等。目前，智能座艙算法模塊大致分為以下四大類:03目前座艙技術(shù)架構(gòu)及算法分析智能座艙算法分類介紹1、請(qǐng)理解智能座艙整理架構(gòu)體系內(nèi)容，結(jié)合教材信息并上網(wǎng)查找資料，整理一份智能座艙整理架構(gòu)體系的思維導(dǎo)圖。1、各組派代表闡述資料查詢結(jié)果。2、各組就各自的查詢結(jié)果進(jìn)行交流，并分享技巧。隨堂討論完成智能座艙基礎(chǔ)平臺(tái)核心技術(shù)認(rèn)知表填寫，并完成教材所示工單。任務(wù)實(shí)施感謝觀看能力模塊二

對(duì)智能座艙硬件的基本認(rèn)知任務(wù)二

認(rèn)知智能座艙的關(guān)鍵零部件及芯片智能座艙是多種硬件技術(shù)及模塊的集成，如芯片、各類傳感器、屏幕、車內(nèi)娛樂系統(tǒng)（音響、氛圍燈）等。作為智能座艙測(cè)試工程師，需要重點(diǎn)掌握計(jì)算模塊（芯片）和傳感器模塊（視覺及語音）的相關(guān)基礎(chǔ)知識(shí)，理解原理，為后續(xù)的硬件設(shè)備測(cè)試調(diào)試做準(zhǔn)備。任務(wù)引入Tasktointroduce01信息輸入部件認(rèn)知02信息處理部件認(rèn)知目錄

CONTENTS03信息輸出部件認(rèn)知信息輸入部件認(rèn)知PART0101信息輸入部件認(rèn)知座艙內(nèi)的攝像頭有多種類型，根據(jù)安裝位置不同，車載攝像頭可分為前視攝像頭、側(cè)視攝像頭、環(huán)視攝像頭、后視攝像頭及艙內(nèi)攝像頭。車載攝像頭被稱為“自動(dòng)駕駛的眼睛”，通過鏡頭和圖像傳感器實(shí)現(xiàn)圖像信息采集，超過80%的自動(dòng)駕駛技術(shù)都會(huì)運(yùn)用到攝像頭，或?qū)z像頭作為一種解決方案。車載攝像頭01信息輸入部件認(rèn)知

合理的傳聲器選型及安裝方式，可降低算法研發(fā)的難度，提升車載語音增強(qiáng)的性能。傳聲器安裝需要遠(yuǎn)離空調(diào)出風(fēng)口，音箱等聲源位置，集中式陣列通常安裝在車機(jī)或者頂燈位置。車載傳聲器陣列根據(jù)安裝方式分為集中式陣列和分布式陣列兩種。集中式陣列安裝方式簡(jiǎn)單，布線成本相對(duì)較低，而分布式陣列在多音區(qū)實(shí)現(xiàn)上更有優(yōu)勢(shì)。車載傳感器信息處理部件認(rèn)知PART0202信息處理部件認(rèn)知IntelCPU成為芯片技術(shù)進(jìn)步的旗幟，先后經(jīng)歷了x86CPU的升級(jí)，奔騰CPU的迭代，目前是酷睿CPU技術(shù)的不斷創(chuàng)新。芯片技術(shù)演化與發(fā)展與IntelCPU比肩發(fā)展的AMDCPU也是神一樣的存在，對(duì)芯片技術(shù)發(fā)展也起到了促進(jìn)作用。2021年，Intel推出了酷睿12代處理器，采用7nm工藝摩爾定律預(yù)言的芯片發(fā)展規(guī)律在這期間很好地被驗(yàn)證。02信息處理部件認(rèn)知隨著汽車往智能化的發(fā)展，特別是智能座艙和自動(dòng)駕駛概念的興起，對(duì)汽車的算力提出了更高的要求，傳統(tǒng)的功能芯片已無法滿足算力需求，主控芯片應(yīng)運(yùn)而生。車規(guī)級(jí)芯片發(fā)展?fàn)顩r當(dāng)前座艙芯片的主要參與企業(yè)包括恩智浦、德州儀器、瑞薩電子等傳統(tǒng)汽車芯片廠商，主要面向中低端市場(chǎng)，同時(shí)消費(fèi)電子領(lǐng)域的高通、三星等也加入了市場(chǎng)競(jìng)爭(zhēng)中，主要面向高端市場(chǎng)。CPU叫做中央處理器（centralprocessingunit）作為計(jì)算機(jī)系統(tǒng)的運(yùn)算和控制核心，是信息處理、程序運(yùn)行的最終執(zhí)行單元。CPU由數(shù)百萬個(gè)晶體管組成，可以有多個(gè)處理內(nèi)核，通常被稱為計(jì)算機(jī)的大腦。GPU叫做圖形處理器（GraphicsProcessingUnit，縮寫：\GPU\），又稱顯示核心、視覺處理器、顯示芯片，是一種專門在個(gè)人電腦、工作站、游戲機(jī)和一些移動(dòng)設(shè)備（如平板電腦、智能手機(jī)等）上做圖像和圖形相關(guān)運(yùn)算工作的微處理器。02信息處理部件認(rèn)知CPU和GPU的區(qū)別02信息處理部件認(rèn)知CPU和GPU的區(qū)別半導(dǎo)體器件主要分為四大類，包括集成電路，分立器件，光電電子器件，傳感器組成。集成電路芯片又分為模擬集成電路和數(shù)字集成電路兩大類。模擬集成電路主要包含了電源管理芯片（如過電壓保護(hù)芯片、快充芯片等）以及信號(hào)鏈芯片（又被稱為線性芯片，如濾波器）。數(shù)字集成電路在日常生活中用的比較多，如處理器芯片、存儲(chǔ)芯片以及執(zhí)行特定任務(wù)的ASIC芯片（如視頻編解碼、音樂播放器等使用的芯片）等。02信息處理部件認(rèn)知片上系統(tǒng)SoC02信息處理部件認(rèn)知片上系統(tǒng)SoC02信息處理部件認(rèn)知每顆芯片都有一定的功能，將它們組合在一起才是一個(gè)電路。隨著半導(dǎo)體技術(shù)的發(fā)展，大家發(fā)現(xiàn)即使每個(gè)功能的芯片集成度會(huì)變高變復(fù)雜，但每個(gè)獨(dú)立功能的芯片所構(gòu)成的電路依然會(huì)很占面積且經(jīng)濟(jì)性較差，所以就出現(xiàn)了SoC(System-on-a-Chip)，將上述特定功能的器件在一顆芯片上實(shí)現(xiàn)。在SoC出現(xiàn)之前，可編程核、IP、定制邏輯、存儲(chǔ)器等都在一個(gè)PCB上。片上系統(tǒng)SoC信息輸出部件認(rèn)知PART0303信息輸出部件認(rèn)知屏幕電動(dòng)車時(shí)代，由于加速性能遠(yuǎn)勝燃油車，比拼性能已經(jīng)幾乎沒有意義，因此電動(dòng)車從比拼動(dòng)力性能轉(zhuǎn)變?yōu)楸绕纯萍几?，特別是座艙領(lǐng)域，大屏或多屏幾乎是電動(dòng)車的標(biāo)配，這有帶動(dòng)中高端燃油車也不得不采用多屏或大屏與電動(dòng)車競(jìng)爭(zhēng)。目前中高端車，基本標(biāo)配全液晶儀表和中控大屏。03信息輸出部件認(rèn)知AR導(dǎo)航目前中高端車，基本標(biāo)配全液晶儀表和中控大屏。車內(nèi)屏幕顯示的AR導(dǎo)航是用一個(gè)非魚眼的常規(guī)鏡頭相機(jī)把車前圖像傳輸?shù)狡聊簧希倥cGPU渲染的導(dǎo)航圖標(biāo)疊加。奔馳的AR導(dǎo)航默認(rèn)顯示是顯示在中控屏上，不僅可以顯示圖標(biāo)，還可以顯示文本。03信息輸出部件認(rèn)知HUDHUD(HeadUpDisplay)稱之為抬頭顯示，又被叫做平視顯示系統(tǒng)，是指以車輛駕駛員為中心、盲操作、多功能儀表盤。它的作用，就是把時(shí)速、導(dǎo)航等重要的行車信息，投影到駕駛員前面的風(fēng)擋玻璃上，讓駕駛員盡量做到不低頭、不轉(zhuǎn)頭就能看到時(shí)速、導(dǎo)航等重要的駕駛信息。抬頭通常分為風(fēng)擋玻璃型(Windshield，W型)和集成顯示型(Combined，C型)。

HUD顯示示意圖

HUD關(guān)鍵參數(shù)03信息輸出部件認(rèn)知HUD在汽車市場(chǎng)上，W型抬頭大多應(yīng)用于豪華轎車，豪華轎車還配備了先進(jìn)的駕駛輔助系統(tǒng)(ADAS)，包括自適應(yīng)巡航控制、車道輔助等。WHUD用于顯示來自ADAS的信息，可以直接引導(dǎo)司機(jī)。w型抬頭頁(yè)面顯示內(nèi)容03信息輸出部件認(rèn)知HUD

目前，C型的抬頭通常是使用一塊透明樹脂材料作為輔助裝置進(jìn)行組合投影，方便裝卸。不同的CHUD因附加投影設(shè)備的位置而異。大部分顯示在儀表板上(左圖)，少數(shù)顯示在遮光板上(右圖)。C型抬頭:在儀表板上顯示(左)，在遮光板上顯示(右)03信息輸出部件認(rèn)知音響之所以可以稱為音響，最基本的條件就是有回放聲音的功能。其防干擾技術(shù)是分別對(duì)電源線的干擾采用扼流圈串在電源與音響之間進(jìn)行濾波，用以降低外界的噪聲干擾。車載音響是指安裝在車內(nèi)的聲音播放系統(tǒng)。03信息輸出部件認(rèn)知音響例如，音響結(jié)合前后排多屏操作，能夠?qū)崿F(xiàn)個(gè)性化、可定制的前排左右的分區(qū)音量。

智能汽車的快速發(fā)展，系統(tǒng)技術(shù)升級(jí)也為音響智能化打下了重要基礎(chǔ)，同時(shí)促進(jìn)音響供應(yīng)商利用智能化技術(shù)，開拓更多的功能需求，適配出行途中的各種場(chǎng)景。1、制作一份結(jié)構(gòu)流程圖，分類介紹智能座艙掛件零部件。1、各組派代表闡述資料查詢結(jié)果。2、各組就各自的查詢結(jié)果進(jìn)行交流，并分享技巧。隨堂討論從網(wǎng)絡(luò)搜索資料，結(jié)合教材信息，完成智能座艙相關(guān)關(guān)鍵部件認(rèn)知表填寫，完成教材所示工單。任務(wù)實(shí)施感謝觀看能力模塊二

對(duì)智能座艙硬件的基本認(rèn)知任務(wù)三

完成智能座艙臺(tái)架的認(rèn)知與傳感器安裝車載攝像頭和車載傳聲器隨著使用年限的增加，會(huì)造成接觸不良等故障。作為初級(jí)技術(shù)人員，上級(jí)要求你對(duì)智能座艙臺(tái)架系統(tǒng)進(jìn)行認(rèn)知，完成定期檢測(cè)工作，需要完成臺(tái)架配套傳聲器與攝像頭的安裝，并熟悉故障分析。任務(wù)引入Tasktointroduce01智能座艙臺(tái)架初步認(rèn)知02實(shí)現(xiàn)常見智能座艙傳感器的安裝目錄

CONTENTS03常見智能座艙傳感器拆裝注意事項(xiàng)與故障分析智能座艙臺(tái)架初步認(rèn)知PART0101智能座艙臺(tái)構(gòu)初步認(rèn)知目前主流的智能座艙的構(gòu)成主要包括：全液晶儀表大屏中控系統(tǒng)車載信息娛樂系統(tǒng)抬頭顯示系統(tǒng)流媒體后視鏡等核心控制部件是域控制器

傳統(tǒng)座艙域是由幾個(gè)分散子系統(tǒng)或單獨(dú)模塊組成，這種架構(gòu)無法支持多屏聯(lián)動(dòng)、多屏駕駛等復(fù)雜電子座艙功能，因此催生出座艙域控制器這種域集中式的計(jì)算平臺(tái)。01智能座艙臺(tái)構(gòu)初步認(rèn)知具體由教學(xué)系統(tǒng)、主娛樂顯示屏、副娛樂顯示屏、儀表盤、座艙域控制主機(jī)、天線、CAN等組成。

汽車智能座艙系統(tǒng)實(shí)訓(xùn)臺(tái)架是一個(gè)集車載智能駕駛系統(tǒng)、車載舒適系統(tǒng)和車載娛樂系統(tǒng)為一體的操作系統(tǒng)。01智能座艙臺(tái)構(gòu)初步認(rèn)知智能座艙控制主機(jī)作為智能座艙臺(tái)架的“大腦”，完成絕大部分功能的實(shí)現(xiàn)，因此其后端會(huì)設(shè)計(jì)很多接口完成與各模塊的連接。01智能座艙臺(tái)構(gòu)初步認(rèn)知教學(xué)系統(tǒng)分別是：電子助力轉(zhuǎn)向系統(tǒng)、車身控制模塊、電池管理系統(tǒng)、車輛控制單元、空調(diào)控制器、智能座艙控制單元、集成測(cè)試、駕駛員狀態(tài)監(jiān)控單元、手勢(shì)識(shí)別控制單元以及語音識(shí)別控制單元教學(xué)系統(tǒng)載體為臺(tái)架右側(cè)的一塊大幅顯示屏，內(nèi)搭載汽車智能座艙實(shí)訓(xùn)軟件系統(tǒng)，共有10個(gè)功能。01智能座艙臺(tái)構(gòu)初步認(rèn)知智能座艙小車四個(gè)AVM攝像頭拍攝圖像，可以收集車外環(huán)境數(shù)據(jù)，更好地全方位無死角了解車的周邊環(huán)境，實(shí)現(xiàn)360°全景式監(jiān)控影像系統(tǒng)（AroundViewMonitor，AVM）。智能座艙小車除了基礎(chǔ)框架，還在前后左右分別安裝了AVM攝像頭。01智能座艙臺(tái)構(gòu)初步認(rèn)知屏幕如圖所示：①號(hào)與②號(hào)分別是主、副娛樂屏，在教學(xué)系統(tǒng)下方的③號(hào)屏幕為儀表屏，用于觀察模擬車輛現(xiàn)象與車輛系統(tǒng)各類指標(biāo)變化。在智能座艙臺(tái)架上，除了教學(xué)系統(tǒng)的大屏，還有三塊屏幕發(fā)揮作用。01智能座艙臺(tái)構(gòu)初步認(rèn)知操作平臺(tái)硬件

在中控屏、娛樂屏下方為智能座艙的操作與接線平臺(tái)，在操作平臺(tái)左下側(cè)主要為天線區(qū)域，從左到右依次為收音機(jī)天線、GPS天線、Wi-Fi天線與藍(lán)牙天線，在GPS天線下方還安裝了一個(gè)左聲道咪頭，用于收發(fā)聲音信息。右側(cè)區(qū)域安裝了MDS攝像頭、媒體USB接口與USB接口，在MDS攝像頭下方也配備了右聲道咪頭。01智能座艙臺(tái)構(gòu)初步認(rèn)知臺(tái)架電路連接模塊

最左側(cè)紫色模塊為屏幕連接模塊，藍(lán)色區(qū)域包含了教學(xué)系統(tǒng)的四個(gè)端口（CAN0、CAN0、CAN1、CAN1），可以外接一個(gè)紅色CAN卡-進(jìn)行單獨(dú)測(cè)試CAN數(shù)據(jù)。01智能座艙臺(tái)構(gòu)初步認(rèn)知臺(tái)架電路連接模塊

在右下方的接口模塊為座艙域控制單元，從左到右依次是40P連接器（含喇叭、電源、CAN口、咪頭等）、3.0USB接口、DMS攝像頭連接線、行車記錄儀接口、AVM攝像頭接口、WiFi天線接口、儀表連接線接口、藍(lán)牙連接線接口、備用接口、收音機(jī)接口、副娛樂顯示屏接口、GPS天線接口、主娛樂顯示屏接口、網(wǎng)口。實(shí)現(xiàn)常見智能座艙傳感器的安裝PART02一、安裝喇叭02實(shí)現(xiàn)常見智能座艙傳感器的安裝智能座艙傳感器安裝安裝過程：將喇叭安裝到支架的上方位置。二、安裝左右聲道咪頭

將右聲道咪頭拿出來后，首先找準(zhǔn)右聲道咪頭的安裝孔，再將咪頭從控制臺(tái)架板面的后面往前插進(jìn)來，進(jìn)行安裝。02實(shí)現(xiàn)常見智能座艙傳感器的安裝智能座艙傳感器安裝二、安裝左右聲道咪頭

左聲道咪頭以同樣的方式從面板的后方往前插入孔中進(jìn)行安裝，安裝位置如下圖所示。02實(shí)現(xiàn)常見智能座艙傳感器的安裝智能座艙傳感器安裝一、MDS攝像頭安裝

將臺(tái)架配置好的MDS攝像頭安裝在儀表屏右側(cè)，安裝位置如圖所示，在安裝過程中需要使用到六角扳手進(jìn)行固定。02實(shí)現(xiàn)常見智能座艙傳感器的安裝智能座艙攝像頭安裝二、AVM攝像頭安裝

智能座艙臺(tái)架配套的小車有配套4個(gè)AVM攝像頭，4個(gè)攝像頭畫面拼接能夠?qū)崿F(xiàn)360°全景式監(jiān)控影像系統(tǒng)。如圖所示，四個(gè)攝像頭的安裝位置分別為小車的前后左右，除此之外，記錄儀攝像頭安裝在小車的中前位置。注意，在攝像頭的安裝過程中，需要將攝像頭安裝到對(duì)應(yīng)的朝向。02實(shí)現(xiàn)常見智能座艙傳感器的安裝智能座艙攝像頭安裝常見智能座艙傳感器拆裝注意事項(xiàng)與故障分析PART0303常見智能座艙傳感器拆裝注意事項(xiàng)與故障分析車載攝像頭拆裝注意事項(xiàng)關(guān)閉電源：在拆卸攝像頭之前，一定要先關(guān)閉車輛的電源，以防止電流引起的危險(xiǎn)。工具選擇：使用正確的工具進(jìn)行拆卸，以避免造成不必要的損壞。確定安裝位置：確定正確的安裝位置，在拆卸攝像頭之前，一定要先確認(rèn)攝像頭的安裝位置和固定方式。

在日常檢修和測(cè)試過程中，時(shí)常需要對(duì)各類與智能駕駛相關(guān)的車載攝像頭進(jìn)行拆裝，下面將列舉絕大多數(shù)車載攝像頭通用的拆裝注意事項(xiàng)，將不只針對(duì)某種特定類型。03常見智能座艙傳感器拆裝注意事項(xiàng)與故障分析常見的車載攝像頭故障及其分析拍攝圖像模糊或失真：這可能是因?yàn)閿z像頭鏡頭受到污垢或者灰塵的影響，或者鏡頭表面受到了損傷。解決方法是清潔鏡頭或者更換攝像頭。沒有圖像：如果車載攝像頭沒有顯示任何圖像，這可能是攝像頭的電源線路故障，或者與攝像頭相關(guān)的控制電路故障。解決方法是檢查電源線路或者更換攝像頭。

圖像視角存在偏差：原因可能是攝像頭安裝位置或者方向不正確，或者與攝像頭相關(guān)的控制電路故障。解決方法是調(diào)整攝像頭的安裝位置或者方向，或者更換攝像頭。03常見智能座艙傳感器拆裝注意事項(xiàng)與故障分析常見的車載攝像頭故障及其分析圖像顏色失真：顯示的圖像顏色失真，可能是攝像頭的白平衡調(diào)整不正確，或者是攝像頭的控制電路故障。解決方法是重新設(shè)置攝像頭的白平衡，或者更換攝像頭。閃爍的圖像：顯示的圖像閃爍或者出現(xiàn)條紋，可能是攝像頭電源電壓不穩(wěn)定，或者與攝像頭相關(guān)的控制電路故障。解決方法是檢查車輛電源電壓是否穩(wěn)定，或者更換攝像頭。03常見智能座艙傳感器拆裝注意事項(xiàng)與故障分析車載麥克風(fēng)拆裝注意事項(xiàng)關(guān)閉電源：在拆卸或安裝車載麥克風(fēng)之前，一定要斷開電源，以防止電擊事故的發(fā)生。清潔工作：拆裝之前，應(yīng)先將外殼上的灰塵和污垢清除干凈。清潔時(shí)要避免使用有腐蝕性或者磨蝕性的化學(xué)品或器具。拆卸麥克風(fēng)：在拆卸時(shí)，需要根據(jù)不同車型選擇正確的拆卸方法，避免損壞麥克風(fēng)、車身內(nèi)飾和其他部件。

車載麥克風(fēng)是汽車音響系統(tǒng)中的一個(gè)重要組成部分，通常用于語音交流或者語音控制。下面是一些車載麥克風(fēng)拆裝注意事項(xiàng)：03常見智能座艙傳感器拆裝注意事項(xiàng)與故障分析車載麥克風(fēng)拆裝注意事項(xiàng)小心線路連接：在拆卸或安裝麥克風(fēng)時(shí)，需要小心線路的連接，確保線路連接正確并緊固。安裝麥克風(fēng)：注意選擇正確的位置并固定好，以確保麥克風(fēng)與語音源之間的距離合適，且不會(huì)被其他汽車零部件擋住。測(cè)試麥克風(fēng)：測(cè)試時(shí)需要使用測(cè)試設(shè)備或者語音控制系統(tǒng)，以確保麥克風(fēng)能夠準(zhǔn)確地捕捉語音信號(hào)并傳遞給控制系統(tǒng)。03常見智能座艙傳感器拆裝注意事項(xiàng)與故障分析常見的車載麥克風(fēng)故障和排除方法沒有聲音輸入：可能是線路故障、麥克風(fēng)損壞或者車載媒體設(shè)備故障造成的?？梢詸z查麥克風(fēng)是否連接正常、線路是否損壞、媒體設(shè)備是否設(shè)置正確等問題。噪音干擾：可能是由于線路不良、車輛環(huán)境噪音干擾等原因造成的?？梢詸z查線路是否連接穩(wěn)定，車輛環(huán)境是否影響麥克風(fēng)的使用等問題。

聲音失真：可能是由于麥克風(fēng)信號(hào)過載、線路不良、麥克風(fēng)故障等原因造成的?？梢試L試降低麥克風(fēng)輸入信號(hào)，更換線路，或更換麥克風(fēng)等解決方法。1、熟悉座艙傳聲器和攝像頭的安裝流程。1、各組派代表闡述資料查詢結(jié)果。2、各組就各自的查詢結(jié)果進(jìn)行交流，并分享技巧。隨堂討論結(jié)合教材，上網(wǎng)查閱資料，總結(jié)常見的車載攝像頭常見故障。任務(wù)實(shí)施感謝觀看能力模塊三

掌握智能座艙中機(jī)器視覺技術(shù)的應(yīng)用任務(wù)一

了解機(jī)器視覺數(shù)字圖像處理技術(shù)智聯(lián)駕駛平臺(tái)提供的人臉識(shí)別、融合多類攝像頭與傳感器實(shí)現(xiàn)的ADAS功能與圖像處理技術(shù)密不可分。在開發(fā)任務(wù)中，主管要求你在熟悉座艙視覺傳感器拆裝之后，了解跟圖像相關(guān)的理論知識(shí)補(bǔ)充，熟悉圖像化預(yù)處理以及深度學(xué)習(xí)在圖像應(yīng)用，整理資料完成傳統(tǒng)淺層學(xué)習(xí)和深度學(xué)習(xí)的對(duì)比分析表與圖像處理技術(shù)文檔。任務(wù)引入Tasktointroduce01圖像處理的發(fā)展過程認(rèn)知02視覺處理結(jié)束認(rèn)知目錄

CONTENTS03特征檢測(cè)與匹配技術(shù)應(yīng)用與測(cè)試04深度學(xué)習(xí)在自動(dòng)駕駛中的應(yīng)用認(rèn)知圖像處理的發(fā)展過程認(rèn)知PART0101圖像處理的發(fā)展過程認(rèn)知在當(dāng)時(shí)那個(gè)年代如果不采用數(shù)字圖像處理，一張圖像傳達(dá)的時(shí)間需要7天，而借助數(shù)字圖像處理技術(shù)僅耗費(fèi)3小時(shí)。

上個(gè)世紀(jì)20年代，數(shù)字圖像處理最早應(yīng)用于報(bào)紙行業(yè)。由于報(bào)紙行業(yè)信息傳輸?shù)男枰?，一根海底電纜從英國(guó)倫敦連輸?shù)矫绹?guó)紐約，實(shí)現(xiàn)了第一幅數(shù)字照片的傳送。01圖像處理的發(fā)展過程認(rèn)知1972年10月芝加哥北美放射年會(huì)上展出了讓整個(gè)醫(yī)學(xué)界震驚的腦部以及完成該圖像的計(jì)算機(jī)輻射X線頭部成像設(shè)備，向世界隆重展示了CT，引起了醫(yī)學(xué)界的轟動(dòng)，這是當(dāng)時(shí)圖像處理在醫(yī)學(xué)診斷應(yīng)用中最重要的事件之一。

隨著計(jì)算機(jī)技術(shù)的發(fā)展，計(jì)算機(jī)技術(shù)與數(shù)字圖像處理兩者之間結(jié)合得越來越緊密，從而促進(jìn)了數(shù)字圖像處理技術(shù)的發(fā)展。01圖像處理的發(fā)展過程認(rèn)知20世紀(jì)70年代，借助計(jì)算機(jī)、人工智能等方面的快速發(fā)展，數(shù)字圖像處理技術(shù)實(shí)現(xiàn)了更高層次的發(fā)展。相關(guān)工作人員已經(jīng)著手研究如何使用計(jì)算機(jī)進(jìn)行圖像解釋。到70年代中期，麻省理工學(xué)院（MIT）人工智能（AI）實(shí)驗(yàn)室：CSAIL正式開設(shè)計(jì)算機(jī)視覺課程。01圖像處理的發(fā)展過程認(rèn)知

上個(gè)世紀(jì)80年代，研究人員將數(shù)字圖像處理應(yīng)用于地理信息系統(tǒng)。從這個(gè)階段開始數(shù)字圖像處理技術(shù)的應(yīng)用領(lǐng)域不斷擴(kuò)大，在工業(yè)檢測(cè)、遙感等方面也得到了廣泛應(yīng)用，在遙感方面實(shí)現(xiàn)了對(duì)衛(wèi)星傳送回來的圖像的處理。01圖像處理的發(fā)展過程認(rèn)知

到20世紀(jì)90年代，數(shù)字圖像處理技術(shù)得到了一個(gè)快速發(fā)展，其中特別是小波理論和變換方法的誕生，更好地實(shí)現(xiàn)了數(shù)字圖像的分解與重構(gòu)。01圖像處理的發(fā)展過程認(rèn)知從目前數(shù)字圖像處理技術(shù)的特點(diǎn)進(jìn)行分析，可以發(fā)現(xiàn)圖像信息量巨大，在圖像處理綜合性方面顯示出十分明顯的優(yōu)勢(shì)，其中就借助了圖像信息理論與通信理論的緊密聯(lián)系。加上數(shù)字圖像處理技術(shù)具有處理精度高、靈活性強(qiáng)、再現(xiàn)性好、適用面廣、信息壓縮的潛力大等特點(diǎn)，因此已經(jīng)成功地應(yīng)用在各個(gè)領(lǐng)域。

進(jìn)入到21世紀(jì)，借助計(jì)算機(jī)技術(shù)的飛速發(fā)展與各類理論的不斷完善，數(shù)字圖像處理技術(shù)的應(yīng)用范圍被拓寬，甚至已經(jīng)在某些領(lǐng)域取得突破。視覺預(yù)處理技術(shù)認(rèn)知PART0202視覺預(yù)處理技術(shù)認(rèn)知圖像預(yù)處理的目的一方面，圖像在采集中有可能發(fā)生幾何失真，為恢復(fù)場(chǎng)景和圖像的空間對(duì)應(yīng)關(guān)系，需要進(jìn)行坐標(biāo)變換。為了更方便有效地獲取其中的信息，提高后續(xù)加工的效率，常需對(duì)圖像進(jìn)行一定的預(yù)處理。另一方面，對(duì)圖像的幅度也需要進(jìn)行一定的調(diào)整，以改善圖像的視覺質(zhì)量。02視覺預(yù)處理技術(shù)認(rèn)知坐標(biāo)變換

對(duì)圖像進(jìn)行坐標(biāo)變換實(shí)際上是對(duì)像素坐標(biāo)的空間位置進(jìn)行變換，變換的結(jié)果是改變了像素在圖像中的分布和關(guān)系，不改變圖像的像素值。在坐標(biāo)變換中，主要包括三類：圖像平移、尺度變換和圖像旋轉(zhuǎn)。坐標(biāo)變換圖像平移尺度變換圖像旋轉(zhuǎn)02視覺預(yù)處理技術(shù)認(rèn)知坐標(biāo)變換

一、圖像平移

圖像中的所有像素點(diǎn)按照給定的平移量進(jìn)行水平或垂直方向上的移動(dòng)。如圖所示，假設(shè)原始像素的位置坐標(biāo)為（x0，y0），經(jīng)過平移量（△x，△y）后，坐標(biāo)變?yōu)椋▁1,y1）。一張圖像中的所有像素點(diǎn)均按照平移量進(jìn)行整體移動(dòng)，圖像就能夠?qū)崿F(xiàn)平移效果。02視覺預(yù)處理技術(shù)認(rèn)知坐標(biāo)變換

二、尺度變換

尺度變換也稱放縮變換，它改變像素間的距離，對(duì)物體來說則改變了物體的尺度。尺度變換一般是沿坐標(biāo)軸方向進(jìn)行的，或可分解為沿坐標(biāo)軸方向進(jìn)行的變換；簡(jiǎn)單來說，尺度變換是對(duì)數(shù)字圖像的大小進(jìn)行調(diào)整的過程。02視覺預(yù)處理技術(shù)認(rèn)知坐標(biāo)變換

三、圖像旋轉(zhuǎn)

圖像旋轉(zhuǎn)是指圖像以某一點(diǎn)為中心旋轉(zhuǎn)一定的角度，形成一幅新的圖像的過程。圖像旋轉(zhuǎn)變換會(huì)有一個(gè)旋轉(zhuǎn)中心，這個(gè)旋轉(zhuǎn)中心一般為圖像的中心，旋轉(zhuǎn)之后圖像的大小一般會(huì)發(fā)生改變。如圖圖表示原始圖像的坐標(biāo)（x0,y0）旋轉(zhuǎn)至（x1,y1）的過程。02視覺預(yù)處理技術(shù)認(rèn)知幾何失真較正

在許多實(shí)際的圖像采集處理過程中，圖像中像素之間的空間關(guān)系會(huì)發(fā)生變化，這時(shí)可以說圖像產(chǎn)生了幾何失真或幾何畸變。這時(shí)需要通過幾何變換來校正失真圖像中的各像素位置，以重新得到像素間原來應(yīng)有的空間關(guān)系。實(shí)現(xiàn)畸變矯正之前我們需要知道兩個(gè)重要參數(shù)，一個(gè)是相機(jī)內(nèi)參，另一個(gè)是畸變參數(shù)。02視覺預(yù)處理技術(shù)認(rèn)知灰度化處理

灰度化處理是一種基于圖像像素的操作，通過對(duì)原始圖像中的每個(gè)像素賦予一個(gè)新的灰度值來增強(qiáng)圖像，對(duì)原始圖像中的每個(gè)像素都用這個(gè)映射函數(shù)將其原來的灰度值s轉(zhuǎn)化成另一灰度值t再進(jìn)行輸出。簡(jiǎn)單來說就是輸入一幅圖像，將產(chǎn)生一幅輸出圖像，輸出圖像的每個(gè)像素點(diǎn)的灰度值由輸入像素點(diǎn)決定。02視覺預(yù)處理技術(shù)認(rèn)知

色圖像通常包括R、G、B三個(gè)分量，分別顯示出紅綠藍(lán)等各種顏色，灰度化就是使彩色圖像的R、G、B三個(gè)分量相等的過程，灰度圖像中每個(gè)像素僅具有一種樣本顏色，其灰度是位于黑色與白色之間的多級(jí)色彩深度，灰度值大的像素點(diǎn)比較亮，反之比較暗，像素值最大為255（表示白色），像素值最小為0（表示黑色）?；叶然幚?2視覺預(yù)處理技術(shù)認(rèn)知直方圖修正

假設(shè)存在一幅6×6像素的圖像，接著統(tǒng)計(jì)其1至6灰度級(jí)的出現(xiàn)頻率，并繪制如所示的柱狀圖，其中橫坐標(biāo)表示灰度級(jí)，縱坐標(biāo)表示灰度級(jí)出現(xiàn)的頻率。借助對(duì)圖像直方圖的修改或變換，可以改變圖像像素的灰度分布，從而達(dá)到對(duì)圖像進(jìn)行增強(qiáng)的目的。直方圖修正以概率論為基礎(chǔ)，常用的方法主要有直方圖均衡化和直方圖規(guī)定化。02視覺預(yù)處理技術(shù)認(rèn)知

一、均衡化

直方圖均衡化是一種典型的通過對(duì)圖像的直方圖進(jìn)行修正來獲得圖像增強(qiáng)效果的自動(dòng)方法，主要用于增強(qiáng)動(dòng)態(tài)范圍偏小的圖像的反差。這個(gè)方法的基本思想是把原始圖像的直方圖變換為在整個(gè)灰度范圍內(nèi)均勻分布的形式，這樣就增加了像素灰度值的動(dòng)態(tài)范圍，從而達(dá)到增強(qiáng)圖像整體對(duì)比度的效果。直方圖修正02視覺預(yù)處理技術(shù)認(rèn)知

二、規(guī)定化

直方圖規(guī)定化方法，用戶可以指定需要的規(guī)定化函數(shù)來得到特殊的增強(qiáng)功能。一般來說正確地選擇規(guī)定化的函數(shù)常有可能獲得比進(jìn)行直方圖均衡化所能獲得的更好的效果。簡(jiǎn)單來說就是按照給定的直方圖形狀調(diào)整原先圖像的直方圖信息。直方圖匹配使用到了直方圖變換以及均衡化的思想，通過建立映射關(guān)系，使期望圖像的直方圖達(dá)到一種特定的形態(tài)。直方圖修正特征檢測(cè)與匹配技術(shù)應(yīng)用PART0303特征檢測(cè)與匹配技術(shù)應(yīng)用特征檢測(cè)算法一、Harris角點(diǎn)檢測(cè)

角點(diǎn)檢測(cè)是最早提出的特征點(diǎn)檢測(cè)之一；角點(diǎn)沒有嚴(yán)格的定義，通常認(rèn)為角點(diǎn)是二維圖像亮度變化劇烈的點(diǎn)，或圖像邊緣曲線的曲率局部極大值點(diǎn)或多條邊緣曲線交匯點(diǎn)。

這種方法的缺點(diǎn)是響應(yīng)值非各向同性，對(duì)噪聲和邊緣敏感，對(duì)旋轉(zhuǎn)不具備不變性。03特征檢測(cè)與匹配技術(shù)應(yīng)用特征檢測(cè)算法二、尺度不變特征變換（SIFT） SIFT算法的不變特征提取具有無與倫比的優(yōu)勢(shì)，但其仍然存在實(shí)時(shí)性不高、有時(shí)特征點(diǎn)少、對(duì)邊緣模糊的目標(biāo)無法準(zhǔn)確提取特征點(diǎn)等缺陷。事實(shí)上，SIFT描述子最大的問題在于計(jì)算量大、效率不高，不利于后面的特征點(diǎn)匹配。03特征檢測(cè)與匹配技術(shù)應(yīng)用特征檢測(cè)算法

特征匹配就像比較兩個(gè)圖像的特征，這兩個(gè)圖像可能在方向、視角、亮度上不同，甚至大小和顏色也不同。深度學(xué)習(xí)在自動(dòng)駕駛中的應(yīng)用認(rèn)知PART0404深度學(xué)習(xí)在自動(dòng)駕駛中的應(yīng)用認(rèn)知深度學(xué)習(xí)（DeepLearning）是源于人工神經(jīng)網(wǎng)絡(luò)的一種機(jī)器學(xué)習(xí)方法，是對(duì)人類神經(jīng)系統(tǒng)識(shí)別過程的模擬。深度學(xué)習(xí)簡(jiǎn)述通過搭建用于學(xué)習(xí)分析的神經(jīng)元網(wǎng)絡(luò)，對(duì)底層選取特征形成抽象的數(shù)字化屬性，以大規(guī)模數(shù)據(jù)為輸入基礎(chǔ)，將復(fù)雜的信息提取并精簡(jiǎn)表示。深度學(xué)習(xí)算法采用了由輸入層、隱含層、輸出層組成的多層網(wǎng)絡(luò)結(jié)構(gòu)。04深度學(xué)習(xí)在自動(dòng)駕駛中的應(yīng)用認(rèn)知輔助駕駛技術(shù)最大的作用就是提高汽車在駕駛過程中的安全性，是一種減少交通事故的有效手段。深度學(xué)習(xí)在輔助駕駛中的應(yīng)用針對(duì)傳感器技術(shù)、大數(shù)據(jù)分析、深度學(xué)習(xí)等方面進(jìn)行改進(jìn)優(yōu)化，使得硬件設(shè)備可以更快地感知到目標(biāo)信息，核心處理器算法能夠更快地計(jì)算控制。04深度學(xué)習(xí)在自動(dòng)駕駛中的應(yīng)用認(rèn)知傳統(tǒng)行人識(shí)別方法：主要通過人工設(shè)計(jì)特征和結(jié)合分類器來實(shí)現(xiàn)。比較經(jīng)典的方法有HOG+SVM、HOG+LBP等。這種方法可以避免行人遮擋的影響，但泛化能力和精度較低。基于深度學(xué)習(xí)方法:通過多層卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)行人進(jìn)行分類定位?；谳斎雸D像獨(dú)立學(xué)習(xí)特征，提取的特征更加豐富。

行人檢測(cè)是車輛輔助駕駛系統(tǒng)中不可或缺的一部分。行人檢測(cè)需要及時(shí)檢測(cè)出車輛前方的行人并由系統(tǒng)或者駕駛員針對(duì)實(shí)際狀況采取相應(yīng)的措施。目前行人檢測(cè)方法主要分為兩類：深度學(xué)習(xí)算法在行人檢測(cè)中的應(yīng)用04深度學(xué)習(xí)在自動(dòng)駕駛中的應(yīng)用認(rèn)知

車道線是汽車行駛過程中道路上一種重要的交通標(biāo)志，用于約束車輛的基本行駛行為。對(duì)車道線的檢測(cè)和識(shí)別是影響輔助駕駛系統(tǒng)的基礎(chǔ)和關(guān)鍵。深度學(xué)習(xí)算法在車道檢測(cè)中的應(yīng)用基于深度學(xué)習(xí)算法的基本思路是通過已有或改進(jìn)的深度學(xué)習(xí)框架來實(shí)現(xiàn)檢測(cè)。通過使用大規(guī)模標(biāo)記數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使其對(duì)于提取車道線特征具有良好特性，實(shí)現(xiàn)對(duì)車道線的檢測(cè)。1、簡(jiǎn)單描述深度學(xué)習(xí)在自動(dòng)駕駛中有哪些應(yīng)用。1、各組派代表闡述資料查詢結(jié)果。2、各組就各自的查詢結(jié)果進(jìn)行交流，并分享技巧。隨堂討論查閱資料，了解機(jī)器視覺數(shù)字圖像處理技術(shù)完成教材所示工單。任務(wù)實(shí)施感謝觀看能力模塊三

掌握智能座艙中機(jī)器視覺技術(shù)的應(yīng)用任務(wù)二實(shí)現(xiàn)手勢(shì)交互技術(shù)的應(yīng)用作為一名智能座艙方向的開發(fā)助理，在智能控制板塊的開發(fā)過程中，主管需要你完成手勢(shì)識(shí)別功能，因此你的工作是制作一份PPT進(jìn)行手勢(shì)交互應(yīng)用實(shí)例展示，同時(shí)完成云端調(diào)用API實(shí)現(xiàn)手勢(shì)識(shí)別。任務(wù)引入Tasktointroduce01手勢(shì)交互的應(yīng)用場(chǎng)景02云端調(diào)用API實(shí)現(xiàn)目錄

CONTENTS03本地model部署手勢(shì)交互的應(yīng)用場(chǎng)景PART0101手勢(shì)交互的應(yīng)用場(chǎng)景

人機(jī)交互種類多樣化，常見的人機(jī)交互技術(shù)有基于鍵盤和鼠標(biāo)的輸入、基于聲音和面部表情以及手勢(shì)識(shí)別技術(shù)，其中手勢(shì)是一種具有特定意義的語言，具有自然、直觀以及靈活等優(yōu)點(diǎn)，手勢(shì)識(shí)別在模式識(shí)別和人機(jī)交互領(lǐng)域逐漸成為熱點(diǎn)研究。萬物互聯(lián)，人機(jī)交互技術(shù)越來越貼近于我們的生活，人機(jī)交互是計(jì)算機(jī)領(lǐng)域中的一項(xiàng)重要技術(shù)。01手勢(shì)交互的應(yīng)用場(chǎng)景VR手勢(shì)

VR是利用計(jì)算機(jī)技術(shù)來創(chuàng)建模擬環(huán)境。與傳統(tǒng)的用戶界面不同，VR通過模擬盡可能多的感官（例如視覺，聽覺，觸覺甚至氣味），將用戶帶入一種看似真實(shí)的體驗(yàn)，讓用戶沉浸在其中并能夠與3D世界互動(dòng)。在汽車行業(yè)內(nèi)，VR應(yīng)用于汽車駕駛、選款定制汽車內(nèi)飾、模擬駕駛、汽車設(shè)計(jì)制造等方面。01手勢(shì)交互的應(yīng)用場(chǎng)景VR手勢(shì)

得益于計(jì)算機(jī)視覺和深度學(xué)習(xí)技術(shù)的發(fā)展，現(xiàn)在能夠在普通攝像頭上實(shí)現(xiàn)精度較高的手勢(shì)識(shí)別。VR強(qiáng)調(diào)沉浸感，而手勢(shì)交互可以極大地提升VR使用中的沉浸感。所以VR+手勢(shì)這個(gè)落地方向很有前景，等VR得到普及后，定會(huì)改變?nèi)祟惖膴蕵贩绞?。此類代表產(chǎn)品：LeapMotion、uSens、極魚科技等。01手勢(shì)交互的應(yīng)用場(chǎng)景

AR，即增強(qiáng)現(xiàn)實(shí)（AugmentedReality，簡(jiǎn)稱AR），可以簡(jiǎn)單理解為，將一些很難體驗(yàn)到的實(shí)體信息（視覺信息、聲音、味道、觸覺等）模擬仿真疊加放在真實(shí)世界空間內(nèi)，被人類感官所感知。AR手勢(shì)01手勢(shì)交互的應(yīng)用場(chǎng)景

AR手勢(shì)技術(shù)，原理是輸入雙目灰度圖像，輸出雙手23關(guān)鍵點(diǎn)的3D位置和旋轉(zhuǎn)信息、手勢(shì)類別。以HoloLens為代表的很多公司都在做AR眼鏡。AR眼鏡可能會(huì)脫離實(shí)體的觸屏和鼠標(biāo)鍵盤這些輸入工具，取而代之的輸入是圖像和語音等。AR手勢(shì)01手勢(shì)交互的應(yīng)用場(chǎng)景這里用到的手勢(shì)識(shí)別比較簡(jiǎn)單，基本只要識(shí)別單點(diǎn)多點(diǎn)。但在使用過程中手很容易擋住投影儀顯示的屏幕，而且還有顯示清晰度的問題。桌面手勢(shì)此場(chǎng)景可能更多的是一種探索，落地的可能性較小。以SonyXperiaTouch為代表的投影儀+手勢(shì)識(shí)別，將屏幕投影到任何平面上，再通過手勢(shì)識(shí)別模擬觸屏操作。01手勢(shì)交互的應(yīng)用場(chǎng)景車載手勢(shì)識(shí)別是指計(jì)算機(jī)能夠識(shí)別人的不同手勢(shì)，并判斷不同手勢(shì)的相應(yīng)含義，從而實(shí)現(xiàn)對(duì)應(yīng)的功能。車載手勢(shì)手勢(shì)識(shí)別對(duì)人的限制非常小，并且自然、直觀，這令其在人機(jī)交互方式中脫穎而出。人和計(jì)算機(jī)之間的通信逐漸不再依賴中間媒介，人手成了終端設(shè)備的中間輸入工具，計(jì)算機(jī)被用戶預(yù)先定義的各類手勢(shì)加以操縱。云端調(diào)用API實(shí)現(xiàn)PART0202云端調(diào)用API實(shí)現(xiàn)調(diào)用百度云實(shí)現(xiàn)手勢(shì)識(shí)別API

云API的主要功能有：識(shí)別圖片中的手勢(shì)類型，返回手勢(shì)名稱、手勢(shì)矩形框、概率分?jǐn)?shù)，可識(shí)別24種常見手勢(shì)，適用于手勢(shì)特效、智能家居手勢(shì)交互等場(chǎng)景。

手勢(shì)識(shí)別的場(chǎng)景要求：主要適用于3米以內(nèi)的自拍、他人拍攝，1米內(nèi)識(shí)別效果最佳，拍攝距離太遠(yuǎn)時(shí)，手部目標(biāo)太小，無法準(zhǔn)確定位和識(shí)別。02云端調(diào)用API實(shí)現(xiàn)一、注冊(cè)API密鑰操作步驟

（一）登錄百度智能云

百度智能云的頁(yè)面網(wǎng)址為：/創(chuàng)建賬號(hào)登錄，進(jìn)行實(shí)名認(rèn)證。百度智能云的登錄頁(yè)面如圖所示。調(diào)用百度云實(shí)現(xiàn)手勢(shì)識(shí)別API02云端調(diào)用API實(shí)現(xiàn)（二）選擇圖像識(shí)別在產(chǎn)品服務(wù)內(nèi)的人工智能模塊，選擇“圖像識(shí)別”功能。調(diào)用百度云實(shí)現(xiàn)手勢(shì)識(shí)別API02云端調(diào)用API實(shí)現(xiàn)

（三）創(chuàng)建應(yīng)用

在應(yīng)用列表內(nèi)，點(diǎn)擊“創(chuàng)建應(yīng)用”，填寫應(yīng)用名稱為“手勢(shì)識(shí)別”，端口選擇：勾選“人體分析”內(nèi)的“手勢(shì)識(shí)別”，應(yīng)用歸屬選擇“個(gè)人”，應(yīng)用描述為“手勢(shì)識(shí)別”，點(diǎn)擊立即創(chuàng)建。創(chuàng)建過程如下所示。調(diào)用百度云實(shí)現(xiàn)手勢(shì)識(shí)別API02云端調(diào)用API實(shí)現(xiàn)調(diào)用百度云實(shí)現(xiàn)手勢(shì)識(shí)別API接上一頁(yè)02云端調(diào)用API實(shí)現(xiàn)

（四）查看API密鑰和Secret密鑰

創(chuàng)建完畢后返回到應(yīng)用列表，可查看到已經(jīng)創(chuàng)建好的應(yīng)用，在右側(cè)可查看該應(yīng)用對(duì)應(yīng)的API密鑰和Secret密鑰。調(diào)用百度云實(shí)現(xiàn)手勢(shì)識(shí)別API02云端調(diào)用API實(shí)現(xiàn)（五）調(diào)用代碼調(diào)用百度云實(shí)現(xiàn)手勢(shì)識(shí)別API02云端調(diào)用API實(shí)現(xiàn)（六）返回結(jié)果調(diào)用百度云實(shí)現(xiàn)手勢(shì)識(shí)別API02云端調(diào)用API實(shí)現(xiàn)百度智能云實(shí)現(xiàn)手勢(shì)識(shí)別實(shí)例測(cè)試

在熟悉創(chuàng)建手勢(shì)識(shí)別應(yīng)用的步驟之后，我們可以利用汽車智能座艙實(shí)訓(xùn)軟件系統(tǒng)來進(jìn)行實(shí)例測(cè)試。在汽車智能座艙系統(tǒng)實(shí)訓(xùn)臺(tái)上，打開教學(xué)系統(tǒng)屏幕，在軟件系統(tǒng)頁(yè)面點(diǎn)擊“手勢(shì)識(shí)別控制單元（AGR)”。02云端調(diào)用API實(shí)現(xiàn)百度智能云實(shí)現(xiàn)手勢(shì)識(shí)別實(shí)例測(cè)試

在手勢(shì)識(shí)別控制單元頁(yè)面中，點(diǎn)擊“百度智能云實(shí)現(xiàn)方法”，點(diǎn)擊“實(shí)例測(cè)試”，可觀察到中間開啟了攝像頭，將對(duì)拍攝到的畫面進(jìn)行手勢(shì)識(shí)別，右上側(cè)為信息輸入（上下框內(nèi)分別輸入創(chuàng)建應(yīng)用環(huán)節(jié)中獲取到的APIKey和SecretKey信息），信息輸入后點(diǎn)擊運(yùn)行按鈕，攝像頭捕捉到的畫面進(jìn)行手勢(shì)識(shí)別，識(shí)別結(jié)果將返回到“識(shí)別結(jié)果”這一空白框內(nèi)。本地model部署PART0303

本地model部署TensorRT框架TensorRT是可以在NVIDIA各種GPU硬件平臺(tái)下運(yùn)行的一個(gè)C++推理框架。我們利用Pytorch、TF或者其他框架訓(xùn)練好的模型，可以轉(zhuǎn)化為TensorRT的格式，然后利用TensorRT推理引擎去運(yùn)行我們這個(gè)模型，從而提升這個(gè)模型在英偉達(dá)GPU上運(yùn)行的速度。03本地model部署OpenVINO框架

在英特爾CPU端（也就是我們常用的x86處理器）部署，首先OpenVINO，同時(shí)借助TensorFlow、PyTorch和Caffe*等熱門框架轉(zhuǎn)換和優(yōu)化訓(xùn)練后模型。在多種英特爾硬件和環(huán)境、本地、設(shè)備、瀏覽器或云中部署。03

本地model部署TensorRT框架

飛槳（PaddlePaddle）以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，是中國(guó)首個(gè)自主研發(fā)、功能完備、開源開放的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái)，集深度學(xué)習(xí)核心訓(xùn)練和推理框架、基礎(chǔ)模型庫(kù)、端到端開發(fā)套件和豐富的工具組件于一體。1、根據(jù)教學(xué)視頻，完成云端調(diào)用API的實(shí)現(xiàn)，填寫如教材所示的工單，進(jìn)行步驟確認(rèn)。1、各組派代表闡述資料查詢結(jié)果。2、各組就各自的查詢結(jié)果進(jìn)行交流，并分享技巧。隨堂討論利用互聯(lián)網(wǎng)搜索，手勢(shì)交互在VR、AR、桌面手勢(shì)、車載手勢(shì)應(yīng)用里，分別有哪些應(yīng)用實(shí)例？以小組為單位，查詢資料，制作一份PPT進(jìn)行應(yīng)用實(shí)例展示。任務(wù)實(shí)施感謝觀看能力模塊三

掌握智能座艙中機(jī)器視覺技術(shù)的應(yīng)用任務(wù)三

完成DMS狀態(tài)監(jiān)測(cè)系統(tǒng)的調(diào)試圖像處理技術(shù)在智能座艙領(lǐng)域的另一個(gè)應(yīng)用是駕駛員監(jiān)測(cè)，通過在危險(xiǎn)情境下向駕駛員發(fā)出警示，幫助駕駛員改善駕駛行為，并根據(jù)駕駛員狀態(tài)進(jìn)行相應(yīng)干預(yù)，從而提高行車安全。主管需要你熟悉駕駛員監(jiān)測(cè)系統(tǒng)主要預(yù)警功能，根據(jù)實(shí)際開發(fā)案例整理一份算法流程圖進(jìn)行展示匯報(bào)，并基于前期理論基礎(chǔ)，完成DMS狀態(tài)監(jiān)測(cè)系統(tǒng)的應(yīng)用測(cè)試。任務(wù)引入Tasktointroduce01駕駛員檢測(cè)應(yīng)用場(chǎng)景簡(jiǎn)介02常見智能座艙算法開發(fā)認(rèn)知目錄

CONTENTS03案例：基于機(jī)器視覺的抽煙駕駛檢測(cè)算法開發(fā)04百度智能云實(shí)現(xiàn)駕駛員狀態(tài)監(jiān)控駕駛員檢測(cè)應(yīng)用場(chǎng)景簡(jiǎn)介PART0101駕駛員檢測(cè)應(yīng)用場(chǎng)景簡(jiǎn)介通常檢測(cè)人臉眼睛和其他臉部特征以及行為，同時(shí)跟蹤變化，實(shí)現(xiàn)駕駛員疲勞、分神等不規(guī)范駕駛檢測(cè)，從而保障駕駛員的生命財(cái)產(chǎn)安全。

駕駛員監(jiān)測(cè)系統(tǒng)（DMS，Drivermonitoringsystem），是智能網(wǎng)聯(lián)汽車中很重要的一個(gè)人機(jī)交互系統(tǒng)。主要是通過一個(gè)面向駕駛員的攝像頭來實(shí)時(shí)監(jiān)測(cè)頭部、眼部、面部、手部等細(xì)節(jié)，可以從眼睛閉合、眨眼、凝視方向、打哈欠和頭部運(yùn)動(dòng)等檢測(cè)駕駛員狀態(tài)。01駕駛員檢測(cè)應(yīng)用場(chǎng)景簡(jiǎn)介主要預(yù)警功能有以下幾大類：1.疲勞駕駛：主要包括閉眼，打哈欠，檢測(cè)到駕駛員有此行為觸發(fā)報(bào)警。2.分神駕駛：主要包括低頭，左顧右盼，檢測(cè)到駕駛員視線偏移超過1.0秒，可觸發(fā)報(bào)警。01駕駛員檢測(cè)應(yīng)用場(chǎng)景簡(jiǎn)介主要預(yù)警功能有以下幾大類：3.接打電話：檢測(cè)到駕駛員有打電話行為時(shí)，觸發(fā)報(bào)警。4.抽煙：檢測(cè)到駕駛員有抽煙行為時(shí)，觸發(fā)報(bào)警。01駕駛員檢測(cè)應(yīng)用場(chǎng)景簡(jiǎn)介

除了上述所列的行為狀態(tài)外，在DMS研究中還有情緒激動(dòng)，醉酒駕駛等狀態(tài)檢測(cè)等。除此之外，智能汽車艙內(nèi)攝像頭不僅僅是識(shí)別到駕駛員的行為，還能夠根據(jù)不同的駕乘人員，學(xué)習(xí)并記憶他們的操作習(xí)慣，并在不同的駕乘人員乘車時(shí)，做出個(gè)性化的推薦，打造個(gè)性化駕駛模式。常見智能座艙算法開發(fā)認(rèn)知PART0202常見智能座艙算法開發(fā)認(rèn)知算法開發(fā)流程

在AI算法開發(fā)之前，我們必須要分析算法的應(yīng)用場(chǎng)景是什么？要解決什么問題？基于場(chǎng)景需要進(jìn)行理解，整理AI開發(fā)框架和思路。不同的項(xiàng)目對(duì)數(shù)據(jù)的要求，開發(fā)手段也是不一樣的。02常見智能座艙算法開發(fā)認(rèn)知算法開發(fā)流程場(chǎng)景明確：在這個(gè)步驟中，我們需要對(duì)正常場(chǎng)景設(shè)計(jì)的流程進(jìn)行梳理，明確要求。例如，我們需要開發(fā)一個(gè)抽煙檢測(cè)的算法模型，那我們需要明確抽煙的動(dòng)作有哪些，行為是什么。數(shù)據(jù)準(zhǔn)備：主要是指收集和預(yù)處理數(shù)據(jù)的過程。按照確定的場(chǎng)景和目的，有目的性地收集、整合相關(guān)數(shù)據(jù)，數(shù)據(jù)準(zhǔn)備是AI開發(fā)的一個(gè)基礎(chǔ)。此時(shí)最重要的是保證獲取數(shù)據(jù)的真實(shí)可靠性。而事實(shí)上，不能一次性將所有數(shù)據(jù)都采集全，因此，在數(shù)據(jù)標(biāo)注階段你可能會(huì)發(fā)現(xiàn)還缺少某一部分?jǐn)?shù)據(jù)源，反復(fù)調(diào)整優(yōu)化。02常見智能座艙算法開發(fā)認(rèn)知算法開發(fā)流程模型選擇：不僅要考慮精度與