駕駛腦設(shè)計(jì)與實(shí)現(xiàn)

駕駛腦設(shè)計(jì)與實(shí)現(xiàn)TheDesignandImplementationonDrivingBrain

設(shè)計(jì)是一個(gè)從全局到局部的過(guò)程，要高屋建瓴；實(shí)現(xiàn)正好反過(guò)來(lái)，要關(guān)注細(xì)節(jié)。對(duì)于輪式機(jī)器人中的駕駛腦，無(wú)論由上而下還是由下而上都理清楚了，才能構(gòu)成一個(gè)原理型駕駛腦樣機(jī)，也才談得上駕駛腦的品質(zhì)和智商,

駕駛腦設(shè)計(jì)與實(shí)現(xiàn)是仿駕駛員的駕駛智能，不是設(shè)計(jì)一臺(tái)高性能車(chē)載計(jì)算機(jī)！寫(xiě)在前面駕駛腦設(shè)計(jì)與實(shí)現(xiàn)(上篇)一、呼之欲出的駕駛腦二、駕駛腦架構(gòu)設(shè)計(jì)原則和設(shè)計(jì)約束三、駕駛腦數(shù)據(jù)流程四、駕駛腦外延——記憶棒五、雙總線架構(gòu)

一、呼之欲出的駕駛腦駕駛腦將駕駛活動(dòng)從人的認(rèn)知活動(dòng)中抽象并剝離出來(lái),

不少做,更不多做，專(zhuān)門(mén)模擬人腦完成低級(jí)、繁瑣、持久的駕駛認(rèn)知，選擇性注意，永遠(yuǎn)專(zhuān)注，永不疲倦。駕駛腦的差異反映個(gè)人智力和運(yùn)動(dòng)協(xié)調(diào)能力的差異，世界上沒(méi)有兩個(gè)完全相同的駕駛腦。量產(chǎn)駕駛腦盒子是智能車(chē)產(chǎn)業(yè)化的前提！駕駛腦≠?lài)迥X智能車(chē)產(chǎn)業(yè)化=---------------------------性能（2020年）

*可靠性（2020年）成本（2020年）將駕駛可靠性從三個(gè)9提高到五個(gè)9，比人工駕駛高兩個(gè)數(shù)量級(jí)！智能車(chē)價(jià)格是原車(chē)價(jià)格的200%，能否接受?產(chǎn)業(yè)鏈中傳感器和駕駛腦的性能是關(guān)鍵！智能車(chē)駕駛腦研發(fā)歷史回顧把傳感器、交換機(jī)、計(jì)算機(jī)和服務(wù)器移到車(chē)?yán)锇褌鞲衅鞑赜谲?chē)身，把工控機(jī)等置于后備箱傳感器和車(chē)身一體，

駕駛腦融入車(chē)內(nèi)總線耗電幾千瓦箱子大小10年前的研發(fā)耗電幾百瓦抽屜大小5年前的研發(fā)耗電幾十瓦飯盒大小當(dāng)前的研發(fā)在后備箱里放著一堆交換機(jī)、工控機(jī)等軟硬件耗電幾百瓦，啟動(dòng)慢，通風(fēng)散熱不好，如何產(chǎn)業(yè)化？能否做成一塊板卡？駕駛腦的量產(chǎn)是智能車(chē)產(chǎn)業(yè)化的必然選擇，要求駕駛腦是一種“大接口、小尺寸、高性能、高可靠、低功耗、低成本”的嵌入式平臺(tái)，它可以是一個(gè)盒子、一塊板卡，最好是一個(gè)芯片。告別工控機(jī)時(shí)代，迎接板卡時(shí)代研發(fā)“一大一小兩高兩低”的駕駛腦智能車(chē)傳感器種類(lèi)和數(shù)量如何確定？如何配置？車(chē)載計(jì)算機(jī)、操作系統(tǒng)、編程語(yǔ)言如何選擇？如何設(shè)計(jì)出“不牽一發(fā)動(dòng)全身”的軟件架構(gòu)？支撐模塊和應(yīng)用模塊如何劃分？各需多少？如何配置？計(jì)算、存儲(chǔ)、帶寬等資源如何冗余？可靠性如何保證？智能化和汽車(chē)已有的自動(dòng)化如何握手？駕駛腦的智商如何提高？

駕駛腦設(shè)計(jì)的本質(zhì)是架構(gòu)物理架構(gòu)邏輯架構(gòu)例如：英偉達(dá)DrivePX的自動(dòng)駕駛系統(tǒng)TX1芯片:四核A57+四核A53+4GRAM+64GeMMc+Maxwell256核GPU顯示接口:2組LVDS支持12個(gè)2百萬(wàn)像素相機(jī)60幀率的相機(jī)接口，4個(gè)一組，組內(nèi)幀同步視頻處理器：“Mobileye:EyeQ3”48針車(chē)規(guī)組合接口:6個(gè)CAN2.0接口4個(gè)LIN接口2個(gè)FlexRay接口1個(gè)Ethernet接口

2個(gè)UART接口

1個(gè)電源接口獨(dú)立TX1芯片，作用僅僅是冗余英偉達(dá)DrivePX自動(dòng)駕駛系統(tǒng)軟件架構(gòu)OS:NVIDIAVibranteLinux4.0

64-bitKernelLinux,Quickboot,AutoSARRunTimeEnvironment

硬件層：Tegra

X1

處理器操作系統(tǒng)層：Linux操作系統(tǒng)中間件：支撐圖形圖像處理與并行計(jì)算汽車(chē)開(kāi)放系統(tǒng)架構(gòu)基礎(chǔ)軟件應(yīng)用層英偉達(dá)的自動(dòng)駕駛系統(tǒng)本質(zhì)上是一臺(tái)車(chē)載計(jì)算機(jī)！

回顧近十年來(lái)我們參加的比賽和里程碑試驗(yàn)，智能車(chē)各種感知和認(rèn)知手段，相互依存，彼此纏繞。在各類(lèi)比賽場(chǎng)、測(cè)試場(chǎng)，智能車(chē)表現(xiàn)千奇百怪、反反復(fù)復(fù)，我們困惑過(guò)，迷茫過(guò)，試來(lái)試去，換車(chē)、換平臺(tái)、加電源、換模塊，通過(guò)多車(chē)交叉驗(yàn)證和常態(tài)試驗(yàn)，終于理出了頭緒，形成全新的駕駛腦設(shè)計(jì)!13FPGAFPGAFPGAFPGAFPGAASICFPGAFPGAGPUASICASICCPU利用微電子技術(shù)，采用FPGA+CPU+GPU+ASIC架構(gòu)，先利用通用芯片生產(chǎn)板卡，研發(fā)區(qū)別于車(chē)載計(jì)算機(jī)的機(jī)器駕駛腦！

和各種車(chē)載傳感器相比，駕駛腦的架構(gòu)設(shè)計(jì)、模塊劃分和界面約定才是智能車(chē)的生命力，進(jìn)而決定智能車(chē)產(chǎn)業(yè)的核心競(jìng)爭(zhēng)力！

這不是一個(gè)教授的學(xué)術(shù)報(bào)告，而是一個(gè)團(tuán)隊(duì)總工程師的技術(shù)版本升級(jí)報(bào)告，也可以說(shuō)是一個(gè)架構(gòu)師認(rèn)知工程最新設(shè)計(jì)方案；這不是一個(gè)共識(shí)的總結(jié)，而是一個(gè)非共識(shí)部分或者說(shuō)特色部分的問(wèn)題解決方案，幾乎融入我們所有的相關(guān)發(fā)明專(zhuān)利和實(shí)踐經(jīng)驗(yàn)，要尊重自己的創(chuàng)造！充分肯定智能車(chē)架構(gòu)1.0中的成功實(shí)踐！核心是使用多臺(tái)工控機(jī)和交換機(jī)構(gòu)成的網(wǎng)絡(luò)架構(gòu)，而以進(jìn)程表現(xiàn)的各類(lèi)應(yīng)用模塊工作在哪臺(tái)主機(jī)上并不重要！駕駛腦3大認(rèn)知并列動(dòng)態(tài)路權(quán)理論傳感器不相互依賴(lài)傳感器布局體現(xiàn)選擇性注意傳感器之間免同步技術(shù)點(diǎn)云不進(jìn)入決策——駕駛腦中的自主核心技術(shù)駕駛地圖認(rèn)知箭頭虛擬交換不同記憶區(qū)劃分各種記憶棒等先驗(yàn)知識(shí)與技能我們和谷歌有什么不同？記憶抽象和認(rèn)知背景已有認(rèn)知協(xié)助當(dāng)前感知3x3形成的試驗(yàn)方法學(xué)智能化和自動(dòng)化握手機(jī)制一次、二次規(guī)劃隔離我們和谷歌有什么不同？駕駛員認(rèn)知坐標(biāo)系路口SLAMiSLAM多車(chē)交叉驗(yàn)證雙駕雙控人機(jī)協(xié)同共駕點(diǎn)云不進(jìn)入決策——駕駛腦中的自主核心技術(shù)但是，智能車(chē)架構(gòu)1.0也存在問(wèn)題，……“猛獅4號(hào)”智能車(chē)傳感器等硬件物理連接圖后毫米波雷達(dá)CAN線GPS慣導(dǎo)

串口線頂8線激光雷達(dá)前8線激光雷達(dá)前1線激光雷達(dá)后1線激光雷達(dá)交換機(jī)網(wǎng)線網(wǎng)線網(wǎng)線網(wǎng)線網(wǎng)線左耳攝像頭右耳攝像頭USB線USB線OBD診斷接口串口線車(chē)內(nèi)左攝像頭車(chē)內(nèi)中攝像頭車(chē)內(nèi)右攝像頭1394視頻傳輸線1394視頻傳輸線1394視頻傳輸線下位機(jī)控制器串口線工控機(jī)工控機(jī)工控機(jī)以太網(wǎng)工控機(jī)3+操作系統(tǒng)工控機(jī)2+操作系統(tǒng)工控機(jī)1+操作系統(tǒng)支撐模塊進(jìn)程監(jiān)控虛擬交換日志管理交互調(diào)試應(yīng)用模塊圖像預(yù)處理GPS預(yù)處理感知雷達(dá)預(yù)處理認(rèn)知路徑導(dǎo)航道路要素映射路口記憶棒危險(xiǎn)場(chǎng)景記憶棒泊車(chē)記憶棒人工干預(yù)決策行為油門(mén)控制制動(dòng)控制其它控制方向盤(pán)控制信息融合驅(qū)動(dòng)模塊激光雷達(dá)毫米波雷達(dá)超聲波雷達(dá)紅外雷達(dá)GPSIMU圖像類(lèi)傳感器驅(qū)動(dòng)模塊雷達(dá)類(lèi)傳感器驅(qū)動(dòng)模塊GPS類(lèi)傳感器驅(qū)動(dòng)模塊單目相機(jī)雙目相機(jī)BDSIMU智能車(chē)軟件模塊架構(gòu)圖發(fā)送者物理層千兆以太網(wǎng)接收者應(yīng)用層傳輸層UDP網(wǎng)絡(luò)層IP物理層千兆以太網(wǎng)應(yīng)用層傳輸層UDP網(wǎng)絡(luò)層IP智能車(chē)架構(gòu)1.0存在問(wèn)題分析由于UDP是一種面向事務(wù)的簡(jiǎn)單不可靠信息傳送服務(wù)，盡管傳輸效率高。但它不對(duì)數(shù)據(jù)包進(jìn)行排序，無(wú)法確知是否安全完整到達(dá)，造成基于UDP的虛擬交換的先天不足！虛擬交換虛擬交換人機(jī)交互和在線調(diào)試占用了智能駕駛實(shí)時(shí)信息處理的計(jì)算資源和帶寬，又沒(méi)有規(guī)定基于組播技術(shù)的虛擬交換中交換的優(yōu)先級(jí)，當(dāng)通信量增大時(shí)出現(xiàn)阻塞和丟包現(xiàn)象，重要小包的丟失會(huì)造成車(chē)輛失控的嚴(yán)重后果！智能車(chē)架構(gòu)1.0存在問(wèn)題分析二、架構(gòu)設(shè)計(jì)原則和設(shè)計(jì)約束架構(gòu)設(shè)計(jì)原則系統(tǒng)原則模塊原則表現(xiàn)原則快樂(lè)編程原則系統(tǒng)原則模塊原則表現(xiàn)原則NVIDIA

嵌入式超級(jí)計(jì)算機(jī)iDRIVE

機(jī)器駕駛腦系統(tǒng)原則

明確任務(wù)目標(biāo)和系統(tǒng)約束，首先是明確不做什么，其次才是明確做什么，尤其是做強(qiáng)什么。這一點(diǎn)成為駕駛腦架構(gòu)的特色和亮點(diǎn)。

研發(fā)駕駛腦，如果架構(gòu)師一開(kāi)始就討論傳感器的高性能、高并發(fā)、大流量、大數(shù)據(jù)以及跨媒體的關(guān)聯(lián)計(jì)算，一開(kāi)始就討論高智商，只能說(shuō)明他還不懂得忽略和聚焦，不懂得抽象和分離。

架構(gòu)師應(yīng)該在智能車(chē)的性能、可靠性和成本等諸多制約因素中，確保架構(gòu)設(shè)計(jì)的普適性，當(dāng)某一傳感器或者某一軟件性能提高后，仍然能夠保證架構(gòu)的擴(kuò)展和可持續(xù)發(fā)展，以及量產(chǎn)后的低成本實(shí)現(xiàn)。對(duì)架構(gòu)師而言，傳感器的多少、駕駛智商的高低不應(yīng)該影響架構(gòu)；換一個(gè)新型傳感器或者軟件模塊新版本，如同汽車(chē)換一個(gè)車(chē)燈；換一個(gè)車(chē)輛平臺(tái)，甚至換一種駕駛風(fēng)格，都不會(huì)影響架構(gòu)。

不做什么？為什么不做？要不要全地域的高精度地圖？要不要識(shí)別全程交通標(biāo)志牌？要不要做圖像和雷達(dá)的全程點(diǎn)云SLAM?要不要識(shí)別周邊行人姿態(tài)和情緒？要不要識(shí)別前方車(chē)輛種類(lèi)和品牌等？先覺(jué)后視視而不覺(jué)邊視邊覺(jué)先視后覺(jué)根據(jù)前一時(shí)刻已擁有的路權(quán)，關(guān)注當(dāng)前路權(quán)的變化對(duì)周邊自然風(fēng)景、建筑風(fēng)格、行人年齡姿態(tài)行為、是不是美女、行人和寵物的差別、前方車(chē)輛品牌，是不是時(shí)尚等等，一律熟視無(wú)睹。常規(guī)的、帶GPU加速的計(jì)算機(jī)圖像處理強(qiáng)選擇性，利用記憶主動(dòng)感知，主觀尋找特定駕駛情境強(qiáng)調(diào)已有認(rèn)知協(xié)助當(dāng)前感知！“做什么”舉例：做好做強(qiáng)什么？專(zhuān)注駕駛和駕駛安全做好為智能車(chē)和駕駛員服務(wù)的駕駛地圖做強(qiáng)選擇性注意做強(qiáng)已有認(rèn)知協(xié)助當(dāng)前感知做強(qiáng)認(rèn)知工程學(xué)明確任務(wù)目標(biāo)先跑通駕駛腦架構(gòu)，再優(yōu)化、升級(jí)模塊性能系統(tǒng)架構(gòu)要有普適性，既適用商用車(chē)，也適用乘用車(chē)，還適用特種車(chē)，最好適用所有輪式機(jī)器人架構(gòu)要穩(wěn)定，模塊可維護(hù)、可重用、可擴(kuò)展，可多車(chē)交叉驗(yàn)證，界面友好分層與模塊化是智能車(chē)軟件工程的重要思想，切分要盡最大可能減少耦合，不從模塊中導(dǎo)出函數(shù)核心是工作總線和調(diào)試總線的切分，以及調(diào)試總線和自學(xué)習(xí)總線的復(fù)用確立“沒(méi)有哪個(gè)軟件模塊不會(huì)被再修改”的原則模塊切分原則表現(xiàn)原則感知的結(jié)果表現(xiàn)為反映時(shí)序的點(diǎn)云圖簇，認(rèn)知的結(jié)果表現(xiàn)為駕駛態(tài)勢(shì)圖簇，決策的結(jié)果表現(xiàn)為認(rèn)知箭頭簇。三類(lèi)時(shí)空序列的2.5維的表現(xiàn)形態(tài)（CT圖）成為駕駛腦的特色和亮點(diǎn)。通過(guò)三類(lèi)存儲(chǔ)的時(shí)空序列的緩沖區(qū)隔離，防止死鎖

軟件工程隨著遺產(chǎn)代碼的積累和進(jìn)化，新系統(tǒng)的架構(gòu)設(shè)計(jì)已經(jīng)取代傳統(tǒng)編碼成為軟件工程的核心問(wèn)題，軟件開(kāi)發(fā)已經(jīng)演變?yōu)榕渲脼橹?、編程為輔，駕駛腦研發(fā)也不例外。

盡管架構(gòu)中模塊配置的過(guò)程本身還是通過(guò)模塊化編程的方式來(lái)完成，但本質(zhì)上這些模塊只是在定制成熟算法的運(yùn)作方式，其技術(shù)難度要比編寫(xiě)平臺(tái)自帶的、或者可以移植過(guò)來(lái)的高質(zhì)量的成熟算法至少低一個(gè)數(shù)量級(jí)。悲催的是，多數(shù)人在認(rèn)真地做著相反的事?？鞓?lè)編程原則基本算法不創(chuàng)新，盡量使用廣泛認(rèn)可的、成熟、開(kāi)源算法，移植到相應(yīng)軟件模塊明確算法中的輸入量和輸出量，自變量和參變量尤其明確試驗(yàn)中要調(diào)整的參變量（如預(yù)置閾值、權(quán)重、優(yōu)化系數(shù)、選擇性開(kāi)關(guān)等）以及參變量?jī)鼋Y(jié)的試驗(yàn)時(shí)間序編程AB角，離線調(diào)程序，在線調(diào)參數(shù)體現(xiàn)人類(lèi)認(rèn)知的駕駛腦的架構(gòu)設(shè)計(jì)，是智能車(chē)項(xiàng)目的精髓。只要架構(gòu)適用，傳感器缺陷也好，軟件臟代碼也好，算法創(chuàng)新也好，車(chē)輛平臺(tái)的動(dòng)力學(xué)性質(zhì)也好，都是局部性的、暫時(shí)性的！

智能車(chē)傳感器的添加可以從少到多、從低級(jí)到高級(jí)，例如從單目相機(jī)到深度相機(jī)，甚至到雷達(dá)相機(jī)。但是，體現(xiàn)人類(lèi)認(rèn)知的駕駛腦架構(gòu)仍然不變。只要架構(gòu)合適了，智商提高的關(guān)鍵，轉(zhuǎn)向特定傳感器或特定模塊內(nèi)部的優(yōu)化，架構(gòu)師依然很輕松很瀟灑。需求再分析智能駕駛等級(jí)區(qū)分離線輔助駕駛自動(dòng)駕駛（局部時(shí)段、局部區(qū)域）自駕駛/自主駕駛/無(wú)人駕駛以人為本的人機(jī)協(xié)同共駕ADAS,HUD高德導(dǎo)航碰撞預(yù)警等ACC自動(dòng)緊急剎車(chē)等城際高速行駛等類(lèi)似騎士和馬人馬騎士與馬駕駛腦數(shù)據(jù)流程圖軟件模塊在雙總線中的連接關(guān)系圖駕駛腦軟件架構(gòu)圖駕駛腦軟件模塊列表駕駛腦板卡物理構(gòu)成圖弄清駕駛腦設(shè)計(jì)的四圖一表三、駕駛腦數(shù)據(jù)流程

類(lèi)腦駕駛?cè)绾问苣X科學(xué)啟發(fā)？

駕駛腦性格短期記憶長(zhǎng)期記憶情緒學(xué)習(xí)和思維動(dòng)機(jī)情緒：拒絕人腦中的情緒進(jìn)入駕駛腦，永遠(yuǎn)不因情緒而分散注意力，始終專(zhuān)注。工作記憶：體現(xiàn)駕駛員的選擇性注意，僅僅關(guān)注剛剛過(guò)去的以及當(dāng)前的周邊駕駛態(tài)勢(shì)。動(dòng)機(jī)：完成出行任務(wù)從起點(diǎn)到終點(diǎn)的一次性路徑規(guī)劃。學(xué)習(xí)和思維：通過(guò)可用路權(quán)和相似性匹配，完成自主決策，控制下一時(shí)刻的行為動(dòng)作。長(zhǎng)期記憶：如駕駛地圖，表示駕駛員的知識(shí)和經(jīng)驗(yàn)。性格：由人的基因決定，反映開(kāi)車(chē)是保守還是張揚(yáng)，還體現(xiàn)小腦動(dòng)平衡能力。瞬間記憶視覺(jué)殘留

遺忘是人類(lèi)智能的一個(gè)顯著表現(xiàn)。駕駛員在周邊環(huán)境世界里，有豐富的瞬間記憶，短期適度的工作記憶，以及反復(fù)的長(zhǎng)期記憶。越是長(zhǎng)期的越抽象越難忘，越是瞬間的越具體忘得越快，表現(xiàn)語(yǔ)言不同，表達(dá)粒度也不同。

受腦科學(xué)研究成果的啟發(fā)，總架構(gòu)強(qiáng)調(diào)記憶認(rèn)知，建立瞬間記憶區(qū)、工作記憶區(qū)和長(zhǎng)期記憶區(qū)。三區(qū)的數(shù)據(jù)空間大小、表達(dá)語(yǔ)言、時(shí)序間隔等完全不同，要解決三區(qū)記憶數(shù)據(jù)在雙總線和模塊之間傳送和存儲(chǔ)的效率問(wèn)題。

三區(qū)記憶和記憶共享奠定了駕駛腦架構(gòu)的基本形態(tài)！三區(qū)記憶和記憶共享記憶認(rèn)知、計(jì)算認(rèn)知和交互認(rèn)知三位一體感知理解認(rèn)知理解認(rèn)知積累感覺(jué)記憶工作記憶長(zhǎng)期記憶前饋前饋反饋反饋抽象抽象演繹演繹記憶認(rèn)知計(jì)算認(rèn)知交互認(rèn)知構(gòu)造不同尺度連接組的、三位一體的、多個(gè)多層認(rèn)知網(wǎng)絡(luò)瞬間記憶工作記憶長(zhǎng)期記憶前饋前饋反饋反饋抽象抽象演繹演繹感知理解（小尺度連接組）認(rèn)知理解（中尺度連接組）認(rèn)知積累（大尺度連接組）WORD感知計(jì)算

用三類(lèi)傳感器通道類(lèi)比人的視覺(jué)通道，形成對(duì)數(shù)極坐標(biāo)下各自豐富的點(diǎn)云圖片庫(kù)，數(shù)據(jù)量大，可實(shí)現(xiàn)傳感器數(shù)據(jù)的瞬間感知理解，還可通過(guò)深度學(xué)習(xí)、尤其是卷積神經(jīng)網(wǎng)絡(luò)模擬生物視覺(jué)神經(jīng)，也可以通過(guò)GPU加速計(jì)算，提高瞬間感知能力。在已有認(rèn)知（路口地圖和路段地圖）的協(xié)助下，類(lèi)比人的視覺(jué)通道，三類(lèi)傳感器通道既要負(fù)責(zé)任地、又只能盡力而為，形成視覺(jué)殘留：GPS+IMU通道：定位、路權(quán)檢測(cè)、導(dǎo)航

雷達(dá)通道：定位、路權(quán)檢測(cè)、導(dǎo)航

圖像通道：定位、路權(quán)檢測(cè)、導(dǎo)航三類(lèi)傳感器通道我在什么地方？周邊有什么？下一步怎么走？SLAM認(rèn)知箭頭可用路權(quán)感知計(jì)算和瞬間記憶

感知理解要充分借助駕駛地圖數(shù)據(jù)庫(kù)即時(shí)生成的、對(duì)數(shù)極坐標(biāo)表達(dá)的路段地圖或者路口地圖，還要與視覺(jué)殘留關(guān)聯(lián)，感知理解的結(jié)果形成新的瞬間記憶，記憶中的數(shù)據(jù)隱藏著三個(gè)通道各自對(duì)定位、路權(quán)檢測(cè)和導(dǎo)航的力所能及的貢獻(xiàn)?；诼窓?quán)思想，重?cái)?shù)據(jù)認(rèn)知，形成駕駛態(tài)勢(shì)，發(fā)現(xiàn)當(dāng)前可用路權(quán)，進(jìn)而自主決策，形成認(rèn)知箭頭；語(yǔ)言抽象形成的知識(shí)和經(jīng)驗(yàn)的長(zhǎng)期記憶反饋給認(rèn)知計(jì)算，駕駛態(tài)勢(shì)的工作記憶也反饋給感知理解。認(rèn)知計(jì)算腦科學(xué)研究表明，工作記憶和長(zhǎng)期記憶形成的差異可以從海馬體的神經(jīng)突觸細(xì)胞的化學(xué)變化反映出來(lái)，通過(guò)突觸形狀記錄信息，當(dāng)CPEB69蛋白質(zhì)處于元粒態(tài)才能執(zhí)行存儲(chǔ)。工作記憶與長(zhǎng)期記憶

點(diǎn)云不進(jìn)入工作記憶，工作記憶的形態(tài)是駕駛態(tài)勢(shì)圖；長(zhǎng)期記憶是對(duì)駕駛態(tài)勢(shì)反復(fù)形成的抽象，是用語(yǔ)言對(duì)駕駛態(tài)勢(shì)做語(yǔ)義標(biāo)注，以經(jīng)驗(yàn)和規(guī)則的形態(tài)表現(xiàn)。決策記憶瞬間記憶動(dòng)態(tài)感知態(tài)勢(shì)分析自主決策精準(zhǔn)控制態(tài)勢(shì)記憶計(jì)算流程讀數(shù)據(jù)流程反饋：已有認(rèn)知幫助當(dāng)前感知工作記憶長(zhǎng)期記憶路口記憶路段記憶險(xiǎn)情記憶困境記憶泊車(chē)記憶反饋?zhàn)x讀反饋反饋反饋反饋反饋瞬間記憶瞬間記憶態(tài)勢(shì)記憶態(tài)勢(shì)記憶決策記憶決策記憶搜索匹配寫(xiě)寫(xiě)寫(xiě)速度變化量轉(zhuǎn)角變化量點(diǎn)云中隱含著導(dǎo)航、周邊障礙物和SLAM數(shù)據(jù)路權(quán)和路權(quán)變化駕駛態(tài)勢(shì)圖駕駛態(tài)勢(shì)融合模塊自主決策模塊精準(zhǔn)控制模塊在線執(zhí)行模塊態(tài)勢(shì)記憶池決策記憶池瞬間記憶池駕駛態(tài)勢(shì)圖駕駛態(tài)勢(shì)圖駕駛態(tài)勢(shì)圖駕駛態(tài)勢(shì)圖駕駛態(tài)勢(shì)圖駕駛態(tài)勢(shì)圖駕駛腦數(shù)據(jù)流程圖GPS雷達(dá)攝像頭感知理解模塊長(zhǎng)期記憶池路段記憶路口記憶特定人險(xiǎn)情記憶特定人困境記憶特定人泊車(chē)記憶四、駕駛腦外延——記憶棒

考駕照時(shí)駕駛員的理論考試，并不要求對(duì)交通道路地圖的理解和積累。但駕駛員的經(jīng)驗(yàn)很重要，在高速路上偶爾會(huì)看到駕駛員將車(chē)停在一邊問(wèn)路，是他的駕駛技術(shù)不熟練嗎？要不要把全城、全省、全國(guó)、全球的高精度道路地圖統(tǒng)統(tǒng)搬到一個(gè)特定的駕駛腦中去？為什么近年來(lái)如此多的地圖公司提供我們的駕駛地圖始終沒(méi)有被用上？質(zhì)疑：

在智能駕駛中，傳統(tǒng)電子地圖和數(shù)字地圖處于什么位置？起什么作用？地圖是不是個(gè)傳感器？智能車(chē)在第一次出行任務(wù)之前是否一定要預(yù)先實(shí)地學(xué)習(xí)行駛一遍或多遍？現(xiàn)場(chǎng)跑究竟跑什么？質(zhì)疑：

每一個(gè)特定的駕駛員，每一輛特定的輪式機(jī)器人，他走過(guò)的路服從二八定律，包括駕駛地圖在內(nèi)的先驗(yàn)知識(shí)是以他為中心坐標(biāo)系的長(zhǎng)期記憶認(rèn)知而已……解決方案：駕駛記憶棒駕駛地圖記憶棒路段記憶棒路口記憶棒駕駛記憶棒特定人駕駛案例記憶棒路段駕駛記憶棒路口駕駛記憶棒泊車(chē)記憶棒險(xiǎn)情記憶棒困境記憶棒……路段駕駛例:

在城市或城際道路上，一般地說(shuō)，同一路段內(nèi)具有相同的車(chē)道數(shù)，且車(chē)道寬度保持不變；還具有相同的諸多物理和幾何屬性。對(duì)路段駕駛而言，常常要求較高的橫向精度和較低的縱向精度。

根據(jù)以下路段地圖數(shù)據(jù)庫(kù)，即時(shí)生成在車(chē)輛前進(jìn)方向上的對(duì)數(shù)極坐標(biāo)表示的路段地圖。路段名稱(chēng)起止位置坐標(biāo)限速km/h車(chē)道數(shù)據(jù)路面數(shù)據(jù)道間及路邊數(shù)據(jù)推薦速度車(chē)道數(shù)車(chē)道寬度車(chē)道曲率規(guī)則程度道路坡度路面質(zhì)量規(guī)則程度隔離帶種類(lèi)路肩高度規(guī)則程度高峰時(shí)段平常翠微段(a,b)8033.5m0好+1°柏油好綠化5cm好3070路段駕駛例:

用對(duì)數(shù)極坐標(biāo)表示的路段地圖路段名稱(chēng)起止位置坐標(biāo)限速km/h車(chē)道數(shù)據(jù)路面數(shù)據(jù)道間及路邊數(shù)據(jù)推薦速度車(chē)道數(shù)車(chē)道寬度車(chē)道曲率規(guī)則程度道路坡度路面質(zhì)量規(guī)則程度隔離帶種類(lèi)路肩高度規(guī)則程度高峰時(shí)段平常翠微段(a,b)8033.5m0好+1°柏油好綠化5cm好3070路段地圖在感知中的作用舉例再次確認(rèn)：雷達(dá)識(shí)別出道路中間的綠化隔離帶，被地圖確認(rèn)；GPS-IMU給出本車(chē)所在的地圖車(chē)道位置，被攝像頭檢測(cè)到的車(chē)道線確認(rèn)互相補(bǔ)充：地圖告知進(jìn)入事故多發(fā)區(qū)，雷達(dá)點(diǎn)云數(shù)據(jù)反映道路流量增大；地圖告知經(jīng)過(guò)流動(dòng)商販區(qū)，攝像頭發(fā)現(xiàn)許多行人沖突消解：雷達(dá)識(shí)別出道路前方疑似橫向路肩，地圖告知是大陡坡要上橋；地圖給出道路大轉(zhuǎn)彎曲率，攝像頭丟失車(chē)道線；攝像頭看出是下坡，地圖告知是怪坡。以路段駕駛為例:提醒幫助：地圖告知前方是隧道，提醒GPS可能會(huì)丟失信號(hào)，不再懷疑GPS失鎖；車(chē)輛到達(dá)坡頂前，提醒前向雷達(dá)可能無(wú)信息可用，提醒攝像頭無(wú)法檢測(cè)到車(chē)道線，但地圖仍可提供地形坡度等信息，輔助決策。過(guò)濾噪聲：地圖告知正在通過(guò)粗糙路面，雷達(dá)出現(xiàn)抖動(dòng)噪聲數(shù)據(jù)需要過(guò)濾；地圖告知要通過(guò)城鄉(xiāng)結(jié)合部路邊家禽菜市場(chǎng)繁鬧區(qū)，雷達(dá)發(fā)現(xiàn)過(guò)多、過(guò)小、過(guò)雜的移動(dòng)障礙物屬性關(guān)聯(lián)：地圖告知正在通過(guò)大彎道傾斜路面，雷達(dá)檢出前方所有移動(dòng)目標(biāo)都在減速以路段駕駛為例:路段地圖在感知中的作用舉例五、

雙總線架構(gòu)

架構(gòu)設(shè)計(jì)難在人機(jī)交互和協(xié)同！

以人為本的人機(jī)協(xié)同共駕“輪式機(jī)器人”駕駛位上的駕駛員（可空缺）程序調(diào)試、試驗(yàn)和維護(hù)人員乘員互聯(lián)網(wǎng)遠(yuǎn)端的車(chē)主互聯(lián)網(wǎng)遠(yuǎn)端的黑客六種人之間的交互雙駕雙控在線干預(yù)機(jī)器人認(rèn)知能力目的地表達(dá)目的地表達(dá)自主駕駛抵抗黑客攻擊

駕駛腦架構(gòu)設(shè)計(jì)的特色和關(guān)鍵是

交互認(rèn)知的實(shí)現(xiàn)

六種人之間的交互，體現(xiàn)人機(jī)協(xié)同共駕，為車(chē)聯(lián)網(wǎng)打下基礎(chǔ)，為提高移動(dòng)生活品質(zhì)留有足夠空間,并堵死黑客的攻擊；既不影響傳感器數(shù)據(jù)的實(shí)時(shí)性處理，又能夠在線調(diào)整軟件模塊中的相關(guān)參數(shù)，便于試驗(yàn)調(diào)試，成為駕駛腦架構(gòu)設(shè)計(jì)又一個(gè)難點(diǎn)！感知板塊認(rèn)知板塊控制板塊交互板塊自學(xué)習(xí)板塊駕駛腦各板塊都雙總線工作工作總線調(diào)試總線每個(gè)板塊都在雙總線下工作：駕駛態(tài)勢(shì)融合雙駕雙控工作總線CAN總線認(rèn)知板塊雷達(dá)數(shù)據(jù)預(yù)處理圖像數(shù)據(jù)預(yù)處理導(dǎo)航數(shù)據(jù)預(yù)處理控制板塊執(zhí)行板塊自主決策感知板塊交互板塊駕駛員干預(yù)和工作總線相連的軟件模塊1KMbps進(jìn)程監(jiān)控1虛擬交換1交互控制程序員調(diào)試模塊黑客干預(yù)遠(yuǎn)端車(chē)主干預(yù)乘員交互日志管理駕駛態(tài)勢(shì)融合雙駕雙控調(diào)試總線CAN總線認(rèn)知板塊雷達(dá)數(shù)據(jù)預(yù)處理圖像數(shù)據(jù)預(yù)處理導(dǎo)航數(shù)據(jù)預(yù)處理控制板塊執(zhí)行板塊自主決策感知板塊交互板塊駕駛員干預(yù)和調(diào)試總線相連的軟件模塊1KMbps進(jìn)程監(jiān)控2虛擬交換2程序員調(diào)試模塊黑客干預(yù)遠(yuǎn)端車(chē)主干預(yù)乘員交互日志管理交互控制調(diào)試板塊汽車(chē)CAN總線工作總線感知板塊認(rèn)知板塊控制板塊虛擬交換2進(jìn)程監(jiān)控2虛擬交換1進(jìn)程監(jiān)控1程序員調(diào)試交互控制乘員交互遠(yuǎn)程干預(yù)自主決策紅綠燈檢測(cè)導(dǎo)航路權(quán)檢測(cè)導(dǎo)航路權(quán)檢測(cè)定位導(dǎo)航路權(quán)檢測(cè)定位圖像數(shù)據(jù)預(yù)處理雷達(dá)數(shù)據(jù)預(yù)處理GPS數(shù)據(jù)預(yù)處理導(dǎo)航路權(quán)定位駕駛態(tài)勢(shì)融合1KMbps1KMbps在位駕駛員干預(yù)執(zhí)行板塊軟件模塊與雙總線連接關(guān)系圖定位日志管理調(diào)試總線雙駕雙控

盡管每個(gè)模塊都連到工作總線和調(diào)試總線，但從物理支撐看，工作總線在以太網(wǎng)1上，調(diào)試總線在以太網(wǎng)2上，兩者是分開(kāi)的；從信息流向看，只有交互控制模塊對(duì)雙總線是雙跨的！對(duì)其它模塊而言，雙總線在邏輯上是隔離的！唯有交互控制模塊可實(shí)時(shí)干預(yù)智能車(chē)的行為控制！程序員在線調(diào)參數(shù)的過(guò)程，可理解為程序員在教輪式機(jī)器人如何開(kāi)車(chē)真正能夠教機(jī)器人開(kāi)車(chē)的應(yīng)該是有經(jīng)驗(yàn)的駕駛員機(jī)器人在駕駛員開(kāi)車(chē)的過(guò)程中應(yīng)該具有自學(xué)習(xí)能力因此，將調(diào)試總線擴(kuò)展為自學(xué)習(xí)總線，并開(kāi)創(chuàng)自學(xué)習(xí)板塊！駕駛態(tài)勢(shì)融合比對(duì)庫(kù)生成雙駕雙控自學(xué)習(xí)總線CAN總線認(rèn)知板塊雷達(dá)數(shù)據(jù)預(yù)處理圖像數(shù)據(jù)預(yù)處理導(dǎo)航數(shù)據(jù)預(yù)處理控制板塊執(zhí)行板塊自主決策感知板塊自學(xué)習(xí)板塊決策記憶棒生成決策沖突檢測(cè)交互協(xié)商駕駛員干預(yù)學(xué)習(xí)準(zhǔn)則和自學(xué)習(xí)總線相連的軟件模塊1KMbps虛擬交換2進(jìn)程監(jiān)控2自學(xué)習(xí)駕駛超腦……OBD接口RTK-GPS/BD慣導(dǎo)+輪速計(jì)左右耳攝像機(jī)頂全景攝像機(jī)內(nèi)雙目攝像機(jī)內(nèi)單目攝像機(jī)右后毫米波雷達(dá)左后毫米波雷達(dá)后SICK激光雷達(dá)頂64線激光雷達(dá)頂8線激光雷達(dá)前8線激光雷達(dá)右SICK激光雷達(dá)左SICK激光雷達(dá)右前毫米波雷達(dá)左前毫米波雷達(dá)前SICK激光雷達(dá)偵察k偵察偵察偵察偵察偵察偵察偵察偵察偵察偵察偵察偵察偵察偵察偵察偵察3偵察2偵察1感知理解k感知理解感知理解感知理解感知理解感知理解感知理解感知理解感知理解感知理解感知理解感知理解感知理解感知理解感知理解感知理解感知理解3感知理解2感知理解1駕駛態(tài)勢(shì)T-1時(shí)刻……認(rèn)知理解自主決策自動(dòng)控制駕駛員事故險(xiǎn)情、路口、泊車(chē)、困境記憶棒駕駛態(tài)勢(shì)T時(shí)刻認(rèn)知箭頭雙駕雙控點(diǎn)云等原始數(shù)據(jù)油門(mén)制動(dòng)轉(zhuǎn)向調(diào)節(jié)油門(mén)制動(dòng)轉(zhuǎn)向調(diào)節(jié)目的地目的地興趣區(qū)數(shù)據(jù)傳感一次

規(guī)劃云感知云搜索云端地圖數(shù)據(jù)云端感知數(shù)據(jù)云計(jì)算云端先驗(yàn)知識(shí)先驗(yàn)知識(shí)位置信息駕駛腦SLAM駕駛

地圖局部情報(bào)T-M時(shí)刻駕駛態(tài)勢(shì)在線執(zhí)行動(dòng)態(tài)感知態(tài)勢(shì)分析自主決策精準(zhǔn)控制感覺(jué)記憶工作記憶認(rèn)知感知行為交互模塊乘員遠(yuǎn)端規(guī)劃調(diào)試、實(shí)驗(yàn)、維護(hù)人員駕駛腦設(shè)計(jì)與實(shí)現(xiàn)(下篇)六、駕駛腦中的小腦——控制板塊七、駕駛腦軟件架構(gòu)與列表

八、芯片選型和駕駛腦板卡物理構(gòu)成九、駕駛腦增量式調(diào)試和試驗(yàn)十、駕駛腦架構(gòu)的開(kāi)放性和可擴(kuò)展性

謝謝！感知板塊認(rèn)知板塊控制板塊交互板塊自學(xué)習(xí)板塊駕駛腦各板塊都雙總線工作工作總線調(diào)試/自學(xué)習(xí)總線每個(gè)板塊都連到雙總線：駕駛態(tài)勢(shì)融合雙駕雙控工作總線CAN總線認(rèn)知板塊雷達(dá)數(shù)據(jù)預(yù)處理圖像數(shù)據(jù)預(yù)處理導(dǎo)航數(shù)據(jù)預(yù)處理控制板塊執(zhí)行板塊自主決策感知板塊交互板塊駕駛員干預(yù)和工作總線相連的軟件模塊1KMbps進(jìn)程監(jiān)控2虛擬交換2日志管理交互控制程序員調(diào)試黑客干預(yù)遠(yuǎn)端車(chē)主干預(yù)乘員交互駕駛態(tài)勢(shì)融合雙駕雙控調(diào)試總線CAN總線認(rèn)知板塊雷達(dá)數(shù)據(jù)預(yù)處理圖像數(shù)據(jù)預(yù)處理導(dǎo)航數(shù)據(jù)預(yù)處理控制板塊執(zhí)行板塊自主決策感知板塊交互板塊駕駛員干預(yù)和調(diào)試總線相連的軟件模塊1KMbps進(jìn)程監(jiān)控2虛擬交換2日志管理交互控制程序員調(diào)試黑客干預(yù)遠(yuǎn)端車(chē)主干預(yù)乘員交互駕駛態(tài)勢(shì)融合雙駕雙控自學(xué)習(xí)總線CAN總線認(rèn)知板塊雷達(dá)數(shù)據(jù)預(yù)處理圖像數(shù)據(jù)預(yù)處理導(dǎo)航數(shù)據(jù)預(yù)處理控制板塊執(zhí)行板塊自主決策感知板塊交互板塊駕駛員干預(yù)和自學(xué)習(xí)總線相連的軟件模塊1KMbps進(jìn)程監(jiān)控2虛擬交換2日志管理交互控制決策記憶棒生成學(xué)習(xí)準(zhǔn)則決策沖突檢測(cè)比對(duì)庫(kù)生成自學(xué)習(xí)總線交互板塊汽車(chē)CAN總線工作總線感知板塊認(rèn)知板塊控制板塊虛擬交換2進(jìn)程監(jiān)控2虛擬交換1進(jìn)程監(jiān)控1程序員調(diào)試交互控制乘員交互黑客干預(yù)自主決策紅綠燈檢測(cè)導(dǎo)航路權(quán)檢測(cè)導(dǎo)航路權(quán)檢測(cè)定位導(dǎo)航路權(quán)檢測(cè)定位圖像數(shù)據(jù)預(yù)處理雷達(dá)數(shù)據(jù)預(yù)處理GPS數(shù)據(jù)預(yù)處理導(dǎo)航路權(quán)定位駕駛態(tài)勢(shì)融合1KMbps1KMbps駕駛員干預(yù)執(zhí)行板塊軟件模塊與雙總線連接關(guān)系圖定位遠(yuǎn)端車(chē)主干預(yù)調(diào)試總線雙駕雙控日志管理自學(xué)習(xí)板塊決策記憶棒生成比對(duì)庫(kù)生成學(xué)習(xí)準(zhǔn)則決策沖突檢測(cè)

盡管每個(gè)模塊都連到工作總線和調(diào)試總線，但從物理支撐看，工作總線在以太網(wǎng)1上，調(diào)試總線在以太網(wǎng)2上，兩者是分開(kāi)的；從信息流向看，只有交互控制和日志管理模塊對(duì)雙總線是雙跨的！對(duì)其它模塊而言，雙總線在邏輯上是隔離的！唯有交互控制模塊可實(shí)時(shí)干預(yù)智能車(chē)的行為控制！應(yīng)用工作總線交互認(rèn)知自主決策模塊導(dǎo)航綜合模塊路權(quán)信息融合模塊定位信息融合模塊行為油門(mén)控制制動(dòng)控制方向盤(pán)控制其它控制感知GPS導(dǎo)航GPS路權(quán)檢測(cè)GPS定位雷達(dá)導(dǎo)航雷達(dá)路權(quán)檢測(cè)雷達(dá)定位紅綠燈檢測(cè)圖像導(dǎo)航圖像路權(quán)檢測(cè)圖像定位驅(qū)動(dòng)激光雷達(dá)毫米波雷達(dá)超聲波雷達(dá)紅外雷達(dá)GPSIMU圖像類(lèi)傳感器驅(qū)動(dòng)模塊雷達(dá)類(lèi)傳感器驅(qū)動(dòng)模塊GPS類(lèi)傳感器驅(qū)動(dòng)模