無人車決策控制-駕駛認知的形式化課件

——駕駛腦設計與實現(xiàn)駕駛認知的形式化FormalizationofDrivingCognition一、從象棋腦、圍棋腦到駕駛腦3和計算機下國際象棋4黑白世界，棋子無功能之分，目數(shù)多者勝和計算機下圍棋5和計算機下圍棋難在哪里？象棋的目標是“殺王”，子越下越少；圍棋的目標是“圈地”，子越下越多，多者取勝。象棋可以從一個目標狀態(tài)不斷搜索最合理的走法達到下一個目標狀態(tài)；圍棋難以鎖定下一個目標狀態(tài)。和計算機下圍棋難在哪里？象棋可以有目的地向著某一目標狀態(tài)不斷搜索最合理的走法；圍棋具有更大的不確定性。象棋更注重邏輯思維；圍棋想圍住對方，在某個狀態(tài)下應對的步驟比象棋要多得多，有手筋、棄子、劫爭等戰(zhàn)術戰(zhàn)略運用，更注重形象思維，更大局觀。對一個特定的棋局（態(tài)勢）,國際象棋有35種可能的走法（決策），沿每種走法深下去可達80層，需要3580種遍歷搜索；而圍棋比賽，對一個特定的棋局常常需要有250150種遍歷搜索，計算和推理量巨大。圍棋因其巨大的搜索空間和困難的棋局態(tài)勢表達，被認為千古無同局，歷來是人工智能的最大挑戰(zhàn)。和計算機下圍棋難在哪里？AlphaGo突破了傳統(tǒng)程序，搭建了兩套模仿人類思維的深度卷積神經(jīng)網(wǎng)絡：valuenetworksandpolicenetworks，學會了向人類棋手學習，

從海量樣本的勝局和敗局中學習，并自動提取規(guī)則，進行推理。分析這次人機大戰(zhàn)的棋局，并沒有看到來自“天外來客”的奇招。大樣本和自學習支撐AlphaGo取勝AlphaGo以4:1戰(zhàn)勝9段圍棋高手李世石，全球為之震撼，世界一片嘩然!

震撼之后的思考：AlphaGo程序，比賽前后變了沒有？能否讓AlphaGo和李世石來一次復盤？如果AlphaGo以后一直和棋簍子下，棋商會不會退化？

棋類高手與人工智能發(fā)展成果積累的對決，是讓棋手充當測試員的一次科學試驗一個人與一群人（棋類高手+AI高手）的對決一個生物人與“人與機器混合生物”之間的對決人機大戰(zhàn)常常是：人機大戰(zhàn)本質上是人機--機人大戰(zhàn)！AlphaGo的局限性AlphaGo僅僅是個圍棋腦，還不是一個圍棋手，更不是一個圍棋機器人，根本就沒有眼和手，沒有感知和行為能力AlphaGo沒有情緒，沒有情感，不能分析對手的心理狀態(tài)，不能現(xiàn)場和對手展開心理戰(zhàn)，缺失交互認知能力AlphaGo的局限性用于對大數(shù)據(jù)樣本學習的卷積神經(jīng)網(wǎng)絡，太多的學習參數(shù)具有隨意性，不能保證算法的收斂性，缺少反饋機制，大量案例也不具有累積性，深度學習不可能是人工智能的終結者。目前也還沒有聽說AlphaGo具有個性，并有進化學習的能力。駕駛腦:駕駛認知的形式化從汽車到輪式機器人：發(fā)明汽車130年來，先從汽車的行為能力做起，在確保車輛動力學和人機工程學的基礎上，配置感知的零部件，實現(xiàn)自動駕駛，進而研發(fā)駕駛腦，完成自主行駛，走著一條完全不同于“圍棋腦——圍棋手——圍棋機器人”的技術發(fā)展道路！圍棋機器人來日方長，輪式機器人和飆車手的比賽將會更加激動人心！駕駛認知的形式化，強調如何用人工智能技術代替駕駛員的感知、認知和行為，確保車輛自主行駛，而不必糾結于機器駕駛腦和駕駛員腦是否在微觀上具有相似性！智能駕駛等級區(qū)分離線輔助駕駛自動駕駛（局部時段、局部區(qū)域）自駕駛/自主駕駛/無人駕駛以人為本的人機協(xié)同共駕ADAS,HUD高德導航碰撞預警等ACC自動緊急剎車等城際高速行駛等類似騎士和馬人馬騎士與馬

如果人腦特定問題域的認知能力可以通過大數(shù)據(jù)認知先局部地形式化，構造出駕駛腦、圍棋腦、文秘腦、聊天腦等，哪怕在微觀上不具有組織結構的相似性，但在宏觀上不亞于特定人的智商和情商。那么，當千千萬萬的特定問題域的認知能力局部形式化之后，用人工智能技術構建千千萬萬“一腦一用”的認知腦，并通過移動互聯(lián)網(wǎng)、云計算，就可以倒逼并逼近一個“一腦萬用”的人造生物腦。從“一腦一用”到“一腦萬用”二、駕駛認知的形式化約束

“Google無人駕駛汽車有上百萬英里的測試經(jīng)驗，大致相當于人類75年的駕齡?！?/p>

——2015年5月15日從Google公司的一則報道談起駕駛認知如何度量？如果經(jīng)驗駕駛員一年開車1.2萬英里，需要75年！駕駛認知的本質是統(tǒng)計和進化駕駛認知不是一次完成的，需要多次反復，在反反復復感知-認知-行動的過程中學習積累，形成相對穩(wěn)定的認知，形成不確定性處置中的基本確定性。因此，駕駛認知是個動態(tài)的演化過程。駕駛認知本質：CognitionbyCases駕駛認知形式化約束

從人的視聽覺感知切入研究腦認知，尤其是模擬人腦中的記憶智能、計算智能和交互智能，用機器模擬人腦對安全駕駛的自學習和駕駛技能積累能力，模擬人腦對駕駛環(huán)境的感知、認知、決策和行為控制。尤其重要的是駕駛腦并不模擬在駕駛過程中與安全駕駛無關的駕駛員的其它認知活動，如對路邊美女、對周邊車輛品牌等，機器駕駛腦都不會有任何興趣！駕駛腦將駕駛活動從人的認知活動中抽象并剝離出來,

不少做,更不多做，專門模擬人腦完成低級、繁瑣、持久的駕駛認知，選擇性注意，永遠專注，永不疲倦。駕駛腦的差異反映個人智力和運動協(xié)調能力的差異，世界上沒有兩個完全相同的駕駛腦。

駕駛認知的形式化，也許不必一開始就弄清駕駛員認知的微功能、微結構、人腦內各種連接關系的復雜組織；也不必一開始就弄清高并發(fā)、大流量、大數(shù)據(jù)信息編碼以及腦精細組織跨區(qū)域的關聯(lián)，要懂得忽略和聚焦，懂得抽象和分離。駕駛認知形式化的尺度選擇駕駛認知的形式化，強調如何用人工智能技術代替駕駛員的感知和認知，確保車輛自主行駛，而不必糾結于機器駕駛腦和駕駛員腦是否在微觀上具有相似性！駕駛認知坐標系的形式化作為認知主體，輪式機器人在運動過程中始終以“我”為中心，對周邊環(huán)境信息體現(xiàn)選擇性注意和簡約，時時刻刻進行同步定位和映射（iSLAM），這是腦認知形式化的重要內容。心理物理學定律人的一切感覺，包括視覺、聽覺、膚覺（含痛、癢、觸、溫度）、味覺、嗅覺、電擊覺等都遵從感覺不與物理量的強度成正比，而是與對應物理量的常用對數(shù)成正比的法則。該法則成為心理物理學的奠基性理論，為對數(shù)視力表等感覺強度的規(guī)范制定了量化標準，并一直延用至今。韋伯——費希納定律（1850年左右）：

S=K1

logR=K2lnR

反映駕駛認知的對數(shù)極坐標系loga1=0，直角坐標系中半徑為1的小圓內的所有點，在對數(shù)極坐標中全都塌縮為零點柵格角度1°最大環(huán)數(shù)100徑向長度204m最小柵格徑向0.1m面積1cm2最大柵格徑向3.4m面積6

m2以車速36km/h為例視野100°200m（100環(huán)）100m（91環(huán)）10m（61環(huán)）5m（52環(huán)）注視點（聚焦點）：18m車速V與預瞄點f的關系：f=5.0771*e0.0254V

擬合系數(shù)=0.88燈下黑Grid1,

1°（a）Grid100,1°（b）車速

Km/h視野（視覺區(qū)）注意高度（與地平面夾角）注視點（聚焦點）動視力（能見度）0210o30o3m1.518120o25o9m1.236100o20o18m1.15480o15o27m1.07270o12o36m0.810840o10o54m0.6駕駛員視野和車速相關車速V與注視點焦距f的關系：預瞄點f=5.0771*e0.0254V

擬合系數(shù)=0.88感知、認知的多坐標系和坐標系變換橢球地心坐標系（貝賽爾1841坐標系）GPS全球定位系統(tǒng)WGS-84坐標系（地心空間經(jīng)高斯投影分帶形成的大地直角坐標系）車姿慣導器件用坐標系雷達用坐標系（極坐標系）攝像頭用坐標系駕駛員認知的坐標系（對數(shù)極坐標系）

駕駛員的認知坐標系近似為隨車而動的對數(shù)極坐標系，充分體現(xiàn)了選擇性注意！

在對數(shù)極坐標系中統(tǒng)一標定，不必對單一攝像頭或者雷達進行SLAM,可分類3個視覺通道分別完成GPS-SLAM、圖像SLAM、雷達SLAM，進而完成iSLAM，融合駕駛態(tài)勢形成駕駛態(tài)勢圖！

駕駛員的先驗知識，無論是駕駛地圖，還是車輛的動力學性質，都映射到駕駛員的認知坐標系中！三、駕駛腦架構設計原則

回顧近十年來我們參加的比賽和里程碑試驗，智能車各種感知和認知手段，相互依存，彼此纏繞。在各類比賽場、測試場，智能車表現(xiàn)千奇百怪、反反復復，我們困惑過，迷茫過，試來試去，換車、換平臺、加電源、換模塊，通過多車交叉驗證和常態(tài)試驗，終于理出了頭緒，形成全新的駕駛腦設計!

和各種車載傳感器相比，駕駛腦的架構設計、模塊劃分和界面約定才是智能車的生命力，進而決定智能車產業(yè)的核心競爭力！架構設計原則系統(tǒng)原則模塊原則表現(xiàn)原則快樂編程原則系統(tǒng)原則模塊原則表現(xiàn)原則NVIDIA

嵌入式超級計算機iDRIVE

機器駕駛腦系統(tǒng)原則

明確任務目標和系統(tǒng)約束，首先是明確不做什么，最大剔除，堅持最簡，其次才是明確做什么，尤其是做強什么。這一點成為駕駛腦架構的特色和亮點。架構師應該確保駕駛腦架構設計的普適性，當某一傳感器或者某一認知計算軟件性能提高后，仍然能夠保證駕駛腦的擴展和智商的提高。對架構師而言，傳感器的多少、駕駛智商的高低不應該影響架構；換一個新型傳感器或者軟件模塊新版本，如同汽車換一個車燈，換一個車輛平臺，甚至換一種駕駛風格，都不會影響架構。

不做什么？為什么不做？要不要全地域的高精度地圖？要不要識別全程交通標志牌？要不要做圖像和雷達的全程點云SLAM?要不要識別周邊行人姿態(tài)和情緒？要不要識別前方車輛種類和品牌等？先覺后視視而不覺邊視邊覺先視后覺根據(jù)前一時刻已擁有的路權，關注當前路權的變化對周邊自然風景、建筑風格、行人年齡姿態(tài)行為、是不是美女、行人和寵物的差別、前方車輛品牌，是不是時尚等等，一律熟視無睹。常規(guī)的、帶GPU加速的計算機圖像處理強選擇性，利用記憶主動感知，主觀尋找特定駕駛情境強調已有認知協(xié)助當前感知！做什么？做好什么？做強什么？專注駕駛和駕駛安全做好為智能車和駕駛員服務的駕駛地圖做強選擇性注意做強已有認知協(xié)助當前感知做強認知工程學明確任務目標先跑通駕駛腦架構，再優(yōu)化、升級模塊性能系統(tǒng)架構要有普適性，既適用商用車，也適用乘用車，還適用特種車，最好適用所有輪式機器人架構要穩(wěn)定，模塊可維護、可重用、可擴展，可多車交叉驗證，界面友好分層與模塊化是智能車軟件工程的重要思想，上層對下層有數(shù)據(jù)依賴，縱向分開的并列部分不直接關聯(lián)，不從模塊中導出函數(shù)，“絕招”和“臟”的代碼都被孤立在模塊的里面核心是工作總線和調試總線的切分，以及調試總線和自學習總線的復用確立“沒有哪個軟件模塊不會被再修改”的原則模塊切分原則表現(xiàn)原則感知的結果表現(xiàn)為反映時序的點云圖簇，認知的結果表現(xiàn)為駕駛態(tài)勢圖簇，決策的結果表現(xiàn)為認知箭頭簇。三類時空序列的2.5維的表現(xiàn)形態(tài)（CT圖）成為駕駛腦的特色和亮點。通過三類存儲的時空序列的緩沖區(qū)隔離，防止死鎖，確保共享

軟件工程隨著遺產代碼的積累和進化，新系統(tǒng)的架構設計已經(jīng)取代傳統(tǒng)編碼成為軟件工程的核心問題，軟件開發(fā)已經(jīng)演變?yōu)榕渲脼橹?、編程為輔，駕駛腦研發(fā)也不例外。

盡管架構中模塊配置的過程本身還是通過模塊化編程的方式來完成，但本質上這些模塊只是在定制成熟算法的運作方式，其技術難度要比編寫平臺自帶的、或者可以移植過來的高質量的成熟算法（如函數(shù)庫）至少低一個數(shù)量級。悲催的是，多數(shù)人在認真地做著相反的事?？鞓肪幊淘瓌t基本算法不創(chuàng)新，盡量使用廣泛認可的、成熟、開源算法，移植到相應軟件模塊明確算法中的輸入量和輸出量，自變量和參變量尤其明確試驗中要調整的參變量（如預置閾值、權重、優(yōu)化系數(shù)、選擇性開關等）以及參變量凍結的試驗時間序編程AB角，離線調程序，在線調參數(shù)體現(xiàn)人類認知的駕駛腦的架構設計，是智能車項目的精髓。只要架構適用，傳感器缺陷也好，軟件臟代碼也好，算法創(chuàng)新也好，車輛平臺的動力學性質也好，都是局部性的、暫時性的！

智能車傳感器的添加可以從少到多、從低級到高級，例如從單目相機到深度相機，甚至到雷達相機。但是，體現(xiàn)人類認知的駕駛腦架構仍然不變。只要架構合適了，智商提高的關鍵，轉向特定傳感器或特定模塊內部的優(yōu)化，架構師依然很輕松很瀟灑。駕駛腦數(shù)據(jù)流程圖軟件模塊在雙總線中的連接關系圖駕駛腦軟件模塊邏輯架構圖駕駛腦軟件模塊列表駕駛腦板卡物理構成圖弄清駕駛腦設計的四圖一表四、分區(qū)記憶和駕駛腦數(shù)據(jù)流程類腦駕駛如何受腦科學啟發(fā)？

駕駛腦性格短期記憶長期記憶情緒學習和思維動機情緒：拒絕人腦中的情緒進入駕駛腦，永遠不因情緒而分散注意力，始終專注。工作記憶：體現(xiàn)駕駛員的選擇性注意，僅僅關注剛剛過去的以及當前的周邊駕駛態(tài)勢。動機：完成出行任務從起點到終點的一次性路徑規(guī)劃。學習和思維：通過可用路權和相似性匹配，完成自主決策，控制下一時刻的行為動作。長期記憶：如駕駛地圖，表示駕駛員的知識和經(jīng)驗。性格：由人的基因決定，反映開車是保守還是張揚，還體現(xiàn)小腦動平衡能力。瞬間記憶視覺殘留

遺忘是人類智能的一個顯著表現(xiàn)。駕駛員在周邊環(huán)境世界里，有豐富的瞬間記憶，短期適度的工作記憶，以及反復的長期記憶。越是長期的越抽象越難忘，越是瞬間的越具體忘得越快，表現(xiàn)語言不同，表達粒度也不同。

受腦科學研究成果的啟發(fā)，總架構強調記憶認知，建立瞬間記憶區(qū)、工作記憶區(qū)和長期記憶區(qū)。三區(qū)的數(shù)據(jù)空間大小、表達語言、時序間隔等完全不同，要解決三區(qū)記憶數(shù)據(jù)在雙總線和計算模塊之間傳送和存儲的效率問題。

分區(qū)記憶和記憶共享奠定了駕駛腦架構的基本形態(tài)！分區(qū)記憶和記憶共享在已有認知（路口地圖和路段地圖）的協(xié)助下，類比人的視覺通道，三類傳感器通道各負其責,又只能盡力而為，形成視覺殘留：GPS+IMU通道：定位、路權檢測、導航

雷達通道：定位、路權檢測、導航

圖像通道：定位、路權檢測、導航三類傳感器通道我在什么地方？周邊有什么？下一步怎么走？SLAM認知箭頭可用路權感知理解和瞬間記憶

感知理解要充分借助駕駛地圖數(shù)據(jù)庫即時生成的、對數(shù)極坐標表達的路段地圖或者路口地圖，還要與視覺殘留關聯(lián)，感知理解的結果形成新的瞬間記憶，記憶中的數(shù)據(jù)隱藏著三個通道各自對定位、路權檢測和導航的力所能及的貢獻。腦科學研究表明，工作記憶和長期記憶形成的差異可以從海馬體的神經(jīng)突觸細胞的化學變化反映出來，通過突觸形狀記錄信息，當CPEB69蛋白質處于元粒態(tài)才能執(zhí)行存儲。工作記憶與長期記憶

點云不進入工作記憶，工作記憶的形態(tài)是駕駛態(tài)勢圖；長期記憶是對駕駛態(tài)勢反復形成的抽象，是用語言對駕駛態(tài)勢做語義標注，以經(jīng)驗和規(guī)則的形態(tài)表現(xiàn)。決策記憶瞬間記憶動態(tài)感知態(tài)勢分析自主決策精準控制態(tài)勢記憶計算流程讀數(shù)據(jù)流程反饋—已有認知幫助當前感知，感知不受已有認知的影響幾乎是不可能的！工作記憶長期記憶

1/2路段記憶

1/16路口記憶險情記憶困境記憶泊車記憶反饋讀讀反饋反饋反饋反饋反饋瞬間記憶瞬間記憶態(tài)勢記憶態(tài)勢記憶決策記憶決策記憶搜索匹配引擎寫寫寫反饋速度變化量轉角變化量點云中隱含著導航、周邊障礙物和SLAM數(shù)據(jù)可用路權及其變化駕駛態(tài)勢圖駕駛態(tài)勢融合模塊自主決策模塊控制模塊在線執(zhí)行模塊態(tài)勢記憶池決策記憶池瞬間記憶池駕駛態(tài)勢圖駕駛態(tài)勢圖駕駛態(tài)勢圖駕駛態(tài)勢圖駕駛態(tài)勢圖駕駛態(tài)勢圖駕駛腦數(shù)據(jù)流程圖GPS雷達攝像頭感知理解模塊長期記憶池1/2路段記憶1/16路口記憶險情記憶困境記憶泊車記憶反饋反饋反饋反饋五、駕駛腦外延——記憶棒

考駕照時駕駛員的理論考試，并不要求對交通道路地圖的理解和積累。但駕駛員的經(jīng)驗很重要，在高速路上偶爾會看到駕駛員將車停在一邊問路，是他的駕駛技術不熟練嗎？要不要把全城、全省、全國、全球的高精度道路地圖統(tǒng)統(tǒng)搬到一個特定的駕駛腦中去？為什么近年來如此多的地圖公司提供我們的駕駛地圖始終沒有被用上？質疑1：

在智能駕駛中，傳統(tǒng)電子地圖和數(shù)字地圖處于什么位置？起什么作用？地圖是不是個傳感器？智能車在第一次出行任務之前是否一定要預先實地學習行駛一遍或多遍？現(xiàn)場跑究竟跑什么？質疑2：

每一個特定的駕駛員，每一輛特定的輪式機器人，他走過的路服從二八定律，包括駕駛地圖在內的先驗知識是以他為中心坐標系的長期記憶認知而已，可以分別用路段和路口組成的駕駛地圖記憶棒實現(xiàn)。解決方案：駕駛地圖記憶棒

智能駕駛中的雙二八定律：80%的時間在路段上跑；80%的技術難度在路口駕駛地圖記憶棒1/2路段記憶棒1/16路口記憶棒路段駕駛例:

在城市或城際道路上，一般地說，同一路段內具有相同的車道數(shù)，且車道寬度保持不變；還具有相同的諸多物理和幾何屬性。對路段駕駛而言，常常要求較高的橫向精度和較低的縱向精度。

借助駕駛地圖記憶棒中的路段數(shù)據(jù)庫，融合三路傳感器信息，即時生成在車輛前進方向上的對數(shù)極坐標表示的駕駛態(tài)勢圖。路段名稱起止位置坐標限速km/h車道數(shù)據(jù)路面數(shù)據(jù)道間及路邊數(shù)據(jù)車道數(shù)車道寬度車道曲率規(guī)則程度道路坡度路面質量規(guī)則程度隔離帶種類路肩高度規(guī)則程度翠微段(a,b)8033.5m0好+1°粗糙好綠化5cm好路段地圖碎片化、個性化

——1/2路段地圖數(shù)據(jù)庫例路邊社情路邊建筑物推薦速度高峰時段平常城鄉(xiāng)結合部高樓林立3070路段地圖在感知中的作用舉例再次確認：雷達識別出道路中間的綠化隔離帶，被地圖確認；GPS-IMU給出本車所在的地圖車道位置，被攝像頭檢測到的車道線確認互相補充：地圖告知進入事故多發(fā)區(qū)，雷達點云數(shù)據(jù)反映道路流量增大；地圖告知經(jīng)過流動商販區(qū)，攝像頭發(fā)現(xiàn)許多行人沖突消解：雷達識別出道路前方疑似橫向路肩，地圖告知是大陡坡要上橋；地圖給出道路大轉彎曲率，攝像頭丟失車道線；攝像頭看出是下坡，地圖告知是怪坡。以路段駕駛為例:提醒幫助：地圖告知前方是隧道，提醒GPS可能會丟失信號，不再懷疑GPS失鎖；車輛到達坡頂前，提醒前向雷達可能無信息可用，提醒攝像頭無法檢測到車道線，但地圖仍可提供地形坡度等信息，輔助決策。過濾噪聲：地圖告知正在通過粗糙路面，雷達出現(xiàn)抖動噪聲數(shù)據(jù)需要過濾；地圖告知要通過城鄉(xiāng)結合部路邊家禽菜市場繁鬧區(qū)，雷達發(fā)現(xiàn)過多、過小、過雜的移動障礙物屬性關聯(lián)：地圖告知正在通過大彎道傾斜路面，雷達檢出前方所有移動目標都在減速以路段駕駛為例:路段地圖在感知中的作用舉例路段駕駛態(tài)勢圖例屬性值限速80推薦速度30道路坡度+1°路面質量粗糙隔離帶綠化帶路肩高度5cm認知箭頭十字形交叉路口路口地圖碎片化、個性化

——1/16路段地圖數(shù)據(jù)庫例1/9T形交叉路口1/25環(huán)形交叉路口路口地圖碎片化、個性化路口數(shù)據(jù)碎片化：1/16路口地圖數(shù)據(jù)例路口名稱路口屬性限速km/h本車道對應路口數(shù)據(jù)路口路面數(shù)據(jù)道間及路邊數(shù)據(jù)停止線坐標斑馬線坐標二次停止線對應紅綠燈位置道路坡度路面質量規(guī)則程度道路間隔物路肩高度周邊障礙物輪廓翠微萬壽路口十字路口30(a,b)(a,b)(a,b)(a,b)+1°粗糙好綠化5cm(a,b)路口地標路口周邊建筑物本車道對應對方車道數(shù)據(jù)停止線坐標斑馬線位置坡度(a,b)(a,b)+1°城鄉(xiāng)結合部低矮平房行車方向——由南向北在路口左拐：1/16路口駕駛態(tài)勢圖例對應紅綠燈周邊障礙物停止線本車道對應車道1/16路口地圖數(shù)據(jù)庫例路口名稱路口屬性限速km/h本車道對應路口數(shù)據(jù)路口路面數(shù)據(jù)道間及路邊數(shù)據(jù)停止線坐標斑馬線坐標二次停止線對應紅綠燈位置道路坡度路面質量規(guī)則程度道路間隔物路肩高度周邊障礙物輪廓翠微萬壽路口十字路口30(a,b)(a,b)(a,b)(a,b)+1°粗糙好綠化5cm(a,b)路口地標路口周邊建筑物本車道對應對方車道數(shù)據(jù)停止線坐標斑馬線位置坡度(a,b)(a,b)+1°城鄉(xiāng)結合部低矮平房路口駕駛態(tài)勢圖例對應紅綠燈周邊障礙物停止線本車道對應車道駕駛記憶棒特定車駕駛記憶棒1/2路段駕駛記憶棒1/16路口駕駛記憶棒泊車記憶棒險情記憶棒困境記憶棒……在自學習總線中會有進一步說明駕駛記憶棒是通過自學習生成的險情、困境記憶棒示例困境記憶棒陡坡起步陷入泥潭爆胎處置……險情記憶棒彎道超車匯入車流雪地行駛雨中行駛山路行駛……六、

雙總線架構實現(xiàn)交互認知

從智能車架構1.0存在問題談起……“猛獅4號”智能車傳感器等硬件物理連接圖后毫米波雷達CAN線GPS慣導

串口線頂8線激光雷達前8線激光雷達前1線激光雷達后1線激光雷達交換機網(wǎng)線網(wǎng)線網(wǎng)線網(wǎng)線網(wǎng)線左耳攝像頭右耳攝像頭USB線USB線OBD診斷接口串口線車內左攝像頭車內中攝像頭車內右攝像頭1394視頻傳輸線1394視頻傳輸線1394視頻傳輸線下位機控制器串口線工控機工控機工控機以太網(wǎng)工控機3+操作系統(tǒng)工控機2+操作系統(tǒng)工控機1+操作系統(tǒng)支撐模塊進程監(jiān)控虛擬交換日志管理交互調試應用模塊圖像預處理GPS預處理感知雷達預處理認知路徑導航道路要素映射路口記憶棒危險場景記憶棒泊車記憶棒人工干預決策行為油門控制制動控制其它控制方向盤控制信息融合驅動模塊激光雷達毫米波雷達超聲波雷達紅外雷達GPSIMU圖像類傳感器驅動模塊雷達類傳感器驅動模塊GPS類傳感器驅動模塊單目相機雙目相機BDSIMU智能車軟件模塊邏輯架構圖發(fā)送者物理層千兆以太網(wǎng)接收者應用層傳輸層UDP網(wǎng)絡層IP物理層千兆以太網(wǎng)應用層傳輸層UDP網(wǎng)絡層IP智能車架構1.0存在問題分析由于UDP是一種面向事務的簡單不可靠信息傳送服務，盡管傳輸效率高。但它不對數(shù)據(jù)包進行排序，無法確知是否安全完整到達，造成基于UDP的虛擬交換的先天不足！虛擬交換虛擬交換人機交互和在線調試占用了智能駕駛實時信息處理的計算資源和帶寬，又沒有規(guī)定基于組播技術的虛擬交換中交換的優(yōu)先級，當通信量增大時出現(xiàn)阻塞和丟包現(xiàn)象，重要小包的丟失會造成車輛失控的嚴重后果！智能車架構1.0存在問題分析駕駛腦中的工作總線和自學習總線構成雙總線設計，確保了輪式機器人智能駕駛的實時性不受影響，又保證了人機交互和協(xié)同。

雙總線中的交互認知

雙總線架構既不影響傳感器數(shù)據(jù)的實時性處理，又能夠調整軟件模塊中的相關參數(shù)，便于試驗調試，還可以在線學習駕駛員的駕駛經(jīng)驗，成為駕駛腦架構設計又一個亮點！感知板塊認知板塊控制板塊交互板塊自學習板塊駕駛腦各板塊都基于雙總線工作工作總線自學習總線每個板塊都在雙總線下工作：駕駛態(tài)勢融合雙駕雙控工作總線CAN總線認知板塊雷達數(shù)據(jù)預處理圖像數(shù)據(jù)預處理導航數(shù)據(jù)預處理控制板塊執(zhí)行板塊自主決策感知板塊交互板塊駕駛員干預和工作總線相連的軟件模塊1KMbps進程監(jiān)控1虛擬交換1交互控制程序員調試模塊黑客干預遠端車主干預乘員交互日志管理程序員在線調參數(shù)的過程，可理解為程序員在教輪式機器人如何學開車，如同棋手教圍棋腦下棋國際象棋，對一個特定的棋局（態(tài)勢）常常有35種可能的走法（寬度），沿每種走法深下去可達80層，即有3528種可能可選；圍棋比賽對一個特定的棋局常常有250150種可能走法，計算和推理量很大。然而對開車過程中一個特定的駕駛態(tài)勢，可能的操作要少！

駕駛活動更多的是技巧、記憶和經(jīng)驗，而不是知識、推理和計算！真正能夠教機器人開車的應該是駕駛員，有經(jīng)驗的駕駛員長期與車互動，熟練到已經(jīng)把車同化為人體的一部分，成為與身體無縫對接的真實外延因此，機器駕駛腦在駕駛員開車時應該能“悄悄地”自學習，將“腦和機器融合在一起”，實現(xiàn)這樣一個可望而不可及的人類夢想！我們將調試總線擴展為自學習總線，開創(chuàng)自學習板塊，完成統(tǒng)計學習和進化學習（CognitionByCases），讓輪式機器人像人一樣開車，研發(fā)有個性的智能車！

一旦當前的認知與過去經(jīng)歷的記憶進行了混合比對，駕駛腦便能對不確定未來做出最好的決策，完成大腦的創(chuàng)造性、運動的靈巧性以及對車無窮無盡的同化過程。如果方程式賽車手在以240km/h的速度疾駛時，甚至能覺察出賽道瀝青表面的細微改變，如果足球運動員的大腦認為足球只不過是其腳的延伸。這個過程體現(xiàn)了神經(jīng)生理學的一個原則：可塑性原則（PlasticityPrinciple）不妨通過統(tǒng)計學習和進化學習，研發(fā)可塑駕駛腦。駕駛腦不再是完成特定任務的程序，它具有終身學習的能力駕駛腦通過自學習可匯聚多人駕駛認知，智商提高的速度要遠遠高于單個駕駛員駕駛技巧自然進化的速度駕駛態(tài)勢融合雙駕雙控自學習/調試總線CAN總線認知板塊雷達數(shù)據(jù)預處理圖像數(shù)據(jù)預處理導航數(shù)據(jù)預處理控制板塊執(zhí)行板塊自主決策感知板塊駕駛員干預和自學習/調試總線相連的軟件模塊1KMbps進程監(jiān)控2虛擬交換2自學習板塊駕駛記憶棒生成搜索匹配引擎比對庫生成交互板塊程序員調試模塊遠端車主干預日志管理交互控制遠端服務響應乘員交互

人工駕駛時，將經(jīng)驗駕駛員對油門、制動和方向盤的操控量抽象為認知箭頭，與機器視覺形成的駕駛態(tài)勢圖進行一一對應，“悄悄地”生成碎片化的駕駛態(tài)勢-認知箭頭圖對，4然后通過深度學習，生成駕駛記憶棒；

機器人駕駛時，利用搜索匹配引擎，通過駕駛態(tài)勢以圖搜圖，實時地在記憶棒中近似搜索，找到符合當前駕駛態(tài)勢的合適認知箭頭，形成控制指令輸出。充分發(fā)揮碎片化（大數(shù)據(jù)）認知的作用，克服形式化的困難，細分約束區(qū)間，縮小在線推理范圍。自學習模塊正學習：機器人向經(jīng)驗駕駛員學開車經(jīng)驗駕駛員通過生物視覺等形成的當前駕駛態(tài)勢圖3路機器視覺綜合形成的當前駕駛態(tài)勢圖駕駛員人工操控油門、制動和方向盤駕駛態(tài)勢——認知箭頭圖對庫生成駕駛態(tài)勢認知箭頭抽象機器駕駛3路機器視覺綜合形成的當前駕駛態(tài)勢圖駕駛態(tài)勢駕駛記憶棒搜索匹配引擎認知箭頭機器人操控油門、制動和方向盤人工駕駛認證提取通過深度學習實現(xiàn)自學習：統(tǒng)計學習和進化學習負學習：機器人向事故駕駛員吸取開車教訓經(jīng)驗駕駛員通過生物視覺等形成的當前駕駛態(tài)勢圖3路機器視覺綜合形成的當前駕駛態(tài)勢圖駕駛員人工操控油門、制動和方向盤駕駛態(tài)勢——認知箭頭圖對庫生成駕駛態(tài)勢認知箭頭抽象機器人吸取教訓3路機器視覺綜合形成的當前駕駛態(tài)勢圖駕駛態(tài)勢事故記憶棒搜索匹配引擎認知箭頭機器人操控油門、制動和方向盤事故駕駛員駕駛認證提取通過深度學習實現(xiàn)自學習：統(tǒng)計學習和進化學習X輪式機器人學習泊車經(jīng)驗駕駛員通過生物視覺等形成的當前駕駛態(tài)勢圖3路機器視覺綜合形成的當前駕駛態(tài)勢圖駕駛員人工操控油門、制動和方向盤駕駛態(tài)勢——認知箭頭圖對庫生成駕駛態(tài)勢認知箭頭抽象機器人泊車3路機器視覺綜合形成的當前駕駛態(tài)勢圖駕駛態(tài)勢泊車記憶棒搜索匹配引擎認知箭頭機器人操控油門、制動和方向盤人工泊車認證提取通過深度學習實現(xiàn)自學習：統(tǒng)計學習和進化學習自學習總線交互板塊汽車CAN總線工作總線感知板塊認知板塊控制板塊虛擬交換2進程監(jiān)控2虛擬交換1進程監(jiān)控1程序員調試交互控制乘員交互遠端服務響應自主決策紅綠燈檢測導航路權檢測導航路權檢測定位導航路權檢測定位圖像數(shù)據(jù)預處理雷達數(shù)據(jù)預處理GPS數(shù)據(jù)預處理導航路權定位駕駛態(tài)勢融合1KMbps1KMbps駕駛員干預執(zhí)行板塊軟件模塊與雙總線連接關系圖定位遠端車主干預調試總線雙駕雙控自學習板塊駕駛記憶棒生成比對庫生成搜索匹配引擎日志管理

盡管每個模塊都連到工作總線和自學習總線，但從物理支撐看，工作總線在以太網(wǎng)1上，自學習總線在以太網(wǎng)2上，兩者是分開的；從信息流向看，只有交互控制模塊對雙總線是雙跨的！對其它模塊而言，雙總線在邏輯上是隔離的！唯有交互控制模塊可實時干預智能車的行為控制！基于雙總線的人機協(xié)同共駕“輪式機器人”駕駛位上的駕駛員（可空缺）程序調試員、試驗員乘員互聯(lián)網(wǎng)遠端的車主包括黑客在內的互聯(lián)網(wǎng)遠端服務請求六種人之間的交互雙駕雙控在線干預機器人的認知能力目的地表達責任人，擁有最高指揮權，日常調度維護自主駕駛出發(fā)地和目的地表達云端

雙總線中的交互認知

雙總線架構實現(xiàn)了六種人之間的交互，體現(xiàn)人機協(xié)同共駕，為車聯(lián)網(wǎng)打下基礎，為提高移動生活品質留有足夠空間,并堵死黑客的攻擊。七、駕駛腦軟件模塊邏輯架構應用工作總線交互認知自主決策模塊導航綜合模塊路權信息融合模塊定位信息融合模塊控制油門控制制動控制方向盤控制其它控制感知GPS導航GPS路權檢測GPS定位雷達導航雷達路權檢測雷達定位紅綠燈檢測圖像導航圖像路權檢測圖像定位驅動激光雷達毫米波雷達超聲波雷達紅外雷達GPSIMU圖像類傳感器驅動模塊雷達類傳感器驅動模塊GPS類傳感器驅動模塊單目相機雙目相機BDSIMU工作總線軟件模塊邏輯架構圖程序員調試支撐進程監(jiān)控2虛擬交換2交互控制自學習/調試總線應用驅動激光雷達毫米波雷達超聲波雷達紅外雷達GPSIMU圖像類傳感器驅動模塊雷達類傳感器驅動模塊GPS類傳感器驅動模塊單目相機雙目相機BDSIMU調試/自學習總線軟件模塊邏輯架構圖感知GPS導航GPS障礙物檢測GPS定位雷達導航雷達障礙物檢測雷達定位紅綠燈檢測圖像導航圖像障礙物檢測圖像定位認知自主決策模塊導航綜合模塊路權信息融合模塊定位信息融合模塊支撐進程監(jiān)控2虛擬交換2交互控制控制其他控制方向盤控制制動控制油門控制自學習搜索匹配引擎比對庫生成決策記憶棒生成交互遠端車主干預遠端服務響應乘員交互程序員調試日志管理感知計算模塊

用三類傳感器通道類比人的視覺通道，形成對數(shù)極坐標下各自豐富的點云圖片庫，數(shù)據(jù)量大，可實現(xiàn)傳感器數(shù)據(jù)的瞬間感知理解，還可通過深度學習、尤其是卷積神經(jīng)網(wǎng)絡模擬生物視覺神經(jīng)，也可以通過GPU加速計算，提高瞬間感知能力；還要從瞬間記憶、工作記憶和長期記憶中獲得幫助，協(xié)助當前感知。認知計算=態(tài)勢融合+二次規(guī)劃基于路權思想，重數(shù)據(jù)認知，融合三類傳感器通道盡全力輸出的定位、路權和導航信息，形成駕駛態(tài)勢，發(fā)現(xiàn)當前可用路權。根據(jù)可用路權、一次規(guī)劃、以及本車參數(shù)（如車軸距、輪距、方向盤傳動比等）做出二次規(guī)劃，輸出認知箭頭。難點在認知箭頭的方向角，即當前行車方向與注視點焦距方向行成的夾角；而二次規(guī)劃的路線長度，即為此時的注視點（預瞄點）焦距。記憶認知、計算認知和交互認知三位一體感知理解認知理解認知積累感覺記憶工作記憶長期記憶前饋前饋反饋反饋抽象抽象演繹演繹記憶認知計算認知交互認知構造不同尺度連接組的、三位一體的多層認知網(wǎng)絡瞬間記憶工作記憶長期記憶前饋前饋反饋反饋抽象抽象演繹演繹感知理解（小尺度連接組）認知理解（中尺度連接組）認知積累（大尺度連接組）WORD八、駕駛小腦——控制板塊駕駛腦形式化分工在駕駛認知的形式化過程中，駕駛腦承擔駕駛這個特定問題域中的視聽覺認知、注意、記憶、思維、決策、交互等任務；駕駛決策體現(xiàn)在橫向的方向角控制和縱向的加速度控制（動力學）把駕駛協(xié)調性技能分配給相當于小腦的自動化和車輛運動學，繼承汽車通過輪胎速度反饋的自動控制成果，如ＭＰＣ等。汽車的自動控制汽車電子比汽車發(fā)明晚了100多年，汽車電子不是電子汽車，更不是數(shù)字汽車，目前汽車的自動控制是對模擬信號的控制，正在