深度學習及自動駕駛應用 課件全套 第1-10章 汽車自動駕駛技術概述 -強化學習理論及自動駕駛應用實踐

Chapter1汽車自動駕駛技術概述第一章DeepLearningAndAutonomousDriving深度學習與自動駕駛應用DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第2頁1.1汽車自動駕駛技術概述1.2汽車自動駕駛技術架構目錄Content1.3汽車自動駕駛領域深度學習應用概述DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第3頁1.1汽車自動駕駛技術概述1.2汽車自動駕駛技術架構目錄Content1.3汽車自動駕駛領域深度學習應用概述汽車自動駕駛技術原理及愿自動駕駛汽車是指搭載先進車載傳感器、控制器、執(zhí)行器等裝置，具備復雜環(huán)境感知、自主決策、運動控制等功能，可實現(xiàn)“安全、高效、舒適、節(jié)能”行駛，最終替代人類駕駛員并實現(xiàn)自主駕駛的新一代汽車。自動駕駛技術因為具有提升交通安全、增強道路通暢、減少燃油消耗的巨大潛力，受到學界和業(yè)界的廣泛關注。麥肯錫報告顯示自動駕駛的全面普及可將交通事故發(fā)生率降低至原來的十分之一。蘭德公司預測自動駕駛汽車可提升30%的交通效率，減少67%的碳排放量，潛在的經(jīng)濟與社會效益顯著。4第4頁汽車自動駕駛的分級第5頁汽車自動駕駛的分級中國汽車工程學會分級第6頁汽車自動駕駛技術發(fā)展現(xiàn)狀國外自動駕駛汽車的發(fā)展現(xiàn)狀第7頁汽車自動駕駛技術發(fā)展現(xiàn)狀國外自動駕駛汽車的發(fā)展現(xiàn)狀1956年推出的FirebirdII，是世界上第一輛安裝自動導航系統(tǒng)的概念車，神似火箭頭的造型很容易讓人聯(lián)想到已經(jīng)實現(xiàn)自動駕駛的飛機。第8頁汽車自動駕駛技術發(fā)展現(xiàn)狀國外自動駕駛汽車的發(fā)展現(xiàn)狀2004年~2007年間，DARPA在連續(xù)組織了三屆無人駕駛汽車競賽，在推動自動駕駛技術方面發(fā)揮了重要作用，激發(fā)了全球范圍內(nèi)的研究和開發(fā)，圖為DARPA2005競賽冠軍斯坦福大學的Stanley賽車。第9頁汽車自動駕駛技術發(fā)展現(xiàn)狀國外自動駕駛汽車的發(fā)展現(xiàn)狀20世紀80年代開始，美國卡內(nèi)基·梅隆大學、斯坦福大學、麻省理工學院等著名大學都先后加入無人駕駛汽車的研究工作中。其中，美國卡內(nèi)基·梅隆大學研制的NavLab系列智能車輛最具有代表性。進行了多次自動駕駛測試，其中包括在高速公路上的自動駕駛行駛，開發(fā)的NavLab-11，如圖，最高車速達到了102km/h。第10頁汽車自動駕駛技術發(fā)展現(xiàn)狀國外自動駕駛汽車的發(fā)展現(xiàn)狀1987年至1995年期間，德國慕尼黑聯(lián)邦國防大學研發(fā)的VAMT和VITA智能車，該車輛最大時速為158km/h，可以實現(xiàn)車輛自動超車、跟隨等功能。2001年，歐盟開展了CyberCars/CyberMove智能車項目，該系列智能車采用激光掃描技術，可以完成障礙檢測、車輛跟蹤和自主導航。1998年，意大利帕爾馬大學研發(fā)出ARGO智能車，2010年，ARGO試驗車沿著馬可·波羅的旅行路線，全程自動駕駛來到中國上海參加世博會，行程達15900km。2013年，ARGO試驗車在無人駕駛的情況下成功識別了交通信號燈、避開行人、駛過十字路口和環(huán)島等。除了科研院校在無人駕駛領域的積極研究外，奧迪、福特、沃爾沃、日產(chǎn)、寶馬等眾多汽車制造廠商也于2013年開始相繼在無人駕駛汽車領域進行了布局。第11頁汽車自動駕駛技術發(fā)展現(xiàn)狀國外自動駕駛汽車的發(fā)展現(xiàn)狀2018新款奧迪A8是全球首款量產(chǎn)搭載Level3級別的自動駕駛系統(tǒng)的車型，其安裝有24個車載傳感器，可以在60km/h以下車速時實現(xiàn)Level3級自動駕駛。第12頁汽車自動駕駛技術發(fā)展現(xiàn)狀國外自動駕駛汽車的發(fā)展現(xiàn)狀2015年10月，特斯拉推出的半自動駕駛系統(tǒng)Autopilot，Autopilot是第一個投入商用的自動駕駛技術。2010年，通用公司在上海世博會上首次展示了EN-V系列電動車輛的概念原型。2016年，通用汽車收購了自動駕駛技術創(chuàng)業(yè)公司CruiseAutomation，正式進入無人駕駛領域。2018年1月，作為通用汽車旗下自動駕駛部門的CruiseAutomation發(fā)布了新一代（第四代）無人駕駛汽車——CruiseAV，如圖1.11所示。CruiseAV沒有方向盤、油門踏板和剎車踏板，安裝了21個普通雷達、16個攝像機和5個激光雷達來感知車輛周圍的環(huán)境和障礙物。第13頁汽車自動駕駛技術發(fā)展現(xiàn)狀國外自動駕駛汽車的發(fā)展現(xiàn)狀2010年，Google啟動了"谷歌自動駕駛項目"，旨在研發(fā)一種能夠自主駕駛的汽車，并能夠在現(xiàn)實道路上行駛，圖為谷歌公司的自動駕駛原型車。谷歌的自動駕駛團隊開始將自動駕駛技術應用于一些修改過的汽車，并進了測試。他們在不同地區(qū)進行大規(guī)模的測試，積累了大量的自動駕駛行駛數(shù)據(jù)，并不斷改進和驗證自動駕駛系統(tǒng)的性能。2016年，谷歌將自動駕駛項目整合到AlphabetInc.旗下的一個子公司——Waymo。Waymo在自動駕駛車的研究和開發(fā)方面取得了顯著的成就，并不斷推進自動駕駛技術的商業(yè)化和實際應用。第14頁汽車自動駕駛技術發(fā)展現(xiàn)狀國外自動駕駛汽車的發(fā)展現(xiàn)狀2016年5月，Uber無人駕駛汽車在位于美國賓夕法尼亞州匹茲堡市的Uber先進技術中心正式上路測試。Uber首次路測使用的無人駕駛汽車是一款福特Fusion混合動力汽車，如圖所示，它同時進行采集測繪數(shù)據(jù)并試驗自動駕駛功能。第15頁汽車自動駕駛技術發(fā)展現(xiàn)狀國外自動駕駛汽車的發(fā)展現(xiàn)狀創(chuàng)業(yè)公司nuTonomy是一家于2013年從麻省理工學院分離出來的創(chuàng)業(yè)公司，2016年8月，它成為了新加坡第一家在試點項目下推出自動駕駛出租車的公司。在新加坡的測試中，nuTonomy在自動駕駛汽車上配備了6套激光雷達檢測系統(tǒng)，前面安裝有2個攝像機，用于識別障礙物，檢測交通信號燈變化。第16頁汽車自動駕駛技術發(fā)展現(xiàn)狀國內(nèi)自動駕駛汽車的發(fā)展現(xiàn)狀第17頁汽車自動駕駛技術發(fā)展現(xiàn)狀國內(nèi)自動駕駛汽車的發(fā)展現(xiàn)狀相對于歐美國家，我國智能車的研究起步較晚，國防科技大學從20世紀80年代末開始先后研制出基于視覺的CITAVT系列智能車輛。1992年，由國防科技大學、北京理工大學等五家單位聯(lián)合研制成功了ATB－1（AutonomousTestBed－1）無人車，這是我國第一輛能夠自主行駛的測試樣車，其行駛速度可以達到21km／h。清華大學在國防科工委和國家863計劃的資助下，從1988年開始研究開發(fā)THMR系列智能車。THMR-Ⅴ智能車能夠?qū)崿F(xiàn)結構化環(huán)境下的車道線自動跟蹤、準結構化環(huán)境下的道路跟蹤，復雜環(huán)境下的道路避障、道路停障以及視覺臨場感遙控駕駛等功能，最高車速達150km/h。1992年以后，吉林大學先后研發(fā)出了JUIV系列智能車，其中JLUIV-4使用交流電提供動力，提升了視覺采集技術，使得視野范圍更大，圖像采集的速度加快。第18頁汽車自動駕駛技術發(fā)展現(xiàn)狀國內(nèi)自動駕駛汽車的發(fā)展現(xiàn)狀為推動創(chuàng)新研發(fā)無人駕駛汽車，國家自然科學基金委員會啟動了“視聽覺信息的認知計算”重大研究計劃，從2009年起，每年舉辦一屆“中國智能車未來挑戰(zhàn)賽”推動中國的無人駕駛車輛“駛出實驗室，駛向?qū)嶋H環(huán)境”。2012年，軍事交通學院研制出“猛獅3號”智能車，如圖1.14所示，獲得“中國智能車未來挑戰(zhàn)賽”冠軍，在高速公路進行試驗，完成了車輛跟隨、換道、超車等功能。第19頁汽車自動駕駛技術發(fā)展現(xiàn)狀國內(nèi)自動駕駛汽車的發(fā)展現(xiàn)狀不同于國外車企以自主研發(fā)為主，我國汽車制造廠商多采取與國內(nèi)科研院所、高校合作研發(fā)無人駕駛技術。一汽集團于2007年與國防科技大學合作，2011年7月，由一汽集團與國防科技大學共同研制的紅旗HQ3無人駕駛汽車，如圖所示，完成了286km的面向高速公路的全程無人駕駛試驗，人工干預的距離僅占總里程的0.78％。2015年4月，一汽集團正式發(fā)布了其“摯途”技術戰(zhàn)略，標志著一汽集團的互聯(lián)智能汽車技術戰(zhàn)略規(guī)劃正式形成。第20頁汽車自動駕駛技術發(fā)展現(xiàn)狀國內(nèi)自動駕駛汽車的發(fā)展現(xiàn)狀2015年8月，宇通大型客車從鄭開大道城鐵賈魯河站出發(fā)，在完全開放的道路環(huán)境下完成自動駕駛試驗，共行駛32.6km，最高速度為68km/h，全程無人工干預，這是國內(nèi)首次大型客車高速公路自動駕駛試驗。2018年5月，宇通客車在其2018年新能源全系產(chǎn)品發(fā)布會上宣布，已具備面向高速結構化道路和園區(qū)開放通勤道路的Level4級別自動駕駛能力。2013年，百度公司開始了百度無人駕駛汽車項目，其技術核心是“百度汽車大腦”，包括高精度地圖、定位、感知、智能決策與控制四大模塊。2015年12月初，百度無人駕駛汽車在北京進行自動駕駛測跑，實現(xiàn)多次跟車減速、變道、超車、上下匝道、調(diào)頭等復雜駕駛動作，完成了進入高速到駛出高速不同道路場景的切換，最高車速達到100km/h。第21頁汽車自動駕駛技術發(fā)展現(xiàn)狀國內(nèi)自動駕駛汽車的發(fā)展現(xiàn)狀2015年12月14日，百度宣布正式成立自動駕駛事業(yè)部。2016年，百度智能車獲得美國加州車輛管理局的批準，可以進行無人車輛道路測試。2021年下半年，百度正式組建智能汽車事業(yè)部，將多年積累的能力和經(jīng)驗全面應用在量產(chǎn)乘用車領域，助力車企共同擁抱汽車智能化浪潮。自此，百度先后推出了自主泊車ApolloParking、行泊一體領航輔助駕駛ApolloHighwayDrivingPro、城市域領航輔助駕駛ApolloCityDrivingMax等覆蓋低、中、高組合的全系列智駕產(chǎn)品，目前已在多款明星車型上實現(xiàn)量產(chǎn)。第22頁汽車自動駕駛技術發(fā)展現(xiàn)狀國內(nèi)自動駕駛汽車的發(fā)展現(xiàn)狀百度自動駕駛出租車2020年10月11日起在北京開放，約車平臺為“蘿卜快跑”?！疤}卜快跑”是百度Apollo帶來的全新升級的自動駕駛出行服務平臺，主要使用自動駕駛汽車Robotaxi，如圖所示，開展自動駕駛甚至完全無人駕駛運營。截止2023年，蘿卜快跑已在北京、上海、廣州、深圳、重慶、武漢、長沙、陽泉、烏鎮(zhèn)等城市開通。第23頁汽車自動駕駛技術發(fā)展現(xiàn)狀國內(nèi)自動駕駛汽車的發(fā)展現(xiàn)狀我國還有不少科技公司在自動駕駛領域取得了不錯的成績“經(jīng)緯恒潤”的產(chǎn)品覆蓋智能泊車、智能行車、安全預警三大領域。

“地平線”是國內(nèi)率先實現(xiàn)大規(guī)模前裝量產(chǎn)的車載智能芯片公司，領跑ADAS一體機、智能座艙、智能駕駛（行泊一體）域控制器等細分市場?！澳⒐杰嚶?lián)”采取“單車智能+車路協(xié)同”技術路線，以系統(tǒng)性思維打造了“車路云一體化”自動駕駛方案，實現(xiàn)技術與數(shù)據(jù)閉環(huán)，在自動駕駛行業(yè)競爭中形成優(yōu)勢?！拜p舟智航”采取“技術應用深度和廣度”雙擎發(fā)展戰(zhàn)略。一方面，以公開道路L4級別自動駕駛能力為“動力引擎”，不斷探索更多落地場景，驅(qū)動城市交通出行效率提升；另一方面，以自動駕駛量產(chǎn)規(guī)?；涞貫椤皠?chuàng)新引擎”，借助更多裝機量實現(xiàn)產(chǎn)品和技術的打磨。專注于礦區(qū)自動駕駛技術的“踏歌智行”，入選為國家級專精特新“小巨人”企業(yè)，自研感知、規(guī)控、協(xié)同、云控、運維五大核心技術，有效應對極端自然環(huán)境、特殊路面、龐大車輛、復雜路況與生產(chǎn)工藝流程等礦區(qū)獨有的應用場景。第24頁DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第25頁1.1汽車自動駕駛技術概述1.2汽車自動駕駛技術架構目錄Content1.3自動駕駛領域深度學習應用概述汽車自動駕駛技術架構第26頁汽車自動駕駛技術架構環(huán)境感知環(huán)境感知技術是自動駕駛系統(tǒng)中至關重要的組成部分，它負責通過傳感器獲取車輛周圍環(huán)境的信息，以實時感知和理解道路條件、障礙物、交通標志、行人和其他車輛等各種元素。這些感知信息是自動駕駛決策和規(guī)劃的基礎，幫助車輛做出正確和安全的駕駛決策。第27頁汽車自動駕駛技術架構環(huán)境感知攝像頭：攝像頭是被動式傳感器，它的基本工作原理是通過光學透鏡和圖像傳感器，將周圍環(huán)境的光線轉(zhuǎn)化為數(shù)字圖像信號。相比于其他傳感器，攝像頭通常成本較低，適用于廣泛應用和大規(guī)模生產(chǎn)。但攝像頭產(chǎn)生的圖像數(shù)據(jù)龐大，對計算機視覺算法和硬件的要求較高，需要高效的圖像處理和分析能力，在強光、弱光和惡劣天氣條件下可能性能下降。激光雷達：激光雷達是一種主動式傳感器，它通過發(fā)射一束激光脈沖，并通過接收返回的激光反射信號來計算目標物體的距離和位置。激光雷達的傳感器通常旋轉(zhuǎn)或使用多束激光來掃描周圍環(huán)境來獲取周圍環(huán)境的三維點云數(shù)據(jù)，這些點云數(shù)據(jù)可以用于構建高精度的地圖、檢測障礙物和進行目標識別，從而實現(xiàn)全方位的感知。但激光雷達成本高、價格昂貴、對不透明物體的感知能力有限。第28頁汽車自動駕駛技術架構環(huán)境感知毫米波雷達：毫米波雷達也是一種主動式傳感器，它使用毫米波頻段（通常是24GHz或77GHz）的電磁波來探測周圍環(huán)境，從而提供高精度、長距離的障礙物檢測和距離測量。相比于激光雷達，其空間分辨率較低、通常無法穿透非金屬、不透明的物體、角度分辨率相對較低，無法提供精細的目標識別和輪廓信息。超聲波傳感器：是一種常用于測量距離和檢測障礙物的被動式傳感器。它利用超聲波在空氣中傳播的特性，測量從傳感器發(fā)射到目標物體反射回來的超聲波的時間差，從而計算出目標物體與傳感器的距離。相比于其他傳感器，超聲波傳感器通常成本較低，適用于經(jīng)濟實惠的自動駕駛解決方案。然而，超聲波傳感器的探測范圍相對有限，通常在幾米到十幾米之間，因而它不適用于高速駕駛和大范圍感知。第29頁汽車自動駕駛技術架構環(huán)境感知全球衛(wèi)星導航系統(tǒng)：常用的有美國的全球定位系統(tǒng)（GlobalPositioningSystem，GPS）、俄羅斯的GLONASS、歐盟的Galileo和中國的北斗系統(tǒng)。這些衛(wèi)星導航系統(tǒng)共同為全球用戶提供了更加準確和可靠的導航和定位服務，可用于獲取車輛的精確位置信息，并與高精度地圖相匹配，從而提供更準確的定位和導航。但衛(wèi)星導航系統(tǒng)可能會受到信號干擾或遮擋，導致定位誤差增大。慣性導航系統(tǒng)（InertialNavigationSystem，INS）：是一種能夠獨立地、持續(xù)地、實時地提供車輛的位置、速度和方向信息的導航系統(tǒng)，它利用加速度計和陀螺儀等慣性傳感器來測量車輛的加速度和角速度，估計車輛的位置和姿態(tài)。慣性導航系統(tǒng)不依賴于外部信號源，如衛(wèi)星定位系統(tǒng)或地面基站，因此在遭遇信號中斷或干擾時仍然可以提供導航信息，而且慣性導航系統(tǒng)能夠?qū)崟r地提供導航信息，不需要預先建立地圖或進行數(shù)據(jù)處理。但慣性導航系統(tǒng)的測量誤差會隨著時間累積，導致位置和方向信息的誤差逐漸增大。第30頁汽車自動駕駛技術架構環(huán)境感知車聯(lián)網(wǎng)：通過無線通信技術將車輛與互聯(lián)網(wǎng)連接起來，比如借助5G通信技術在高速、大容量、低延遲等方面優(yōu)勢，為車聯(lián)網(wǎng)提供更快速、可靠的數(shù)據(jù)傳輸，實現(xiàn)車輛與車輛（V2V）、車輛與基礎設施（V2I）、車輛與云端（V2C）之間的實時數(shù)據(jù)交換。第31頁汽車自動駕駛技術架構決策規(guī)劃技術在自動駕駛汽車中，決策規(guī)劃是一個關鍵的環(huán)節(jié)，它根據(jù)車輛的感知信息和環(huán)境狀況做出決策，規(guī)劃出車輛的行駛路徑和行為，以實現(xiàn)預定的目標和任務。決策規(guī)劃的主要任務包括路徑規(guī)劃、速度規(guī)劃、交通行為決策和沖突處理等。

第32頁汽車自動駕駛技術架構決策規(guī)劃技術路徑規(guī)劃：路徑規(guī)劃是決策規(guī)劃的核心部分，它決定車輛的行駛路徑。路徑規(guī)劃算法根據(jù)車輛的當前位置、目標位置和環(huán)境信息，計算出一條安全且符合規(guī)則的路徑。考慮到不同的場景和交通條件，路徑規(guī)劃可以是全局路徑規(guī)劃（從起點到目標點的整體路徑規(guī)劃）或局部路徑規(guī)劃（針對避障和動態(tài)障礙物的路徑調(diào)整）。速度規(guī)劃：速度規(guī)劃決定車輛的行駛速度。根據(jù)當前交通情況、道路條件、障礙物等信息，速度規(guī)劃算法可以調(diào)整車輛的速度，以保持安全距離、避免碰撞，并盡可能地提高行駛效率。車道規(guī)劃：車道規(guī)劃決定車輛在道路上的行駛車道。車道規(guī)劃算法可以根據(jù)交通標志、道路標線和導航目標，將車輛引導至合適的車道。交通行為決策涉及到車輛在復雜交通環(huán)境中的行為。第33頁汽車自動駕駛技術架構控制執(zhí)行技術自動駕駛汽車的控制執(zhí)行是指將經(jīng)過決策規(guī)劃階段得出的行駛路徑和行為決策轉(zhuǎn)化為實際的車輛操作，使汽車能夠按照規(guī)劃的路徑和速度進行行駛?？刂茍?zhí)行是自動駕駛系統(tǒng)中的最終環(huán)節(jié)，負責將決策轉(zhuǎn)換成車輛的物理動作。自動駕駛汽車的控制執(zhí)行主要任務包括縱向（驅(qū)動、制動）、橫向（轉(zhuǎn)向）和橫縱向綜合控制。第34頁汽車自動駕駛技術架構控制執(zhí)行技術縱向控制：縱向控制是指通過對驅(qū)動和制動的協(xié)同控制，實現(xiàn)利用加速度或減速度對目標車速或目標扭矩的精確響應。橫向控制：橫向控制主要是指通過對電動助力轉(zhuǎn)向系統(tǒng)（EPS）進行轉(zhuǎn)角或轉(zhuǎn)矩控制，實現(xiàn)汽車的自動轉(zhuǎn)向功能?？刂茍?zhí)行：控制執(zhí)行要根據(jù)車輛當前的狀態(tài)和位置，確保車輛按照規(guī)劃的路徑準確行駛，避免偏離或碰撞障礙物。第35頁DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第36頁1.1汽車自動駕駛技術概述1.2汽車自動駕駛技術架構目錄Content1.3汽車自動駕駛領域深度學習應用概述深度學習與傳統(tǒng)機器學習的區(qū)別傳統(tǒng)機器學習方法下，一般需要獨立的特征提取階段；而在深度學習下，只需要輸入原始的圖像、語音和文本信息，即可直接訓練。第37頁深度學習的研究及應用進展第38頁自動駕駛領域深度學習應用概述第39頁自動駕駛領域深度學習應用概述深度學習在自動駕駛環(huán)境感知中的應用自動駕駛汽車環(huán)境感知包括：可行駛路面檢測、車道線檢測、路緣檢測、護欄檢測、行人檢測、機動車檢測、非機動車檢測、路標檢測、交通標志檢測、交通信號燈檢測等。對于如此復雜的路況檢測，環(huán)境感知技術是利用攝像機、激光雷達、毫米波雷達、超聲波等車載傳感器，以及V2X和5G網(wǎng)絡等獲取汽車所處的交通環(huán)境信息和車輛狀態(tài)信息等多源信息。這些多源信息需要通過深度學習方法進行處理。第40頁自動駕駛領域深度學習應用概述深度學習在自動駕駛環(huán)境感知中的應用深度學習按照模型的不同可以分為CNN、RNN、LSTM、DBN和Autoencoder等類型。CNN（卷積神經(jīng)網(wǎng)絡）在處理圖像和視頻上擁有很好的效果，幫助車輛準確地感知和理解周圍環(huán)境，從而為安全、高效的駕駛決策提供支撐。CNN可以用于實時檢測和識別道路上的各種目標，如車輛、行人、自行車、交通標志等。CNN通過訓練，它可以從傳感器（如攝像頭）捕獲的圖像中提取特征，并準確地標記和分類目標。CNN可以用于圖像的語義分割，即將圖像中的每個像素點標記為屬于不同的類別，例如車道線、道路、行人、建筑物等。這有助于自動駕駛車輛更好地理解和解釋環(huán)境。CNN可以進行實例分割，實例分割能夠?qū)⑼活悇e的目標分別標記出來，有助于更精確地識別和跟蹤目標。CNN可以用于檢測和提取道路邊緣的特征，幫助車輛在復雜道路環(huán)境中準確地定位和行駛。第41頁自動駕駛領域深度學習應用的概述深度學習在自動駕駛決策規(guī)劃中的應用自動駕駛汽車的規(guī)劃分為全局規(guī)劃和局部規(guī)劃兩種。全局規(guī)劃是根據(jù)獲取到的地圖信息，規(guī)劃出一條無碰撞最優(yōu)路徑，以滿足特定的行駛條件。局部規(guī)劃則是根據(jù)全局規(guī)劃，在一些局部環(huán)境信息的基礎之上，避免碰撞一些未知的障礙物，最終達到目的地的過程。在自動駕駛汽車決策規(guī)劃中，車輛需要根據(jù)環(huán)境感知數(shù)據(jù)和當前狀態(tài)來做出決策，如選擇合適的行駛速度、路徑規(guī)劃、超車、變道、避障等，以確保安全、高效和舒適的駕駛。第42頁自動駕駛領域深度學習應用的概述深度學習在自動駕駛決策規(guī)劃中的應用深度學習在自動駕駛汽車決策規(guī)劃中發(fā)揮著關鍵的作用。深度學習模型可以用于預測其他交通參與者（如其他車輛、行人）的行為，包括變道、加速、減速等。這些預測能夠幫助自動駕駛車輛更好地理解周圍車輛和行人的動態(tài)，從而做出合理的決策。深度學習模型可以用于路徑規(guī)劃，根據(jù)車輛的當前位置、目的地和環(huán)境條件，選擇最優(yōu)的行駛路徑。這有助于車輛避開擁堵路段、選擇安全路線，并使駕駛更高效。深度學習模型可以用于制定合適的跟車策略，包括與前車的距離維持、速度調(diào)節(jié)等，以確保安全且平滑的跟車行駛。自動駕駛車輛需要能夠識別并規(guī)避障礙物，如其他車輛、行人、障礙物等。深度學習可以幫助車輛做出及時的避障決策，避免潛在的碰撞。深度學習還可以用于交通信號燈的識別和狀態(tài)預測，從而幫助車輛做出合適的行駛策略，避免違規(guī)或浪費時間。第43頁自動駕駛領域深度學習應用的概述深度學習在自動駕駛控制執(zhí)行中的應用自動駕駛汽車的控制核心技術涵蓋汽車的縱向、橫向、驅(qū)動和制動控制?？v向控制負責汽車前后運動的控制，而橫向控制則負責方向盤角度和輪胎力的調(diào)整。只有同時實現(xiàn)縱向和橫向自動控制，才能使汽車按照預設目標和約束自主行駛。在自動駕駛控制執(zhí)行中，深度學習通常與傳統(tǒng)的控制方法和規(guī)則引擎相結合，形成一個全面有效的控制系統(tǒng)，以確保自動駕駛汽車的安全和可靠性。第44頁自動駕駛領域深度學習應用的概述深度學習在自動駕駛控制執(zhí)行中的應用在汽車自動駕駛控制執(zhí)行中，深度學習應用廣泛，發(fā)揮著重要的作用。深度學習模型可以用于設計自動駕駛控制器，將環(huán)境感知數(shù)據(jù)和規(guī)劃決策結果作為輸入，輸出具體的汽車控制指令。深度學習可以通過行為克隆的方法，從人類駕駛員的行駛數(shù)據(jù)中學習駕駛行為，并在自動駕駛中模仿這些行為。深度強化學習在自動駕駛控制執(zhí)行中也得到廣泛應用。通過強化學習，車輛可以在不斷的嘗試和學習中優(yōu)化控制策略，以最大化預設的獎勵函數(shù)，實現(xiàn)更智能和適應性強的駕駛控制。第45頁自動駕駛領域深度學習應用的概述深度學習在自動駕駛控制執(zhí)行中的應用深度學習應用于汽車自動駕駛還有一種被稱為“端到端”自動駕駛的方法，它直接從原始傳感器數(shù)據(jù)中學習駕駛策略，不需要顯式地提取特征或規(guī)劃路徑。這種方法尚在研究和探索階段，但有望實現(xiàn)更高級別的自動駕駛。第46頁自動駕駛領域深度學習應用的概述深度學習在自動駕駛控制執(zhí)行中的應用總的來說，自動駕駛與深度學習技術都處于快速發(fā)展階段，在汽車自動駕駛領域，深度學習廣泛用于解決感知、決策、控制算法中面臨的難題，以提高自動駕駛系統(tǒng)的智能化水平，深度學習在自動駕駛領域的應用為自動駕駛技術的發(fā)展提供了強大的支持，使得自動駕駛汽車能夠更準確、更智能地感知和理解交通環(huán)境，從而實現(xiàn)更安全和高效的駕駛體驗。隨著深度學習技術的不斷進步，預計自動駕駛技術在未來將繼續(xù)取得更大的進展。第47頁Thanks!DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第48頁第一章汽車自動駕駛技術概述謝謝！本章總結與答疑Chapter2深度學習基礎第二章DeepLearningAndAutonomousDriving深度學習與自動駕駛應用DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第50頁2.4Drop—out2.1神經(jīng)網(wǎng)絡的定義2.3神經(jīng)網(wǎng)絡步驟2.2神經(jīng)網(wǎng)絡的框架目錄Content車的識別一個經(jīng)典的定義：神經(jīng)網(wǎng)絡是由具有適應性的簡單單元組成的廣泛并行互連網(wǎng)絡，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應。神經(jīng)網(wǎng)絡的定義生物神經(jīng)元結構人腦視覺機理視覺影像反射光線神經(jīng)脈沖雙極細胞i.視感覺階段-信息采集紋狀皮層初級視覺信息輸入人體神經(jīng)網(wǎng)絡人腦視覺機理ii.視知覺階段-信息認知紋狀皮層紋外視覺皮層初級視覺信息中級視覺信息海馬體長短時記憶信息神經(jīng)脈沖輸入人體神經(jīng)網(wǎng)絡從原始信號攝入（瞳孔攝入像素Pixels）

初步處理（大腦皮層某些細胞發(fā)現(xiàn)邊緣和方向）

抽象（大腦判定，眼前的物體的形狀，是圓形的）

進一步抽象（大腦進一步判定該物體是人臉）從原始信號，做低級抽象，逐漸向高級抽象迭代人腦視覺機理：神經(jīng)-中樞-大腦測量空間（表象）特征空間（概念）人體神經(jīng)網(wǎng)絡圖像在計算機中的存儲方式神經(jīng)網(wǎng)絡最初是在圖像識別中取得了很好的效果。

一張圖片被表示成三維數(shù)組的形式，每個像素的值從0到255例如：300*100*3表示圖像的長寬和顏色通道數(shù)列矩陣人工神經(jīng)網(wǎng)絡模仿人類的視覺系統(tǒng)底層特征中層特征高層特征像素矩陣可訓練的分類器圖像識別基本框架（場景識別、目標識別、人臉識別…）測量空間特征空間類別空間人工神經(jīng)網(wǎng)絡目的使用深度學習的目的：尋找一個合適的函數(shù)數(shù)字圖片識別機器翻譯自動問答“3”“傾盆大雨”“上?！薄癛ain

cats

and

dogs”“姚明是哪里人？”人工神經(jīng)網(wǎng)絡目的圖像識別“燙燙燙燙”“8”“2”學習任務:尋找手寫識別函數(shù)，候選函數(shù)集合為：人工神經(jīng)網(wǎng)絡目的學習過程確定函數(shù)集合如何評價好壞挑出最好函數(shù)=“2”=“3”….=“0”=“5”答案人人機器怎么做：對答案人工神經(jīng)網(wǎng)絡框架學習過程建立模型損失函數(shù)參數(shù)學習=“2”=“3”….=“0”=“5”訓練數(shù)據(jù)人人機器監(jiān)督學習（SupervisedLearning）人工神經(jīng)網(wǎng)絡框架學習過程建立模型損失函數(shù)參數(shù)學習答案人人機器

XY0

人工神經(jīng)網(wǎng)絡框架建立模型損失函數(shù)“0”“2”“5”參數(shù)學習Using“羅紅霉素”TrainingTesting監(jiān)督學習任務:手寫識別訓練數(shù)據(jù)圖像識別測試數(shù)據(jù)Step1Step2Step3人工神經(jīng)網(wǎng)絡框架建立模型選擇什么樣的網(wǎng)絡結構選擇多少層數(shù)，每層選擇多少神經(jīng)元損失函數(shù)選擇常用損失函數(shù)，平方誤差，交叉熵….參數(shù)學習梯度下降反向傳播算法人工神經(jīng)網(wǎng)絡步驟建立模型選擇什么樣的網(wǎng)絡結構選擇多少層數(shù)，每層選擇多少神經(jīng)元損失函數(shù)選擇常用損失函數(shù)，平方誤差，交叉熵….參數(shù)學習梯度下降反向傳播算法人工神經(jīng)網(wǎng)絡步驟單層感知器輸入節(jié)點：x1,x2,x3輸出節(jié)點：y權向量：w1,w2,w3偏置因子：b激活函數(shù)：sign(x)=1 x>=0-1 x<0單層感知器（SingleLayerPerceptron）是最簡單的神經(jīng)網(wǎng)絡。它包含輸入層和輸出層，而輸入層和輸出層是直接相連的。y

=1 (0.5x1+0.5x2+0.5x3-0.6>=0)-1 (0.5x1+0.5x2+0.5x3-0.6<0)單層感知器舉例權值w都設成0.5，偏置b設為-0.6單層感知器單層感知器學習過程i

=

0,1,2…y是網(wǎng)絡輸出f是sign函數(shù)η表示學習率t是標簽值t和y的取值為±1權值調(diào)整公式假設：t=1，η=1，x1=1，w1=-5，b=0:單層感知器學習過程簡化演示，假設只有一個樣本，一個特征??取值一般取0-1之間;學習率太大容易造成權值調(diào)整不穩(wěn)定;學習率太小，權值調(diào)整太慢，迭代次數(shù)太多。單層感知器學習過程1.誤差小于某個預先設定的較小的值2.兩次迭代之間的權值變化已經(jīng)很小3.設定最大迭代次數(shù)，當?shù)^最大次數(shù)就停止模型收斂條件單層感知器學習過程題目：假設平面坐標系上有四個點，(3,3),(4,3)這兩個點的標簽為1，(1,1),(0,2)這兩個點的標簽為-1。構建單層感知器來分類。單層感知器實例思路：我們要分類的數(shù)據(jù)是2維數(shù)據(jù)，所以只需要2個輸入節(jié)點，我們可以把神經(jīng)元的偏置值也設置成一個節(jié)點，偏置也是一個輸入，恒等于1，這樣我們需要3個輸入節(jié)點。輸入數(shù)據(jù)有4個(1,3,3),(1,4,3),(1,1,1),(1,0,2)數(shù)據(jù)對應的標簽為(1,1,-1,-1)初始化權值w0,w1,w2取-1到1的隨機數(shù)，學習率(learning

rate)設置為0.11，激活函數(shù)為sign函數(shù)。單層感知器程序?qū)崿F(xiàn)單層感知器分類.ipynb建立模型選擇什么樣的網(wǎng)絡結構選擇多少層數(shù)，每層選擇多少神經(jīng)元損失函數(shù)選擇常用損失函數(shù)，平方誤差，交叉熵….參數(shù)學習梯度下降反向傳播算法人工神經(jīng)網(wǎng)絡步驟單個神經(jīng)元y神經(jīng)元…偏置bias權重weights………激活函數(shù)理解：簡單線性函數(shù)f(x)=kx+b(x是向量，表示多維，k是斜率，b是截距)建立模型

網(wǎng)絡結構神經(jīng)元不同的連接方式構成不同的網(wǎng)絡結構每個神經(jīng)元都有自己的權重和偏置參數(shù)建立模型

建立模型—淺層神經(jīng)網(wǎng)絡建立模型—淺層神經(jīng)網(wǎng)絡建立模型—深度神經(jīng)網(wǎng)絡為什么引入激活函數(shù)為了增強網(wǎng)絡的表達能力，我們需要激活函數(shù)來將線性函數(shù)->非線性函數(shù)深層神經(jīng)網(wǎng)絡中最常用的是ReLU，Sigmoid使用較少。建立模型神經(jīng)元CNN在卷積層盡量不要使用Sigmoid和Tanh，將導致梯度消失。首先選用ReLU，使用較小的學習率，以免造成神經(jīng)元死亡的情況。??如果ReLU失效，考慮使用LeakyReLU、PReLU、ELU或者Maxout，此時一般情況都可以解決。激活函數(shù)表達式以及對應的微分函數(shù)建立模型Google神經(jīng)網(wǎng)絡演示平臺http://playground.tensorflow.org/前饋神經(jīng)網(wǎng)絡建立模型1-11-21-10激活函數(shù)1

0.980.124-2

自左向右依次計算建立模型1-11-21-101

0.980.124-2

2-1-1-20.860.113-14-10.620.8300-22

前饋神經(jīng)網(wǎng)絡輸出層隱藏層輸入層隱藏層數(shù)很多意味著網(wǎng)絡越深神經(jīng)元建立模型……………………………………y1y2ymx1x2xn…………前饋神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡其實就是按照一定規(guī)則連接起來的多個神經(jīng)元。輸出層常用softmax函數(shù)作為輸出層激活函數(shù)：容易理解、便于計算

32.7200.05建立模型1-30.880.12≈0應用示例：手寫識別輸入每一個輸出值代表其對應標簽的概率值輸出神經(jīng)網(wǎng)絡is1is2is8……0.10.10.716x16=256……黑色像素點→1白色像素點→0建立模型“8”……神經(jīng)網(wǎng)絡圖片被識別成數(shù)字“8”應用示例：手寫體識別設置合適的網(wǎng)絡結構：層數(shù)和結點個數(shù)、激活函數(shù)問題：應該設置多少層，多少結點？是否需要選擇其他網(wǎng)絡結構如CNN/RNN？建立模型is1is2is0…………………………………………y1y2ymx1x2xn…………X建立模型選擇什么樣的網(wǎng)絡結構選擇多少層數(shù)，每層選擇多少神經(jīng)元損失函數(shù)選擇常用損失函數(shù)，平方誤差，交叉熵….參數(shù)學習梯度下降反向傳播算法使用步驟損失函數(shù)分類損失回歸損失損失函數(shù)的設計依賴于具體的任務16x16=256y1

值最大；對于數(shù)字識別任務，設計用于分類的損失函數(shù)，使得學習目標變?yōu)椋狠斎?y8

值最大······輸入:損失函數(shù)………………………………y1y2y10x1x2x256…………is1is2……is0Softmax

“1”……100常用損失函數(shù)：平方損失函數(shù)、交叉熵損失函數(shù)目標盡可能接近好的參數(shù)使得所有訓練數(shù)據(jù)的損失越小越好損失函數(shù)………………………………y1y2y10x1x2x256…………Softmax

學習一組參數(shù)損失函數(shù)對所有訓練數(shù)據(jù)：

即確定參數(shù)使得總損失L最小總損失:盡可能小找到一個函數(shù)使得總損失L最小神經(jīng)網(wǎng)絡樣本x1y1

樣本x2y2

神經(jīng)網(wǎng)絡樣本x3y3

神經(jīng)網(wǎng)絡樣本xRyR

……神經(jīng)網(wǎng)絡建立模型選擇什么樣的網(wǎng)絡結構選擇多少層數(shù)，每層選擇多少神經(jīng)元損失函數(shù)選擇常用損失函數(shù)，平方誤差，交叉熵….參數(shù)學習梯度下降反向傳播算法使用步驟參數(shù)學習

枚舉所有可能的取值例如：語音識別模型有8層，每層1000神經(jīng)元參數(shù)個數(shù)巨大L+1層……L層……106權重參數(shù)1000神經(jīng)元1000神經(jīng)元

參數(shù)學習梯度下降法總損失神經(jīng)網(wǎng)絡參數(shù)w初始值下的總損失總損失值最小總損失變小通過調(diào)節(jié)參數(shù)w，逐步逼近總損失最小值參數(shù)學習初始值w選擇一個初始值w，Random,RBMpre-train

梯度為正梯度為負減小w增加w

梯度下降法選擇一個初始值w，Random,RBMpre-train

η

是“學習率”迭代參數(shù)學習

梯度下降法總損失神經(jīng)網(wǎng)絡參數(shù)w在平坦區(qū)變化非常緩慢

停在鞍點

參數(shù)學習全局最優(yōu)值停在局部最優(yōu)值梯度下降法初始值影響選取不同的初始值，可能到達不同的局部最小值參數(shù)學習ABCDACBD例如：使用步驟建立模型選擇什么樣的網(wǎng)絡結構選擇多少層數(shù)，每層選擇多少神經(jīng)元損失函數(shù)選擇常用損失函數(shù)，平方誤差，交叉熵….參數(shù)學習梯度下降反向傳播算法BP(Back

Propagation)神經(jīng)網(wǎng)絡1986年，由McClelland和Rumelhart為首的科學家小組提出，解決了多層神經(jīng)網(wǎng)絡的學習問題，極大促進了神經(jīng)網(wǎng)絡的發(fā)展。BP神經(jīng)網(wǎng)絡也是整個人工神經(jīng)網(wǎng)絡體系中的精華，廣泛應用于分類識別、逼近、回歸、壓縮等領域。在實際應用中，大約80%的神經(jīng)網(wǎng)絡模型都采取了BP網(wǎng)絡或BP網(wǎng)絡的變化形式?！瓂1y2ymx1x2xn…………反向傳播算法輸入：x

總誤差L

隱藏層參數(shù)學習InputLayer1Layer2Output反向傳播的基本思想就是通過計算輸出層與期望值之間的誤差來調(diào)整網(wǎng)絡參數(shù)，從而使得誤差變小。信號正向傳播

…

參數(shù)學習

…

參數(shù)學習

信號正向傳播

…

參數(shù)學習

信號正向傳播

…

參數(shù)學習

信號正向傳播

…

參數(shù)學習

信號正向傳播

…

參數(shù)學習

信號正向傳播

…

參數(shù)學習

信號正向傳播

…

參數(shù)學習

信號正向傳播每一層的各個輸出都是參數(shù)w的函數(shù)參數(shù)學習例子演示其中，輸入數(shù)據(jù)

i1=0.05，i2=0.10;輸出數(shù)據(jù)o1=0.01,o2=0.99;初始權重：w1=0.15,w2=0.20,w3=0.25,w4=0.30;w5=0.40,w6=0.45,w7=0.50,w8=0.55目標：給出輸入數(shù)據(jù)i1,i2(0.05和0.10)，訓練模型，更新權重參數(shù)，使輸出盡可能與原始輸出o1,o2(0.01和0.99)接近。參數(shù)學習例子演示Step1:信號前向傳播(激活函數(shù)為sigmoid)：1.輸入層---->隱藏層：2.隱藏層---->輸出層：輸出值為[0.75136079,0.772928465]，與實際值[0.01,0.99]相差大。參數(shù)學習例子演示Step2:誤差反向傳播1.計算總誤差總誤差：(squareerror)參數(shù)學習例子演示（以權重參數(shù)w5為例）這是一個“鏈式求導”過程Step2:誤差反向傳播2.隱藏層---->輸出層的權值更新：參數(shù)學習例子演示反向傳播計算：“鏈式求導”參數(shù)更新：參數(shù)學習例子演示同理，可更新w6,w7,w8:參數(shù)學習例子演示Step2:誤差反向傳播3.輸入層---->隱藏層的權值更新：同理，計算出：兩者相加得到總值：參數(shù)學習例子演示3.輸入層---->隱藏層的權值更新：三者相乘：最后，更新w1權值：Step2:誤差反向傳播參數(shù)學習3.輸入層---->隱藏層的權值更新：同理，可更新w2,w3,w4:第一次誤差反向傳播完成后，總誤差E(total)由0.298371109下降至0.291027924。把更新的權值重新計算，不停地迭代，迭代10000次后，總誤差為0.000035085，輸出為[0.015912196,0.984065734](原輸入為[0.01,0.99])。BP網(wǎng)絡-數(shù)字識別程序?qū)崿F(xiàn)BP算法實例演示.ipynb針對前面例子寫的一個程序，供課后自學（可選）BP網(wǎng)絡-數(shù)字識別程序?qū)崿F(xiàn)BP網(wǎng)絡-數(shù)字識別.ipynb深度學習框架總結建立模型損失函數(shù)參數(shù)學習深度學習超參數(shù)總結建立模型損失函數(shù)參數(shù)學習人人機器普通參數(shù)：權重矩陣w和偏置系數(shù)b是在確定了超參數(shù)之后，通過模型的計算來得到的。超參數(shù)：需要模型設計者確定的參數(shù)，如學習率

α，隱含層的層數(shù)，每個隱含層的神經(jīng)元個數(shù)，激活函數(shù)的選取，損失函數(shù)（代價函數(shù)）的選取等。超參數(shù)的確定其實是很困難的，因為很難知道什么樣的超參數(shù)會讓模型表現(xiàn)得更好。學習率太小可能造成模型收斂速度過慢，學習率太大又可能造成模型不收斂；損失函數(shù)的設計，如果損失函數(shù)設計不好的話，可能會造成模型無法收斂；網(wǎng)絡層數(shù)過多的時候，如何設計網(wǎng)絡結構以避免梯度消失和梯度爆炸……

使用別人訓練好的模型來微調(diào)看起來是一個捷徑……防止過擬合的方法增加數(shù)據(jù)集(數(shù)據(jù)增強）正則化方法Dropout深度學習入門系列C0是定義的代價函數(shù)，w是權值。Drop-Out通過阻止某些特征的協(xié)同作用來緩解過擬合，提高網(wǎng)絡的泛化能力。在每次訓練的時候，每個神經(jīng)元有百分之50的幾率被移除，這樣可以讓一個神經(jīng)元的出現(xiàn)不應該依賴于另外一個神經(jīng)元。StandardNeuralNetAfterapplyingdropout本章總結掌握單層感知器和神經(jīng)元模型掌握深度學習框架和步驟掌握BP算法掌握Paddlepaddle深度學習框架應用老師給你一雙槳，能劃多遠看你們了Chapter3卷積神經(jīng)網(wǎng)絡理論及實踐第三章DeepLearningAndAutonomousDriving深度學習與自動駕駛應用DeepLearningAndAutonomousDriving深度學習與自動駕駛應用3.4實踐斑馬線檢測3.1深層全連接神經(jīng)網(wǎng)絡的問題3.3卷積神經(jīng)網(wǎng)絡應用示例3.2卷積神經(jīng)網(wǎng)絡詳解目錄Content第132頁全連接神經(jīng)網(wǎng)絡模型回顧問題導入建立模型損失函數(shù)參數(shù)學習第133頁問題導入全連接神經(jīng)網(wǎng)絡(DNN)模型存在哪些不足？思考第134頁建立模型損失函數(shù)參數(shù)學習Step1Step2Step3問題導入模型不足模型架構不夠靈活模型參數(shù)過多第135頁……………………………………y1y2ymx1x2xn…………問題導入16x16=256256個神經(jīng)元1000個神經(jīng)元1000個神經(jīng)元10個神經(jīng)元假設對16x16的圖片進行分類手寫字體識別任務，設計了如上所示的網(wǎng)絡。那對100*100的圖片做相同的任務，只有通過增加每層的神經(jīng)元個數(shù)或者增加網(wǎng)絡的層數(shù)來完成。模型結構不夠靈活網(wǎng)絡結構不夠靈活第136頁……………………………………y1y2ymx1x2xn…………問題導入16x16=256256X103權重參數(shù)106權重參數(shù)104權重參數(shù)256個神經(jīng)元例如：輸入為16x16的圖片，輸入層為256個神經(jīng)元，隱藏層每層1000個神經(jīng)元，輸出層10個神經(jīng)元。假設共5層，則共需要學習（256*103+106+106+104）個w再加（1000+1000+1000+10）個b。模型參數(shù)太多1000個神經(jīng)元1000個神經(jīng)元10個神經(jīng)元第137頁……………………………………y1y2ymx1x2xn…………16x16=256256X103權重參數(shù)106權重參數(shù)104權重參數(shù)如果輸入為100*100的圖片或者更大的圖片呢？如果網(wǎng)絡的層數(shù)為十層呢？參數(shù)爆炸?。?！1000個神經(jīng)元1000個神經(jīng)元10個神經(jīng)元256個神經(jīng)元問題導入例如：輸入為16x16的圖片，輸入層為256個神經(jīng)元，隱藏層每層1000個神經(jīng)元，輸出層10個神經(jīng)元。假設共5層，則共需要學習（256*103+106+106+104）個w再加（1000+1000+1000+10）個b。模型參數(shù)太多第138頁問題導入如何改進？思考第139頁圖像模式的特性一

應用一次該方法只能提取一個特征所以對應同一張圖片輸入，應該應用多次該方法圖像模式的特征第一個發(fā)現(xiàn)：鳶尾花僅出現(xiàn)在圖像局部區(qū)域并不是所有具有相似形態(tài)特征的鳶尾花都位于圖像的同一個位置如何應用這個發(fā)現(xiàn)？可能的做法：定義一種提取局部的特征的方法，可有效響應特定局部模式用這種方法遍歷整張圖片第140頁第二個發(fā)現(xiàn)：大小改變，鳶尾花仍然可以有效區(qū)分如何利用這個特性？可能的做法：在神經(jīng)網(wǎng)絡逐層累加的過程中，可以直接對圖像進行縮放;縮放到適當大小后，可以在特征提取過程中得到有效響應。圖像模式的特性二圖像模式的特征第141頁建立模型損失函數(shù)參數(shù)學習模型改進如何改進？Step1全連接神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡第142頁目錄深層全連接神經(jīng)網(wǎng)絡的問題卷積神經(jīng)網(wǎng)絡詳解卷積神經(jīng)網(wǎng)絡應用示例實踐：斑馬線檢測第143頁第一個發(fā)現(xiàn)對應的可能的做法：定義一種提取局部的特征的方法，可有效響應特定局部模式；用這種方法遍歷整張圖片。第二個發(fā)現(xiàn)對應的可能的做法：在神經(jīng)網(wǎng)絡逐層累加的過程中，可以直接對圖像進行縮放。池化：下采樣被檢測物體不變模式卷積：平移不變模式圖像模式的特性——小結卷積和池化那是不是卷積和池化操作就夠了？我們是不是還需要更深的模型？第144頁卷積層+激活函數(shù)+池化層+全連接層

CNN基礎結構CNN應用圖像模式的一般框架（以分類為例）在最后出現(xiàn)一次或多次，用于做分類出現(xiàn)多次，用于提取特征第145頁建立模型卷積神經(jīng)網(wǎng)絡（CNN）卷積層Pooling層損失函數(shù)參數(shù)學習使用步驟第146頁建立模型卷積神經(jīng)網(wǎng)絡結構上的三大特性局部連接權重共享下采樣減少網(wǎng)絡參數(shù)，加快訓練速度第147頁建立模型局部連接全連接神經(jīng)元卷積神經(jīng)網(wǎng)絡的神經(jīng)元在進行圖像識別的時候，不需要對整個圖像進行處理，只需要關注圖像中某些特殊的區(qū)域640x480640x480

輸入為640x480個像素

輸入為16x16個像素16x16第148頁640x480建立模型權重共享…………

卷積神經(jīng)網(wǎng)絡的神經(jīng)元

只依靠局部連接就足以減少參數(shù)？每個神經(jīng)元起作用的只是局部區(qū)域，為了使各部分都起作用，就需要增加神經(jīng)元的個數(shù)第149頁建立模型下采樣下采樣對圖像像素進行下采樣，并不會對物體進行改變。雖然下采樣之后的圖像尺寸變小了，但是并不影響我們對圖像中物體的識別。640x480320x240第150頁全連接神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡相同顏色的箭頭代表相同的權重參數(shù)卷積核大?。?X1建立模型對比示例兩層卷積第151頁建立模型卷積神經(jīng)網(wǎng)絡（CNN）卷積層Pooling層使用步驟損失函數(shù)參數(shù)學習第152頁101010101010101010101010101010101010000000000000000000*=121000-1-2-10建立模型卷積核inputimage(輸入圖像)kernel(卷積核)featuremap(特征映射層)

注：*為卷積操作第153頁101010101010101010101010101010101010000000000000000000*=121000-1-2-100建立模型卷積核

inputimagekernelfeaturemap注：*為卷積操作第154頁101010101010101010101010101010101010000000000000000000*=121000-1-2-1000建立模型卷積核

inputimagekernelfeaturemap注：*為卷積操作第155頁101010101010101010101010101010101010000000000000000000*=121000-1-2-10000建立模型卷積核

inputimagekernelfeaturemap注：*為卷積操作第156頁101010101010101010101010101010101010000000000000000000*=121000-1-2-1000040建立模型卷積核

注：*為卷積操作inputimagekernelfeaturemap第157頁建立模型卷積核*=121000-1-2-1404040404040000101010101010101010101010101010101010000000000000000000

00004040inputimagekernelfeaturemap注：*為卷積操作第158頁101010101010101010101010101010101010000000000000000000*=121000-1-2-1000040404040404040400000建立模型卷積核

注：*為卷積操作inputimagekernelfeaturemap第159頁101010101010101010101010101010101010000000000000000000*=121000-1-2-1000040404040404040400000建立模型卷積核注：*為卷積操作inputimagekernelfeaturemap

卷積核在網(wǎng)絡連接里面相當于是神經(jīng)元，里面的9個值是權重參數(shù)值，卷積核中的參數(shù)需要在訓練的過程學習第160頁建立模型卷積層*=ABCDkernelfeature

mapinputimage456789123123456789

權重共享局部連接注：*為卷積操作第161頁123456789建立模型卷積層*=456789123

kernelfeature

mapinputimage權重共享局部連接注：*為卷積操作第162頁123456789建立模型卷積層*=456789123

kernelfeature

mapinputimage權重共享局部連接注：*為卷積操作第163頁建立模型卷積層123456789*=456789123權重共享

kernelfeature

mapinputimage局部連接注：*為卷積操作第164頁featuremapinputimage建立模型卷積層123456789*=456789123全連接output

kernelfeature

mapinputimage權重共享局部連接注：*為卷積操作第165頁建立模型卷積層123456789*=456789123一次卷積，只需學習kernel

size大小的參數(shù)個數(shù)，如上所示的例子，從input

image到feature

map只需要學習4個參數(shù)。全連接

kernelfeature

mapinputimagefeaturemapinputimageoutput卷積大大減少了模型所需學習的參數(shù)量?。。嘀毓蚕砭植窟B接注：*為卷積操作,未考慮bias.第166頁建立模型卷積層123456789*=456789123全連接單個卷積核相當于只能提取單一特征，如何利用卷積核提取更復雜的特征？注：*為卷積操作

kernelfeature

mapinputimagefeaturemapinputimageoutput權重共享局部連接第167頁

建立模型卷積層123456789*=456789123一個卷積核可以提取圖像的一種特征==多個卷積核提取多種特征。同一kernel權重共享注：*為卷積操作

3

kernels

3

feature

mapsinputimage

3

featuremapsinputimage全連接

output局部連接第168頁

建立模型卷積層123456789*=456789123==同一kernel權重共享全連接

對于如上size為3*3的image，如需提取3個特征，卷積層需要3個卷積核，假設卷積核大小為4，則共需4*3=12個參數(shù)。

3

feature

mapsinputimage

3

featuremapsinputimageoutput局部連接

3

kernels如何對feature

maps繼續(xù)進行卷積操作？第169頁建立模型多通道卷積*=注：*為卷積操作

kernel

feature

map

feature

maps假設上一個卷積層已得到3個3x3的feature

maps,可表示為具有三個通道的feature

map，大小為3x3x33個2x2的卷積核，可表示為具有三個通道卷積核立方體，大小為3x2x2生成一個2x2大小的feature

map卷積核通常表示為一個立方體

第170頁建立模型多通道卷積*=注：*為卷積操作

kernel

feature

map

feature

maps卷積核通常表示為一個立方體卷積核通常表示為一個立方體輸出為對應通道在滑動窗口內(nèi)的卷積的和3個3X3的feature

maps

3個2x2的卷積核生成一個2X2大小的feature

map

第171頁建立模型多通道卷積*=注：*為卷積操作

kernel

feature

map

feature

maps卷積核通常表示為一個立方體輸出為對應通道在滑動窗口內(nèi)的卷積的和3個3X3的feature

maps3個2x2的卷積核生成一個2X2大小的feature

map

第172頁建立模型多通道卷積*=注：*為卷積操作

kernel

feature

map

feature

maps卷積核通常表示為一個立方體輸出為對應通道在滑動窗口內(nèi)的卷積的和3個3X3的feature

maps3個2x2的卷積核生成一個2X2大小的feature

map

第173頁建立模型多通道卷積*=注：*為卷積操作

kernel

feature

map

feature

maps卷積核通常表示為一個立方體輸出為對應通道在滑動窗口內(nèi)的卷積的和3個3X3的feature

maps

3個2x2的卷積核生成一個2X2大小的feature

map

第174頁建立模型多通道多核卷積*=注：*為卷積操作

n

kernels

n

feature

maps

feature

mapsn個卷積核立方體生成n個feature

maps==……n個2X2的feature

maps…3個3X3的feature

maps第175頁建立模型卷積神經(jīng)網(wǎng)絡（CNN）卷積層Pooling層使用步驟損失函數(shù)參數(shù)學習第176頁10101081091010101010101010101071000010000001000000000*=121000-1-2-10-2-1540302030403017240102010Poolinginputimagekernelfeaturemap通過下采樣縮減feature

map尺度。常用max

pooling和average

pooling.Max

pooling下采樣后的featuremap下采樣注：*為卷積操作640x480320x240建立模型池化層又叫下采樣層，目的是壓縮數(shù)據(jù)，降低數(shù)據(jù)維度第177頁10101081091010101010101010101071000010000001000000000*=121000-1-2-10-2-1540302030403017240102010Poolinginputimagekernelfeaturemap通過下采樣縮減feature

map尺度。常用max

pooling和average

pooling.Max

pooling40下采樣后的featuremap下采樣注：*為卷積操作640x480320x240建立模型第178頁10101081091010101010101010101071000010000001000000000*=121000-1-2-10-2-1540302030403017240102010Pooling通過下采樣縮減feature

map尺度。常用max

pooling和average

pooling.Max

pooling4030下采樣注：*為卷積操作inputimagekernelfeaturemap下采樣后的featuremap640x480320x240建立模型第179頁10101081091010101010101010101071000010000001000000000*=121000-1-2-10-2-1540302030403017240102010Pooling通過下采樣縮減feature

map尺度。常用max

pooling和average

pooling.Max

pooling403040下采樣注：*為卷積操作inputimagekernelfeaturemap下采樣后的featuremap640x480320x240建立模型第180頁10101081091010101010101010101071000010000001000000000*=121000-1-2-10-2-1540302030403017240102010Pooling通過下采樣縮減feature

map尺度。常用max

pooling和average

pooling.Max

pooling40304024下采樣增大感受野:經(jīng)過pooling后，一個數(shù)字的感受野增大了，前一層每一個數(shù)字感受的信息范圍比較窄，下一層放大數(shù)字的感受范圍，每一層的語義信息的力度都不一樣。注：*為卷積操作inputimagekernelfeaturemap下采樣后的featuremap640x480320x240建立模型第181頁1.卷積層+激活函數(shù)+池化層的組合多次出現(xiàn)提取特征2.多個全連接層或特殊的CNN結構做為輸出層

做分類器/檢測器/分割器CNN網(wǎng)絡搭建小結卷積神經(jīng)網(wǎng)絡的一般結構第182頁建立模型卷積神經(jīng)網(wǎng)絡（CNN）卷積層Pooling層使用步驟損失函數(shù)參數(shù)學習第183頁建立模型卷積神經(jīng)網(wǎng)絡（CNN）卷積層Pooling層使用步驟損失函數(shù)參數(shù)學習第184頁損失函數(shù)分類損失回歸損失損失函數(shù)的設計依賴于具體的任務常用：交叉熵損失函數(shù)常用：平方損失函數(shù)第185頁損失函數(shù)多分類損失CarscoreTrunkscoreMotorscoref(w?x+b)1.隨機賦值w,b的情形下，模型的初始計算結果必然和對應的標簽不一致；2.如何定義損失函數(shù)，衡量網(wǎng)絡計算結果與標簽值的差異？+B:一般初始賦值為0，待優(yōu)化label第186頁損失函數(shù)多分類損失交叉熵損失函數(shù)&SoftMax概率歸一化normalize交叉熵用來衡量兩個分布間的差異性：根據(jù)網(wǎng)絡輸出結果和標簽(p(x)代表標簽的真實概率分布，q(x)代表模型概率分布如何根據(jù)損失函數(shù)對網(wǎng)絡的權重參數(shù)w和b進行更新?label1.7960.1990.