項(xiàng)目二任務(wù)5：基于視覺傳感器實(shí)現(xiàn)車道線檢測（課件）

基于視覺傳感器實(shí)現(xiàn)車道線檢測智能汽車傳感器應(yīng)用技術(shù)一、課程導(dǎo)入早在十年前，部分高端車輛上便出現(xiàn)了車道偏離預(yù)警系統(tǒng)（LDW），及車道保持輔助系統(tǒng)（LKA），這些系統(tǒng)的核心就是車道線識(shí)別算法。識(shí)別道路上的車道是所有司機(jī)的共同任務(wù)，以確保車輛在駕駛時(shí)處于車道限制之內(nèi)，并減少因越過車道而與其他車輛發(fā)生碰撞的機(jī)會(huì)。對(duì)自動(dòng)駕駛汽車來說，這同樣也是一項(xiàng)關(guān)鍵任務(wù)。事實(shí)證明，使用計(jì)算機(jī)視覺技術(shù)識(shí)別道路上的車道標(biāo)記是可能的。課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)車道線識(shí)別思考討論題（2分鐘）一、課程導(dǎo)入車道線檢測是自動(dòng)駕駛中的一個(gè)基礎(chǔ)模塊，其實(shí)也是一個(gè)由來已久的任務(wù)，早期已有很多基于傳統(tǒng)圖像處理實(shí)現(xiàn)的車道線檢測算法。傳統(tǒng)的圖像處理方法或已無法滿足車道線識(shí)別超高精度的需求，相比傳統(tǒng)方法，深度學(xué)習(xí)方法在計(jì)算機(jī)視覺的各個(gè)領(lǐng)域更具優(yōu)勢。站在開發(fā)者的角度，你知道計(jì)算機(jī)視覺技術(shù)如何識(shí)別道路上的車道線嗎？課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)二、語義分割和實(shí)例分割的定義目標(biāo)檢測的要求是識(shí)別圖像的內(nèi)容并檢測其位置，如果說圖像分類與目標(biāo)檢測都還是屬于在宏觀上去識(shí)別目標(biāo)或定位的話，分割任務(wù)就是在微觀（像素級(jí)別）對(duì)物體進(jìn)行分類。分割任務(wù)包括語義分割與實(shí)例分割，在計(jì)算機(jī)視覺中屬于最有挑戰(zhàn)性的任務(wù)。檢測分割課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)二、語義分割和實(shí)例分割的定義分割包括語義分割（semanticsegmentation）和實(shí)例分割（instancesegmentation），前者是對(duì)前背景分離的拓展，要求分離開具有不同語義的圖像部分，而后者是檢測任務(wù)的拓展，要求描述出目標(biāo)的輪廓（相比檢測框更為精細(xì)）。分割是對(duì)圖像的像素級(jí)描述，它賦予每個(gè)像素類別（實(shí)例）意義，適用于理解要求較高的場景，如無人駕駛中對(duì)道路和非道路的分割。實(shí)例分割語義分割課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)三、車道線檢測常用數(shù)據(jù)集介紹CULane數(shù)據(jù)集是用于行車道檢測學(xué)術(shù)研究的大規(guī)模具有挑戰(zhàn)性的數(shù)據(jù)集。它收集了超過55小時(shí)的視頻，并提取了133,235幀。我們將數(shù)據(jù)集分為88880個(gè)訓(xùn)練集，9675個(gè)驗(yàn)證集和34680個(gè)測試集。包含擁擠、黑夜、無線和暗影等八種難以檢測的情況。整個(gè)數(shù)據(jù)集的采集過程是通過6輛北京出租車上的視覺傳感器完成。對(duì)于每幀，CULane用三次樣條曲線手動(dòng)注釋行車道。對(duì)于車道標(biāo)記被車輛遮擋或看不見的情況，數(shù)據(jù)集仍會(huì)根據(jù)上下文注釋車道。CULane數(shù)據(jù)集示例3.1CULane數(shù)據(jù)集課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)三、車道線檢測常用數(shù)據(jù)集介紹Culane數(shù)據(jù)集是在北京市區(qū)內(nèi)的道路上進(jìn)行采集的，整體上更加符合中國的路況。并且該數(shù)據(jù)集還有提供各種難以檢測的情況，也就是說通過CULane數(shù)據(jù)集訓(xùn)練出來的模型能夠兼顧更加復(fù)雜的環(huán)境。CULane數(shù)據(jù)集示例3.1CULane數(shù)據(jù)集課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)三、車道線檢測常用數(shù)據(jù)集介紹TuSimple為車道檢測任務(wù)提供了約7000個(gè)一秒長的視頻片段，每個(gè)片段20幀，每個(gè)片段的最后一幀包含有標(biāo)簽的車道。視頻片段可以幫助算法推斷出更好的車道檢測結(jié)果。整個(gè)TuSimple數(shù)據(jù)集的復(fù)雜度并不是很高。該數(shù)據(jù)集在較好或中等的天氣條件下，對(duì)2車道及以上的高速公路車道進(jìn)行數(shù)據(jù)采集。其中包含3626個(gè)用于訓(xùn)練的視頻片段以及2782個(gè)用于測試的視頻片段。TuSimple數(shù)據(jù)集實(shí)例如圖所示。CULane數(shù)據(jù)集示例3.2TuSimple數(shù)據(jù)集課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)三、車道線檢測常用數(shù)據(jù)集介紹TuSimple數(shù)據(jù)集相對(duì)較早，并且路況可能不太符合目前中國的路況環(huán)境，但是目前世界范圍內(nèi)的大多數(shù)車道線檢測算法都是基于TuSimple數(shù)據(jù)集，包括我們本節(jié)課介紹到的Lanenet以及LaneATT算法。TuSimple數(shù)據(jù)集示例3.2TuSimple數(shù)據(jù)集課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)四、深度學(xué)習(xí)相關(guān)概念介紹深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)類型，該類型的模型直接從圖像、文本或聲音中學(xué)習(xí)執(zhí)行分類任務(wù)。通常使用神經(jīng)網(wǎng)絡(luò)架構(gòu)實(shí)現(xiàn)深度學(xué)習(xí)?！吧疃取?詞是指網(wǎng)絡(luò)中的層數(shù)-層數(shù)越多，網(wǎng)絡(luò)越深。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)只包含2層或3層，而深度網(wǎng)絡(luò)可能有幾百層。深度學(xué)習(xí)大致就是一個(gè)用人類的數(shù)學(xué)知識(shí)與計(jì)算機(jī)算法構(gòu)建起來的整體架構(gòu)，再結(jié)合盡可能多的訓(xùn)練數(shù)據(jù)以及計(jì)算機(jī)的大規(guī)模運(yùn)算能力去調(diào)節(jié)內(nèi)部參數(shù)，盡可能逼近問題目標(biāo)的半理論、半經(jīng)驗(yàn)的建模方式。課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)關(guān)系四、深度學(xué)習(xí)相關(guān)概念介紹4.1卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，對(duì)于大型圖像處理有出色表現(xiàn)。它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍其他神經(jīng)元，一方面可以有效地將大數(shù)據(jù)量的圖片降維成小數(shù)據(jù)量，另一方面可以有效的保留圖片特征。卷積神經(jīng)網(wǎng)絡(luò)由卷積層和位于最頂端的全連接層組成，同時(shí)也包括相關(guān)聯(lián)的權(quán)重以及池化層。這一結(jié)構(gòu)使得卷積神經(jīng)網(wǎng)絡(luò)能夠最大化利用輸入數(shù)據(jù)的二維結(jié)構(gòu)。CNN的基本結(jié)構(gòu)課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)四、深度學(xué)習(xí)相關(guān)概念介紹4.1卷積神經(jīng)網(wǎng)絡(luò)1.卷積層卷積層是構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)的核心層，它產(chǎn)生了網(wǎng)絡(luò)中大部分的計(jì)算量。卷積層是濾波器的作用或者說是卷積的作用。卷積層的參數(shù)是有一些可學(xué)習(xí)的濾波器集合構(gòu)成的卷積層是一組平行的特征圖。不同的卷積核在輸入圖像上進(jìn)行滑動(dòng)，并且執(zhí)行一個(gè)元素對(duì)應(yīng)乘積并求和的運(yùn)算。這樣的滑動(dòng)過程被稱為步幅。卷積核的尺寸要比輸入圖像小得多，且卷積核重疊或平行地作用于輸入圖像中可以減小原有圖片的數(shù)據(jù)量。而且一張?zhí)卣鲌D中的所有元素都是通過一個(gè)卷積核計(jì)算得出的，相當(dāng)于一張?zhí)卣鲌D共享了相同的權(quán)重和偏置項(xiàng)。卷積過程的計(jì)算演示如圖所示，輸入圖像與卷積核進(jìn)行元素對(duì)應(yīng)乘積并求和的運(yùn)算，最終得到一張新的特征圖。卷積操作輸入矩陣卷積核課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)四、深度學(xué)習(xí)相關(guān)概念介紹4.1卷積神經(jīng)網(wǎng)絡(luò)2.池化層池化層是模仿人的視覺系統(tǒng)，能夠?qū)?shù)據(jù)進(jìn)行降維，用更高層次的特征表示圖像。池化層有三個(gè)作用，第一個(gè)作用是降低信息冗余，去除圖像中包含的不必要信息，第二是提升模型的空間不變性，旋轉(zhuǎn)不變性，從而提升穩(wěn)定度，第三是防止過擬合的產(chǎn)生。常見的池化層操作包含最大值池化（maxpooling），均值池化（meanpooling），隨機(jī)池化，中值池化，等幾種。本節(jié)任務(wù)主要介紹最大池化。在最大池化中，滑窗從輸入陣列的最左上方開始，按從左往右、從上往下的順序，依次在輸入陣列上滑動(dòng)。當(dāng)滑窗滑動(dòng)到某一位置時(shí)，滑窗中的輸入子陣列的最大值即輸出陣列中相應(yīng)位置的元素。最終生成池化過后的特征圖。最大池化操作過程如圖所示最大值池化操作過程課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)四、深度學(xué)習(xí)相關(guān)概念介紹4.1卷積神經(jīng)網(wǎng)絡(luò)3.全連接層全連接層（fullyconnectedlayers，F(xiàn)C）主要負(fù)責(zé)扮演神經(jīng)網(wǎng)絡(luò)中的分類器功能。卷積層，池化層等操作是將原始數(shù)據(jù)映射到特征空間中，而全連接層的作用是將學(xué)到的分散式特征表示映射到樣本標(biāo)記空間。全連接層可以提取整合所需的信息，配合激活函數(shù)，理論上可以類比任何非線性變換，而且還可以在一定程度上保留模型的復(fù)雜度。全連接層的設(shè)計(jì)體現(xiàn)了一種遷移學(xué)習(xí)的思想，將人們?cè)趥鹘y(tǒng)特征提取+分類的思維進(jìn)行整合，但是全連接層也有其缺點(diǎn)和局限性。首先全連接層會(huì)使參數(shù)量過大，可能會(huì)導(dǎo)致過擬合的產(chǎn)生。全連接神經(jīng)網(wǎng)絡(luò)課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)四、深度學(xué)習(xí)相關(guān)概念介紹4.1卷積神經(jīng)網(wǎng)絡(luò)4.ReLU激活函數(shù)激活函數(shù)的引入是為了增加神經(jīng)網(wǎng)絡(luò)模型的非線性，沒有激活函數(shù)每層就相當(dāng)于矩陣相乘。每一層輸出都是上層的輸入的線性函數(shù)，無論神經(jīng)網(wǎng)絡(luò)多少層，輸出都是輸入的線性組合，就是最原始的感知機(jī)。加入激活函數(shù)，給神經(jīng)元引入非線性因素，神經(jīng)網(wǎng)絡(luò)可以任意逼近任何非線性函數(shù)，這樣神經(jīng)網(wǎng)絡(luò)就可以應(yīng)用到眾多的非線性模型中。ReLU函數(shù)，用于隱層神經(jīng)元輸出函數(shù)公式：f(x)=max(0,x)，函數(shù)圖像如下圖所示。Relu激活函數(shù)與其他激活函數(shù)最大的不同在于它是線性的，因而不存在梯度爆炸的問題，在多層網(wǎng)絡(luò)結(jié)構(gòu)下梯度會(huì)線性傳遞。在深度學(xué)習(xí)中Relu是用的最廣泛的一種激活函數(shù)。ReLU激活函數(shù)圖像課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)四、深度學(xué)習(xí)相關(guān)概念介紹4.1卷積神經(jīng)網(wǎng)絡(luò)5.BN層（batchnormalization）BatchNormalization，簡稱BatchNorm或BN，翻譯為“批歸一化”，是神經(jīng)網(wǎng)絡(luò)中一種特殊的層，如今已是各種流行網(wǎng)絡(luò)的標(biāo)配。在原paper中，BN被建議插入在（每個(gè)）ReLU激活層前面。BN層最重要的作用是讓加速網(wǎng)絡(luò)的收斂速度，同時(shí)BN讓網(wǎng)絡(luò)訓(xùn)練變得更容易；另外調(diào)參過程也簡單多了，對(duì)于初始化要求沒那么高，而且可以使用大的學(xué)習(xí)率等，而沒有使用BN的話，更大的學(xué)習(xí)率就可能導(dǎo)致訓(xùn)練發(fā)散，大學(xué)習(xí)率又反過來作用到訓(xùn)練速度上，加速了收斂速度，兩者相輔相成。如果batchsize為m，則在前向傳播過程中，網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)都有m個(gè)輸出，所謂的BatchNormalization，就是對(duì)該層每個(gè)節(jié)點(diǎn)的這m個(gè)輸出進(jìn)行歸一化再輸出。課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)五、Lanenet算法介紹Lanenet是一種基于Tensorflow框架的車道線檢測算法。TensorFlow是一個(gè)基于數(shù)據(jù)流編程的符號(hào)數(shù)學(xué)系統(tǒng)，Tensorflow擁有多層級(jí)結(jié)構(gòu)，可部署于各類服務(wù)器、PC終端和網(wǎng)頁并支持GPU和TPU高性能數(shù)值計(jì)算，被廣泛應(yīng)用于各類機(jī)器學(xué)習(xí)算法的編程實(shí)現(xiàn)。課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)五、Lanenet算法介紹TensorFlow是采用數(shù)據(jù)流圖來計(jì)算，所以首先我們得創(chuàng)建一個(gè)數(shù)據(jù)流流圖，然后再將我們的數(shù)據(jù)放在數(shù)據(jù)流圖中計(jì)算。節(jié)點(diǎn)（Nodes）在圖中表示數(shù)學(xué)操作，圖中的邊（edges）則表示在節(jié)點(diǎn)間相互聯(lián)系的多維數(shù)據(jù)數(shù)組，即張量（tensor)。訓(xùn)練模型時(shí)tensor會(huì)不斷的從數(shù)據(jù)流圖中的一個(gè)節(jié)點(diǎn)flow到另一節(jié)點(diǎn),這就是TensorFlow名字的由來。課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)五、Lanenet算法介紹車道線檢測算法LaneNet+H-Net是一種端到端的車道線檢測算法，包括LaneNet和H-Net兩個(gè)網(wǎng)絡(luò)模型。其中，LaneNet是一種將語義分割和對(duì)像素進(jìn)行向量表示結(jié)合起來的多任務(wù)模型，負(fù)責(zé)對(duì)圖片中的車道線進(jìn)行實(shí)例分割；H-Net是由卷積層和全連接層組成的網(wǎng)絡(luò)模型，負(fù)責(zé)預(yù)測轉(zhuǎn)換矩陣H，使用轉(zhuǎn)換矩陣H對(duì)屬于同一車道線的像素點(diǎn)進(jìn)行回歸，即對(duì)使用坐標(biāo)y對(duì)坐標(biāo)x進(jìn)行修正。該算法在圖森的車道線數(shù)據(jù)集上的準(zhǔn)確率為96.4%，在NVIDIA1080TI上的處理速度為52FPS。5.1Lanenet算法原理系統(tǒng)總覽課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)五、Lanenet算法介紹如圖所示，對(duì)于同一張輸入圖片，LaneNet輸出實(shí)例分割的結(jié)果，為每個(gè)車道線像素分配一個(gè)車道線ID，H-Net輸出一個(gè)轉(zhuǎn)換矩陣H，使用轉(zhuǎn)換矩陣H對(duì)車道線像素進(jìn)行修正，并對(duì)修正的結(jié)果擬合出一個(gè)三階的多項(xiàng)式作為預(yù)測得到的車道線。5.1Lanenet算法原理系統(tǒng)總覽課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)五、Lanenet算法介紹LaneNet的整體網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。從圖中可以看出，該網(wǎng)絡(luò)結(jié)構(gòu)將實(shí)例分割任務(wù)拆解成語義分割和聚類兩部分。如圖所示，LanNet有兩個(gè)分支任務(wù)，分別為alanesegmentationbranchandalaneembeddingbranch。Segmentationbranch負(fù)責(zé)對(duì)輸入圖像進(jìn)行語義分割（對(duì)像素進(jìn)行二分類，判斷像素屬于車道線還是背景）；Embeddingbranch對(duì)像素進(jìn)行嵌入式表示，訓(xùn)練得到的embedding向量用于聚類。最后將兩個(gè)分支的結(jié)果進(jìn)行結(jié)合利用Mean-Shift算法進(jìn)行聚類，得到實(shí)例分割的結(jié)果。5.2Lanenet網(wǎng)絡(luò)結(jié)構(gòu)LaneNet的整體網(wǎng)絡(luò)結(jié)構(gòu)課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)五、Lanenet算法介紹1.二值化分割網(wǎng)絡(luò)上圖中的下面那個(gè)分支就是用于訓(xùn)練輸出得到一個(gè)二值化的分割圖，將車道線像素與背景區(qū)分開，白色代表車道線，黑色代表背景。由于目標(biāo)類別是2類（車道/背景)，并且高度不平衡，因此參考了ENet，損失函數(shù)使用的是標(biāo)準(zhǔn)的交叉熵?fù)p失函數(shù)。5.2Lanenet網(wǎng)絡(luò)結(jié)構(gòu)課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)五、Lanenet算法介紹2.實(shí)例分割網(wǎng)絡(luò)當(dāng)分割分支識(shí)別得到車道后，為了分離車道像素（就是為了知道哪些像素歸這條，哪些歸那條車道），訓(xùn)練了一個(gè)車道instanceembedding分支網(wǎng)絡(luò)（上圖上面那個(gè)網(wǎng)絡(luò)）。使用基于one-shot的方法做距離度量學(xué)習(xí)，該方法易于集成在標(biāo)準(zhǔn)的前饋神經(jīng)網(wǎng)絡(luò)中，可用于實(shí)時(shí)處理。利用聚類損失函數(shù)，instanceembedding分支訓(xùn)練后輸出一個(gè)車道線像素點(diǎn)距離，歸屬同一車道的像素點(diǎn)距離近，反之遠(yuǎn)，基于這個(gè)策略，可聚類得到各條車道線。5.2Lanenet網(wǎng)絡(luò)結(jié)構(gòu)課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)五、Lanenet算法介紹使用H-NET網(wǎng)絡(luò)做車道線曲線擬合，LaneNet網(wǎng)絡(luò)輸出的是每條車道線的像素集合，常規(guī)的處理是將圖像轉(zhuǎn)為鳥瞰圖，然后用二次或三次多項(xiàng)式擬合出彎曲的車道線。然而，目前所使用的透視變換矩陣的參數(shù)通常是預(yù)先設(shè)定、不會(huì)改變的，在面對(duì)水平線波動(dòng)的影響（如上下坡）等情況下的車道線擬合并不準(zhǔn)確，魯棒性不強(qiáng)，因此通過H-Net網(wǎng)絡(luò)學(xué)習(xí)得到的變換矩陣參數(shù)H適用性更好。5.3H-Net網(wǎng)絡(luò)課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)六、Laneatt算法介紹Laneatt算法，一種基于錨框（anchor）的深度車道線檢測模型，且應(yīng)用了注意力機(jī)制，輕量級(jí)版本的推理速度達(dá)到250FPS。LaneATT算法總體流程如下圖所示。將車輛前視相機(jī)采集到的RGB圖像作為輸入，輸出車道線位置。從圖中可以看出，該算法將backbone的輸出結(jié)果進(jìn)行池化操作，以提取每個(gè)anchor的特征；將提取到的特征與注意力模塊產(chǎn)生的全局特征進(jìn)行融合，以解決遮擋、光照等原因?qū)е萝嚨谰€檢測不到的問題；融合后的特征作為全連接層的輸入，全連接層輸出車道線的置信度和相關(guān)參數(shù)。Laneatt算法總體流程課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)六、Laneatt算法介紹1.車道線和anchor的表示方法Lane的anchor表征方式與Line-CNN的方式一致。如圖所示，首先將特征圖均分為一定大小的網(wǎng)格。然后，一條lane由起始點(diǎn)s和結(jié)束點(diǎn)e以及方向a組成。也就是一條lane由起始點(diǎn)按照一定方向到結(jié)束點(diǎn)的所有2d坐標(biāo)組成。車道線和anchor的表示方法課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)六、Laneatt算法介紹2.Anchor-basedfeaturepooling兩階段的目標(biāo)檢測算法會(huì)把一定矩形區(qū)域的anchor特征池化到一定長度的特征，以用于后面的卷積或全連接層進(jìn)行預(yù)測。對(duì)于車道線而言，因?yàn)閘ane的anchor表征不再是矩形區(qū)域，而是一條線。特征池課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)六、Laneatt算法介紹3.注意力機(jī)制上面池化得出的特征只是車道線上的局部特征，在遇到車道線遮擋的情況下，還需要全局特征才可以更好的進(jìn)行預(yù)測。注意力機(jī)制作用于局部特征以產(chǎn)生匯總?cè)中畔⒌母郊犹卣?，?duì)于池化得到的兩個(gè)anchor的局部特征，使用Latt（全連接層）去預(yù)測兩個(gè)anchor的局部特征的關(guān)系。相當(dāng)于基于當(dāng)前局部特征，去預(yù)測它和其他局部特征的權(quán)重關(guān)系，然后聚合其他特征來作為全局特征。課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)六、Laneatt算法介紹4.非最大值抑制(NMS）非最大值抑制在之前我們學(xué)習(xí)過的YOLO訓(xùn)練網(wǎng)絡(luò)中就有涉及，本節(jié)任務(wù)會(huì)重點(diǎn)對(duì)其進(jìn)行講解。（1）什么是非極大值抑制非極大值抑制，簡稱為NMS算法。其思想是搜索局部最大值，抑制極大值。（2）為什么要用非極大值抑制以目標(biāo)檢測為例：目標(biāo)檢測的過程中在同一目標(biāo)的位置上會(huì)產(chǎn)生大量的候選框，這些候選框相互之間可能會(huì)有重疊，此時(shí)就需要利用非極大值抑制找到最佳的目標(biāo)邊界框，消除冗余的邊界框。如圖所示，左圖是人臉檢測的候選框結(jié)果，有多個(gè)候選框，每個(gè)邊界框有一個(gè)置信度得分。右圖是使用非極大值抑制之后的結(jié)果，符合我們?nèi)四槞z測的預(yù)期結(jié)果。是否使用非極大值抑制的檢測結(jié)果對(duì)比課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)六、Laneatt算法介紹4.非最大值抑制(NMS）（3）如何使用非極大值抑制前提：目標(biāo)邊界框列表及其對(duì)應(yīng)的置信度得分列表，設(shè)定閾值，閾值用來刪除重疊較大的邊界框。IoU：intersection-over-union，即兩個(gè)邊界框的交集部分除以它們的并集。非極大值抑制的流程如下：（1）根據(jù)置信度得分進(jìn)行排序（2）選擇置信度最高的比邊界框添加到最終輸出列表中，將其從邊界框列表中刪除（3）計(jì)算所有邊界框的面積（4）計(jì)算置信度最高的邊界框與其它候選框的IoU。（5）刪除IoU大于閾值的邊界框（6）重復(fù)上述過程，直至邊界框列表為空。課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)七、利用Lanenet算法預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)1.打開終端，創(chuàng)建lanenet虛擬環(huán)境，輸入命令：condacreate-nlanenetpython=3.7-y7.1創(chuàng)建虛擬環(huán)境課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)七、利用Lanenet算法預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)2.進(jìn)入lanenet虛擬環(huán)境，輸入命令：condaactivatelanenet7.1創(chuàng)建虛擬環(huán)境課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)七、利用Lanenet算法預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)3.進(jìn)入項(xiàng)目文件夾，輸入命令：cd/home/root123456/project/lanenet-lane-detection-master

7.1創(chuàng)建虛擬環(huán)境課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)七、利用Lanenet算法預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)4.安裝項(xiàng)目所需Python包，輸入命令：pipinstall-rrequirements.txt-i/simple

7.1創(chuàng)建虛擬環(huán)境課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)七、利用Lanenet算法預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)1.訓(xùn)練集預(yù)處理，解壓Tusimple數(shù)據(jù)集壓縮文件train_set.zip至項(xiàng)目文件夾下的./data/train_set文件夾，解壓后的訓(xùn)練集文件夾如下所示。7.2數(shù)據(jù)集預(yù)處理課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)七、利用Lanenet算法預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)2.輸入命令：pythontools/generate_tusimple_dataset.py--src_dirdata/train_set

7.2數(shù)據(jù)集預(yù)處理課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)七、利用Lanenet算法預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)3.輸入命令獲得tfrecords文件：pythontools/make_tusimple_tfrecords.py7.2數(shù)據(jù)集預(yù)處理課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)七、利用Lanenet算法預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)1.輸入命令：pythontools/train_lanenet_tusimple.py7.3訓(xùn)練與測試課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)七、利用Lanenet算法預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)2.對(duì)單張圖片進(jìn)行檢測，輸入命令pythontools/test_lanenet.py--weights_path./model/tusimple_lanenet/tusimple_lanenet.ckpt--image_path./data/tusimple_test_image/0.jpg不同階段的圖像處理結(jié)果如圖所示，其中右下角的圖片為最終的檢測結(jié)果，Lanenet算法是以點(diǎn)的形式還原車道線，不同顏色的點(diǎn)代表不同的車道線。7.3訓(xùn)練與測試不同階段的圖像處理結(jié)果課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)七、利用Lanenet算法預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)3.對(duì)多張圖片進(jìn)行檢測（可指定真實(shí)數(shù)據(jù)所在的文件夾），輸入命令：pythontools/evaluate_lanenet_on_tusimple.py--weights_path./model/tusimple_lanenet/tusimple_lanenet.ckpt--image_path./data/test_set/clips--save_dir./data/test_set/test_output其中--image_path為需要預(yù)測的圖片路徑，--save_dir為結(jié)果圖片保存位置，這兩項(xiàng)可以根據(jù)需要修改，也可以用來預(yù)測真實(shí)數(shù)據(jù)。預(yù)測真實(shí)數(shù)據(jù)時(shí)，需要利用我們提供的resize.py將圖片分辨率調(diào)整為和tusimple數(shù)據(jù)集一致的1280*720，需要進(jìn)入resize.py修改需要調(diào)整分辨率的圖片文件夾路徑與結(jié)果保存路徑，再在終端運(yùn)行pythonresize.py即可。由于本模型基于tusimple數(shù)據(jù)集訓(xùn)練，預(yù)測自己拍攝的道路圖片時(shí)可能效果較差，這個(gè)是正常情況。比如我們用lanenet對(duì)culane數(shù)據(jù)集的圖片的數(shù)據(jù)進(jìn)行預(yù)測時(shí)，由于拍攝角度以及鏡頭畸變的情況，識(shí)別效果就不夠理想。不過這個(gè)問題會(huì)在laneatt算法中得到解決。7.3訓(xùn)練與測試課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)八、利用laneatt預(yù)測culane和tusimple數(shù)據(jù)集并生成MP4視頻文件1.創(chuàng)建laneatt虛擬環(huán)境，依次輸入如下命令：condacreate-nlaneattpython=3.8-ycondaactivatelaneattcondainstallpytorch==1.6torchvision-cpytorchpipinstall-rrequirements.txtcdlib/nms;pythonsetup.pyinstall;cd-8.1環(huán)境配置（pytorch）課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)八、利用laneatt預(yù)測culane和tusimple數(shù)據(jù)集并生成MP4視頻文件1.依次輸入如下命令：mkdirdatasets#ifitdoesnotalreadyexistscddatasetsmkdirculanecdculanegdown"/uc?id=1AQjQZwOAkeBTSG_1I9fYn8KBcxBBbYyk"gdown"/uc?id=1PH7UdmtZOK3Qi3SBqtYOkWSH2dpbfmkL"gdown"/uc?id=14Gi1AXbgkqvSysuoLyq1CsjFSypvoLVL"tarxfdriver_23_30frame.tar.gztarxfdriver_161_90frame.tar.gztarxfdriver_182_30frame.tar.gzgdown/uc?id=1LTdUXzUWcnHuEEAiMoG42oAGuJggPQs8gdown"/uc?id=1daWl7XVzH06GwcZtF4WD8Xpvci5SZiUV"gdown"/uc?id=1Z6a463FQ3pfP54HMwF3QS5h9p2Ch3An7"8.2下載數(shù)據(jù)集，配置數(shù)據(jù)集文件夾課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)八、利用laneatt預(yù)測culane和tusimple數(shù)據(jù)集并生成MP4視頻文件tarxfdriver_37_30frame.tar.gztarxfdriver_100_30frame.tar.gztarxfdriver_193_90frame.tar.gzgdown"/uc?id=1QbB1TOk9Fy6Sk0CoOsR3V8R56_eG6Xnu"tarxfannotations_new.tar.gzgdown"/uc?id=18alVEPAMBA9Hpr3RDAAchqSj5IxZNRKd"tarxflist.tar.gztarxfdriver_193_90frame.tar.gzgdown"/uc?id=1QbB1TOk9Fy6Sk0CoOsR3V8R56_eG6Xnu"tarxfannotations_new.tar.gzgdown"/uc?id=18alVEPAMBA9Hpr3RDAAchqSj5IxZNRKd"tarxflist.tar.gz8.2下載數(shù)據(jù)集，配置數(shù)據(jù)集文件夾課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)八、利用laneatt預(yù)測culane和tusimple數(shù)據(jù)集并生成MP4視頻文件本項(xiàng)目的訓(xùn)練與測試都是使用同一個(gè)py文檔，所以在輸入指令時(shí)需要說明是訓(xùn)練模式還是測試模式。1.訓(xùn)練模型，輸入以下指令：pythonmain.pytrain--exp_namelaneatt_r18_culane--cfgcfgs/laneatt_culane_resnet18.yml這里的--exp_name指定項(xiàng)目名稱--cfg為訓(xùn)練參數(shù)文件這兩個(gè)要確保對(duì)應(yīng)。但是訓(xùn)練過程極為耗時(shí)，我們接下來會(huì)直接使用官方提供的預(yù)訓(xùn)練模型來進(jìn)行測試。2.對(duì)測試集進(jìn)行預(yù)測并對(duì)模型進(jìn)行評(píng)估，輸入以下指令：pythonmain.pytest--exp_namelaneatt_r18_culane--save_predictions其中--save_predictions為保存預(yù)測結(jié)果的pkl文件于項(xiàng)目的根目錄。8.3測試與訓(xùn)練課程導(dǎo)入Lanenet算法介紹Laneatt算法介紹語義分割和實(shí)例分割的定義車道線檢測常用數(shù)據(jù)集介紹預(yù)測tusimple數(shù)據(jù)集以及真實(shí)數(shù)據(jù)深度學(xué)習(xí)相關(guān)概念預(yù)測culane和tusimple數(shù)據(jù)集總結(jié)八、利用laneatt預(yù)測culane和tusimple數(shù)據(jù)集并生成MP4視頻文件1.利用根目錄下的gen_video.py生成結(jié)果圖片，保存在view_culane文件夾下，輸入以下指令：pythongen_video.py--predpredicti