汽車智能傳感器技術與應用項目二項目實施4：基于視覺傳感器實現(xiàn)車道線檢測（課件）

基于視覺傳感器實現(xiàn)車道線檢測智能汽車傳感器應用技術一、課程導入早在十年前，部分高端車輛上便出現(xiàn)了車道偏離預警系統(tǒng)（LDW），及車道保持輔助系統(tǒng)（LKA），這些系統(tǒng)的核心就是車道線識別算法。識別道路上的車道是所有司機的共同任務，以確保車輛在駕駛時處于車道限制之內(nèi)，并減少因越過車道而與其他車輛發(fā)生碰撞的機會。對自動駕駛汽車來說，這同樣也是一項關鍵任務。事實證明，使用計算機視覺技術識別道路上的車道標記是可能的。課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法車道線識別思考討論題（2分鐘）一、課程導入車道線檢測是自動駕駛中的一個基礎模塊，其實也是一個由來已久的任務，早期已有很多基于傳統(tǒng)圖像處理實現(xiàn)的車道線檢測算法。傳統(tǒng)的圖像處理方法或已無法滿足車道線識別超高精度的需求，相比傳統(tǒng)方法，深度學習方法在計算機視覺的各個領域更具優(yōu)勢。站在開發(fā)者的角度，你知道計算機視覺技術如何識別道路上的車道線嗎？課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法二、語義分割和實例分割車道線檢測屬于計算機視覺圖像處理類任務中的分割任務，以下分別介紹語義分割和實例分割、車道線檢測常用數(shù)據(jù)集以及算法。眾所周知，圖像在計算機中是像素的集合。而圖像分割是對圖像中屬于特定類別的像素進行分類的過程。傳統(tǒng)的圖像分割算法是基于灰度值的不連續(xù)和相似的性質(zhì)，而基于深度學習的圖像分割技術則是利用卷積神經(jīng)網(wǎng)絡，來理解圖像中的每個像素所代表的真實世界物體。檢測分割課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法二、語義分割和實例分割基于深度學習的圖像分割技術主要分為兩類：語義分割及實例分割。語義分割是對每個像素打上類別的標簽，同一類別的所有像素都用一種顏色標識，但是同一類別之間的對象不會區(qū)分，如下左圖所示，人、地面、樹木和天空各一個顏色標識。但語義分割不能對每個個體進行區(qū)分，而實例只對特定的物體進行分類，如下右圖所示，只對人進行個體分割。實例分割可以看作目標檢測與語義分割的結(jié)合，是檢測任務的拓展，在能夠準確識別每個目標的基礎之上，以像素為單位分割每個實例。實例分割語義分割課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法三、車道線檢測常用數(shù)據(jù)集車道線檢測大多采用深度學習的算法實現(xiàn)，為了讓算法更好的實現(xiàn)其功能，需要給算法足夠多的數(shù)據(jù)，這些數(shù)據(jù)被分為訓練集、驗證集和測試集。訓練集用來擬合模型，通過設置分類器的參數(shù)，訓練分類模型；當通過訓練集訓練出多個模型后，為了能找出效果最佳的模型，使用各個模型對驗證集數(shù)據(jù)進行預測，并記錄模型準確率，選出效果最佳的模型所對應的參數(shù)，即驗證集被用來調(diào)整模型參數(shù)。在通過訓練集和驗證集得出最優(yōu)模型后，測試集被用于模型預測，用來衡量該最優(yōu)模型的性能和分類能力。車道線檢測常用數(shù)據(jù)集包括CULane數(shù)據(jù)集和TuSimple數(shù)據(jù)集。車道線檢測課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法三、車道線檢測常用數(shù)據(jù)集CULane數(shù)據(jù)集是用于行車道檢測學術研究的大規(guī)模具有挑戰(zhàn)性的數(shù)據(jù)集。整個數(shù)據(jù)集的采集過程是通過6輛北京出租車上的視覺傳感器完成的。它收集了超過55小時的視頻，并提取了133,235幀。我們將數(shù)據(jù)集分為訓練集（包含88880張圖片），驗證集（包含9675張圖片）和測試集（34680張圖片）。CULane數(shù)據(jù)集示例3.1CULane數(shù)據(jù)集課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法三、車道線檢測常用數(shù)據(jù)集CULane數(shù)據(jù)集包含正常（Normal）場景和擁擠（Crowded）、黑夜（Night）、無線（Noline）、陰影（Shadow）、快速移動（Arrow）、炫目的光（Dazzlelight）、彎道（Curve）和十字路口（Crossroad）等八種難以檢測的情況，對應數(shù)據(jù)示例如下圖所示，也就是說通過CULane數(shù)據(jù)集訓練出來的模型能夠兼顧更加復雜的環(huán)境。對于每幀，CULane用三次樣條曲線手動注釋行車道。對于車道標記被車輛遮擋或看不見的情況，數(shù)據(jù)集仍會根據(jù)上下文注釋車道。CULane數(shù)據(jù)集示例3.1CULane數(shù)據(jù)集課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法三、車道線檢測常用數(shù)據(jù)集TuSimple數(shù)據(jù)集為車道檢測任務提供了約7000個一秒長的視頻片段，每個片段20幀，每個片段的最后一幀包含有標簽的車道。視頻片段可以幫助算法推斷出更好的車道檢測結(jié)果。整個TuSimple數(shù)據(jù)集的復雜度并不是很高。該數(shù)據(jù)集在較好或中等的天氣條件下，對2車道及以上的高速公路車道進行數(shù)據(jù)采集。其中包含3626個用于訓練的視頻片段以及2782個用于測試的視頻片段。TuSimple數(shù)據(jù)集實例如下圖所示。CULane數(shù)據(jù)集示例3.2TuSimple數(shù)據(jù)集課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法三、車道線檢測常用數(shù)據(jù)集雖然TuSimple數(shù)據(jù)集的數(shù)據(jù)采集的時間較早，數(shù)據(jù)是“過時的數(shù)據(jù)”并且路況不太符合目前中國的路況環(huán)境，但是目前世界范圍內(nèi)的大多數(shù)車道線檢測算法都是基于TuSimple，包括我們本節(jié)介紹到的LaneNet以及LaneATT算法。TuSimple數(shù)據(jù)集示例3.2TuSimple數(shù)據(jù)集課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法四、車道線檢測算法LaneNet是一種將語義分割和對像素進行向量表示結(jié)合起來的多任務模型，負責對圖片中的車道線進行實例分割；H-Net是由卷積層和全連接層組成的網(wǎng)絡模型，負責預測轉(zhuǎn)換矩陣H，使用轉(zhuǎn)換矩陣H對屬于同一車道線的像素點進行回歸，能夠?qū)嚨谰€進行良好的擬合。整體網(wǎng)絡結(jié)構如右圖所示。4.1LaneNet+H-Net算法模型課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法四、車道線檢測算法（1）LaneNet對輸入圖像進行實例分割，其中網(wǎng)絡結(jié)構分為兩個方向，一個是語義分割，另一個是對像素進行向量表示，最后將兩個分支的結(jié)果進行聚類，得到實例分割的結(jié)果。LaneNet輸出實例分割的結(jié)果，為每個車道線像素分配一個車道線ID（Identity，標識）。4.1LaneNet+H-Net算法模型課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法四、車道線檢測算法（2）H-Net模型：目前所使用的透視變換矩陣的參數(shù)通常是預先設定、不會改變的，在面對水平線波動的影響（如上下坡）等情況下的車道線擬合并不準確，魯棒性不強。而H-Net模型可以用來學習透視變換矩陣的參數(shù)H，如下左圖所示，可以看出，轉(zhuǎn)置矩陣H只有6個參數(shù)，因此H-Net的輸出是一個6維的向量，置零是為了強制約束，即在變換下水平線保持水平。H-Net的網(wǎng)絡體系結(jié)構較小，由6層普通卷積網(wǎng)絡和一層全連接網(wǎng)絡構成，其網(wǎng)絡結(jié)構如下右圖所示。4.1LaneNet+H-Net算法模型H參數(shù)H-Net網(wǎng)絡結(jié)構課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法四、車道線檢測算法LaneATT是基于Pytorch框架下的車道線檢測算法。PyTorch是一個開源的Python機器學習庫，PyTorch的前身是Torch，其底層和Torch框架一樣，但是使用Python重新寫了很多內(nèi)容，不僅更加靈活，支持動態(tài)圖，而且提供了Python接口。它是一個基于Python的可續(xù)計算包，是一個包含自動求導系統(tǒng)的深度神經(jīng)網(wǎng)絡，且具有強大的GPU加速的張量計算（如NumPy）。Laneatt算法總體流程4.2LaneATT算法模型課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法四、車道線檢測算法LaneATT在CULane數(shù)據(jù)集上有著相當不錯的表現(xiàn)，同時也支持其他的數(shù)據(jù)集。它的優(yōu)點具體表現(xiàn)為：第一，比現(xiàn)有的實時處理模型都要準確，在較大和復雜的數(shù)據(jù)CULane數(shù)據(jù)集有更好的表現(xiàn)；第二，訓練和推斷速度比較快（250fps）；第三，基于錨框（在圖像中指示感興趣的目標的邊界框稱為錨框（anchorbox））的注意力機制，使檢測對象更加精準。4.2LaneATT算法模型課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法四、車道線檢測算法LaneATT使用從安裝在車輛中的前置攝像頭拍攝的RGB圖像作為輸入。輸出是車道線。為了生成這些輸出，卷積神經(jīng)網(wǎng)絡（CNN）（稱為主干）會生成一個特征圖，然后將其匯總以提取每個錨（anchor）的特征。這些特征與注意力模塊生成的一組全局特征結(jié)合在一起。通過組合局部和全局特征，該模型可以更輕松地使用來自其他車道的信息，這在有遮擋或沒有可見車道標記的情況下可能是必需的。最后，將合并的特征傳遞到全連接層以預測最終的輸出通道。車道線和anchor的表示方法4.2LaneATT算法模型課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法五、利用LaneNet算法預測樣例數(shù)據(jù)（1）在Ubuntu系統(tǒng)中的桌面單擊右鍵，打開終端，創(chuàng)建Lanenet虛擬環(huán)境，輸入命令：5.1創(chuàng)建虛擬環(huán)境與環(huán)境配置課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法五、利用LaneNet算法預測樣例數(shù)據(jù)（2）激活并進入LaneNet虛擬環(huán)境，輸入命令：5.1創(chuàng)建虛擬環(huán)境與環(huán)境配置課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法五、利用LaneNet算法預測樣例數(shù)據(jù)（3）進入項目文件夾（隨教材配套提供，具體位置以實際為準），輸入命令：5.1創(chuàng)建虛擬環(huán)境與環(huán)境配置課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法五、利用LaneNet算法預測樣例數(shù)據(jù)（4）安裝項目所需Python包，輸入命令：5.1創(chuàng)建虛擬環(huán)境與環(huán)境配置課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法五、利用LaneNet算法預測樣例數(shù)據(jù)（5）安裝protobuf包，輸入命令：5.1創(chuàng)建虛擬環(huán)境與環(huán)境配置課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法五、利用LaneNet算法預測樣例數(shù)據(jù)1.訓練集預處理，解壓Tusimple數(shù)據(jù)集壓縮文件train_set.zip至項目文件夾下的./data/train_set文件夾，解壓后的訓練集文件夾如下所示。5.2數(shù)據(jù)集預處理課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法五、利用LaneNet算法預測樣例數(shù)據(jù)2.輸入命令：pythontools/generate_tusimple_dataset.py--src_dirdata/train_set

5.2數(shù)據(jù)集預處理課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法五、利用LaneNet算法預測樣例數(shù)據(jù)3.輸入命令獲得tfrecords文件：pythontools/make_tusimple_tfrecords.py5.2數(shù)據(jù)集預處理課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法五、利用LaneNet算法預測樣例數(shù)據(jù)1.輸入命令：pythontools/train_lanenet_tusimple.py5.3訓練與測試課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法五、利用LaneNet算法預測樣例數(shù)據(jù)(1)輸入命令,對單張圖片進行檢測不同階段的圖像處理結(jié)果如圖下圖所示，分別是車道的二值化分割圖像（黑色背景白色車道線圖）、像素嵌入表示圖像（灰色背景對應不同顏色的向量距離圖）、車道的實例分割圖像（不同車道對應顏色車道線圖）、預測結(jié)果圖像（以點的形式重疊原圖車道線圖）。5.4啟動車道線識別程序不同階段的圖像處理結(jié)果課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法五、利用LaneNet算法預測樣例數(shù)據(jù)（2）對多張圖片進行檢測（可指定真實數(shù)據(jù)所在的文件夾），輸入命令：其中--image_path為需要預測的圖片路徑，--save_dir為結(jié)果圖片保存位置，這兩項可以根據(jù)需要修改，也可以用來預測真實數(shù)據(jù)。預測真實數(shù)據(jù)時，需要利用我們提供的resize.py將圖片分辨率調(diào)整為和tusimple數(shù)據(jù)集一致的1280*720；進入resize.py修改需要調(diào)整分辨率的圖片文件夾路徑與結(jié)果保存路徑，再在終端運行pythonresize.py即可。由于本模型基于tusimple數(shù)據(jù)集訓練，預測自己拍攝的道路圖片時可能效果較差，這個是正常情況。比如我們用LaneNet對culane數(shù)據(jù)集的圖片的數(shù)據(jù)進行預測時，由于拍攝角度以及鏡頭畸變的情況，識別效果就不夠理想。不過這個問題會在LaneATT算法中得到解決。5.4啟動車道線識別程序課程導入利用LaneNet算法預測樣例數(shù)據(jù)利用LaneATT進行車道線識別測試語義分割和實例分割車道線檢測常用數(shù)據(jù)集車道線檢測算法六、利用LaneATT進行車道線識別測試（1）進入項目文件夾，打開終端，創(chuàng)建laneATT虛擬環(huán)境，輸入命令：6.1環(huán)境配置指令意義為在Linux系統(tǒng)中創(chuàng)建名字為“l(fā)aneatt”的虛擬環(huán)境，python版本為3.8。（2）激活laneATT虛擬環(huán)境，輸入命令：（3）安裝pytorch和torchvision，輸入命令：課程導入利用Lan