Python深度學(xué)習(xí)及智能車競賽實(shí)踐 課件 10-智能車自動巡航算法設(shè)計(jì)及部署

第十章智能車自動巡航算法設(shè)計(jì)及部署Python深度學(xué)習(xí)及智能車競賽實(shí)踐目錄第2頁02基于OpenCV圖像處理的智能車自動巡航03基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證04基于PaddleSeg套件的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證01百度智慧交通創(chuàng)意賽線下賽任務(wù)目錄第3頁02基于OpenCV圖像處理的智能車自動巡航03基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證04基于PaddleSeg套件的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證01百度智慧交通創(chuàng)意賽線下賽任務(wù)第4頁01—百度智慧交通創(chuàng)意賽線下賽任務(wù)線下賽賽事規(guī)則要點(diǎn)百度智慧交通創(chuàng)意賽每年設(shè)置一個(gè)主題十八屆賽題以“長江之歌”為主題基于車道定位、目標(biāo)檢測等技術(shù)，利用機(jī)械搭建和編程，完成登高作賦、物換星移、激流勇進(jìn)、奔流入海等任務(wù)比賽場地三維圖第5頁01—百度智慧交通創(chuàng)意賽線下賽任務(wù)在場地上有三處名樓，分別是黃鶴樓、岳陽樓、滕王閣三座名樓由放置在道路旁邊的圖片來區(qū)別智能汽車沿著道路行進(jìn)到每座樓閣前舉起對應(yīng)城樓的旗幟，亮3次綠燈后降下旗幟比賽場地標(biāo)志登高作賦旗幟圖標(biāo)第6頁01—百度智慧交通創(chuàng)意賽線下賽任務(wù)場地對應(yīng)位置放置一處采購貨站，貨架上隨機(jī)擺放三個(gè)方塊（三種長江特產(chǎn)）夾取正確的方塊，將對應(yīng)方塊從路的一側(cè)移動到另一側(cè)（正對岸）物轉(zhuǎn)星移任務(wù)點(diǎn)物轉(zhuǎn)星移場地道路邊有一泊船區(qū)域智能汽車從標(biāo)記點(diǎn)進(jìn)入航道外側(cè)的泊船區(qū)域，完全停到區(qū)域之后亮3次紅燈并發(fā)出“滴、滴、滴”三聲漁舟唱晚任務(wù)點(diǎn)漁舟唱晚第7頁01—百度智慧交通創(chuàng)意賽線下賽任務(wù)場地道路上任意位置放置一處大壩智能汽車安全通過且在此過程中與場地的接觸點(diǎn)（面）沒有越過黃線騰蛟起鳳任務(wù)點(diǎn)騰蛟起鳳在場地上設(shè)置一處環(huán)形航道智能汽車需在環(huán)形航道行駛兩圈，然后回到主航道，智能汽車安全通過且在此過程中與場地的接觸點(diǎn)（面）沒有越過黃線回船轉(zhuǎn)舵任務(wù)點(diǎn)回船轉(zhuǎn)舵第8頁01—百度智慧交通創(chuàng)意賽線下賽任務(wù)在場地道路邊上會設(shè)置三朵獨(dú)立的浪花標(biāo)志，標(biāo)志間距不定智能汽車在運(yùn)動過程中擊倒第一個(gè)標(biāo)志或擊倒現(xiàn)場臨時(shí)指定標(biāo)志接觸不接觸均可，且保證不擊倒并行的另兩朵浪花標(biāo)志初始狀態(tài)激流勇進(jìn)完成狀態(tài)第9頁01—百度智慧交通創(chuàng)意賽線下賽任務(wù)智能汽車從基地出發(fā)走過所有道路后回到基地智能汽車與場地的接觸點(diǎn)（面）必須在道路內(nèi)，不可越過黃線智能汽車需要一次性走過所有道路，允許穿插其他任務(wù)奔流向海任務(wù)即為智能車自動巡航任務(wù)自動巡航任務(wù)是完成其余任務(wù)的基礎(chǔ)任務(wù)，是備賽的基礎(chǔ)奔流向?；氐缆啡蝿?wù)智能車行進(jìn)方向目錄第10頁02基于OpenCV圖像處理的智能車自動巡航03基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證04基于PaddleSeg套件的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證01百度智慧交通創(chuàng)意賽線下賽任務(wù)第11頁車道線檢測的概念車道線檢測是自動駕駛感知的基本任務(wù)之一良好的車道線檢測結(jié)果為自動駕駛車輛的規(guī)劃決策提供基準(zhǔn)信息百度智慧交通組比賽智能小車使用相機(jī)感知周圍環(huán)境可使用基于OpenCV的方法

實(shí)現(xiàn)車道線檢測車道線檢測的流程道路預(yù)處理車道線特征提取車道線檢測02—基于OpenCV圖像處理的智能車自動巡航第12頁目的：簡化圖像信息，減少處理的復(fù)雜性

輸入：原始圖像

處理：

基于OpenCV實(shí)現(xiàn)車道線檢測灰度化圖像importcv2frommatplotlibimportpyplotasplt#讀取彩色圖像image_path="path/to/your/image.jpg"color_image=cv2.imread(image_path)#將圖像轉(zhuǎn)換為灰度圖gray_image=cv2.cvtColor(color_image,cv2.COLOR_BGR2GRAY)輸出：灰度圖像02—基于OpenCV圖像處理的智能車自動巡航第13頁基于OpenCV實(shí)現(xiàn)車道線檢測創(chuàng)建蒙版目的：選定圖像特定范圍

#創(chuàng)建0矩陣stencil=np.zeros_like(img0[:,:,0])#指定多邊形的坐標(biāo)polygon=np.array([[50,480],[200,100],[500,100],[640,480]])#用1填充多邊形cv2.fillConvexPoly(stencil,polygon,1)輸出：生成的蒙版02—基于OpenCV圖像處理的智能車自動巡航第14頁基于OpenCV實(shí)現(xiàn)車道線檢測將蒙版應(yīng)用于圖像目的：縮小對圖像的關(guān)注范圍

輸入：灰度圖像

處理：

輸出：應(yīng)用了蒙版的灰度圖像#應(yīng)用該多邊形作為掩碼img=cv2.bitwise_and(img0[:,:,0],img0[:,:,0],mask=stencil)#畫出掩碼后的圖片plt.imshow(img,cmap="gray")plt.show()02—基于OpenCV圖像處理的智能車自動巡航第15頁基于OpenCV實(shí)現(xiàn)車道線檢測使用圖像閾值分割檢測車道線輸入：使用蒙版的灰度圖像處理：

ret,thresh=cv2.threshold(img,120,135,cv2.THRESH_BINARY)#畫出圖像plt.imshow(thresh,cmap="gray")plt.show()輸出：車道線檢測結(jié)果02—基于OpenCV圖像處理的智能車自動巡航第16頁基于OpenCV實(shí)現(xiàn)智能車自動巡航相機(jī)位置校準(zhǔn)目的：確保從相機(jī)獲取的圖像與實(shí)際場景之間有準(zhǔn)確的幾何關(guān)系和空間關(guān)系操作：

校準(zhǔn)要求：調(diào)節(jié)相機(jī)角度，使得在顯示的畫面中，能看到起點(diǎn)處米白色區(qū)域部分的圖像，且左右兩條車道線位置大致對稱02—基于OpenCV圖像處理的智能車自動巡航roslaunchhg_bridgebringup.launchpython3follow.py1.新開終端，將智能車放置在地圖起點(diǎn)位置，輸入以下指令啟動底盤2.新開終端，運(yùn)行以下指令，顯示攝像頭讀取圖像界面注：該部分內(nèi)容配套2023年百度智慧交通創(chuàng)意賽資源包代碼進(jìn)行第17頁基于OpenCV實(shí)現(xiàn)智能車自動巡航顏色閾值校準(zhǔn)目的：確保巡線程序準(zhǔn)確地識別車道線操作：

02—基于OpenCV圖像處理的智能車自動巡航roslaunchhg_bridgebringup.launchpython3follow.py1.新開終端，將智能車放置在地圖起點(diǎn)位置，輸入一下指令啟動底盤2.新開終端，運(yùn)行以下指令，啟動顏色校準(zhǔn)界面第18頁基于OpenCV實(shí)現(xiàn)智能車自動巡航顏色閾值校準(zhǔn)

02—基于OpenCV圖像處理的智能車自動巡航rosrunrqt_reconfigurerqt_reconfigure3.新建終端，運(yùn)行以下指令，啟動參數(shù)調(diào)節(jié)器拖動進(jìn)度條，可以調(diào)整HSV上下限的數(shù)值第19頁基于OpenCV實(shí)現(xiàn)智能車自動巡航顏色閾值校準(zhǔn)

02—基于OpenCV圖像處理的智能車自動巡航4.調(diào)節(jié)參數(shù)調(diào)節(jié)其中的HSV的數(shù)值，獲得一組識別較好的參數(shù)5.記錄一組識別較好的參數(shù)，用于后續(xù)在程序中手動調(diào)整參數(shù)校準(zhǔn)要求：調(diào)節(jié)HSV上下限數(shù)值，使得檢測到的車道線清晰可辨識第20頁基于OpenCV實(shí)現(xiàn)智能車自動巡航調(diào)節(jié)巡線相關(guān)參數(shù)

02—基于OpenCV圖像處理的智能車自動巡航1.車道線檢測顏色閾值調(diào)整操作：打開follow.py程序根據(jù)顏色閾值校準(zhǔn)獲得的識別效果良好的參數(shù)修改程序?qū)?yīng)位置的參數(shù)第21頁基于OpenCV實(shí)現(xiàn)智能車自動巡航調(diào)節(jié)巡線相關(guān)參數(shù)

02—基于OpenCV圖像處理的智能車自動巡航2.巡線速度調(diào)節(jié)操作：打開follow.py程序在程序?qū)?yīng)位置修改小車速度相關(guān)參數(shù)小車的巡線速度為self.sign_speed，由self.max_speed和self.min_speed決定，max_speed為小車正常巡線時(shí)速度，min_speed為小車識別到地標(biāo)后的速度第22頁基于OpenCV實(shí)現(xiàn)智能車自動巡航自動巡航實(shí)驗(yàn)驗(yàn)證

02—基于OpenCV圖像處理的智能車自動巡航操作：使用以下命令啟動智能車底盤和巡線程序此時(shí)，會顯示相機(jī)圖像界面點(diǎn)擊圖像界面，按空格鍵關(guān)閉圖像界面小車開始根據(jù)巡線程序進(jìn)行自動巡航roslaunchhg_bridgebringup.launchpython3follow.py第23頁基于OpenCV實(shí)現(xiàn)智能車自動巡航自動巡航實(shí)驗(yàn)驗(yàn)證

02—基于OpenCV圖像處理的智能車自動巡航通過實(shí)車驗(yàn)證可以看到，在簡單的直道、小幅度彎道、路況復(fù)雜的十字路口、大幅度彎道等各種路況下都能完成對路徑的良好跟蹤目錄第24頁02基于OpenCV圖像處理的智能車自動巡航03基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證04基于PaddleSeg套件的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證01百度智慧交通創(chuàng)意賽線下賽任務(wù)第25頁數(shù)據(jù)集是一個(gè)包含有關(guān)問題域的樣本的集合數(shù)據(jù)集在機(jī)器學(xué)習(xí)中扮演著重要的角色數(shù)據(jù)集對于模型的訓(xùn)練、評估和泛化至關(guān)重要數(shù)據(jù)集常包括訓(xùn)練集、驗(yàn)證集和測試集模型從訓(xùn)練集中集中學(xué)習(xí)輸入到輸出的映射關(guān)系驗(yàn)證集用于在訓(xùn)練中評估模型的性能測試集用于訓(xùn)練結(jié)束后評估模型的性能數(shù)據(jù)集的質(zhì)量對模型的泛化效果會產(chǎn)生重要影響數(shù)據(jù)采集及預(yù)處理什么是數(shù)據(jù)集？03—基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證制作良好的數(shù)據(jù)集是訓(xùn)練深度學(xué)習(xí)模型的第一步第26頁需要記錄的內(nèi)容：攝像頭獲取的道路圖像+每一幀圖像對應(yīng)的轉(zhuǎn)向角采集步驟：控制手柄USB擴(kuò)展器與智能小車edgeboard板相連手柄左側(cè)搖桿控制小車轉(zhuǎn)向角的大小，通過程序歸一化到[-1,1]區(qū)間內(nèi)的連續(xù)浮點(diǎn)數(shù)智能小車形式速度在數(shù)據(jù)采集程序中設(shè)置為固定值，調(diào)節(jié)范圍為0~100考慮到人操作手柄的反應(yīng)速度和攝像頭幀率，常設(shè)置為20記錄的數(shù)據(jù)形成圖像與轉(zhuǎn)角的一一對應(yīng)關(guān)系，保存在json文件中將json格式文件轉(zhuǎn)換為TXT文本格式，便于輸入模型進(jìn)行訓(xùn)練數(shù)據(jù)采集及預(yù)處理數(shù)據(jù)采集03—基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證第27頁數(shù)據(jù)采集及預(yù)處理數(shù)據(jù)采集流程03—基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證程序開始存儲數(shù)據(jù)集設(shè)置車速和采集頻率是否開始采集讀取攝像頭拍攝圖片保存圖片及存路徑讀取手柄輸出轉(zhuǎn)角將角度歸一化后保存存儲圖片名稱及對應(yīng)轉(zhuǎn)角是否結(jié)束采集否是是否第28頁數(shù)據(jù)采集及預(yù)處理數(shù)據(jù)采集樣例03—基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證數(shù)據(jù)采集完成后，生成圖像路徑與轉(zhuǎn)角一一對應(yīng)的txt文件數(shù)據(jù)集中d1目錄之下，存有攝像頭采集的道路圖像第29頁目的：對訓(xùn)練數(shù)據(jù)進(jìn)行一系列隨機(jī)變換或擴(kuò)充操作，以生成更多的樣本作用：提高模型的泛化能力和抗干擾性常見處理：翻轉(zhuǎn)、旋轉(zhuǎn)、裁剪、色調(diào)調(diào)整、飽和度調(diào)整、對比度調(diào)整、亮度調(diào)整

數(shù)據(jù)增強(qiáng)數(shù)據(jù)增強(qiáng)示例03—基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證圖示圖像分別經(jīng)過了色調(diào)調(diào)整飽和度調(diào)整對比度調(diào)整亮度調(diào)整第30頁數(shù)據(jù)增強(qiáng)數(shù)據(jù)增強(qiáng)流程03—基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證讀取圖片輸出數(shù)據(jù)增強(qiáng)后圖片是否為RGB圖像轉(zhuǎn)換為RGB圖像統(tǒng)一圖片大小轉(zhuǎn)換為numpy值隨機(jī)圖像增強(qiáng)否是為了排除人為因素的干擾并防止出現(xiàn)特征集中的問題對采集到的所有圖片隨機(jī)性地進(jìn)行圖像增強(qiáng)處理以便能夠獲得特征隨機(jī)性更強(qiáng)的圖像數(shù)據(jù)集第31頁模型輸入：道路圖像模型輸出：智能車轉(zhuǎn)向角分析：智能車自動巡航模型輸出結(jié)果只有一個(gè)值，屬于回歸問題自動巡航CNN模型設(shè)計(jì)分類or回歸？03—基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證道路圖像提取特征增大感受野提升平滑度歸一化[-1,1]小車底盤橫向控制輕巧小網(wǎng)絡(luò)conv2ddropoutpool2dfctanh巡航任務(wù)流程第32頁自動巡航CNN模型設(shè)計(jì)模型結(jié)構(gòu)03—基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證Layer(type)InputshapeKernelsizeStridePaddingOutputshapeParamsConv1128*128*33*3*322265*65*32896Pool165*65*322*21

64*64*320Conv264*64*323*3*322233*33*329248Pool233*33*322*21

32*32*320Conv332*32*323*3*642217*17*6418496Conv417*17*643*3*642210*10*6436928Conv510*10*643*3*128226*6*12873856Pool36*6*1282*21

5*5*1280Drop15*5*128

5*5*1280Fc15*5*128

128409600Drop2128

1280Fc2128

324096Fc332

132Tanh1

10Totalparams:553152第33頁該部分代碼篇幅較長點(diǎn)擊鏈接到百度AIStudio線上運(yùn)行項(xiàng)目中對模型訓(xùn)練300輪，總耗時(shí)約180分鐘對模型損失值的變化繪制曲線，損失值由0.219下降至0.019模型訓(xùn)練完成后，生成兩個(gè)文件，model和params代碼設(shè)計(jì)及模型訓(xùn)練03—基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證第34頁連接電腦與edgeboard板卡

打開軟件MobaXterm，界面如圖，點(diǎn)擊左上角Session，新建一個(gè)會話模型部署及實(shí)驗(yàn)驗(yàn)證模型部署03—基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證第35頁連接電腦與edgeboard板卡

在新建會話界面，依次點(diǎn)擊SSH，輸入正確的IP地址，通常為192.168.1.254（請以板卡實(shí)際IP地址為準(zhǔn)），最后點(diǎn)擊“OK”確認(rèn)模型部署及實(shí)驗(yàn)驗(yàn)證模型部署03—基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證123第36頁傳輸文件

將訓(xùn)練好的model文件和params文件從電腦傳輸至edgeboard板卡

兩個(gè)文件在edgeboard板卡上的路徑為/workspace/src/detector/model/cruise/模型部署及實(shí)驗(yàn)驗(yàn)證模型部署03—基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證修改配置文件

在confog.py文件中修改模型路徑和調(diào)用攝像頭的編號第37頁部署完成后，調(diào)用預(yù)測程序，輸入前置攝像頭拍攝的圖像，將預(yù)測結(jié)果打印在圖像右上角負(fù)值代表左轉(zhuǎn)向正值代表右轉(zhuǎn)向

模型部署及實(shí)驗(yàn)驗(yàn)證轉(zhuǎn)向角度預(yù)測03—基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證第38頁啟動巡線程序，實(shí)際驗(yàn)證模型效果模型部署及實(shí)驗(yàn)驗(yàn)證巡航實(shí)驗(yàn)驗(yàn)證03—基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證目錄第39頁02基于OpenCV圖像處理的智能車自動巡航03基于CNN的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證04基于PaddleSeg套件的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證01百度智慧交通創(chuàng)意賽自動巡航任務(wù)第40頁圖像分割是計(jì)算機(jī)視覺領(lǐng)域中的一項(xiàng)重要任務(wù)它將數(shù)字圖像劃分成若干個(gè)具有語義的區(qū)域或像素集合這些區(qū)域通常對應(yīng)于圖像中的不同物體、結(jié)構(gòu)或區(qū)域圖像分割什么是圖像分割？04—基于PaddleSeg套件的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證什么是Paddleseg？PaddleSeg是百度飛槳深度學(xué)習(xí)平臺上的一個(gè)圖像分割開發(fā)工具庫智能車自動巡航可以使用圖像分割的方式完成第41頁使用手柄控制小車運(yùn)動，以一定的幀率采集自動巡航數(shù)據(jù)采集與標(biāo)注圖像采集04—基于PaddleSeg套件的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證圖像采集完成后，進(jìn)行一定程度的數(shù)據(jù)增強(qiáng)第42頁安裝labelme標(biāo)注軟件自動巡航數(shù)據(jù)采集與標(biāo)注數(shù)據(jù)標(biāo)注04—基于PaddleSeg套件的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證安裝完成后，在終端輸入labelme啟動交互界面pipinstalllabelme在Python3交互環(huán)境中，執(zhí)行如下命令第43頁點(diǎn)擊OpenDir打開保存圖片數(shù)據(jù)的文件夾點(diǎn)擊CreatePolygons，沿著目標(biāo)的邊緣畫閉合的多邊形，然后輸入或者選擇目標(biāo)的類別，一張圖片即標(biāo)注完成自動巡航數(shù)據(jù)采集與標(biāo)注數(shù)據(jù)標(biāo)注04—基于PaddleSeg套件的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證第44頁重復(fù)操作，標(biāo)注完所有圖像，標(biāo)注結(jié)果保存在原始圖像同一目錄下自動巡航數(shù)據(jù)采集與標(biāo)注數(shù)據(jù)標(biāo)注04—基于PaddleSeg套件的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證第45頁轉(zhuǎn)換格式：使用Paddleseg提供的數(shù)據(jù)轉(zhuǎn)換腳本，將labelme標(biāo)注的數(shù)據(jù)格式轉(zhuǎn)換為Paddleseg所需的數(shù)據(jù)格式自動巡航數(shù)據(jù)采集與標(biāo)注數(shù)據(jù)標(biāo)注04—基于PaddleSeg套件的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證pythonlabelme2seg.py“dir”執(zhí)行如下命令轉(zhuǎn)換完成后，數(shù)據(jù)集目錄結(jié)構(gòu)如下第46頁劃分訓(xùn)練集、驗(yàn)證集和測試集自動巡航數(shù)據(jù)采集與標(biāo)注數(shù)據(jù)標(biāo)注04—基于PaddleSeg套件的智能車自動巡航模型設(shè)計(jì)及實(shí)驗(yàn)驗(yàn)證pythontools/split_dataset_list.py“數(shù)據(jù)集目錄”“原始圖像目錄”“標(biāo)注圖像目錄”-split0.70.20.1（劃分比例）執(zhí)行如下命令運(yùn)行后將在數(shù)據(jù)集根目錄下生成train.txt、val.txt和test.txt三個(gè)文件第47頁BisenetV2是輕量級的圖像分割網(wǎng)絡(luò)，有較高的分割質(zhì)量，適合邊緣端部署用