汽車智能傳感器技術(shù)與應(yīng)用（附微課視頻） 項(xiàng)目七任務(wù)1：激光雷達(dá)與視覺(jué)傳感器的聯(lián)合標(biāo)定（學(xué)生工作頁(yè)）

任務(wù)7.1激光雷達(dá)與視覺(jué)傳感器的聯(lián)合標(biāo)定-學(xué)生工作頁(yè)智能網(wǎng)聯(lián)汽車傳感器應(yīng)用技術(shù)EISA(Guangzhou)IntelligentTechnologyCo.,Ltd.姓名班級(jí)學(xué)號(hào)實(shí)訓(xùn)室小組時(shí)間一、基礎(chǔ)知識(shí)認(rèn)識(shí)工單（1）相機(jī)標(biāo)定的目的就是________________________________________________________________________________________________________________________________________________________________________________________________。（2）攝像機(jī)參數(shù)包括____________、____________、畸變系數(shù)，畸變系數(shù)包括_______________和________________。（3）視覺(jué)傳感器標(biāo)定方法有____________________、__________________和_______________________。（4）激光雷達(dá)與視覺(jué)傳感器聯(lián)合標(biāo)定的作用是建立_______________________________________________________。二、RMONCAM魚眼單目視覺(jué)傳感器內(nèi)參開發(fā)活動(dòng)實(shí)施工單步驟操作根據(jù)實(shí)際情況在“”上填上正確答案1內(nèi)參標(biāo)定準(zhǔn)備（1）內(nèi)參標(biāo)定需要準(zhǔn)備標(biāo)定板，用的是__________，棋盤格單格邊長(zhǎng)為__________的專業(yè)標(biāo)定板。2錄制一個(gè)視覺(jué)傳感器話題的Bag（1）打開虛擬機(jī)，在菜單欄“虛擬機(jī)（M）”選擇“可移動(dòng)設(shè)備（D）”窗口窗口_______________________；（2）在窗口區(qū)域內(nèi)單擊鼠標(biāo)右鍵，然后選擇_________________；（3）在終端窗口區(qū)域內(nèi)輸入命令“roscore”，然后按回車鍵運(yùn)行ROS轉(zhuǎn)接點(diǎn)；（4）在窗口區(qū)域內(nèi)單擊鼠標(biāo)右鍵，然后選擇“打開終端”新建一個(gè)“終端”輸入命令“roslaunchusb_camusb_cam-test.launch”來(lái)啟動(dòng)視覺(jué)傳感器launch文件打開視覺(jué)傳感器。3打開標(biāo)定工具（1）單擊“文件夾”→“HOME”→“ros+cam+lidar”→“autoware”→“ros”（2）在“ros”文件夾內(nèi)右鍵打開終端，輸入命令“sourcedevel/setup.bash”按回車；（3）輸入指令“rosrunautoware_camera_lidar_calibratorcameracalibrator.py--size11x8--square0.036image:=/usb_cam/image_raw”，啟動(dòng)標(biāo)定工具。4視覺(jué)傳感器標(biāo)定及保存（1）標(biāo)定界面是黑白的標(biāo)定界面是的，當(dāng)拿出標(biāo)定板對(duì)著視覺(jué)傳感器時(shí)，它會(huì)自動(dòng)識(shí)別標(biāo)定板里面內(nèi)角的參數(shù)并用其它顏色線條標(biāo)注；（2）標(biāo)定參數(shù)分別為舉起標(biāo)定板移動(dòng)，當(dāng)右上角的X：____________________________________________、Y：____________________________________________、Size：_________________________________________、Skew：_________________________________________變?yōu)榫G色時(shí)（X，Y和Size一起標(biāo)定：保持標(biāo)定板傾斜啟動(dòng)到視野的最左，最右，最上，最下），標(biāo)定按鈕”CALIBRATE”可用，單擊即可計(jì)算內(nèi)參矩陣。（3）等待計(jì)算機(jī)后臺(tái)計(jì)算后，窗口會(huì)出現(xiàn)視覺(jué)傳感器矩陣數(shù)據(jù)。（4）單擊“SAVE-保存”按鈕，單擊后，出現(xiàn)一個(gè)保存的路徑，會(huì)顯示出保存的時(shí)間等，如果想找回保存的文件，可以根據(jù)___________________去找出來(lái)。保存完畢后，單擊“COMMIT”按鈕退出標(biāo)定工具，保存完后，使用快捷鍵“CTRL+C”關(guān)閉視覺(jué)傳感器實(shí)時(shí)同步窗口，注意這里會(huì)多保存一個(gè)Autoware類型的YAML文件格式，也就是后面外參標(biāo)定要導(dǎo)入的文件。三、視覺(jué)傳感器與Robosense-16線激光雷達(dá)聯(lián)合標(biāo)定外參開發(fā)活動(dòng)實(shí)施工單步驟操作根據(jù)實(shí)際情況在“”上填上正確答案1聯(lián)合標(biāo)定準(zhǔn)備（1）準(zhǔn)備__________和錄制Bag包，在電腦上回放用于標(biāo)定工具的話題輸入。2啟動(dòng)視覺(jué)傳感器launch文件（1）打開虛擬機(jī)，在窗口選擇并連接視覺(jué)傳感器；（2）在窗口區(qū)域內(nèi)單擊鼠標(biāo)右鍵，然后選擇“打開終端”；（3）在終端窗口區(qū)域內(nèi)輸入命令“roscore”，然后按回車鍵運(yùn)行ROS轉(zhuǎn)接點(diǎn)（注意這個(gè)窗口不用關(guān)閉）；（4）再次窗口區(qū)域內(nèi)單擊鼠標(biāo)右鍵，然后選擇“打開終端”新建一個(gè)“終端”輸入命令“roslaunchusb_camusb_cam-test.launch”來(lái)啟動(dòng)視覺(jué)傳感器launch文件打開視覺(jué)傳感器。3驅(qū)動(dòng)激光雷達(dá)（1）打開激光雷達(dá)；（2）單擊“文件夾”→“HOME”→“ros+cam+lidar”→“l(fā)idar_catkinws”后，在文件夾內(nèi)右鍵打開終端，輸入命令“sourcedevel/setup.bash”按回車，再輸入指令“roslaunchrslidar_sdkstart.launch”，最后按下回車鍵，激光雷達(dá)點(diǎn)云數(shù)據(jù)界面會(huì)在顯示器上打開；（4）切換到視覺(jué)傳感器的終端，輸入指令“roslaunchusb_camusb_cam-test.launch”按下回車鍵，彈出視覺(jué)傳感器窗口后，切回到激光雷達(dá)點(diǎn)云的窗口界面后，單擊界面里面的“Add”→“Bytopic”→“usb_cam”→“image_raw”→“image”，再單擊下面的“OK”鍵；（5）使用鼠標(biāo)調(diào)整視覺(jué)傳感器窗口大小，將其與激光雷達(dá)的朝向位置一致，可以通過(guò)舉起標(biāo)定板來(lái)確定位置；（6）打開一個(gè)終端，添加指令“rosbagrecord-Ocamera_rslidar_calibration0916.bag；/usb_cam/image_raw/rslidar_points”錄制激光雷達(dá)與視覺(jué)傳感器標(biāo)定包，然后按下回車鍵錄制；（7）錄制的時(shí)候，因?yàn)槭?6線激光雷達(dá)，所以拿標(biāo)定板的時(shí)候離激光雷達(dá)不能太遠(yuǎn)，不然就不能清楚地看到標(biāo)定板了，錄制時(shí)建議的站位分別是：_______________________________________________________________________________________________________________________________________________________；（8）錄制的時(shí)候建議每個(gè)位置移動(dòng)改變標(biāo)定板的姿態(tài)，每個(gè)姿勢(shì)停留1-2秒左右，為防止模糊需要上仰，下俯，左偏，中間不動(dòng)，右偏移動(dòng)標(biāo)定板。錄制標(biāo)定包的關(guān)鍵就是錄制多個(gè)位置、改變拿標(biāo)定板的姿勢(shì)和必須保證能清楚的看到標(biāo)定板，錄制完成后，在終端指令欄目上按一下回車鍵結(jié)束錄制，然后找出錄制的文件；（9）回放數(shù)據(jù)包前，需要將視覺(jué)傳感器實(shí)時(shí)窗口和激光雷達(dá)關(guān)閉，然后運(yùn)行激光雷達(dá)驅(qū)動(dòng)；（10）回放Bag使用如下命令，加上--pause意思是_____________，防止跑掉數(shù)據(jù)，按空格繼續(xù)回放，輸入指令“rosbagplay--pausecamera_rslidar_calibration0916.bag，然后按下回車播放，此時(shí)狀態(tài)是“PAUSED”暫定狀態(tài)，需要按空格鍵才能播放。（11）單擊“文件夾”→“HOME”→“ros+cam+lidar”→“autoware-1.10.0”→“ros”后，在文件夾內(nèi)右鍵打開終端，輸入指令“sourcedevel/setup.bash”按回車，再輸入指令“roslaunchautoware_camera_lidar_calibratorcamera_lidar_calibration.launchintrinsics_file:=/home/alvis/20210916_1119_autoware_camera_calibration.yamlimage_src:=/usb_cam/image_raw”，最后按下回車鍵，然后彈出image-view2窗口；（12）當(dāng)上面的image-view2出現(xiàn)視覺(jué)傳感器畫面時(shí)，然后按空格回放然后再暫停回放，然后將兩個(gè)畫面大小調(diào)到基本一致這樣子標(biāo)定效果會(huì)更好；（13）單擊Add添加要訂閱的__________________和__________________話題，分別設(shè)置每個(gè)訂閱話題的topic、FixedFrame設(shè)置為______________不然會(huì)沒(méi)有點(diǎn)云顯示、切換點(diǎn)云查看視角，用鼠標(biāo)滑輪調(diào)整點(diǎn)云距離，確保能看到標(biāo)定板；（14）做標(biāo)定的時(shí)候，建議選擇九個(gè)點(diǎn)來(lái)做標(biāo)定，左右兩個(gè)畫面選擇的點(diǎn)位置保證基本一致。同時(shí)切換出image-view2的界面，單擊工具欄放大圖像，然后手動(dòng)選擇一個(gè)像素點(diǎn)和點(diǎn)云進(jìn)行單次標(biāo)定，觀察圖像和點(diǎn)云，并在image-view2中用鼠標(biāo)選擇一個(gè)像素點(diǎn)，單擊rviz工具欄的PublishPoint，然后在rviz中選擇一個(gè)對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)點(diǎn)，當(dāng)你的鼠標(biāo)右下角出現(xiàn)一個(gè)淺紅色的路標(biāo)記號(hào)時(shí)即可單擊該數(shù)據(jù)點(diǎn)，觀察image-view2的窗口是否出現(xiàn)points的提示信息；（15）重復(fù)以上步驟，選擇9個(gè)不同的像素點(diǎn)云對(duì)，因?yàn)樾枰銐虻臄?shù)據(jù)才能計(jì)算外參矩陣，當(dāng)?shù)?個(gè)點(diǎn)選擇完后，該工具會(huì)自動(dòng)計(jì)算外參標(biāo)定矩陣，可以觀察到終端畫面顯示9:9標(biāo)定完畢后，它會(huì)自動(dòng)保存文件，最終的標(biāo)定文件保存在home目錄下，外參標(biāo)定結(jié)束。三、數(shù)據(jù)融合檢驗(yàn)標(biāo)定效果步驟操作根據(jù)實(shí)際情況在“”上填上正確答案1打開數(shù)據(jù)包（1）標(biāo)定矩陣有了之后，利用autoware提供的融合工具來(lái)查看標(biāo)定的效果，先來(lái)回放數(shù)據(jù)，在終端輸入指令“rosbagplay--pausecamera_rslidar_calibration0819.bag/rslidar_points:=/points_raw”后按下回車鍵，它是一個(gè)暫停的狀態(tài)；（2）回到Autoware主界面，在終端輸入指令“./run”后按下回車鍵運(yùn)行，提示輸入密碼（密碼是“root”）；（3）輸入密碼后會(huì)彈出一個(gè)RuntimeManager窗口，然后單擊“Sensing”→“CalibrationPublisher”→選擇參數(shù)“/usb_cam”→單擊“Ref”，在文件文件夾里面選擇“20210916_115455autowarelidarcamera_calibration.yaml”外參標(biāo)定文件，然后單擊“OK”；（4）單擊“PointsImage”選擇CameralD“/usb_cam”后單擊“O