智能網(wǎng)聯(lián)汽車環(huán)境感知技術(shù)-項(xiàng)目二 視覺傳感器標(biāo)定與測試

智能網(wǎng)聯(lián)汽車環(huán)境感知技術(shù)視覺傳感器

標(biāo)定與測試PART2

智能網(wǎng)聯(lián)汽車上的各種安全輔助駕駛幫助駕駛?cè)藴p輕駕駛負(fù)擔(dān)，并提高行車安全性，其中輔助泊車功能(倒車影像、360全景泊車等)更是新手小白駕駛?cè)烁Ｒ?。該功能可以為駕駛?cè)颂峁o盲區(qū)的泊車視野，在降低駕駛?cè)瞬窜囯y度的同時(shí)提高了泊車的安全性，智能網(wǎng)聯(lián)汽車輔助泊車功能的核心傳感器是視覺傳感器，但是在實(shí)際使用過程中卻難以保證傳感器及其算法100％的可靠。例如寶馬汽車的攝像頭故障問題:有寶馬５系的車主反饋，倒車時(shí)車內(nèi)顯示器顯示攝像頭故障、無倒車影像畫面，且下車檢查攝像頭并無損壞，之后重啟幾次車輛后倒車影像恢復(fù)正常。情景導(dǎo)入

其實(shí)這類問題不僅僅是在寶馬５系的車上出現(xiàn)，早在2019年，美國就針對(duì)寶馬倒車攝像頭的問題進(jìn)行過大規(guī)模召回，當(dāng)時(shí)涉及了５０多個(gè)車型，３系、５系、７系、Ｘ１、Ｘ３、Ｘ５等都有包含，一共有超過２５萬輛車參與那次召回，問題的原因就是攝像頭軟件問題，可能導(dǎo)致倒車影像不可見，會(huì)增加行車風(fēng)險(xiǎn)。其解決措施就是升級(jí)攝像頭軟件，調(diào)整軟件設(shè)置參數(shù)、修復(fù)軟件bug。從以上兩個(gè)案例可以看出，視覺傳感器是智能網(wǎng)聯(lián)汽車智能輔助駕駛必不可少的傳感器，其性能的好壞將直接影響智能網(wǎng)聯(lián)汽車智能化的優(yōu)劣，以及行車安全性的高低。本項(xiàng)目將主要介紹視覺傳感器的基本知識(shí)、標(biāo)定測試以及視覺傳感器的環(huán)境感知流程內(nèi)容，幫助學(xué)生更好的了解智能網(wǎng)聯(lián)汽車的視覺傳感器及其該類傳感器的重要性。情景導(dǎo)入學(xué)習(xí)目標(biāo)任務(wù)描述

視覺傳感器(攝像頭)是智能網(wǎng)聯(lián)汽車自動(dòng)駕駛不可或缺的環(huán)境感知傳感器之一。本次任務(wù)從智能網(wǎng)聯(lián)汽車視覺傳感器(攝像頭)的定義、組成、分類、特點(diǎn)、技術(shù)參數(shù)和標(biāo)定方法等方面來介紹視覺傳感器的相關(guān)知識(shí)。任務(wù)一

視覺傳感器標(biāo)定測試?yán)碚撝R(shí)一、視覺傳感器的基本知識(shí)1.視覺傳感器的定義

視覺傳感器是指通過對(duì)攝像機(jī)拍攝到的圖像進(jìn)行圖像處理，來計(jì)算對(duì)象物的特征量(面積、重心、長度、位置等)。并輸出數(shù)據(jù)和判斷結(jié)果的傳感器，視覺傳感器是整個(gè)機(jī)器視覺系統(tǒng)信息的直接來源，主要由一個(gè)或者兩個(gè)圖形傳感器組成，有時(shí)還要配以光投射器及其他輔助設(shè)備，視覺傳感器的主要功能是獲取足夠的機(jī)器視覺系統(tǒng)要處理的原始圖像。圖２-１所示為視覺傳感器。2.視覺傳感器的組成視覺傳感器主要由光源、鏡頭、圖像傳感器、模數(shù)轉(zhuǎn)換器、圖像處理器、圖像存儲(chǔ)器等組成，通過視覺傳感器可獲得視覺處理系統(tǒng)所需的原始圖像。如圖２-３所示。3.視覺傳感器的特點(diǎn)

視覺傳感器的普遍特點(diǎn)主要包括:信息量豐富、可實(shí)現(xiàn)多任務(wù)檢測、視覺ＳＬＡＭ、實(shí)時(shí)性好、能融合機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等算法。(５)視覺傳感器可以與機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等融合，提高檢測效果(４)實(shí)時(shí)獲取場景信息(３)視覺ＳＬＡＭ(１)信息量極為豐富(２)多任務(wù)檢測4.視覺傳感器的分類智能網(wǎng)聯(lián)汽車車載視覺傳感器可以根據(jù)攝像頭安裝位置和攝像頭的數(shù)目進(jìn)行分類。(１)根據(jù)安裝位置分類(２)根據(jù)攝像頭數(shù)目分類5.視覺傳感器的技術(shù)參數(shù)視覺傳感器的技術(shù)參數(shù)主要分為圖像傳感器技術(shù)參數(shù)和攝像頭技術(shù)參數(shù)。(１)圖像傳感器技術(shù)參數(shù)(２)攝像頭技術(shù)參數(shù)二、視覺傳感器的標(biāo)定測試

1.視覺傳感器的標(biāo)定內(nèi)容

視覺傳感器的標(biāo)定包括內(nèi)部參數(shù)標(biāo)定和外部參數(shù)標(biāo)定，其中，內(nèi)部參數(shù)標(biāo)定主要包括視覺傳感器像素、焦距、圖像原點(diǎn)、畸變標(biāo)定等。視覺傳感器內(nèi)部參數(shù)標(biāo)定一般都是在生產(chǎn)過程中完成，智能網(wǎng)聯(lián)汽車視覺傳感器外部參數(shù)標(biāo)定通常是指物距、角度等參數(shù)的標(biāo)定，即視覺傳感器的坐標(biāo)系相對(duì)于世界坐標(biāo)系的標(biāo)定。如圖２-１２所示。

2.視覺傳感器標(biāo)定原理

在圖像檢測過程中，為確定空間物體表面某點(diǎn)的三維幾何位置在圖像中對(duì)應(yīng)點(diǎn)的位置，就需要建立視覺傳感器成像的幾何模型，這些幾何模型的參數(shù)就是視覺傳感器的參數(shù)，求解參數(shù)的過程就是視覺傳感器的標(biāo)定過程。為方便推導(dǎo)理解可以見問題分解為攝像頭坐標(biāo)系轉(zhuǎn)換、像素坐標(biāo)系轉(zhuǎn)換和小孔成像坐標(biāo)轉(zhuǎn)換。

（1）攝像頭坐標(biāo)轉(zhuǎn)換A（2）像素坐標(biāo)系轉(zhuǎn)換（3）小孔成像坐標(biāo)轉(zhuǎn)換BC

3.棋盤格標(biāo)定車載相機(jī)

相機(jī)標(biāo)定的好壞決定了視覺系統(tǒng)能否有效的定位和識(shí)別目標(biāo)，相機(jī)標(biāo)定可以利用象棋盤一樣的標(biāo)定圖像來估計(jì)攝像頭內(nèi)部參數(shù)和外部參數(shù)，以便配置相機(jī)模型，這里外部參數(shù)指定是相機(jī)在汽車上的安裝位置，即相機(jī)的離地高度以及相機(jī)相對(duì)于車輛坐標(biāo)系的旋轉(zhuǎn)角度。如圖2-17所示。（1）棋盤格水平方向標(biāo)定相機(jī)（2）棋盤格垂直方向標(biāo)定相機(jī)

技能提升硬件配置系統(tǒng)配置效果測試ｏｐｅｎｃｖ測試1324學(xué)習(xí)小結(jié)１.視覺傳感器是指通過對(duì)攝像機(jī)拍攝到的圖像進(jìn)行圖像處理，來計(jì)算對(duì)象物的特征。量(面積、重心、長度、位置等)，并輸出數(shù)據(jù)和判斷結(jié)果的傳感器。２.視覺傳感器主要由光源、鏡頭、圖像傳感器、模數(shù)轉(zhuǎn)換器、圖像處理器、圖像存儲(chǔ)器，等組成。通過視覺傳感器可獲得視覺處理系統(tǒng)所需的原始圖像。３.圖像傳感器的技術(shù)參數(shù)主要有:像素、幀率、靶面尺寸、感光度和信噪比等。４.攝像頭技術(shù)參數(shù)主要有焦距、視場角、圖像尺寸和鏡頭畸變等。學(xué)習(xí)小結(jié)５.視覺傳感器的標(biāo)定包括內(nèi)部參數(shù)標(biāo)定和外部參數(shù)標(biāo)定,視覺傳感器內(nèi)部參數(shù)標(biāo)定一般都是在生產(chǎn)過程中完成,視覺傳感器外部參數(shù)標(biāo)定通常是指物距、角度等參數(shù)的標(biāo)定,即視覺傳感器的坐標(biāo)系相對(duì)于世界坐標(biāo)系的標(biāo)定。６.視覺傳感器的標(biāo)定原理可以分為攝像頭坐標(biāo)系轉(zhuǎn)換、像素坐標(biāo)系轉(zhuǎn)換和小孔成像坐標(biāo)轉(zhuǎn)換７.棋盤格標(biāo)定車載相機(jī)的外部參數(shù)主要指相機(jī)在汽車上的安裝位置，即相機(jī)的離地高度以及相機(jī)相對(duì)于車輛坐標(biāo)系的旋轉(zhuǎn)角度。知識(shí)鞏固學(xué)習(xí)目標(biāo)任務(wù)描述任務(wù)二

視覺傳感器的環(huán)境感知流程

通過本任務(wù)的學(xué)習(xí)，可以了解并掌握視覺傳感器的具體環(huán)境感知流程。本次任務(wù)針對(duì)自動(dòng)駕駛行業(yè)的視覺感知做簡要介紹，從傳感器端的對(duì)比，到數(shù)據(jù)的采集標(biāo)注，進(jìn)而對(duì)感知算法進(jìn)行分析，給出各個(gè)模塊的難點(diǎn)和解決方案，最后介紹感知模塊的主流框架設(shè)計(jì)。理論知識(shí)一、視覺傳感器視覺感知任務(wù)所以道路交通的感知功能主要包括以下三個(gè)方面：１)動(dòng)態(tài)目標(biāo)檢測(車輛、行人和非機(jī)動(dòng)車)２)靜態(tài)物體識(shí)別(交通標(biāo)志和紅綠燈)３)可行駛區(qū)域的分割(道路區(qū)域和車道線)

前視攝像頭12廣角攝像頭環(huán)視魚眼攝像頭3二、傳感器組件技能提升視覺傳感器環(huán)境感知流程具體如下:1.相機(jī)標(biāo)定2.數(shù)據(jù)標(biāo)注

3.功能劃分(１)目標(biāo)檢測跟蹤(圖2-39)

(２)目標(biāo)測量（圖2-40）

(３)可通行區(qū)域劃分(圖2-41)

(４)車道線檢測4.主流環(huán)境感知模塊構(gòu)架學(xué)習(xí)小結(jié)１，道路交通的感知功能主要包括動(dòng)態(tài)目標(biāo)檢測(車輛、行人和非機(jī)動(dòng)車)、靜態(tài)物體識(shí)別(交通標(biāo)志和紅綠燈)、可行駛區(qū)域的分割(道路區(qū)域和車道線)。２，智能網(wǎng)聯(lián)汽車視覺傳感器視覺感知任務(wù)分解成目標(biāo)檢測、圖像分割、目標(biāo)測量、圖像分類等。３，視覺感知傳感器組