智能網(wǎng)聯(lián)汽車裝調(diào)與測試（彩色版配實訓工單）課件 任務(wù)3.2 視覺傳感器安裝與調(diào)試

任務(wù)3.2視覺傳感器安裝與調(diào)試學習目標CONTENTE01知識目標:掌握單目、雙目和RGBD等攝像頭的組成、分類、原理、特點和功用；掌握單目、雙目和RGBD等攝像頭的電路原理、連接方法和網(wǎng)絡(luò)配置；掌握攝像頭的標定方法與步驟；。02學習目標CONTENTE能力目標:能對各種視覺傳感器進行標定，并對標定參數(shù)進行讀??；能對各種視覺傳感器的原始數(shù)據(jù)進行獲取與查看；能對各種視覺傳感器的功能是否正常進行調(diào)試；0102學習內(nèi)容CONTENTE單目傳感器的認知深度視覺傳感器認知視覺傳感器安裝與調(diào)試0301 1.單目視覺傳感器的認知任務(wù)3.2視覺傳感器安裝與調(diào)試結(jié)構(gòu)1.單目視覺傳感器的認知鏡頭組（lens）-

鏡頭組由光學鏡片、濾光片和保護膜等組成；圖像傳感器

-

CMOS感光元件-MOS圖像傳感器（CIS）是模擬電路和數(shù)字電路的集成。主要有四個組件構(gòu)成：微透鏡、彩色濾光片（CF）、光電二極管（PD）、像素設(shè)計；DSP（數(shù)字信號處理芯片）物體通過鏡頭（LENS）生成光學圖像投射到圖像傳感器上，光信號轉(zhuǎn)變?yōu)殡娦盘?，再?jīng)過A/D（模數(shù)轉(zhuǎn)換）后變?yōu)閿?shù)字圖像信號，最后送到DSP（數(shù)字信號處理芯片）中進行加工處理，由DSP將信號處理成特定格式的圖像傳輸?shù)斤@示屏上進行顯示。）原理1.單目視覺傳感器的認知前置主攝像頭（×3）探測距離：250m/150m/60m前側(cè)視攝像頭（×2）探測距離：80m后側(cè)視攝像頭（×2）探測距離：100m后視攝像頭（×1）探測距離：50m布局/分類1.單目視覺傳感器的認知車載攝像機是實現(xiàn)眾多預(yù)警、識別類ADAS功能的基礎(chǔ)，是目前最便宜也是最常用的車載傳感器之一。根據(jù)功能不同需要

4

個到

8

個攝像頭，

應(yīng)用在車道監(jiān)測、盲點監(jiān)測、障礙物監(jiān)測、交通標志識別、行人識別、疲勞駕駛監(jiān)測、倒車影像、

360

全景影像等等。應(yīng)用1.單目視覺傳感器的認知應(yīng)用了機器學習和人工智能算法的圖像識別技術(shù)讓自動駕駛汽車可以分辨道路上的車道、車輛、行人和交通標志等，是自動駕駛汽車進行決策的重要依據(jù)。在目標識別的基礎(chǔ)上，車載攝像頭可以實現(xiàn)測距和測速等功能。距離測算為自動駕駛汽車的碰撞預(yù)警、自適應(yīng)巡航等功能提供決策數(shù)據(jù)源應(yīng)用1.單目視覺傳感器的認知應(yīng)用1.單目視覺傳感器的認知特斯拉以視覺為主的自動駕駛方案特斯拉純視覺自動駕駛解決方案是特斯拉在2021年推出的一種基于攝像頭的自動駕駛系統(tǒng)，它不再依賴于毫米波雷達等其他傳感器。特斯拉的純視覺方案采用了HydraNets結(jié)構(gòu)，將八顆攝像頭的圖像輸入到一個神經(jīng)網(wǎng)絡(luò)中，實現(xiàn)對3D環(huán)境的感知和建模。特斯拉還利用了自研的超級計算機Dojo和AI芯片D1來提升自動駕駛系統(tǒng)的性能和效率。應(yīng)用1.單目視覺傳感器的認知Intel

Mobileye自動駕駛方案Intel

Mobileye視覺自動駕駛方案是一種基于攝像頭的自動駕駛系統(tǒng)，它利用先進的人工智能技術(shù)和高性能芯片來實現(xiàn)對道路環(huán)境的感知、規(guī)劃和控制。Mobileye的目標是通過視覺方案來達到L4級別的自動駕駛，而不依賴于雷達或激光雷達等其他傳感器。Mobileye的視覺方案已經(jīng)在全球多個城市進行了開放道路測試，并且已經(jīng)集成到了超過1.25億輛汽車中相比于毫米波雷達，目前攝像頭的主要優(yōu)勢在于：--目標識別與分類

-

目前普通的3D毫米波雷達僅可以檢測到前方是否有障礙物，而無法精準識別障礙物的大小和類別；例如：各類車道線識別、紅綠燈識別以及交通標志識別等；--可通行空間檢測（FreeSpace）

-

對車輛行駛的安全邊界（可行駛區(qū)域）進行劃分，主要對車輛、普通路邊沿、側(cè)石邊沿、沒有障礙物可見的邊界、未知邊界進行劃分；--對橫向移動目標的探測能力

，比如對十字路口橫穿的行人以及車輛的探測和追蹤；--定位與地圖創(chuàng)建

-

即視覺SLAM技術(shù)，技術(shù)更加成熟，也更有應(yīng)用前景；特點1.單目視覺傳感器的認知在自動駕駛系統(tǒng)中，激光雷達與攝像頭感知作用比較類似，但相比激光雷達，其優(yōu)勢為：--紅綠燈識別及交通標示識別--成本優(yōu)勢，且算法及技術(shù)成熟度比較高--物體識別率高特點1.單目視覺傳感器的認知劣勢--

受天氣、光照變化影響大，極端惡劣天氣下視覺傳感器會失效；--

測距/測速性能不如激光雷達和毫米波雷達，一般都進行融合；特點1.單目視覺傳感器的認知02 2.深度視覺傳感器的認知任務(wù)3.2視覺傳感器安裝與調(diào)試深度相機又稱之為3D相機，顧名思義，就是通過該相機能檢測出拍攝空間的景深距離，也就是三維的位置和尺寸信息，使得整個計算系統(tǒng)獲得環(huán)境和對象的三維立體數(shù)據(jù)。這也是與普通攝像頭最大的區(qū)別。定義2.深度視覺傳感器的認知結(jié)構(gòu)光(Structured-light)，代表公司有奧比中光，蘋果(Prime

Sense)，微軟

Kinect-1，英特爾

RealSense,

MantisVision等。雙目視覺(Stereo)，代表公司

Leap

Motion，ZED，

大疆;光飛行時間法(TOF)，代表公司微軟Kinect-2，PMD，SoftKinect，

聯(lián)想

Phab。分類2.深度視覺傳感器的認知原理2.深度視覺傳感器的認知結(jié)構(gòu)光(Structured-light)其原理是基本原理是，通過近紅外激光器，將具有一定結(jié)構(gòu)特征的光線投射到被拍攝物體上，再由專門的紅外攝像頭進行采集。這種具備一定結(jié)構(gòu)的光線，會因被攝物體的不同深度區(qū)域，而采集不同的圖像相位信息，然后通過運算單元將這種結(jié)構(gòu)的變化換算成深度信息，以此來獲得三維結(jié)構(gòu)。原理2.深度視覺傳感器的認知TOF顧名思義是測量光飛行時間來取得距離，具體而言就是通過給目標連續(xù)發(fā)射激光脈沖，然后用傳感器

接收從反射光線，通過探測光脈沖的飛行往返時間來得到確切的目標物距離。原理2.深度視覺傳感器的認知雙目Stereo雙目立體視覺(Binocular

Stereo

Vision)是機器視覺的一種重要形式，它是基于視差原理并利用成像設(shè)備

從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應(yīng)點間的位置偏差，來獲取物體三維幾何信息的

方法。特點2.深度視覺傳感器的認知注意：像特斯拉，小鵬P7裝的三目攝像頭和Stereo

camera有很大差別，首先三目的三顆攝像頭不是為了提供立體視覺/測距，三目的每個攝像頭fov都不一樣，每一顆都有各自的使用場景。而在傳統(tǒng)雙目視覺里面，兩顆攝像頭是一樣的，圖像使用特征點計算的算法之后可以用來測距應(yīng)用2.深度視覺傳感器的認知應(yīng)用2.深度視覺傳感器的認知斯巴魯EyeSight駕駛輔助系統(tǒng)EyeSight駕駛輔助系統(tǒng)是通過雙目立體攝像頭立體有效地掌握環(huán)境狀況，