課件6-全景環(huán)視系統(tǒng)（無盲區(qū)）

1、課件6-全景環(huán)視系統(tǒng)（無盲區(qū)） （修訂稿）目錄：一、概述二、發(fā)展歷程三、功能作用四、原理五、技術(shù)參數(shù)六、設(shè)置裝置七、注意事項一、概述全景環(huán)視系統(tǒng)，中文可稱為： HYPERLINK /view/10348467.htm t _blank 車載環(huán)視全景影像輔助系統(tǒng)，全景環(huán)視輔助駕駛系統(tǒng)， HYPERLINK /view/5292604.htm t _blank 全景影像輔助系統(tǒng)，360度鳥瞰全景行車輔助系統(tǒng)，全景輔助系統(tǒng)，還有英文縮寫名稱around view,又名surround view,.車載環(huán)視全景影像輔助系統(tǒng)等。全景無盲區(qū)，安全無死角，車輛周圍全景環(huán)視系統(tǒng)是輔助駕駛者的主動安全系統(tǒng)之一。

2、客車由于車身尺寸較大，視野盲區(qū)較多，在通過狹窄路段或轉(zhuǎn)彎時，人群密集區(qū)及學(xué)校門口等，駕駛員無法有效兼顧車輛周邊區(qū)域，很容易發(fā)生刮碰行人和障礙物的安全事故。有了全景環(huán)視系統(tǒng)，這個問題不再是問題了。將多路視頻信號合成為車輛前后及兩側(cè)全景俯視圖，為駕駛員提供直觀的盲區(qū)顯示輔助功能，從此不再有盲區(qū)，不再有死角，車輛行駛從容安全，可控順暢。全景環(huán)視系統(tǒng)在客車周圍安裝能覆蓋車輛周邊所有視場范圍的多個廣角攝像頭，對同一時刻采集到的多路視頻影像同步處理行成一幅車輛周邊360度的車身俯視圖，經(jīng)處理后在顯示屏幕上顯示，讓駕駛員清楚查看車輛周邊是否存在障礙物并了解障礙物的相對方位與距離，幫助駕駛員可控通過、轉(zhuǎn)彎或停

3、泊車輛。不僅非常直觀，而且不存在任何盲點(diǎn)，可以提高駕駛員從容操控車輛行駛、轉(zhuǎn)彎、停泊車或通過復(fù)雜路面，有效減少刮蹭、碰撞、陷落等事故的發(fā)生。二、發(fā)展歷程隨著視頻處理技術(shù)和計算機(jī)視覺技術(shù)的快速發(fā)展，越來越多的技術(shù)被應(yīng)用到汽車電子領(lǐng)域；傳統(tǒng)的基于圖像的倒車影像系統(tǒng)只在車尾安裝攝像頭，只能覆蓋車尾周圍有限的區(qū)域，而車輛周圍和車頭前側(cè)的盲區(qū)無疑形成了安全駕駛的隱患，在狹隘擁堵的市區(qū)和停車場容易出現(xiàn)碰撞和刮蹭事件。為擴(kuò)大駕駛員視野，消除盲區(qū)，能感知周圍360全方位的環(huán)境，這就需要多個視頻傳感器的相互協(xié)同配合作用然后通過視頻合成處理，形成全車周圍的一整套的視頻圖像，就是有這類需求，全景環(huán)視系統(tǒng)及車輛視覺輔

4、助系統(tǒng)應(yīng)運(yùn)而生。三、功能作用：它為客車駕駛者提供更為直觀的全景環(huán)視 視頻圖像信息。該系統(tǒng)對于大體積的客車來說，主要功能作用包括：1、提高駕駛員從容操控車輛行駛、轉(zhuǎn)彎、停泊車或通過復(fù)雜路面，有效減少刮蹭、碰撞、陷落等事故的發(fā)生；能起到輔助駕駛的作用。2、在學(xué)校門口及附近，尤其是校車應(yīng)注意，小孩們喜歡跟著車輛跑，很危險；車輛全景環(huán)視系統(tǒng)，無盲區(qū)觀察周圍情況，防患于未然，安全主動。3、車輛行駛過程中，多路攝像頭全程記錄存儲，支持多種存儲方式及SD卡，為發(fā)生的交通事故，提供有力的視頻圖像證據(jù)。4、停車狀態(tài)，當(dāng)客車受到外力震動時，該系統(tǒng)就會啟動多路攝像頭錄像，時時刻刻監(jiān)控車輛的安全，及周圍情況。5、有效

5、幫助駕駛者提升駕駛水平，提高駕駛的安全性和駕駛樂趣。6、一種3D視覺體驗，更是成為了車輛全景的趨勢。最新的3D技術(shù)，使得用戶可以替代原有的虛擬平面圖像而看到一個完全清晰不失真的視頻成像。四、原理：全景環(huán)視系統(tǒng)，它包括有：安裝于客車四周的多個攝像頭、圖像采集部件、視頻合成/處理部件、數(shù)字圖像處理部件、車載顯示器；攝像頭分別拍攝客車前后左右的圖像，圖像被圖像采集部件轉(zhuǎn)換成數(shù)字信息送至視頻合成/處理部件，視頻合成/處理部件處理后的圖像經(jīng)由數(shù)字圖像處理部件處理后轉(zhuǎn)換成視頻圖像信號輸出，在安裝于客車內(nèi)部的車載顯示器上生成客車及其周邊環(huán)境的全景圖像信息。駕駛員在車中即可直觀地看到車輛所處的位置以及車輛周圍

6、的障礙物，從容操控車輛停泊車或通過復(fù)雜路面，有效減少刮蹭、碰撞、陷落等交通事故的發(fā)生研究的“三維虛擬投影/觀點(diǎn)轉(zhuǎn)換技術(shù)（3D virtual projection/point of view conversion technology）”，該技術(shù)提供了先進(jìn)的三維算法，能夠順利的將多個獨(dú)立的視頻攝像頭產(chǎn)生的圖片結(jié)合起來，形成一個無縫和高清的360度視圖。當(dāng)然，除了軟件技術(shù)之外，硬件創(chuàng)新的結(jié)合也是客車全景環(huán)視系統(tǒng)技術(shù)的亮點(diǎn)，其中有的系列產(chǎn)品，專為高端嵌入式圖形應(yīng)用程序設(shè)計的產(chǎn)品，同時能夠結(jié)合圖形和中央處理器，與內(nèi)存控制器和電源管理，作為高檔豪華車型的支持新功能，在客車市場上備受關(guān)注。1、標(biāo)定 拼接

7、融合在不影響標(biāo)定精度的前提下簡化標(biāo)定流程、縮短標(biāo)定時間。在圖像拼接部分，因為不同攝像機(jī)成像系統(tǒng)的差異導(dǎo)致相同時間坐標(biāo)點(diǎn)的成像也會有所偏差，所以舍棄利用相關(guān)點(diǎn)配準(zhǔn)再融合的方法，并直接根據(jù)人眼視覺模型，采用視覺過渡的方法對圖像進(jìn)行拼接融合。具體的實(shí)施步驟：(1) 圖像的獲?。豪?70度以上超廣角攝像機(jī)獲取視頻圖像信號，并將信號解析為圖像數(shù)據(jù)；(2) 攝像機(jī)標(biāo)定模型的建立：建立視界坐標(biāo)與攝像機(jī)坐標(biāo)的關(guān)系，建立攝像機(jī)坐標(biāo)與圖像坐標(biāo)的關(guān)系，從而確定視界坐標(biāo)與圖像坐標(biāo)的關(guān)系；(3) 攝像機(jī)內(nèi)參量的標(biāo)定：對攝像頭內(nèi)參量進(jìn)行標(biāo)定；(4) 攝像機(jī)外參量的標(biāo)定：對攝像頭外參量進(jìn)行標(biāo)定；(5) 圖像光照一致性研究

8、：研究同一場景下成像灰度值的關(guān)系，分析不同角度的光源對攝像機(jī)成像造成的影響，從而提出消減這種影響的算法；(6) 圖像拼接融合：根據(jù)人眼的視覺模型，研究圖像縫隙視覺過渡的方法，從而消除圖像拼接引起的縫隙，達(dá)到圖像融合的目的。(7) 圖像的顯示：優(yōu)化系統(tǒng)算法，將所得圖像對接顯示屏顯示。(8) 最終形成產(chǎn)品：形成一套成熟的產(chǎn)品，該產(chǎn)品滿足全景環(huán)視系統(tǒng)功能。在對圖像的處理上，不同的車型，因為多個攝像頭安裝的高度、寬度、仰角都不一樣，所以，真正的全景環(huán)視產(chǎn)品，針對每個車型都要有一套與之配套的參數(shù)軟件，才能真正實(shí)現(xiàn)無縫合成全景顯示。如果軟件做得好，可以把這些各型參數(shù)做到一個系統(tǒng)，通過后期的調(diào)試實(shí)現(xiàn)自適應(yīng)。

9、2、關(guān)于算法全景環(huán)視系統(tǒng)關(guān)鍵就在算法上，有很多人認(rèn)為搞幾個軟件人員就可以將產(chǎn)品搞起來，實(shí)際上不是這么簡單的，每一種技術(shù)的積累是有過程的，除了對硬件本身有要求外，對算法的邏輯關(guān)系有非常重要的要求。比如我們想計算達(dá)到1萬這個結(jié)果就有很多種算法：有100X100，慢一點(diǎn)是10X10X100，再慢一點(diǎn)是10X10X10X10，最慢的1+1+1+1+1同樣達(dá)到1萬的結(jié)果，不同的計算方式，反映出來的效率是完全不一樣的。而一個全景要同時處理多組攝像頭采集的數(shù)據(jù)，攝像頭的采集是按幀來計算畫面的，一般不小于16幀，16乘于4，也就是說最簡單的要求同步處理64幅畫面的效果，同時還要進(jìn)行補(bǔ)光平衡、裁剪、矯正、拼接等

10、復(fù)雜的計算處理。不同的邏輯算法，帶來的效果是完全不一樣的，如果算法復(fù)雜，處理的數(shù)據(jù)多了，時間長了，就會造成反應(yīng)遲緩、停頓、死機(jī)等現(xiàn)象出現(xiàn)，甚至造成硬件的癱瘓和損壞，這和電腦處理高清圖片、視頻是一樣的道理。算法部分是通過ARM系統(tǒng)完成的，就像衛(wèi)星定位導(dǎo)航系統(tǒng)一樣，而一般軟件工程師以完成MCU部分為主，解決一些人員操控或者與其它系統(tǒng)之間的銜接匹配問題。如：為便于駕駛?cè)藛T確認(rèn)主要畫面（前進(jìn)和倒車畫面），需要有專門和車輛通訊配套的控制端口，以便在車輛前進(jìn)時自動切換為前進(jìn)主畫面，倒車時切換為倒車主畫面；通過音響系統(tǒng)提供警報音，并在主畫面提示危險物體，以便提醒駕駛?cè)藛T進(jìn)行危險避讓。五、技術(shù)參數(shù)各系列各型號

11、參數(shù)有較大差異，常見技術(shù)參數(shù)：1、高速微控制器，畫面更流暢無卡幀現(xiàn)象。2、新型CMOS芯片，480TV線分辨率，超強(qiáng)夜視能力，圖像處理專業(yè)技術(shù)，實(shí)現(xiàn)畫面超寬視野的完美拼接。3、兼容各種大小尺寸的車載顯示器，完美的畫面自動校正功能，全自動切換，由方向盤控制，自動啟動畫面切換。4、節(jié)能設(shè)計，可以啟用休眠狀態(tài)。六、設(shè)置裝置：設(shè)置裝置的各組成部分： 車內(nèi)攝像頭，周圍前后左右攝像頭，車載顯示器，視頻分配器，夜視信號處理，超強(qiáng)圖像處理技術(shù)，實(shí)現(xiàn)超寬視野的畫面完美拼接，新型微控制器芯片高速可靠，支持多種存儲方式及SD卡；總之由圖像采集部分、視頻合成/處理部分、數(shù)字圖像處理部分、車載顯示部分等組成。七、注意事項：1、駕駛員在高速行駛中長時間觀看、操作該系統(tǒng)可能會導(dǎo)致嚴(yán)重的交通事故，為避免事故的發(fā)生，在時速超過5公里以上時，請不要觀看操作該系統(tǒng)。2、本系統(tǒng)為車輛安全輔助系統(tǒng)，僅提供車身周圍視頻圖像情況，車輛示意圖，車身與實(shí)際物體的距離存在偏差，請駕駛?cè)藛T根據(jù)實(shí)際情況操作。3、不要帶電拔