智能車牌識(shí)別及其應(yīng)用資料

1、2022-5-301http:/2022-5-301http:/智能車牌識(shí)別及其應(yīng)用潘越峰潘越峰 20142014年年1 1月月2323日日2022-5-302http:/2022-5-302http:/1智能車牌識(shí)別技術(shù)篇2智能車牌識(shí)別應(yīng)用篇2022-5-303http:/1、智能車牌識(shí)別技術(shù)篇2022-5-304http:/2022-5-304http:/車牌識(shí)別應(yīng)用示意圖車牌識(shí)別應(yīng)用示意圖2022-5-305http:/2022-5-305http:/車牌識(shí)別流程示意圖車牌識(shí)別流程示意圖2022-5-306http:/2022-5-306http:/1.1圖像采集1.2車牌定位1.3字符

2、分割1.4字符識(shí)別1.5問題討論2022-5-307http:/1.1 圖像采集2022-5-308http:/2022-5-308http:/采用高清采用高清CCDCCD、高分辨率、覆蓋視場大、高分辨率、覆蓋視場大n CCD CCD 電荷耦合器件（電荷耦合器件（Charge Coupled Device)Charge Coupled Device)n CMOS CMOS 互補(bǔ)金屬氧化物半導(dǎo)體（互補(bǔ)金屬氧化物半導(dǎo)體（Complementary Metal Oxide SemiconductorComplementary Metal Oxide Semiconductor) )2022-5-30

3、9http:/2022-5-309http:/快門技術(shù)，解決高速運(yùn)動(dòng)車輛的拖尾現(xiàn)象快門技術(shù)，解決高速運(yùn)動(dòng)車輛的拖尾現(xiàn)象高速電子快門高速電子快門 通過DSP控制CCD感光時(shí)間的方式來實(shí)現(xiàn)畫面亮度的控制2022-5-3010http:/2022-5-3010http:/輔助光源系統(tǒng)，助全天候高清抓拍輔助光源系統(tǒng)，助全天候高清抓拍 疝氣閃光燈疝氣閃光燈 疝氣頻閃燈疝氣頻閃燈 LEDLED頻閃燈、閃光燈頻閃燈、閃光燈 2022-5-3011http:/2022-5-3011http:/主動(dòng)控制曝光技術(shù)，解決逆光和強(qiáng)光主動(dòng)控制曝光技術(shù)，解決逆光和強(qiáng)光逆光補(bǔ)償逆光補(bǔ)償在光線較弱的環(huán)境下，背景較暗的區(qū)域，也

4、能夠得到比較清晰的畫面。強(qiáng)光抑制強(qiáng)光抑制把強(qiáng)光部分弱化，把暗光部分亮化，達(dá)到光線平衡。2022-5-3012http:/1.2 車牌定位2022-5-3013http:/2022-5-3013http:/車輛檢測技術(shù)車輛檢測技術(shù)傳統(tǒng)檢測技術(shù)：線圈、雷達(dá)、視頻線圈雷達(dá)視頻2022-5-3014http:/2022-5-3014http:/車輛檢測技術(shù)車輛檢測技術(shù)新興檢測技術(shù)：地磁、激光、紅外地磁激光紅外2022-5-3015http:/2022-5-3015http:/車輛視頻檢測算法車輛視頻檢測算法常用視頻檢測算法常用視頻檢測算法-幀間差分法、背景差分法、檢測線法、車輛3D建模檢測線法3D建模

5、2022-5-3016http:/2022-5-3016http:/常用車輛視頻檢測算法對(duì)比常用車輛視頻檢測算法對(duì)比視頻視頻檢測算法檢測算法原理原理優(yōu)點(diǎn)優(yōu)點(diǎn)缺點(diǎn)缺點(diǎn)幀間幀間差分法差分法基于運(yùn)動(dòng)圖像序列中，相鄰兩幀圖像間具有強(qiáng)相關(guān)性而提出的檢測算法，將前后兩幀圖像對(duì)應(yīng)像素點(diǎn)的灰度值相減，若灰度值很小，可認(rèn)為無車經(jīng)過。對(duì)光照變化不敏感，適合動(dòng)態(tài)變化的環(huán)境，實(shí)時(shí)性要求較高對(duì)靜止或運(yùn)動(dòng)速度較慢的物體無法檢測。背景背景差分法差分法選取背景中的一幅或幾幅圖像的平均作為背景圖像，然后把以后的序列圖像當(dāng)前幀和背景圖像相減進(jìn)行背景消去，若所得到的像素大于某一個(gè)閾值，則判定被監(jiān)視場景中有運(yùn)動(dòng)物體。對(duì)于復(fù)雜背景下的

6、運(yùn)動(dòng)物體檢測效果較好，一般能夠提供最完整的的特征數(shù)據(jù)，計(jì)算量小，實(shí)用價(jià)值大。受光線、天氣等外界條件的影響較大。檢測檢測線法線法在待測圖像上的合適位置，設(shè)置檢測線，類似地感線圈，其方向與車輛行駛方向垂直，當(dāng)運(yùn)動(dòng)物體覆蓋檢測線的寬度大于某一閾值就檢測到車輛。一種簡單有效地檢測車輛的算法，在高速公路這樣的簡單交通場景可以取得較好的檢測結(jié)果。不太適合用于行駛行為復(fù)雜的場合如十字路口這樣的交通場景，能獲取的交通參數(shù)種類較少。3D3D建建模模對(duì)運(yùn)動(dòng)車輛進(jìn)行3D建模，然后采用車輛識(shí)別的方法進(jìn)行識(shí)別和跟蹤。車輛是剛性材料，外型的線條感和輪廓感很強(qiáng)，當(dāng)車輛經(jīng)過監(jiān)控檢測區(qū)域時(shí)，系統(tǒng)會(huì)對(duì)車輛的外在輪廓進(jìn)行檢測，將檢

7、測出來的線條進(jìn)行拼裝組合即為車輛的3D模型3D模型有受光照影響小、受陰影影響小、抗抖動(dòng)性好等特點(diǎn)。如何提出較好的模型來對(duì)運(yùn)動(dòng)車輛進(jìn)行建模，建模的好與壞直接影響檢測結(jié)果。 2022-5-3017http:/2022-5-3017http:/車輛跟蹤算法車輛跟蹤算法常用車輛跟蹤算法常用車輛跟蹤算法-基于車輛模型的跟蹤-基于車輛區(qū)域的跟蹤-基于車輛輪廓的跟蹤-基于車輛特征的跟蹤2022-5-3018http:/2022-5-3018http:/常用車輛跟蹤算法對(duì)比常用車輛跟蹤算法對(duì)比車輛跟車輛跟蹤算法蹤算法原理原理優(yōu)點(diǎn)優(yōu)點(diǎn)缺點(diǎn)缺點(diǎn)車輛模車輛模型型建立在精細(xì)提取已知車輛的3D模型與待檢測圖像之間的匹配

8、操作在確定車輛類型和幾何模型細(xì)節(jié)時(shí)準(zhǔn)確度高對(duì)車輛模型的過分依賴，而很明顯的是不可能為公路上行駛的每種車輛都建立精細(xì)的模型，計(jì)算量大，不利于實(shí)時(shí)處理。車輛車輛區(qū)區(qū)域域該算法中車輛被表示成斑點(diǎn)，或像素連通塊，或塊區(qū)域，連接區(qū)域被提取并根據(jù)情況被合并或分割。車輛稀少時(shí)效果很好，且塊區(qū)域可以提供豐富的如大小、形狀和密度等區(qū)域的合并和分割存在著不準(zhǔn)確性。在陰影和道路擁擠的情況下效果較差，造成漏檢和誤檢。車輛輪車輛輪廓廓先初始勾勒出車輛的輪廓，并且不斷地在后續(xù)幀更新輪廓進(jìn)而達(dá)到跟蹤的目的。基于區(qū)域算法的一個(gè)變形。與區(qū)域算法相比在于計(jì)算量低。初始化困難，在陰影和擁塞情況下效果欠佳。車輛特車輛特征征將車輛的特

9、征作為最小跟蹤單元，對(duì)每輛車提取一些特征，這些特征可以是點(diǎn)、線或曲線，可能代表車輛的保險(xiǎn)桿，車窗，車頂棚等或?qū)⑦@些特征組合來表示一輛車。即使存在部分遮擋，一些特征仍舊可見，可以為跟蹤過程提供依據(jù)。在檢測每個(gè)車輛的特征時(shí)也同樣存在車輛彼此太接近，無法正確提取的問題。 2022-5-3019http:/2022-5-3019http:/常見車牌標(biāo)準(zhǔn)常見車牌標(biāo)準(zhǔn)車牌先驗(yàn)知識(shí)車牌先驗(yàn)知識(shí)2022-5-3020http:/2022-5-3020http:/車牌定位車牌定位定位流程定位流程- 初步定位、精確定位常見常見定位算法定位算法-基于邊緣檢測的車牌定位-基于彩色分割的車牌定位-基于小波變換的車牌定位

10、-基于遺傳算法的車牌定位-基于數(shù)學(xué)形態(tài)的車牌定位-基于灰度圖像文理特征分析的車牌定位-基于幀差的視頻圖像車牌定位2022-5-3021http:/2022-5-3021http:/常見車牌初定位算法對(duì)比表常見車牌初定位算法對(duì)比表車車牌牌定位定位算算法法原理原理優(yōu)點(diǎn)優(yōu)點(diǎn)缺點(diǎn)缺點(diǎn)邊緣邊緣檢測檢測所謂邊緣就是指其周圍像素灰度有階躍變化的那些像素的集合。邊緣的兩側(cè)分屬于兩個(gè)區(qū)域，每個(gè)區(qū)域的灰度均勻一致，而這兩個(gè)區(qū)域的灰度在特征上存在一定的差異。邊緣檢測的任務(wù)是精確定位邊緣和抑制噪聲。定位準(zhǔn)確率較高，反應(yīng)時(shí)間短，能有效去掉噪聲，適合與包含多個(gè)車牌的圖像，在多車牌圖像的情況下定位速度也很快。對(duì)車牌嚴(yán)重褪色

11、的情況下，由于檢測不到字符筆畫的邊緣會(huì)導(dǎo)致定位失敗，在有外界干擾以及車牌傾斜時(shí)，定位后的區(qū)域比車牌稍大。彩色彩色分割分割基于彩色分割的車牌定位方法由彩色分割和目標(biāo)定位等模塊組成，采用多層感知器網(wǎng)絡(luò)對(duì)彩色圖像進(jìn)行分割，然后通過投影法分割出潛在的車牌區(qū)域。算法正確率較高若車牌區(qū)域顏色與附近顏色相似時(shí)，計(jì)算速度較慢數(shù)學(xué)數(shù)學(xué)形態(tài)學(xué)形態(tài)學(xué)具有一定形態(tài)的結(jié)構(gòu)元素去量度和提取圖像中的對(duì)應(yīng)形狀以達(dá)到圖像分析和識(shí)別的目的。該算法不能精確確定車牌左右邊界的位置，因此必須結(jié)合其他定位方法進(jìn)行精確定位。即使存在部分遮擋，一些特征仍舊可見，可以為跟蹤過程提供依據(jù)。在檢測每個(gè)車輛的特征時(shí)也同樣存在車輛彼此太接近，無法正確

12、提取的問題?；叶然叶葓D像文圖像文理特征理特征先對(duì)圖像進(jìn)行預(yù)處理，將彩色圖像轉(zhuǎn)換為灰度圖像，然后進(jìn)行行掃描，找出圖像中每一行所含有的車牌線段，記錄下它們的起始坐標(biāo)和長度，如果有連續(xù)若干行均存在不少于一個(gè)的車牌線段，且行數(shù)大于某一確定的閾值，則認(rèn)為在行的方向上找到了車牌一個(gè)候選區(qū)域，并確定該候選區(qū)域的起始行和高度；同理對(duì)列掃描，最終確定一個(gè)車牌區(qū)域。對(duì)于牌照傾斜或變形以及光照不均，偏弱或偏強(qiáng)有很好的效果。對(duì)于噪聲敏感、對(duì)于背景復(fù)雜的圖像需結(jié)合其他方法得到真正的車牌區(qū)域。2022-5-3022http:/2022-5-3022http:/車牌精定位車牌精定位HoughHough變換：變換：檢找出車牌

13、圖像中滿足條件的直線，并依此直線的角度作為車牌的傾斜角度。精定位上下左右邊界：精定位上下左右邊界：根據(jù)車牌圖像字符區(qū)域明暗交替出現(xiàn)的特征來確定上下邊界；采用顏色二值化和紋理方法相結(jié)合的辦法來定位車牌左右邊界RadonRadon變換：變換：對(duì)圖像采用投影的方法檢測投影高度和投影的目標(biāo)像素的峰值，找到投影面積滿足最佳條件時(shí)的投影角度。2022-5-3023http:/1.3 字符分割 2022-5-3024http:/2022-5-3024http:/車牌圖像預(yù)處理車牌圖像預(yù)處理車牌字符區(qū)域灰度化二值化去噪2022-5-3025http:/2022-5-3025http:/車牌圖像預(yù)處理車牌圖像預(yù)

14、處理灰度化：灰度化： 將彩色圖像轉(zhuǎn)化成為灰度圖像的過程成為圖像的灰度化處理。彩圖轉(zhuǎn)化為256個(gè)灰度級(jí)黑白圖像，只保留亮度，去除色彩，減少圖像處理的運(yùn)算量。二值化：二值化： 圖像的二值化處理就是講圖像上的點(diǎn)的灰度置為0或255，也就是講整個(gè)圖像呈現(xiàn)出明顯的黑白效果。即將256個(gè)亮度等級(jí)的灰度圖像通過適當(dāng)?shù)拈y值選取而獲得仍然可以反映圖像整體和局部特征的二值化圖像。去噪（濾波）：去噪（濾波）： 圖像信息在采集過程中往往受到各種噪聲源的干擾，這些噪聲在圖像上的常常表現(xiàn)為一些孤立像素點(diǎn)，這可理解為像素的灰度是空間相關(guān)的，即噪聲點(diǎn)像素灰度與它們臨近像素的灰度有著顯著不同。這種干擾或孤立像素點(diǎn)如不經(jīng)過濾波處

15、理，會(huì)對(duì)以后的圖像區(qū)域分割、分析和判斷帶來影響。2022-5-3026http:/2022-5-3026http:/垂直投影法垂直投影法基本原理：基本原理： 對(duì)車牌灰度圖像進(jìn)行灰度垂直投影，可以清晰地看出7個(gè)區(qū)域，即車牌的7個(gè)字符灰度圖像的垂直投影，通過垂直投影圖特征，分割字符就轉(zhuǎn)化為只需得到每個(gè)區(qū)域的左右邊界即可。優(yōu)點(diǎn)：優(yōu)點(diǎn)： 變形不是很嚴(yán)重的車牌能很好的分割缺點(diǎn)：缺點(diǎn)： 對(duì)鉚釘、字符粘連及車牌左右邊框等噪聲比較敏感2022-5-3027http:/2022-5-3027http:/模板匹配法模板匹配法車牌字符特點(diǎn)車牌字符特點(diǎn)： 一般牌照字符共有7個(gè)，并且長寬高以及字符間距都符合一定的標(biāo)準(zhǔn)。

16、基本原理：基本原理： 在精確定位車牌字符的上下邊界后，以圖示模板，從左往右掃描車牌圖像，需求落在字符區(qū)域與字符間空隙區(qū)域白色像素的最大差值，將字符分割出來。 優(yōu)點(diǎn)：優(yōu)點(diǎn)： 很好的解決圖像二值化后字符粘連及鉚釘?shù)鹊母蓴_。缺點(diǎn)：缺點(diǎn)：車輛圖像尺寸必須很規(guī)范。2022-5-3028http:/1.4 字符識(shí)別2022-5-3029http:/2022-5-3029http:/字符識(shí)別原理字符識(shí)別原理基本思想：基本思想：匹配判別，抽取代表未知字符模式本質(zhì)的各種特征和預(yù)先存儲(chǔ)在機(jī)器中的標(biāo)準(zhǔn)字符的字典逐一匹配，用一定的準(zhǔn)則進(jìn)行判別。2022-5-3030http:/2022-5-3030http:/基于模

17、板匹配的識(shí)別方法基于模板匹配的識(shí)別方法基本思想：基本思想：先在圖像中檢測出已知形狀的目標(biāo)物，然后用這個(gè)目標(biāo)物的形狀模板與圖像匹配，在約定的準(zhǔn)則下檢測出目標(biāo)圖像。優(yōu)點(diǎn)：優(yōu)點(diǎn)： 簡單成熟，對(duì)于標(biāo)準(zhǔn)、規(guī)范的字符識(shí)別效果較好。缺點(diǎn)：缺點(diǎn)： 復(fù)雜環(huán)境下識(shí)別效果較差，且自適應(yīng)不強(qiáng)。2022-5-3031http:/2022-5-3031http:/基于神經(jīng)網(wǎng)絡(luò)的識(shí)別方法基于神經(jīng)網(wǎng)絡(luò)的識(shí)別方法基本思想：基本思想：先將圖像中各個(gè)大小不同分布不規(guī)則的字符變成一個(gè)個(gè)大小相同，排列整齊的字符；從這些字符中提取最能體現(xiàn)這個(gè)字符特點(diǎn)的特征向量，代入到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中，就可以正確識(shí)別出字符。樣本訓(xùn)練：樣本訓(xùn)練：對(duì)精心選

18、擇的可以很好的反應(yīng)樣本可分性的已知數(shù)據(jù)精心特征提取，送入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，經(jīng)訓(xùn)練最后的神經(jīng)網(wǎng)絡(luò)就可以用它對(duì)待識(shí)別數(shù)據(jù)進(jìn)行識(shí)別。2022-5-3032http:/1.5 問題討論2022-5-3033http:/2022-5-3033http:/問題討論問題討論問題問題1 1：車牌上的小圓點(diǎn)，如果摳掉了，能否正確識(shí)別車牌？問題問題2 2：車牌被遮擋之后，能否抓拍到車輛？2022-5-3034http:/2、智能車牌識(shí)別應(yīng)用篇2022-5-3035http:/2022-5-3035http:/2.1車流量統(tǒng)計(jì)2.2電子警察2.3布控報(bào)警2.4套牌分析2.5多區(qū)域碰撞分析2.6問題討論2022-5-

19、3036http:/2.1 車流量統(tǒng)計(jì)2022-5-3037http:/2022-5-3037http:/車流量統(tǒng)計(jì)車流量統(tǒng)計(jì)基本原理基本原理- 單個(gè)監(jiān)控點(diǎn)通過抓拍車輛，統(tǒng)計(jì)以車道為單位的過車數(shù)量，完成按小時(shí)、天、月為周期的流量統(tǒng)計(jì)。2022-5-3038http:/2.2 電子警察2022-5-3039http:/2022-5-3039http:/電子警察電子警察什么是電子警察什么是電子警察- 俗稱“闖紅燈自動(dòng)記錄系統(tǒng)”，即可安裝在信號(hào)控制的交叉路口和路段上并對(duì)指定車道內(nèi)機(jī)動(dòng)車闖紅燈行為進(jìn)行不間斷自動(dòng)檢測和記錄的系統(tǒng)?；驹砘驹?線圈或視頻實(shí)時(shí)車輛檢測。-實(shí)時(shí)抓拍違法車輛-車輛跟蹤、車

20、牌識(shí)別以及錄像和存儲(chǔ)2022-5-3040http:/2022-5-3040http:/闖紅燈等違法行為檢測闖紅燈等違法行為檢測闖紅燈三要素：闖紅燈三要素： -車牌號(hào)碼、停止線和紅燈信號(hào)違法行為：違法行為： -闖紅燈、不按車道行駛、違法禁令標(biāo)志2022-5-3041http:/2.3 布控報(bào)警2022-5-3042http:/2022-5-3042http:/黑名單和布控黑名單和布控黑名單黑名單- “黑名單”庫是將所關(guān)注的交通違法、肇事犯罪嫌疑等車輛信息進(jìn)行匯總的專門數(shù)據(jù)庫。車輛信息包括車牌、車型、車身顏色及其他關(guān)聯(lián)信息等。布控布控- 查緝布控是對(duì)各類嫌疑車輛進(jìn)行布控報(bào)警，及時(shí)實(shí)施攔截處置的過程。查緝布控是“黑名單”庫的主要應(yīng)用。2022-5-3043http:/2022-5-3043http:/布控流程布控流程錄入黑名單車輛錄入黑名單車輛下發(fā)黑名單下發(fā)黑名單系統(tǒng)進(jìn)入實(shí)時(shí)比對(duì)系統(tǒng)進(jìn)入實(shí)時(shí)比對(duì)所有車輛抓拍所有車輛抓拍系統(tǒng)實(shí)時(shí)比對(duì)系統(tǒng)實(shí)時(shí)比對(duì)成功匹配成功匹配實(shí)時(shí)報(bào)警實(shí)時(shí)報(bào)警2022-5-3044http:/2.4 套牌分析2022-5-3045http:/2022-5-3045http:/什么是套牌什么是套牌套牌套牌-套用別人的車牌套套牌分析的原則牌分析的原則-同一輛車前后車牌不可能不一致