基于自適應(yīng)門限和寬線檢測的牌照定位方法

1、基于自適應(yīng)門限和寬線檢測的牌照定位方法王慶張煒趙榮椿(西北工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與工程系西安710072)【摘要】本文提出了一種基于門限化和寬線檢測算子的自適應(yīng)牌照定位方法,解決了復(fù)雜背景下的汽車牌照定位問題。利用汽車頭部圖像的一些知識(shí)信息,采用自適應(yīng)門限方法,輔以寬線檢測算子進(jìn)行后驗(yàn)校正,能夠準(zhǔn)確地分割出汽車牌照,然后對(duì)牌照中的漢字和數(shù)字進(jìn)行分離,正確率達(dá)95%以上。關(guān)鍵詞汽車牌照;圖象分割;門限化;寬線檢測算子Adaptive thresholding and wide line detection approach for automobilelicense plate location a

2、nd segmentationWang QingZhangWeiZhao Rongchun(Dept. of Computer Science and Engineering, Northwestern Polytechnic University, Xian 710072)AbstractIn this paper, an effective approach based on adaptive thresholding and wide line detector to locate and seg-ment the license plate from a capturing image

3、 with complicated background is proposed. By the prior information aboutthe image of vehicle forepart, the proposed method employs adaptive thresholding to separate the license plate fromback-ground, furthermore, adopts wide line detection to confirmthe segmentation result and ensure the license loc

4、ation. Afterthe layout analysis, Chinese character and digits, which represent the content of license, are separated from licenseplate. Experimental results showthe effectiveness of our approach, and the correct separating rate is up to 95%.Key wordsautomobile license plate; image segmentation; thre

5、sholding; wide line detector1引言隨著我國交通事業(yè)的飛速發(fā)展,駕駛汽車行駛在高速公路已成為現(xiàn)實(shí)。高速公路管理中的一個(gè)重要問題就是過往車輛的收費(fèi)問題,目前大多采用原始的人工收費(fèi)方式,效率很低。即使有的收費(fèi)站利用計(jì)算機(jī)來輔助管理,也僅僅是用來顯示收取資費(fèi)的數(shù)額,并沒有對(duì)過往車輛的特征? ?牌照信息進(jìn)行利用,如果某輛車一天多次過往收費(fèi)站,也必須數(shù)次停車?yán)U費(fèi),非常浪費(fèi)時(shí)間。采用計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)的自動(dòng)收費(fèi)系統(tǒng)就可以避免上面提到的問題,使用攝像機(jī)對(duì)過往的車輛進(jìn)行拍照,然后利用圖像處理和文字識(shí)別技術(shù),識(shí)別出過往的汽車牌照數(shù)字,根據(jù)已有的數(shù)據(jù)庫對(duì)該車完成收費(fèi)處理,提高管理的效率,

6、把收費(fèi)管理人員從繁重的工作中解放出來。圖1描述的是一個(gè)典型的汽車自動(dòng)收費(fèi)系統(tǒng)。國內(nèi)外關(guān)于汽車牌照自動(dòng)識(shí)別的研究早在八十年代已經(jīng)展開,因?yàn)閺谋举|(zhì)上講,汽車牌照的識(shí)別是涉及到圖像分割與分析、字符識(shí)別等研究領(lǐng)域的應(yīng)用問題。本文主要解決采集圖像處理中的牌照位置確定和牌照文字分割問題,實(shí)驗(yàn)結(jié)果表明,本文的方法正確率高、速度快、實(shí)用性較好,正確定位和分割率達(dá)到95%。2系統(tǒng)的組成汽車牌照自動(dòng)收費(fèi)系統(tǒng)的主要由前端采集控制系統(tǒng)、圖像處理系統(tǒng)、牌照識(shí)別系統(tǒng)和后臺(tái)資費(fèi)管理系統(tǒng)四個(gè)部分組成。前端采集控制通過一定的傳感器,將汽車到達(dá)測量范圍的信號(hào)發(fā)送給采控計(jì)算機(jī),采控計(jì)算機(jī)采集一幅汽車的頭部圖像(包含汽車牌照),傳輸

7、給圖像處理系統(tǒng)和牌照識(shí)別系統(tǒng),對(duì)所采集的圖像進(jìn)行處理、分析,識(shí)別出待收費(fèi)汽車的牌照,然后結(jié)合后臺(tái)數(shù)據(jù)庫管理系統(tǒng)的汽車牌照信息,對(duì)車輛完成收費(fèi)。我們?cè)O(shè)計(jì)的汽車牌照自動(dòng)識(shí)別系統(tǒng)流程簡圖可參見圖2,可以將系統(tǒng)分成如下的四個(gè)大模塊:前端采控模塊圖像處理模塊牌照識(shí)別模塊牌照數(shù)據(jù)庫管理模塊65中國體視學(xué)與圖像分析2000年6月第5卷第2期CHINESE JOURNAL OF STEREOLOGY AND IMAGE ANALYSIS Vol. 5 No. 2. Jun . 2000圖1汽車自動(dòng)收費(fèi)系統(tǒng)模型圖Fig1The framework of automatic vehicle management

8、system3牌照?qǐng)D像分析和先驗(yàn)知識(shí)獲取通過對(duì)實(shí)際系統(tǒng)安裝的攝像機(jī)采集分辨率的知識(shí)和實(shí)際圖像的分析,我們可以得出以下幾個(gè)重要的先驗(yàn)信息,并為我們的預(yù)處理和牌照提取打下了基礎(chǔ)。1)考慮到攝像機(jī)的安裝位置固定,采集的分辨率保持不變,加上牌照的尺寸是標(biāo)準(zhǔn)的,因此圖像中牌照的長和寬基本上是不變的常量,對(duì)于我們搜索一個(gè)區(qū)域來講,長度和寬度是一組重要的參考量,圖像的尺寸: 640*440像素;單排字牌照尺寸:寬度在220-240像素,高度在60-70之間(參見圖3-1, 3, 4);雙排字牌照尺寸:寬度在150-160像素,高度在80-90之間(參見圖3-2)。2)牌照區(qū)域中一般有七個(gè)字符,第一個(gè)是漢字(

9、少量的軍車牌照前面是兩個(gè)英文字母,如WJ、GA等),后面四個(gè)是數(shù)字(極個(gè)別除外,如圖3-5)。有些大客、貨車的牌照是雙行字,上邊是漢字加字母,下邊是數(shù)字(參見圖3-2)。3)大多數(shù)的牌照是黑底白字,其余的牌照是黑底白字,在分割牌照后的二值化處理時(shí)需要考慮。4)牌照的四周有明顯的邊框,在高通濾波或是實(shí)施邊緣檢測算子后會(huì)有一定的邊緣存在。大多數(shù)的牌照上都有兩至四個(gè)安裝用的圓形鉚釘,在圖像上反映為高亮度的圓斑。5)除了上述可以為牌照定位提供知識(shí)的信息外,我們還發(fā)現(xiàn),由于拍照時(shí)的反光原因,牌照區(qū)域的背景會(huì)呈現(xiàn)出一定的網(wǎng)格效應(yīng),另外就是車輛前端的保險(xiǎn)杠以及某些標(biāo)志區(qū)域會(huì)給搜索帶來負(fù)面影響,因此我們必須施

10、加相應(yīng)的預(yù)處理和約束條件。圖3是一組有代表性的汽車牌照?qǐng)D像,由于縮小的尺寸有些信息表達(dá)得不是很確切,但是上述所描述的先驗(yàn)信息都反映了出來。圖4是圖3中車頭圖像對(duì)應(yīng)的牌照細(xì)節(jié)。4實(shí)驗(yàn)方法和步驟有了上述圖像的分析的結(jié)果和知識(shí)信息,我們決定采用如下的流程對(duì)牌照?qǐng)D像進(jìn)行搜索和定位,流程描述見圖5。假設(shè)原始的牌照灰度圖像為,F = f(i,j),i=0,1,439, j=0,1,639。4. 1自適應(yīng)門限化原始數(shù)據(jù)圖像(見圖8-1)模糊是因?yàn)閿z像機(jī)成像時(shí)有奇、偶兩場,汽車在兩場成像的過程中存在運(yùn)動(dòng)位移,因此在一幅照片包括了兩場,經(jīng)過消場后,得到圖像8-2,再經(jīng)過預(yù)處理,可以得到清晰的圖像如圖8-3所示。

11、預(yù)處理主要是選用中值濾波,原因之一是在牌照區(qū)域有肉眼不易分辨的網(wǎng)格,如圖8-6所示,對(duì)后面的單字切分和識(shí)別會(huì)有很大影響;原因之二是在搜索牌照時(shí),孤立噪聲會(huì)影響牌照的定位準(zhǔn)確性,我們要對(duì)其加以平滑去除,同時(shí)還要保護(hù)字的邊界信息,中值濾波就具有這樣既濾除孤立的短噪聲又保持邊緣細(xì)節(jié)的優(yōu)良特性。4. 1. 1閾值選擇圖2汽車牌照自動(dòng)識(shí)別系統(tǒng)Fig2The automatic recognition system of license plate of vehicles66中國體視學(xué)與圖像分析2000年第5卷第2期圖3一些典型的汽車頭部圖像Fig3Some typical images of vehic

12、lesforepart用某一閾值對(duì)圖像進(jìn)行門限化得到二值化圖像B = b(i,j) ,i =0,1,439,j=0,1,639。b(i,j) =0iff(i,j) T1iff(i,j) T初始閾值確定方法如下:根據(jù)灰度圖像的直方圖,選擇直方圖中的最高灰度值為fmax,最低灰度值為fmin,則令T =fmax*2/3+fmin/3從而該閾值對(duì)不同牌照有一定的適應(yīng)性。該公式經(jīng)過對(duì)大量實(shí)際圖像觀察得出,能夠保證背景基本被置為0,以突出牌照區(qū)域。經(jīng)實(shí)驗(yàn),在近一半的情況下該閾值就能滿足上文所提到的合適的閾值要求。對(duì)于本例圖像,該閾值偏高,如圖8-5所示,后面將介紹我們是如何處理的。對(duì)于二值牌照?qǐng)D像作簡單

13、的相鄰像素灰度值相減,得到新的列差分圖像D = d(i,j) ,i =0,1,439;j=0,1,639,即d(i,j) = b(i,j)- b(i,j-1) ,i =0,1,439,j=1,2,639。差分圖像D的左邊緣直接賦值,即d=(i,0)=b(i,0),不會(huì)影響整體效果。這樣的處理實(shí)際上是完成了一次高通濾波,并且運(yùn)算簡單,節(jié)省處理時(shí)間。因?yàn)楸尘皡^(qū)域比較均勻,所以新圖像D中背景區(qū)域像素灰度基本被賦值為0,圖8-6顯示了本次處理結(jié)果,但在某些特殊的牌照?qǐng)D像中,如果選區(qū)的閾值偏高,牌照區(qū)域灰度基本被置為0?？紤]到文字是由許多短豎線組成,而背景噪聲有一大部分是孤立噪聲,用一階豎線型的中值濾波

14、模板(1,1,1,1,1)T對(duì)D進(jìn)行中值濾波,得到除掉了大部分干擾的圖像C。4. 1. 3搜索牌照Step1:從底邊開始,將每行圖像沿水平方向投影,同時(shí)開始從下向上搜索投影值。之所以從下向上,是因?yàn)閳D像中牌照以下的部分(如路面,車頭下部)灰度比上面低,二值化后大部分變?yōu)?;并且這部分灰度分布相對(duì)均勻,高通濾波后,基本已經(jīng)變?yōu)?。而牌照上方一般比較復(fù)雜,如車的品牌文字區(qū)域,灰度分布特性與牌照類似,作為干擾是難以消除的,所以采用自下向上搜索,目的是盡可能排除車體本身可能帶來的干擾,在上方干擾作用之前先找到牌照。為了減少搜索時(shí)間,搜索是跳躍前進(jìn)的,步進(jìn)值設(shè)為5。(1) (2) (3) (4) (5)

15、 (6)圖4一些典型的汽車牌照?qǐng)D像Fig 4 Some typical images of vehicleslicense plate672000年第5卷第2期王慶等基于自適應(yīng)門限和寬線檢測的牌照定位方法Step2:當(dāng)搜索到投影值大于某一定值門限值(這里定為13),即認(rèn)為可能找到牌照下沿了,記下該行坐標(biāo)。定值為13是根據(jù)牌照中有7個(gè)字,左右邊緣至少應(yīng)該有7*2=14個(gè),高通濾波后每行應(yīng)該有14個(gè)白象素點(diǎn)。此時(shí)步進(jìn)值改為1,以便實(shí)現(xiàn)精確搜索。Step 3:計(jì)算以上各行投影,檢查是否也滿足投影值大于13,直到找到不滿足條件的行,這可能是牌照的上緣,記下該行坐標(biāo);Step 4:計(jì)算可能的牌照區(qū)域的高

16、度,H= Pd-Pu(i):若45H3j=1Aij,同時(shí)3j=1Bij3j=1Cij,i =1,2,3(1)的條件滿足時(shí),按照?qǐng)D7所示的算子,輸出值為G =3i=1(2*3j=1Bij-3j=1Aij-3j=1Cij)/9(2)否則。推廣至一般情況,假定線的寬度為m個(gè)象素,長度為個(gè)n象素,m、n這樣選擇:m是根據(jù)需檢測的線在圖像中所占寬度的平均值,n選擇時(shí)只要比圖像中孤立點(diǎn)大一個(gè)象素即可,也可選擇n =1,只須當(dāng)線檢測出以后,再根據(jù)長度的判別剔除孤立點(diǎn)。檢測算子如下:圖5牌照搜索定位的算法流程Fig 5 The flowchart of proposed approach如果線的灰度級(jí)比周圍區(qū)

17、域灰度級(jí)大,則當(dāng)mj=1Bijmj=1Aij同時(shí)mj=1Bijmj=1Ciji =1,1,n的條件滿足時(shí),按照上述的算子,輸出值為G =ni=1(2*mj=1Bij-mj=1Aij-mj=1Cij)/(m*n)否則G =0。如果線的灰度級(jí)比周圍區(qū)域小時(shí),上式中的“”改為“”。圖6圖像中任意93區(qū)域Fig 6 93 sub-region of image圖7寬線檢測算子Fig 7 Wide line detector4. 3異常處理本算法要應(yīng)用于實(shí)際系統(tǒng),因此,異常處理是必不可少的,在牌照定位模塊,應(yīng)該避免無限制的降低閾值循環(huán),在閾值降低到接近最低灰度值時(shí),應(yīng)該報(bào)錯(cuò)并停止搜索,改為人工判讀牌照。

18、(在仿真實(shí)驗(yàn)中尚未出現(xiàn)這種情況)68中國體視學(xué)與圖像分析2000年第5卷第2期(1)原始圖像(2)消除場效應(yīng)后的圖像(3)平滑處理后圖像(4)整圖的直方圖(5)二值化圖(6)高通濾波結(jié)果(7)分割結(jié)果(8)放大的牌照?qǐng)D像(網(wǎng)格狀背景)(9)寬線檢測、牌照確認(rèn)(10)單字分離結(jié)果圖8一次牌照定位、文字分離的實(shí)際處理過程(1) Original(2) Processed image after de-interlace(3) After smoothness(4) Histogram of image(5)Binary image(6) After high-pass filtering(7) S

19、egmentation result(8) Enlarged image of license plate(9) Wide line detection(10) Isolated character after separationFig8A procedure of location, character sepration for license plate五分析和結(jié)論本文提出了一種基于牌照知識(shí)的自適應(yīng)門限化和寬線檢測算子的牌照分割方法,快速、準(zhǔn)確地解決了汽車牌照自動(dòng)識(shí)別中的關(guān)鍵問題牌照的分割,該算法定位準(zhǔn)確,并且是實(shí)時(shí)的。用本文的分割算法對(duì)實(shí)拍的500幅圖像進(jìn)行實(shí)驗(yàn),都得到了正確的分割結(jié)

20、果。由于本算法的出發(fā)點(diǎn)是實(shí)時(shí)性,所以,從上面的算法描述可見,除了中值濾波、寬限檢測外,所有算法實(shí)現(xiàn)都非常簡單,多為整數(shù)加法運(yùn)算,耗時(shí)很少。為了減少計(jì)算時(shí)間,還進(jìn)行了一些程序優(yōu)化,比如在一次閾值過高,需要重新二值化時(shí),新的二值化圖實(shí)際是在原二值化圖的基礎(chǔ)上,僅修改部分像素(灰度值大于新閾值的點(diǎn))值得到的,這樣就減少了部分賦值運(yùn)算。這在需要多次二值化時(shí),會(huì)有很好的效果。第一次二值化的閾值設(shè)定是經(jīng)過反復(fù)考慮的,如果過高,則需要多次降低閾值,會(huì)增加搜索時(shí)間;反之,若過低,可能會(huì)減少搜索次數(shù),但也可能使背景削弱不夠,造成找不到牌照,上文所提到閾值計(jì)算公式是大量統(tǒng)計(jì)的結(jié)果,既可保證削弱背景,又有利于迅速找

21、到牌照。我們用500幅圖實(shí)驗(yàn)得到下面結(jié)果(表1):表1牌照搜索、定位的自適應(yīng)門限化次數(shù)統(tǒng)計(jì)Tab1The experimental results of license plate search and location閾值降低次數(shù)1 2 3 4 5搜索到牌照數(shù)293 134 45 21 7692000年第5卷第2期王慶等基于自適應(yīng)門限和寬線檢測的牌照定位方法根據(jù)試驗(yàn)結(jié)果可以知道,大部分牌照搜索都可在三次二值化之內(nèi)完成,由于每次搜索計(jì)算量不大,所以總的計(jì)算時(shí)間很短。牌照在圖像中的分布也會(huì)影響搜索速度,但由于現(xiàn)場設(shè)置決定,牌照大多出現(xiàn)圖像下部,客觀上也使我們的搜索算法節(jié)省了時(shí)間。因此,雖然算法的

22、執(zhí)行時(shí)間難于確定,但經(jīng)過大量實(shí)驗(yàn),搜索一般在0. 1秒以內(nèi)完成,達(dá)到了預(yù)定的時(shí)間要求,為整個(gè)系統(tǒng)工作的實(shí)時(shí)性打下了堅(jiān)實(shí)的基礎(chǔ)。參考文獻(xiàn)1 Ali AT., Bulas-Cruz J. and Dagless E. L., Vi-sion Based Road Traffic Data Collection, Proceedingsof ISATA, 26th International Conference on RoadTransport Informatics and Intelligent Vehicle-High-way Systems, (ATT& IVHS), Aachen, Ge

23、rmany,1993.2 Bulas-Cruz J., Image ProcessingApplications usinga Transputer-based System, PhDThesis, Universityof Bristol, UK., 1995.3 Kato K., HineroyaT., Mitani A. and Deguchi M.,Automatic Licence Plate Reader Utilizing Image Pro-cessing, Proceedings of ISATA, 24th InternationalConference on Road T

24、ransport Informatics and Intelli-gent Vehicle-Highway Systems, pp. 435-442.Florence. Italy, 1991.4 Nijhuis J A G, M. H. Ter Brugge, K. A.Helmholt, J. P. W. Pluim, L. Spaanenburg, R.S. Venema, and M. A. Westenberg, Car LicensePlate Recognition whith Neural Networks and FuzzyLogic, EPIA95, Portuguese

25、Conference on Artifi-cial Intelligence, pp. 25-34, 1995.5 Lu, Y., Machine printed character segmentation,Pattern Recognition, Volume No 28, n. 1, pp 67-80, 1995.6 Elliman, D G, I T Lancaster (1990), A Review ofSegmentation and Contextual Analysis Techniques forText Recognition, Pattern Recognition Society, pp.337-346.7 Storer R, Milford