基于bp神經(jīng)網(wǎng)絡(luò)的圖像中興趣區(qū)檢測(cè)模型

基于bp神經(jīng)網(wǎng)絡(luò)的圖像中興趣區(qū)檢測(cè)模型

0roi自動(dòng)檢測(cè)基本原理如果人們觀察和理解圖像，他們會(huì)特別注意圖像的某些區(qū)域，并將其稱(chēng)為興趣區(qū)域。在JPEG2000編碼方案中,一個(gè)突出的優(yōu)點(diǎn)就是用戶可以在處理的圖像中指定感興趣區(qū)ROI,從而優(yōu)化編碼系統(tǒng)的設(shè)計(jì)。該技術(shù)雖然已經(jīng)有一定的應(yīng)用,但ROI的指定仍然依靠人工參與的交互方式,因此編碼效率并不高。如果引入基于圖像內(nèi)容的自動(dòng)分析技術(shù),使計(jì)算機(jī)根據(jù)特定圖像的內(nèi)容,自動(dòng)分割ROI,無(wú)疑會(huì)增強(qiáng)基于ROI編碼系統(tǒng)的應(yīng)用潛力。在另外一些應(yīng)用系統(tǒng)中,如機(jī)器人視覺(jué)中的目標(biāo)區(qū)域定位與識(shí)別、視頻信息中字幕及標(biāo)識(shí)的自動(dòng)提取與識(shí)別、智能交通系統(tǒng)中車(chē)牌區(qū)域的自動(dòng)提取與識(shí)別等,均是基于ROI的自動(dòng)分割技術(shù)的具體應(yīng)用,有的已經(jīng)形成具有一定應(yīng)用價(jià)值的產(chǎn)品,有著廣闊的市場(chǎng)潛力。本文對(duì)ROI自動(dòng)檢測(cè)的一般性原理作簡(jiǎn)單的探索,并通過(guò)BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)汽車(chē)圖像中車(chē)牌區(qū)域的自動(dòng)檢測(cè)、定位與分割過(guò)程,來(lái)說(shuō)明ROI自動(dòng)檢測(cè)方法。ROI數(shù)據(jù)模型與自適應(yīng)檢測(cè)系統(tǒng)方案設(shè)計(jì)1roi的建?；赗OI的圖像檢測(cè)是基于ROI的圖像應(yīng)用系統(tǒng)(壓縮存儲(chǔ)、目標(biāo)識(shí)別等)的核心部分,它直接影響系統(tǒng)的信息處理效果。因此如何設(shè)計(jì)ROI的檢測(cè)算法和算法的有效性,成為非常重要的研究?jī)?nèi)容。設(shè)f(x,y,t,λ)表示一個(gè)視頻序列,其中的第k幀表示為f(x,y,k,λ),如果該幀包含ROI信息數(shù)據(jù),則ROI背景之間的關(guān)系可用圖1的簡(jiǎn)單模型表示,并可用關(guān)系式(1)描述如下式中:fr(x,y,k,λ)——ROI區(qū)域,(fr(x,y,k,λ))——所有屬于ROI的像素集合,簡(jiǎn)寫(xiě)為(fr),類(lèi)似地,(fb)——所有屬于背景的像素集合。如果fr(x,y,k,λ)在(x,y,k,λ)上的支持域記為Rr(x,y,k,λ),檢測(cè)并分割ROI的過(guò)程可以首先通過(guò)檢測(cè)并建立ROI指示函數(shù)Ir,由Ir與原圖像fr(x,y,k,λ)一起分割并提取ROI。ROI指示函數(shù)可表示如下式(2)表明,Ir的建立過(guò)程是一個(gè)多維非平穩(wěn)信號(hào)空間中的二元假設(shè)檢驗(yàn)問(wèn)題,要進(jìn)行這樣的檢測(cè),需要分析圖像數(shù)據(jù)灰度級(jí)(彩色)模型,分析f、fr、fb的關(guān)系,可以得到線性加權(quán)的灰度級(jí)模型如下f(x,y,k,λ)=(1-Ir(x,y,k))fb(x,y,k,λ)+fr(x,y,k)+W(x,y,k)fb(x,y,k)Ir(x,y,k)(3)式中:W(x,y,k)——加權(quán)系數(shù),表示ROI區(qū)域與其被遮擋的背景部分的融合系數(shù)。對(duì)于可見(jiàn)光圖像,若ROI為前景,且遮擋相應(yīng)的背景時(shí),W(x,y,k)=0,式(3)變?yōu)槭?4)。f(x,y,t,λ)=(1-Ir(x,y,t))fu(x,y,t,λ)+fr(x,y,t)(4)1.2roi檢測(cè)域內(nèi)的判別條件檢測(cè)提取ROI子圖像的工作可以簡(jiǎn)單描述如下。(1)依據(jù)ROI的識(shí)別標(biāo)識(shí),檢測(cè)在當(dāng)前幀中是否存在ROI信息數(shù)據(jù);(2)如果存在ROI,依據(jù)ROI存在支持域,分割ROI。通常,ROI識(shí)別特征集可以表示為C={Ci,i=1,2,…,L}(5)式中:Ci——ROI具有的某種識(shí)別特征。因此ROI檢測(cè)域可表示為如下定理。定理在被觀察的圖像中,其特征滿足所有ROI識(shí)別特征集的區(qū)域即為ROI。具體的工程實(shí)現(xiàn)如下。在進(jìn)行基于ROI的分割時(shí),只能采用逐個(gè)特征提取的辦法,依次去除ROI不確定性,逐步找到準(zhǔn)確的ROI區(qū)域,在每步去除ROI不確定性的步驟中,均存在與之相對(duì)應(yīng)的特征判別條件準(zhǔn)則。假設(shè)去除ROI不確定性的步驟分為4步,則與之相對(duì)應(yīng)的判別準(zhǔn)則分別表示為C1、C2、C3、C4。用Ck+1/Ck表示在滿足Ck的條件下,進(jìn)行滿足Ck+1條件的檢測(cè)過(guò)程,因此實(shí)際的檢測(cè)過(guò)程就可用圖2表示,并可用式(6)表示如下式中:{pix(C1)}——具有C1識(shí)別特征的所有點(diǎn)集,{pix(C2)/pix(C1)}——具有C1識(shí)別特征的條件下,同時(shí)具有C2識(shí)別特征的所有點(diǎn)集,其余與此類(lèi)同。根據(jù)上述方程,可以畫(huà)出檢測(cè)系統(tǒng)的框圖如圖3所示。2關(guān)鍵技術(shù)及其實(shí)現(xiàn)2.1車(chē)輛管理目標(biāo)區(qū)域經(jīng)過(guò)前面的分析,已經(jīng)初步建立自動(dòng)檢測(cè)ROI理論模型和工程實(shí)現(xiàn)的一般流程圖,下面通過(guò)具體的工程實(shí)現(xiàn)來(lái)檢驗(yàn)該模型?；赗OI的檢測(cè)技術(shù),從本質(zhì)上來(lái)說(shuō)是屬于基于內(nèi)容的圖像分析技術(shù)的范疇。顏色、輪廓與形狀、紋理特征分析(包括空間特征關(guān)系)是圖像內(nèi)容檢測(cè)過(guò)程中進(jìn)行圖像特征提取最常用的方法。因此,根據(jù)式(6)和圖3,提出基于色彩、紋理和圖像區(qū)域幾何特征的多層分級(jí)檢測(cè)算法如下{ROS}={pix(col)}∩{pix(tex)/pix(col)}∩{pix(shape)/pix(col),pix(tex)}(7)式中:{ROS}——圖像敏感信息目標(biāo)區(qū)域;{pix(col)}——具有ROI顏色特征的所有像素子集;{pix(tex)/pix(col}——在具有ROI顏色特征的條件下,具有ROI紋理特征的所有像素子集;{pix(shape)/pix(col),pix(tex)}——同時(shí)具有ROI顏色和紋理特征條件下,還具有ROI形狀特征的所有像素子集。下面通過(guò)汽車(chē)牌照?qǐng)D像中車(chē)牌區(qū)域的自動(dòng)檢測(cè)與分割來(lái)驗(yàn)證式(7)算法的有效性。首先對(duì)汽車(chē)牌照?qǐng)D像的特征作簡(jiǎn)單分析,得出每個(gè)特征檢測(cè)集的具體描述內(nèi)容。國(guó)內(nèi)汽車(chē)牌照根據(jù)顏色組合可分為4類(lèi):藍(lán)底白字、黃底黑字、黑底白字和白底黑字。汽車(chē)前牌照,其尺寸均為44cm長(zhǎng)、14cm寬。民用汽車(chē)牌照是由一個(gè)省份漢字后跟字母或阿拉伯?dāng)?shù)字組成的7個(gè)字序列。標(biāo)準(zhǔn)車(chē)牌的具體排列格式是:X1X2·X3X4X5X6X7,X1是各省、直轄市的簡(jiǎn)稱(chēng),X2是英文字母,X3是英文字母或阿拉伯?dāng)?shù)字,X4X5X6X7是阿拉伯?dāng)?shù)字。除第一個(gè)漢字外,字母和數(shù)字的筆畫(huà)在豎直方向都是連通的。從人的視覺(jué)特點(diǎn)出發(fā),車(chē)牌區(qū)域目標(biāo)具有如下特征。①車(chē)牌底色往往與車(chē)身顏色、字符顏色有較大差異;②車(chē)牌有一個(gè)連續(xù)或由于磨損而不連續(xù)的邊框,車(chē)牌內(nèi)字符有多個(gè),基本呈水平排列,所以在車(chē)牌照的矩形區(qū)域內(nèi)存在較豐富的邊緣,呈現(xiàn)出規(guī)則的紋理特征;③車(chē)牌內(nèi)字符之間的間隔比較均勻,字符和牌照底色在灰度值上存在跳變,而字符本身與牌照底的內(nèi)部都有較均勻的灰度;④不同圖像中牌照的具體大小、位置不確定,但其長(zhǎng)寬比有一定的范圍。根據(jù)以上分析,可以采用圖2來(lái)表示實(shí)際檢測(cè)過(guò)程。首先將原始圖像進(jìn)行像素色聚類(lèi)分析并二值化,得到一個(gè)由0,1構(gòu)成的二維離散隨機(jī)場(chǎng);接下來(lái)是進(jìn)行像素的凝聚性分析,得到ROI候選區(qū)域,便于進(jìn)一步進(jìn)行ROI區(qū)域的辨識(shí);最后根據(jù)各候選區(qū)域的幾何特征、紋理特征辨識(shí)出每塊ROI區(qū)域的屬性,并最終從原始圖像中分割出目標(biāo)ROI,實(shí)現(xiàn)車(chē)牌圖像區(qū)域的自動(dòng)檢測(cè)與分割。2.2bp神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)在像素色彩聚類(lèi)分析時(shí),實(shí)際上是根據(jù)每個(gè)像素點(diǎn)的RGB值(或灰度值),通過(guò)圖4的過(guò)程,將彩色圖像的像素信息f(x,y,λ)進(jìn)行非線性映射到一個(gè)有0、1組成的二維隨機(jī)場(chǎng)BW(x,y)中。進(jìn)行該過(guò)程常用兩類(lèi)方法,一類(lèi)用確定性方法,如通過(guò)色彩的空間變換法,將RGB數(shù)據(jù)變換到易于進(jìn)行分類(lèi)處理的另一個(gè)色彩空間,如HSV空間,然后通過(guò)與一個(gè)事先設(shè)定的閾值作對(duì)比,將圖像二值化。具體方法可參閱文獻(xiàn)。另一類(lèi)方法是直接采用神經(jīng)網(wǎng)絡(luò)的方法,通過(guò)神經(jīng)網(wǎng)絡(luò)的非線性變換特性,直接將彩色圖像數(shù)據(jù)進(jìn)行非線性變換,得到二值化數(shù)據(jù)。采用第二類(lèi)方法進(jìn)行二值化變換時(shí),相對(duì)于第一類(lèi)方法具有如下優(yōu)點(diǎn)。由于光照、明暗程度的變化,同一種顏色在人類(lèi)的色彩視覺(jué)效應(yīng)中是相同的,但是它們?cè)谟?jì)算機(jī)上測(cè)量得到的數(shù)據(jù)會(huì)有非常大的出入。如果更換ROI對(duì)象時(shí),由于不同對(duì)象具有的顏色特征完全不同,需要重新設(shè)定判別數(shù)據(jù),適應(yīng)性較差,而第二種方法正好可以克服這兩方面的困難。因此,本文探討采用BP神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)圖像色彩聚類(lèi)分析和后面的ROI識(shí)別檢測(cè)過(guò)程。本文采用如圖5所示的三層前向感知器模型。輸入層包含三個(gè)節(jié)點(diǎn),分別輸入各像素點(diǎn)的RBG值,隱層包含10個(gè)節(jié)點(diǎn),輸出層只有一個(gè)節(jié)點(diǎn)。輸入層的權(quán)值矩陣分別用W表示,輸出層的權(quán)值矩陣用V表示。該過(guò)程可以用式(8)表示如下式中:wjk——輸入層第k個(gè)節(jié)點(diǎn)和隱層第j個(gè)節(jié)點(diǎn)間的權(quán)重,vij——隱層第j個(gè)節(jié)點(diǎn)和輸出層第i個(gè)節(jié)點(diǎn)間的權(quán)重,f(·)——神經(jīng)元的非線性傳遞函數(shù),監(jiān)督輸出矢量為T(mén),則網(wǎng)絡(luò)訓(xùn)練的代價(jià)函數(shù)用T與實(shí)際輸出矢量Y(此處為BW(x,y)的值)差值的平方和表示為ε=12∑i(ti?yi)2ε=12∑i(ti-yi)2(9)當(dāng)調(diào)整權(quán)重矩陣使代價(jià)函數(shù)取最小值時(shí),網(wǎng)絡(luò)訓(xùn)練結(jié)束。該算法的權(quán)重調(diào)整公式為式中:yi——輸出層節(jié)點(diǎn)的輸出值;pj——隱層節(jié)點(diǎn)的輸出值yi=11+e?Σjpjwij,pj=11+e?Σkxkvjkyi=11+e-Σjpjwij,pj=11+e-Σkxkvjk(12)經(jīng)過(guò)輸入訓(xùn)練圖像集和目標(biāo)圖像就可以訓(xùn)練該網(wǎng)絡(luò),訓(xùn)練結(jié)束后,所有權(quán)值矩陣W、V自動(dòng)調(diào)整到最佳狀態(tài),即可進(jìn)行色彩聚類(lèi)分析。下面是針對(duì)該網(wǎng)絡(luò)的訓(xùn)練過(guò)程和ROI檢測(cè)仿真試驗(yàn)分析。針對(duì)不同對(duì)象的訓(xùn)練圖像集,在訓(xùn)練結(jié)束后,就可以用于不同對(duì)象的ROI的自動(dòng)檢測(cè),從而使系統(tǒng)具備自適應(yīng)的功能。3roi自動(dòng)分割實(shí)驗(yàn)根據(jù)圖2,將ROI的自動(dòng)檢測(cè)過(guò)程分為如下幾個(gè)階段:像素色彩聚類(lèi)分析、像素凝聚性分析和ROI區(qū)域辨識(shí)處理等三個(gè)階段。采用圖5的BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行像素色彩聚類(lèi)分析,采用圖6所示的兩幅圖像分別作為訓(xùn)練圖像和目標(biāo)圖像,對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。首先用經(jīng)典的帶動(dòng)量項(xiàng)BP算法對(duì)網(wǎng)絡(luò)訓(xùn)練1000個(gè)周期,學(xué)習(xí)速度0.1,動(dòng)量值0.95,學(xué)習(xí)到1000個(gè)周期時(shí)的平均誤差平方和小于10-2,此時(shí)輸入測(cè)試集得到測(cè)試輸出值。然后將該網(wǎng)絡(luò)用于圖6(a)的測(cè)試集,測(cè)試結(jié)果見(jiàn)圖6(b)。對(duì)于像素凝聚性分析和ROI區(qū)域辨識(shí)處理兩個(gè)過(guò)程,采用與圖5類(lèi)似的三層網(wǎng)絡(luò)結(jié)構(gòu),只是輸入的變量個(gè)數(shù)不同,結(jié)構(gòu)稍有差異,此處不再作結(jié)構(gòu)圖。在像素凝聚性分析時(shí),以經(jīng)過(guò)二值化處理的圖像中灰度值為1的一個(gè)像素為中心的3×3矩形區(qū)域的圖像數(shù)據(jù)(0,1序列)作為輸入數(shù)據(jù),通過(guò)網(wǎng)絡(luò)檢測(cè)該點(diǎn)鄰域數(shù)據(jù)是否存在不為零的數(shù)據(jù)來(lái)判斷是否連通:輸出1,表示該區(qū)域連通;輸出為零,表示該點(diǎn)為孤立點(diǎn),去除。經(jīng)過(guò)該步處理,圖像變?yōu)閹讉€(gè)連通的ROI候選區(qū)域,便于進(jìn)一步進(jìn)行ROI辨識(shí)過(guò)程。在進(jìn)行ROI辨識(shí)處理時(shí),需要對(duì)像素凝聚性分析得到的ROI候選區(qū)域進(jìn)行預(yù)處理,通過(guò)計(jì)算機(jī)自動(dòng)計(jì)算出各子圖像的幾何特征值(寬高比、黑白像素比、面積等)、紋理特征值(每行像素值跳變的平均次數(shù)等)作為ROI區(qū)域識(shí)別網(wǎng)絡(luò)模型的輸入值,該網(wǎng)絡(luò)輸入層包含6個(gè)節(jié)點(diǎn),分別輸入候選區(qū)域的寬高比、內(nèi)部紋理特性數(shù)據(jù)等;隱層包含10個(gè)節(jié)點(diǎn),輸出層包含兩個(gè)節(jié)點(diǎn),分別給出該區(qū)域是否為ROI的結(jié)論。為驗(yàn)證上述算法的有效性,首先建立一個(gè)包含各種條件下拍攝的各式車(chē)輛的汽車(chē)前牌照區(qū)域圖像,采用Matlab6.1將上述算法編寫(xiě)為m文件,分別用藍(lán)底白字,黃底黑字的各種車(chē)牌圖像驗(yàn)證上述算法。圖6為具體的仿真試驗(yàn)結(jié)果。圖6表明,該算法能夠準(zhǔn)確有效地自動(dòng)分割車(chē)牌圖像中的ROI區(qū)域。采用該算法對(duì)圖像庫(kù)中所有包含車(chē)牌的彩色圖像(500幅)進(jìn)行了ROI自動(dòng)分割實(shí)驗(yàn),從中隨機(jī)抽取100幅,分為5組,每組的第一幅作為訓(xùn)練圖像和后19幅作為測(cè)試集,后兩組圖像通過(guò)人工加入隨機(jī)高斯噪聲。試驗(yàn)過(guò)程中采用如下三種訓(xùn)練方案,分別對(duì)5組圖像進(jìn)行訓(xùn)練和處理。方案1將訓(xùn)練集圖像的RGB數(shù)據(jù)直接輸入圖5的模型中訓(xùn)練,得到的ROI候選區(qū)域經(jīng)過(guò)計(jì)算機(jī)自動(dòng)處理后,輸入辨識(shí)處理模型中訓(xùn)練,然后用于對(duì)測(cè)試集的識(shí)別。方案2將訓(xùn)練集圖像壓縮為64×48大小后,將其RGB數(shù)據(jù)輸入圖5的模型中訓(xùn)練,得到的ROI候選區(qū)域經(jīng)過(guò)計(jì)算機(jī)自動(dòng)處理后,輸入辨識(shí)處理模型中訓(xùn)練,用于對(duì)測(cè)試集的識(shí)別。方案3將訓(xùn)練集圖像壓縮為64×48大小后,依次加入隨機(jī)高斯噪聲,再將其RGB數(shù)據(jù)輸入圖5的模型中訓(xùn)練,得到的ROI候選區(qū)域經(jīng)過(guò)計(jì)算機(jī)自動(dòng)處理后,輸入辨識(shí)處理模型中訓(xùn)練,然后用于對(duì)測(cè)試集的識(shí)別。方案4只將訓(xùn)練集第一幅圖像作為訓(xùn)練圖像,將其壓縮為64×48大小后,再將其RGB數(shù)據(jù)輸入圖5的模型中訓(xùn)練,得到的ROI候選區(qū)域經(jīng)過(guò)計(jì)算機(jī)自動(dòng)處理后,輸入辨識(shí)處理模型中訓(xùn)練,然后用于對(duì)測(cè)試集的識(shí)別。方案5將訓(xùn)練集第一幅圖像作為訓(xùn)練圖像,將其壓縮為64×48大小后,加入隨機(jī)高斯噪聲,再將其RGB數(shù)據(jù)輸入圖5的模型中訓(xùn)練,得到的ROI候選區(qū)域經(jīng)過(guò)計(jì)算機(jī)自動(dòng)處理后,輸入辨識(shí)處理模型中訓(xùn)練,然后用于對(duì)測(cè)試集的識(shí)別。從表1中可以看出,方案1、2的自動(dòng)檢測(cè)準(zhǔn)確度均達(dá)到98%,說(shuō)明將480×640維圖像變?yōu)?8×64維圖像,不會(huì)影響ROI的自動(dòng)檢測(cè);方案3為加入隨機(jī)高斯噪聲后,網(wǎng)絡(luò)性能并沒(méi)有顯著降低,仍然達(dá)到97.5%,說(shuō)明網(wǎng)絡(luò)具備較強(qiáng)的抗干擾性能。方案4、5為降低訓(xùn)練的圖像數(shù)量,可以看到網(wǎng)絡(luò)的處理效果稍微有所下降,但仍然達(dá)到非常好的效果。4基于bp神經(jīng)網(wǎng)絡(luò)的多層自動(dòng)檢測(cè)模型基于ROI的