視頻序列圖像中火焰的檢測

視頻序列圖像中火焰的檢測

準(zhǔn)確檢測火災(zāi)并進(jìn)行初步報警是消防安全的積極手段。傳統(tǒng)的火災(zāi)報警系統(tǒng)一般基于紅外傳感器和煙霧傳感器,也就是探測火災(zāi)發(fā)生時生成的煙、溫度和光等參量,經(jīng)信號處理、比較、判斷后發(fā)出火災(zāi)報警信號。在世界范圍內(nèi),人們已成功地利用大量的典型火災(zāi)探測報警系統(tǒng)來保護(hù)眾多的建筑。但在室外倉庫和大型室內(nèi)倉庫等大空間場合的火災(zāi)報警中,上述方法并不能很好地適用。普通的點型感煙、感溫火災(zāi)探測報警系統(tǒng)無法迅速采集火災(zāi)發(fā)出的煙溫變化信息,所以難以滿足早期探測并預(yù)報此類火災(zāi)的要求。大空間火災(zāi)探測問題成為火災(zāi)探測報警領(lǐng)域研究的重要課題之一?，F(xiàn)在廣泛引用的被稱為電子眼的視頻監(jiān)控系統(tǒng)可以改善原有系統(tǒng)的不足之處,但同時又產(chǎn)生了另外一個問題,即這種系統(tǒng)過分依賴于人,必須時刻要求有人注視著顯示器,這同樣存在隱患。因為很難保證工作人員不會因為疲倦等因素而造成的“失職”,而這有可能造成不可挽回的損失。圖像是人類視覺的延伸,通過視覺可以立即準(zhǔn)確地發(fā)現(xiàn)火災(zāi),因此讓計算機根據(jù)豐富和直觀的圖像信息辨識和判斷早期火災(zāi),成為研究目標(biāo)。而且圖像監(jiān)測的關(guān)鍵器件(如敏感元件)通過光學(xué)鏡頭與外界發(fā)生間接接觸,這種結(jié)構(gòu)保證了圖像監(jiān)測技術(shù)既可以在較惡劣(多粉塵、高濕度)的室內(nèi)環(huán)境中使用,也可以在室外壞境中使用。在火災(zāi)中,燃燒時火焰的灰度圖的灰度值的分布也有一定的特征,火焰色彩分布有一定的特征,還有火焰的邊緣不穩(wěn)定。此外,火災(zāi)發(fā)生的早期還可能是沒有明火的燃燒,其表現(xiàn)為有大量的煙霧,火災(zāi)發(fā)生時的煙霧也具有明顯的特征。在火災(zāi)剛發(fā)生時,煙霧是從無到有、面積從小到大,不斷膨脹的;煙霧色彩值的分布也不同于其他圖像,也可以作為煙霧的識別特征。因此可以用圖像識別的方法,對現(xiàn)場拍攝來的圖像進(jìn)行處理、分析進(jìn)而識別是否有火災(zāi)。基于視頻圖像的火災(zāi)自動檢測,即通過設(shè)計一套與原有的電子眼系統(tǒng)相配套的軟件系統(tǒng)來實現(xiàn)對易發(fā)生火災(zāi)的現(xiàn)場實現(xiàn)自動監(jiān)控。也就是對電子眼系統(tǒng)采集的視頻圖像進(jìn)行分析處理,提取目標(biāo)特征,對比火災(zāi)圖像的特征,判斷是否是火焰,從而判斷是否有火災(zāi)發(fā)生,一旦發(fā)生火災(zāi)及時自動報警。本文介紹了火焰圖像的特征及火災(zāi)自動檢測的算法和實現(xiàn)過程。1圖像的間分布和邊緣檢測基于視頻圖像的火災(zāi)自動檢測系統(tǒng)是利用CCD攝像機作為探頭,將被監(jiān)視現(xiàn)場的圖像輸入計算機,然后利用圖像處理的算法,從單幅圖像和圖像序列中提取目標(biāo)特征,再對比火災(zāi)圖像的特征來識別有無火災(zāi)的發(fā)生。而火災(zāi)檢測的重要依據(jù)是檢測圖像中是否有煙霧或火焰,因此必須分析并得到煙霧和火焰在視頻序列圖像中的特征。1.1火焰的基本特性對火災(zāi)現(xiàn)場的識別主要是基于火焰圖像的基本特性來實現(xiàn)的?；馂?zāi)是一種失去控制的燃燒,初期火災(zāi)的火焰是從無到有,是非定常的,不同時刻火焰的形狀、面積、輻射強度都在發(fā)生變化。抓住火災(zāi)火焰的這些特點可以為火災(zāi)的識別打下良好的基礎(chǔ)?；鹧鎴D像的基本特性主要表現(xiàn)為如下幾個方面:a)面積的變化?；馂?zāi)發(fā)生后其火焰在不斷地發(fā)展著,隨著火勢的增大,火焰也不斷地增強。因而從火焰的圖像特性來說,火焰面積呈連續(xù)擴展性增加的趨勢。b)邊緣的變化?；馂?zāi)火焰的邊緣變化與其他的高溫物體和燈光及穩(wěn)定火焰的邊緣變化也有一定的區(qū)別?？梢岳没鹧孢吘壍淖兓瘉磉M(jìn)行火災(zāi)判別?；鹧孢吘壎秳邮腔馂?zāi)火焰的特性,而其他高溫物體、燈光和穩(wěn)定火焰邊緣比較穩(wěn)定。c)火焰的相似度。從攝像機攝入的火災(zāi)火焰的連續(xù)圖像看,雖然火災(zāi)呈不斷發(fā)展變化的趨勢,但從其形體變化、空間變化、空間分布來看有一定的相似性。特別是間斷較短的連續(xù)幀圖像來說,每幅連續(xù)幀圖像上述特性有一定的相似度。d)火焰的色彩分布。任何火焰,因其溫度的不均勻且表現(xiàn)出一定的規(guī)律而可以分為外焰、內(nèi)焰和焰心三部分。從其溫度來說外焰溫度最高,其次是內(nèi)焰,焰心溫度最低。因而造成火焰圖像顏色分布和灰度級呈一定的分布規(guī)律。1.2火焰的特征提取設(shè)數(shù)字化的序列圖像為{fi(x,y)},i=1,…,N;fi(x,y)為第i幀圖像;(x,y)為圖像中各個像素的坐標(biāo);N為圖像序列的幀數(shù),在實際系統(tǒng)中,N應(yīng)大于2。對于每幀數(shù)字圖像有(x,y)∈Ωi,Ωi為第i幀圖像的面積。對于視頻圖像信號,設(shè)定一穩(wěn)定的基準(zhǔn)圖像,令其為f0(x,y)。系統(tǒng)以基準(zhǔn)圖像表示視頻圖像信號的正常情況。1.2.1邊緣檢測和輪廓提取在圖像處理中,目標(biāo)物體的面積可用其所包含的像素點的數(shù)量來表示。根據(jù)火焰燃燒的動態(tài)特性,從視頻序列圖像中,可以首先分離出可疑的火焰區(qū)域,即進(jìn)行圖像分割。通過圖像分割提取物體輪廓,并定位圖像中的目標(biāo)物體。在理想圖像中,可以采用挖空法再結(jié)合邊緣跟蹤技術(shù)設(shè)計算法來實現(xiàn),但在實際工程應(yīng)用中,所獲取的圖像中的噪聲很多,而現(xiàn)有的邊緣檢測算法,使用Canny、RobertsCross、Prewitt和Sobel等邊緣檢測算子,根據(jù)灰度值是否發(fā)生躍變來檢測圖像中物體的邊緣。這些方法檢測出的輪廓一般粗細(xì)不一,邊緣不連續(xù)之處過多,為此在檢測出圖像中物體的輪廓后,還要花費大量的時間來進(jìn)行輪廓的細(xì)化處理,再把不連續(xù)的輪廓連接起來。由于圖像中噪聲的存在,這在實際應(yīng)用中既很難實現(xiàn),實時性也很差。雖然噪聲消除可使用腐蝕和膨脹的方法,但并不能解決問題,因為若一次腐蝕之后發(fā)現(xiàn)噪聲區(qū)域還存在,則需再次腐蝕,直到達(dá)到要求為止。但在實際應(yīng)用中,數(shù)字圖像處理和識別自動進(jìn)行,不可以觀測每次腐蝕的結(jié)果。由于噪聲區(qū)域有大有小,難以人為地設(shè)定腐蝕的次數(shù),也就無法確定應(yīng)該對圖像進(jìn)行多少次腐蝕才能達(dá)到要求。再者,如果對圖像進(jìn)行多次腐蝕處理,通過挖空法和輪廓跟蹤所得到的輪廓也會與物體的實際輪廓存在差別,從而影響目標(biāo)識別的準(zhǔn)確性,差別如果太大(經(jīng)過很多次腐蝕),可能導(dǎo)致無法識別。還有,進(jìn)行多次腐蝕運算,再經(jīng)過挖空處理、區(qū)域增長處理和輪廓跟蹤等,就要耗費大量時間,不能滿足對實時性要求較高的自動火災(zāi)識別等應(yīng)用的要求。為此本文提出一種基于連通區(qū)域面積閾值化的實現(xiàn)算法,可以同時實現(xiàn)噪聲消除和輪廓提取,以更好地定位圖像中的目標(biāo)物體。其算法思想是,先用差分法判斷有無目標(biāo)物體,若有,則得到目標(biāo)物體的區(qū)域,然后對該區(qū)域圖像用閾值迭代選取法確定的閾值進(jìn)行二值化處理,在圖像中可以得到一塊塊連通的區(qū)域,這些區(qū)域有的是物體部分,有的則是噪聲;再把每一個連通的白色區(qū)域看做是一個集合,對每一個集合進(jìn)行具體分析,消除噪聲,得到物體的輪廓。算法過程如下:a)將fi(x,y)和f0(x,y)轉(zhuǎn)換成灰度圖像,分別為Bfi(x,y)和Bf0(x,y),計算其中:i=1,…,N;(x,y)∈Ω,δi(x,y)為一個差分圖,取閾值Th1,得到目標(biāo)物體所在的區(qū)域RO。b)在區(qū)域RO上用迭代選取方法選取閾值,用該閾值對灰度圖像進(jìn)行二值化處理,得到黑白圖像。c)掃描該二值圖像,把該二值圖像中所有灰度值為255的像素點都加入到以PixelLine為頭節(jié)點的鏈表中。d)對PixelLine鏈表中的像素點進(jìn)行分類處理,產(chǎn)生每個連通區(qū)域所對應(yīng)的集合,并為每一個集合建立一個鏈表。e)對得到的每一個以鏈表形式表示的連通區(qū)域,統(tǒng)計其面積,再選取適當(dāng)?shù)拿娣e值(從統(tǒng)計出的面積值中選取)作為閾值對圖像進(jìn)行過濾,超過面積閾值的連通區(qū)域被完整地保留下來,面積較小的連通區(qū)域則被作為噪聲而消除。f)采用挖空法就可以得到物體的單像素寬度的連續(xù)輪廓且不會出現(xiàn)輪廓交叉的情況。設(shè)得到的fi(x,y)圖像中的目標(biāo)輪廓有m個,表示為wi,1,…,wi,m。先找到目標(biāo)所在的局部區(qū)域,再進(jìn)行目標(biāo)的輪廓提取和定位,比對整個圖像處理能減少計算量,可提高處理速度、提高實時性。1.2.2相似度計算火焰在燃燒過程中邊緣會跳動,因此相鄰幀同一可疑區(qū)域的大小即面積會發(fā)生變化,但輪廓相似。為進(jìn)一步驗證可疑區(qū)域是否為火焰,分別再計算fi+1(x,y),fi+2(x,y),fi+3(x,y),fi+4(x,y),fi+5(x,y)連續(xù)五個圖像的目標(biāo)輪廓;然后再計算wp,j和wi,j(p=i+1,i+2,…,i+5)的面積差和相似度,為S(p,i)和sim(p,i)。圖像的相似度定義為(其中Ω為圖像區(qū)域)對于各個sim(p,i),統(tǒng)計其均值sim=∑p=i+1i+5sim(p,i)/5sim=∑p=i+1i+5sim(p,i)/5。給定閾值Th2、Th3,若S(p,i)≥Th2,且1>sim(p,i)≥Th3,則變化區(qū)域為可疑的火焰區(qū)域。1.2.3火災(zāi)的色彩模型在現(xiàn)實環(huán)境中,火災(zāi)的發(fā)生有兩種可能現(xiàn)象:初期產(chǎn)生大量煙霧;有直接的明火。這兩種現(xiàn)象,色彩模型完全不同,要分別處理。1)煙霧模型煙霧也是火災(zāi)發(fā)生的主要特征,但煙霧并不像火焰那樣有相對容易與別的物體相區(qū)別的特征屬性。但并不是說煙霧在火災(zāi)識別中就毫無作用。相反,如果能結(jié)合和利用好煙霧的特征,就能大幅度地提高系統(tǒng)報警的準(zhǔn)確性,自然也就提高了系統(tǒng)的實用性。在火災(zāi)發(fā)生時,煙霧最明顯的特征就是,其從無到有且面積是不斷膨脹的。因此可根據(jù)厭惡的形狀和色彩特征確定疑似煙霧的區(qū)域。給出如下定義:其中:R、G、B為圖像像素的紅、綠、藍(lán)三個顏色分量的值。筆者收集了159幅煙霧的圖像,共包含4365342個像素。經(jīng)統(tǒng)計分析,提取了煙霧的特征信息,即煙霧的象素點色彩滿足如下條件:由這些像素點構(gòu)成為疑似煙霧的區(qū)域;然后統(tǒng)計該區(qū)域的面積;再對相鄰圖像用同樣的方法進(jìn)行處理、分析;最后比較兩次處理所得到的面積,若面積有變化,則給出報警。2)火焰模型從網(wǎng)上收集239張大小不一的彩色圖片,其中包含有不同光照、遮擋等情況下的火焰。共包含8189262個像素,對每個像素的顏色分量進(jìn)行統(tǒng)計,發(fā)現(xiàn)火焰的顏色的分布與一般的發(fā)光物體的顏色分布是不同的。歸納得到火焰圖像中各個像素的顏色分量,存在如下關(guān)系:其中:R(x,y)、G(x,y)和B(x,y)分別表示在圖像位置(x,y)處像素的紅、綠、藍(lán)三個顏色分量的值;K表示圖像中像素的總數(shù);Rmean表示圖像中像素的色分量的均值,而且R(x,y)>200,G(x,y)<200,B(x,y)<100。圖像像素的亮度和色度均會隨著光照的變化而變化,因此光照的變化對火災(zāi)檢測也會產(chǎn)生較大的影響。為了減少光照的影響,存在多種方法,主要是將RGB彩色空間轉(zhuǎn)換到對光照不敏感的彩色空間,如YUV等,但變換計算比較費時。為此,可采用不同顏色分量之間的相對值,即比值來消除光照的影響。歸納得到火焰圖像像素的三種顏色分量存在以下關(guān)系特性:2火災(zāi)試驗的實施2.1系統(tǒng)部分結(jié)構(gòu)系統(tǒng)由實時視頻采集、圖像處理和識別、數(shù)據(jù)管理、自動報警、遠(yuǎn)程聯(lián)動服務(wù)器等部分組成。硬件部分結(jié)構(gòu)如圖1所示。系統(tǒng)軟件部分包含系統(tǒng)初始化(包括工作參數(shù)的設(shè)定等)、自動檢測、數(shù)據(jù)管理、自動報警、遠(yuǎn)程傳輸?shù)裙δ苣K。一臺PC機可配置多個攝像機,對不同空間進(jìn)行探測。遠(yuǎn)程聯(lián)動是指通過計算機網(wǎng)絡(luò),可接入消防隊、醫(yī)院等合作機構(gòu),及時報警,以便及時聯(lián)合處置火災(zāi)。2.2現(xiàn)場照片的采集通過攝像機實時采集圖像,從視頻流中抓取現(xiàn)場一幀圖像,對圖像進(jìn)行檢測處理。當(dāng)檢測發(fā)現(xiàn)有火災(zāi)信息后,立即抓拍現(xiàn)場圖片,并將圖片連同現(xiàn)場相關(guān)信息(如當(dāng)時的地點、日期、時間等)一并記錄保存到數(shù)據(jù)庫中;同時通過計算機網(wǎng)絡(luò)將相關(guān)信息傳送給聯(lián)動中心服務(wù)器,并在本地和遠(yuǎn)程聯(lián)動中心同時發(fā)出報警信號。系統(tǒng)工作流程如圖2所示。2.3主要技術(shù)措施1基準(zhǔn)圖像的更新為了檢測是否有動態(tài)目標(biāo),采取了當(dāng)前圖像與基準(zhǔn)圖像差分的方法。但隨著時間的推移,光照變化、地面上的異物遮蓋、天氣變化等均會引起圖像的色彩變化,從而會產(chǎn)生誤判。為此采用了動態(tài)與定時相結(jié)合方式,及時更新基準(zhǔn)圖像,使得檢測更準(zhǔn)確,具有全天候適應(yīng)性。這也是本算法的關(guān)鍵過程。所謂動態(tài),若當(dāng)前現(xiàn)場圖像沒有火焰,則以當(dāng)前圖像作為新的基準(zhǔn)圖像,再繼續(xù)檢測下一幀現(xiàn)場圖像。所謂定時,就是每隔一定時間,從視頻序列圖像中重新自動提取參考圖像,更新基準(zhǔn)圖像,減少誤判。定時時間由用戶設(shè)置,一般在30min以內(nèi)。由于定時更新基準(zhǔn)圖像,從而避免了攝像機位置偏移、光照變化、異物遮蓋、天氣變化等引起的誤判,不僅運算速度快,而且準(zhǔn)確率較高。同時其健壯性強,即使機器重新啟動,仍能繼續(xù)工作,因為最后一次基準(zhǔn)圖像圖像已保存在數(shù)據(jù)庫中。2圖像二次采樣法為了提高對圖像的實時處理速度,除了采用高性能快速硬件以外,還選用了優(yōu)化的算法,使用了圖像分割、圖像掩蔽技術(shù)對圖像進(jìn)行了二次采樣處理,算法簡單,速度較快,基本符合監(jiān)測系統(tǒng)對圖像處理的要求。同時還采用緩沖池、閾值動態(tài)調(diào)整等技術(shù)提高系統(tǒng)性能。3結(jié)果靜態(tài)圖片的測試結(jié)果如圖3所示。又從電影電視視頻文件中截取了一些片段進(jìn)行了測試。結(jié)果如表1所示。4遠(yuǎn)程聯(lián)動報警基于視頻數(shù)字圖像處理