非參數(shù)背景生成

非參數(shù)背景生成劉亞洲，姚鴻勛，高文，陳熙霖，趙德斌哈爾濱工業(yè)大學(xué)

中國科學(xué)院計(jì)算所摘要本文介紹了一種新穎的背景生成方法，該方法基于非參數(shù)背景模型，可用于背景減除。我們介紹一種新的名為影響因素描述（effectcomponentsdescriptionECD）的模型，用于描述背景的變動(dòng)；在此基礎(chǔ)上，我們可以用潛在分布的局部極值推導(dǎo)出最可靠背景狀態(tài)（mostreliablebackgroundmodeMRBM））該方法的基本計(jì)算過程采用MeanShift這一經(jīng)典的模式識(shí)別過程。MeanShift通過迭代計(jì)算，能夠在數(shù)據(jù)的密度分布中找到最近位置的點(diǎn)（譯者注：即找到數(shù)據(jù)最密集的點(diǎn)）。這種方法有三個(gè)優(yōu)點(diǎn)：（1）能從包含混亂運(yùn)動(dòng)對(duì)象的視頻中提取出背景；（2）背景非常清晰；（3）對(duì)噪聲和小幅度的（攝像機(jī)）振動(dòng)具有魯棒性。廣泛的實(shí)驗(yàn)結(jié)果證明了上述優(yōu)點(diǎn)。關(guān)鍵詞：背景減除，背景生成，MeanShift，影響因素描述，最可靠背景狀態(tài)，視頻監(jiān)視1引言在許多計(jì)算機(jī)視覺和視頻分析應(yīng)用中，運(yùn)動(dòng)對(duì)象的分割是一項(xiàng)基本任務(wù)。例如，視頻監(jiān)視，多媒體索引，人物檢測(cè)和跟蹤，有知覺的人機(jī)接口，“小精靈”視頻編碼。精確的對(duì)象分割能極大的提高對(duì)象跟蹤，識(shí)別，分類和動(dòng)態(tài)分析的性能。識(shí)別運(yùn)動(dòng)對(duì)象的通用方法有：光流，基于時(shí)間差異或背景減除的方法。其中，背景減除最常用。背景模型被計(jì)算出，并逐幀進(jìn)化；然后通過比較當(dāng)前幀和背景模型間的差異來檢測(cè)運(yùn)動(dòng)對(duì)象。這種方法的關(guān)鍵之處在于建立并維持背景模型。盡管文獻(xiàn)【1-4】提出了很多有前途的方法，但是運(yùn)動(dòng)對(duì)象檢測(cè)的精度這一基本問題仍然難以解決。第一個(gè)問題是:背景模型必須盡可能精確的反映真實(shí)背景，這樣系統(tǒng)才能精確的檢測(cè)運(yùn)動(dòng)對(duì)象的外形。第二個(gè)問題是：背景模型必須對(duì)背景場(chǎng)景的改變足夠靈敏，例如對(duì)象開始運(yùn)動(dòng)及停止運(yùn)動(dòng)。如果不能適當(dāng)?shù)慕鉀Q上述問題，背景減除會(huì)檢測(cè)出虛假對(duì)象，它們通常被稱為“幽靈”。目前已經(jīng)有了許多用于背景減除的背景建立和維持方法。按背景建模的步驟來分類，我們可以將其分為參數(shù)化的和非參數(shù)化的方法。參數(shù)化的背景建模方法通常假設(shè)：單個(gè)像素的潛在概率密度函數(shù)是高斯或者高斯混合函數(shù)，詳情請(qǐng)參看文獻(xiàn)【5-7】。Stauffer和Grimson在文獻(xiàn)【8】中提出了一種自適應(yīng)的背景減除方法，用于解決運(yùn)動(dòng)分割問題。在他們的工作成果中，他們?yōu)槊總€(gè)像素建立了高斯混合概率密度函數(shù)，然后用即時(shí)的近似值更新該模型。文獻(xiàn)【9，10】提出了對(duì)高斯混合模型的一些改進(jìn)方法。Toyama等人在文獻(xiàn)【2】中提出了一種三層的Wallflower方案，該方案嘗試解決背景維持中現(xiàn)存的許多問題，例如燈光打開關(guān)閉，前景孔穴等等0Haritaoglu等人在文獻(xiàn)【1】中提出的W4方法，該方法為背景建模而對(duì)每個(gè)像素保留了三個(gè)值的方法，包括最大值（M）,最小值（N）和最大幀間絕對(duì)差值（D）。Kim等人在文獻(xiàn)【11】中，將背景值量化到編碼本，編碼本描述了長視頻中背景模型的壓縮形式。另一類經(jīng)常用到的背景模型方法基于非參數(shù)化的技術(shù)，例如文獻(xiàn)【3,12-16】。Elgammal等人在文獻(xiàn)【3】中，通過核密度估計(jì)建立了一種非參數(shù)化的背景模型。對(duì)每個(gè)像素，為了估計(jì)潛在的概率密度函數(shù)而保留了觀測(cè)強(qiáng)度值，而新強(qiáng)度值的概率能通過該函數(shù)計(jì)算得出。這種模型具有魯棒性，能夠適應(yīng)混亂及不完全靜止但包含小擾動(dòng)場(chǎng)合下的背景，例如擺動(dòng)的樹枝和灌木。與參數(shù)化的背景模型方法相比，非參數(shù)化的背景模型方法具有以下優(yōu)點(diǎn)：不需要指定潛在的模型，不需要明確的估計(jì)參數(shù)【14】。因此，它們能適應(yīng)任意未知的數(shù)據(jù)分布。這個(gè)特性使非參數(shù)化的方法成為許多計(jì)算機(jī)視覺應(yīng)用的有力工具。在許多計(jì)算機(jī)視覺應(yīng)用中，許多問題牽涉到多元多種形式的密度，數(shù)據(jù)在特征空間中沒有規(guī)則的形態(tài)，沒有遵循標(biāo)準(zhǔn)的參數(shù)形式。但是，從時(shí)間和空間復(fù)雜度這一方面來看，非參數(shù)化的方法不如參數(shù)化的方法有效。參數(shù)化的方法產(chǎn)生簡潔的密度描述（例如高斯或高斯混合），得出有效的估計(jì)狀態(tài)。相對(duì)的，非參數(shù)化的方法在學(xué)習(xí)階段幾乎不需要計(jì)算，然而在評(píng)估階段需要高密度的計(jì)算。因此，非參數(shù)化方法的主要缺陷是它們的計(jì)算量。不過一些革新的工作成果已經(jīng)被提出，它們能加快非參數(shù)化方法的評(píng)估速度，例如文獻(xiàn)【13】中的快速高斯變換（FGT）,文獻(xiàn)【17】中的新balltree算法，核密度估計(jì)和K近鄰（KNN）分類。本文專注于非參數(shù)化的方法，跟Elagammal在文獻(xiàn)【3】中提出的方法有緊密的聯(lián)系，但是有兩點(diǎn)本質(zhì)上的區(qū)別。從基本原理上看，我們用影響因素描述（ECD）來為背景的變化建模，最可靠背景模型（MRBM）對(duì)背景場(chǎng)景的估計(jì)具有魯棒性。從計(jì)算過程來看，通過使用MeanShift過程，我們避免了對(duì)每個(gè)新觀測(cè)強(qiáng)度值計(jì)算概率的核密度估計(jì)過程，節(jié)約了處理時(shí)間。在我們的方法中，僅用幀差即可決定像素的屬性。因此能提高背景減除的魯棒性和效率。本文余下的部分按以下方式來組織：第二節(jié)中提出了影響因素描述，用于反映背景的變化；第三節(jié)詳細(xì)解釋了最可靠背景模型；第四節(jié)包含了實(shí)驗(yàn)結(jié)果；第五節(jié)討論了有待擴(kuò)充的部分。2影響因素描述本節(jié)討論影響因素描述（ECD），我們?cè)噲D通過它來有效的模擬背景的變化。背景減除的關(guān)鍵因素在于怎樣建立并維持好的背景模型。由于在不同的應(yīng)用中，攝像機(jī)類型、捕獲的環(huán)境和對(duì)象完全不同，背景模型需要足夠的自適應(yīng)能力來適應(yīng)不同的情況。為了有效的為背景建模，我們從最簡單的理想情況開始。在理想情況下，對(duì)于視頻中的每個(gè)空間位置，沿時(shí)間軸的強(qiáng)度值為常量C；常量C表示固定攝像機(jī)攝錄了固定的場(chǎng)景（沒有運(yùn)動(dòng)對(duì)象和系統(tǒng)噪聲）。我們將這種情況下的場(chǎng)景稱為理想背景場(chǎng)景。但是在實(shí)際應(yīng)用中，很少能遇到這種理想情況。因此，背景像素可以看成是理想背景場(chǎng)景和其他影響部分的組合體。我們將這種方法定義為背景的影響成分描述，包括以下方面：系統(tǒng)噪聲N-sys：它由圖像傳感器和其他硬件設(shè)備引起。如果環(huán)境不太嚴(yán)密，系統(tǒng)噪聲不會(huì)從根本上影響常量C,僅僅引起適度的偏差。運(yùn)動(dòng)的對(duì)象M-obj：它由實(shí)際運(yùn)動(dòng)的對(duì)象及其陰影引起。大多數(shù)時(shí)候，它對(duì)C有極大的干擾。運(yùn)動(dòng)的背景M-bgd:它由運(yùn)動(dòng)的背景區(qū)域引起，例如戶外場(chǎng)景中隨風(fēng)擺動(dòng)的樹枝，或者水中的波紋。光照S-illum:它表示戶外隨太陽位置改變而漸變的光照，或者室內(nèi)燈光的關(guān)閉和打開而改變的照明。攝像機(jī)位移D-cam:它表示攝像機(jī)的小幅度位移而引起的像素強(qiáng)度變化。場(chǎng)景的觀測(cè)值（記為V-obsv）由理想背景場(chǎng)景C和有效成分組成，如公式（1）所示。V二C+N+M +M +S +D （1）-obsv -sys -obj -bgd -ilium -cam在這里我們用符號(hào)+來表示影響因素的累積效果。實(shí)際上，上述影響因素能進(jìn)一步分為表1所示的不同屬性。首先需要被強(qiáng)調(diào)的屬性是過程，我們可以按過程將影響因素分為長期影響和短期影響。我們沿時(shí)間軸將視頻流分成長度相等的塊，如圖1所示。長期表示影響因素會(huì)持續(xù)數(shù)塊或者一直存在，例如N-sys、S-illum和D-cam。而M-obj和M-bgd僅僅偶爾發(fā)生，不會(huì)長期持續(xù)，因此我們稱之為短期影響?！靇ilLum-''block1block2 blockn-1blocknI I J I I Ivideostream圖1將視頻流分為等長的塊另一種分類的標(biāo)準(zhǔn)是偏差。我們把S-illum、D-cam、M-bgd看作時(shí)間不變的常駐偏差影響。在較長的過程中，這些影響可以看作是對(duì)理想背景值C持久的增加（減少），或者替代。以S-illum為例，如果處于室內(nèi)場(chǎng)景，并且打開照明，在接下來的幀中S-illum可以看成是對(duì)C持久的增加。而N-sys和M-obj在不同時(shí)刻有隨機(jī)的值，我們稱之為隨時(shí)間變化的隨機(jī)偏差影響。上述分析歸納到了表1中。表1影響因素的分類長期短期常駐偏差S-illum，D-camM-bgd隨機(jī)偏差N-sysM-obj在此必須闡明以下兩點(diǎn)：（1）上述分類并不絕對(duì)，取決于我們選擇的塊長度;但是它不影響我們接下來的分析；（2）也許某人會(huì)指出對(duì)S-illum的分類不正確，例如行駛汽車的燈光不是長期影響；這種情況下的光照變化屬于短期影響，跟M-obj類似，因此我們不把它單獨(dú)列為獨(dú)立的影響因素。由于S-illum和D-cam對(duì)理想背景C有長期持續(xù)的偏差，我們將它們合并到理想背景中，得到C'=C+S-illum+D-cam。對(duì)這種合并的直接解釋是：如果光照發(fā)生變化或者攝像機(jī)變動(dòng)位置，我們有理由假設(shè)理想背景已經(jīng)改變。因此將公式（1）表示成：V二C'+N+M+M （2）-obsv -sys -obj -bgd到目前為止，觀測(cè)值V-obsv由新的理想背景值C'和影響因素（N-sys、M-obj、M-bgd）組成。這些影響因素對(duì)C'有不同的影響，歸納成以下兩點(diǎn)：

N-sys在整個(gè)視頻流中存在，并對(duì)C'有些許影響。因此，大部分觀測(cè)值都不會(huì)偏離C'太遠(yuǎn)。M-obj和M-bgd僅僅偶爾發(fā)生，但對(duì)C'引起很大的偏差。因此，僅僅小部分觀測(cè)值顯著的不同于C'。得出以下結(jié)論：空間位置的像素值在大部分時(shí)間內(nèi)保持穩(wěn)定并伴隨些許偏差(由于長期存在的隨機(jī)偏差N-sys)；僅僅當(dāng)運(yùn)動(dòng)對(duì)象通過該像素時(shí)引起顯著的偏差(由于短期偏差M-obj和M-bgd)。因此一段時(shí)間內(nèi)，少數(shù)顯著偏差形成了極值。大部分時(shí)間都存在這種屬性,不過有時(shí)也并非如此。在圖2中顯示了白色圓心處像素值隨時(shí)間而變化的圖表。圖2(a)?(c)節(jié)選自一段長達(dá)360幀的視頻，圖2(d)描繪了像素強(qiáng)度的變化。從圖2(d)我們可以看出：由系統(tǒng)噪聲引起的小幅度偏差占據(jù)了大部分時(shí)間，僅當(dāng)有運(yùn)動(dòng)對(duì)象(及其陰影)經(jīng)過時(shí)引起了顯著的偏差。這與影響因素描述是相符的。(殳)1#250(b)220#(c)360#200150I 1100一一504一50Significantdeviationbymovingobjectsorshadows(殳)1#250(b)220#(c)360#200150I 1100一一504一50Significantdeviationbymovingobjectsorshadowsibdestdevlationbysystemnoise--j—100 150 200 250 30D 350FrameIndex(d)Pixelintensityvariation圖2顯示ECD效果的例子我們的任務(wù)是從觀測(cè)值序列{Vt }(t=1....T,T指時(shí)間長度)中找到理想背景C'的估obsv計(jì)值c'。通過上述分析，我們發(fā)現(xiàn)0位于多數(shù)觀測(cè)值的中點(diǎn)。從另一方面來看，c'處于潛在分布梯度為0和最密集的地方。這個(gè)任務(wù)可由MeanShift過程來完成。我們將C'稱為最可靠背景狀態(tài)。3用于運(yùn)動(dòng)對(duì)象檢測(cè)的最可靠背景狀態(tài)基于第二節(jié)所講的影響因素描述，我們推知：大部分觀測(cè)值所處區(qū)域的中心是背景的理想估計(jì)。我們將這個(gè)估計(jì)用符號(hào)c'表示，并稱為最可靠背景狀態(tài)（MRBM）。定位MRBM的基本計(jì)算方式是MeanShift—方面，通過使用MRBM，我們能夠?yàn)榛靵y運(yùn)動(dòng)對(duì)象的視頻生成非常清晰的背景圖像。另一方面，MeanShifts程能發(fā)現(xiàn)強(qiáng)度分布的一些局部極值，這種信息能從真實(shí)的運(yùn)動(dòng)對(duì)象中區(qū)別出運(yùn)動(dòng)的背景（例如戶外隨風(fēng)擺動(dòng)的樹枝，或者水中的波紋）。3.1用于MRBM的MeanShiftMeanShif是定位密度極值的簡明方式，密度極值處的梯度為0.該理論由Fukunaga在文獻(xiàn)【18】中提出，而MeanShift的平滑性和收斂性由Comaniciu和Meer在文獻(xiàn)【19】中證實(shí)。近幾年它已成為計(jì)算機(jī)視覺應(yīng)用的有力工具，并報(bào)道了許多有前途的成果。例如基于MeanShif的圖像分割【19-21】和跟蹤【22-26】在我們的工作成果中，我們用MeanShif來定位強(qiáng)度分布的極值（注意：可能有多個(gè)局部極值）。我們將最大密度狀態(tài)定義為MRBM。算法的要點(diǎn)如圖3所示，包括下列步驟：樣本選擇：我們?yōu)槊總€(gè)像素選擇一組樣本S={^,i=1,..，其中xis是像素沿時(shí)間軸的強(qiáng)度值，n是樣本數(shù)目。我們直接對(duì)樣本進(jìn)行MeanShif運(yùn)算，以便定位密度的極值。典型點(diǎn)選擇：為了減少計(jì)算量，我們從S中選擇或者計(jì)算出一組典型點(diǎn)（典型點(diǎn)數(shù)目為m，m〈〈n），并將這組典型點(diǎn)記為P={p,i=1,...,Pi中的典型點(diǎn)可以是樣本的抽樣結(jié)果,也可以是原始樣本點(diǎn)的局部平均值。在我們的實(shí)驗(yàn)中，我們選擇局部平均值。MeanShift過程：從P中的典型樣本點(diǎn)開始運(yùn)用MeanShif過程，我們可以得到收斂點(diǎn)m。值得注意的是，MeanShift十算仍然基于整個(gè)樣本點(diǎn)集S。所以，梯度密度估計(jì)的精度并未因?yàn)槭褂玫湫忘c(diǎn)而降低。提取候選背景模型：由于一些收斂點(diǎn)非常接近甚至完全一樣，這些收斂點(diǎn)m可以被聚集為q組（q<m）。我們能夠獲取q帶權(quán)重的聚集中心，C={{gwj},i=1,..,?其中q是每個(gè)聚集中心的強(qiáng)度值，W|是聚集中心的權(quán)重。每組的點(diǎn)數(shù)記^ln?i=1,..，,qlm。每組1 i ii1中心的權(quán)重定義為：Wi=i/m,i=1,.。..，q獲取最可靠背景模型：C'c，其中i*argmax{w.}，C'是第二節(jié)提到的最可靠i* i背景模型。圖3圖3MRBM算法的要點(diǎn)對(duì)于每個(gè)m典型點(diǎn)，第三步中的MeanShift實(shí)現(xiàn)過程依照以下步驟:(1)初始化MeanShift過程的起點(diǎn)：y1=pi。為Xg(IIyt-Xi112)一 ih直至收斂。(這里我們選用跟(2)反復(fù)運(yùn)用MeanShift過程y=弋片直至收斂。(這里我們選用跟t+1 Xg(IIyt-X.||2)hi=1文獻(xiàn)【19】一樣的MeanShift過程，函數(shù)g(x)是核函數(shù)G(x)。)保存收斂點(diǎn)yconv，用于后續(xù)分析。在對(duì)所有像素運(yùn)用上述步驟之后，我們能用MRBM生成背景場(chǎng)景B。通過上述分析，我們發(fā)現(xiàn)背景生成過程的時(shí)間復(fù)雜度為O(N?m),空間復(fù)雜度為O(N?n),其中N是視頻的長度。3.2運(yùn)動(dòng)對(duì)象檢測(cè)與背景模型維持生成背景模型之后，我們可以將其用于檢測(cè)場(chǎng)景中的運(yùn)動(dòng)區(qū)域。為了使我們的背景模型對(duì)運(yùn)動(dòng)背景具有魯棒性(例如戶外隨風(fēng)擺動(dòng)的樹枝，或者水中的波紋)，我們將k個(gè)聚集中心選為可能的背景值。我們將這組集合定義為Cb={{c.,w.}丨w.三0},i=1,....,k,其中Cbbill bC，0是預(yù)定義的閥值。對(duì)于每個(gè)新的觀測(cè)強(qiáng)度值xO,我們僅僅計(jì)算X0與Cb中元素的最小差值d,其中d=min{(x0-ci)I{ci,wi}^Cb}。如果差值d大于預(yù)定義的閥值t,我們認(rèn)為新的觀測(cè)強(qiáng)度值是前景，否則為背景。背景維持能讓我們的背景模型適應(yīng)長期的背景變化,例如新停泊的汽車或者逐漸改變的光照。當(dāng)我們觀察一個(gè)新像素值時(shí)，背景模型按下列步驟來更新：對(duì)每個(gè)新像素值，我們視其為新典型樣本點(diǎn)。因此典型樣本點(diǎn)的數(shù)目變?yōu)椋簃=m+1。如果新像素值屬于背景區(qū)域，假設(shè)其強(qiáng)度值與聚集中心｛ci，wi｝最近，我們將該中心的權(quán)重更新為：wi=q+1)/m。如果新像素值屬于前景區(qū)域，我們從這點(diǎn)開始運(yùn)用新的MeanShift過程，這樣可以獲取到新的收斂中心｛c,w｝，其中w初始化為：w=1/m。聚集中心C被擴(kuò)充成：newnew new newC=Cu｛｛c,w｝｝。newnew背景減除的時(shí)間復(fù)雜度是O(N),背景維持的時(shí)間復(fù)雜度是O(R),其中N是視頻的幀數(shù)，R是運(yùn)動(dòng)對(duì)象的數(shù)目。4實(shí)驗(yàn)我們專注于兩類MRBM應(yīng)用：背景生成和背景減除。我們?cè)诤铣梢曨l和標(biāo)準(zhǔn)PETS數(shù)據(jù)庫上比較MRBM與其他常用的方法。源代碼用C++實(shí)現(xiàn)，測(cè)試用電腦的配置如下：CPU為Pentium1.6GHZ,內(nèi)存512M。我們自己捕獲或者合成的視頻尺寸為320X240像素，PETS數(shù)據(jù)庫的視頻尺寸為384/360X288像素，幀速率均為25fps。在所有的實(shí)驗(yàn)中，我們選擇YUV(4:4:4)色彩空間作為特征空間。算法實(shí)現(xiàn)的描述見第三節(jié)，我們采用了Epanechnikov核,K(t)=3/4*(1-t2)。理論上，更大的訓(xùn)練集能得到更穩(wěn)定的背景模型，但是會(huì)犧牲適應(yīng)性。我們的實(shí)驗(yàn)表明，當(dāng)n=100時(shí)，能夠使背景圖像得到最佳的可視質(zhì)量和適應(yīng)性。典型點(diǎn)數(shù)m影響訓(xùn)練時(shí)間及背景模型的可靠性。在我們的實(shí)驗(yàn)中，我們?yōu)镸eanShift過程選擇m=10個(gè)典型點(diǎn)，這時(shí)的訓(xùn)練時(shí)間與高斯混合模型接近。閥值8和t影響檢測(cè)的精度，對(duì)不同的數(shù)據(jù)集可能有不同的e和t。在我們的實(shí)驗(yàn)中當(dāng)e=0.3,t=10時(shí)，能夠得到最大的準(zhǔn)確率和最小的錯(cuò)誤率。如果沒有特別說明，所有實(shí)驗(yàn)使用上述設(shè)置。4?1背景生成在許多監(jiān)控和跟蹤應(yīng)用中，期望生成沒有運(yùn)動(dòng)對(duì)象的背景圖像，它能為更進(jìn)一步的分析提供參考信息。但是很多時(shí)候，并不容易獲得沒有運(yùn)動(dòng)對(duì)象的的視頻。我們的算法能從包含混亂運(yùn)動(dòng)對(duì)象的視頻中提取非常清晰的背景圖像。圖4顯示了一些生成的背景。視頻共有360幀，我們將前100幀用于生成背景。圖中顯示了第1,33,66,99幀圖像。圖4的底部顯示了算法生成的背景。以圖4(c)為例，這段視頻攝自校園的上下課時(shí)間，每幀中都有10名步行的學(xué)生。觀察圖4(c)最下面的背景圖像，我們發(fā)現(xiàn)背景非常清晰，所有運(yùn)動(dòng)對(duì)象都被成功的抹去了。

運(yùn)動(dòng)對(duì)象的移動(dòng)速度是關(guān)鍵因素，它能顯著的影響背景模型，包括我們的背景模型。我們用一段300幀的視頻來評(píng)估算法，該視頻里有一位緩慢走動(dòng)的女士。第1,30，60，90,120幀圖像分別顯示在圖5(a)?(e)中。用不同數(shù)目的樣本圖像生成的背景顯示于圖5(f)?(j)。當(dāng)保持100幀樣本圖像時(shí)，生成的背景中有一些噪點(diǎn)，但是背景的整體質(zhì)量得以保證。噪點(diǎn)區(qū)域用白色橢圓標(biāo)出了，如圖5(f)所示。當(dāng)我們將樣本數(shù)目增加到300時(shí)，背景變得非常清晰，如圖5(j)所示。(a)1# e：.30# (r；60#(cl)90# (e)120#(f)n=100 (g)n=150 {h)n=200 (i)n=250 (,j)n=300圖5由不同樣本數(shù)(n=100，150,200,250,300)生成的背景圖像(視頻中有一位緩慢走動(dòng)的女士，顯示了視頻中的第1，30，60，90，120幀圖像)我們也對(duì)我們的背景生成方法與其它基本方法做了比較，例如高斯模型具有多個(gè)聚集中心的高斯混合模型。為了區(qū)分比較結(jié)果，我們合成了一段多模態(tài)背景分布視頻。背景的像素由高斯混合分布生成，P(x)=工2?G (x)，其中參數(shù)a產(chǎn)a2=0.5，o】=o2=6，p1=128,p2=240。前景對(duì)象的像素由高斯分布生成，Pfg(x)=G/x),其中參數(shù)p=10,o=6。上述兩式中，G(?)代表具有均值p和標(biāo)準(zhǔn)偏差o的高斯分布。背景像素及前景像素的強(qiáng)p,o度分布見圖6。100 150hl^nfiity200 250B4110,a21□1100 150hl^nfiity200 250B4110,a21□1O9ooaa.o□2o0.EO圖6視頻中的背景像素強(qiáng)度分布(藍(lán)色曲線)及前景像素強(qiáng)度分布(紅色曲線)視頻共有120幀，我們用前100幀來生成背景。圖7(a)?(e)顯示了一些選定的幀,生成的背景圖像顯示在圖7(f)?(i)中，從潛在分布生成的“地面實(shí)況”樣本顯示于圖7(j)中。對(duì)于高斯模型，背景像素的強(qiáng)度值被選為高斯均值，生成的背景圖像如圖7(f)所示。對(duì)于高斯混合模型，我們選擇帶maxim的高斯混合均值為背景值。圖7(g)顯示了2個(gè)中心的高斯混合模型，圖7(h)顯示了3個(gè)中心的高斯混合模型。實(shí)驗(yàn)所用的高斯混合模型使用OpenCV中的實(shí)現(xiàn)，見文獻(xiàn)【27】。MRBM方法得到的結(jié)果如圖7(i)所示。(a)1# (b)20# (c)40# (d)60# (e)80=(i)XIRBM(j)Grou.Trn.(f)Gaussian(g)MOG-2;h：-MOG-3(i)XIRBM(j)Grou.Trn.圖7由不同模型從合成視頻中生成的背景圖像。（a）?（e）中顯示了第1,20,40,60,80幀圖像。（f）?（i）顯示了由高斯模型、2中心高斯混合模型、3中心高斯混合模型及最可靠背景模型生成的背景圖像。（j）顯示了地面實(shí)況樣本背景圖像。比較地面實(shí)況圖像和生成的背景圖像，我們發(fā)現(xiàn)非參數(shù)模型MRBM優(yōu)于其它方法。憑直覺，在處理多模分布時(shí)，MRBM看起來與高斯混合模型類似。但是關(guān)鍵的不同之處在于高斯模型依賴均值和方差。它們的1階和2階統(tǒng)計(jì)數(shù)據(jù)對(duì)外部點(diǎn)（outliers遠(yuǎn)離數(shù)據(jù)峰值的點(diǎn)）非常敏感。如果對(duì)象的運(yùn)動(dòng)速度慢，存在足夠的前景值導(dǎo)致錯(cuò)誤的均值，結(jié)果得出錯(cuò)誤的背景值。作為對(duì)照，MRBM跟分布無關(guān)，僅僅使用極值作為可能的背景值，它對(duì)外部點(diǎn)更魯棒。其他參數(shù)方法存在類似的問題，當(dāng)預(yù)定義的模型不能描述數(shù)據(jù)分布時(shí)更加明顯。4.2背景減除圖8顯示了我們算法的背景減除結(jié)果。圖8（a）顯示觀測(cè)到的當(dāng)前幀，圖8（b）顯示用MRBM從100幀樣本生成的背景圖像，圖8（c）顯示了背景減除的結(jié)果圖像，我們發(fā)現(xiàn)運(yùn)動(dòng)對(duì)象變得很突出。我們比較了MRBM和其它常用的基本方法，例如文獻(xiàn)【1】中的最大最小值法，文獻(xiàn)【28,29】中的中值法，文獻(xiàn)【8,6】中的高斯混合模型。比較結(jié)果顯示于圖9。由于我們不能修改這些原始工作成果的實(shí)現(xiàn)方式，只能按以下方式來管理基礎(chǔ)算法：（1）對(duì)于W4,我們按原始成果中的建議來設(shè)置參數(shù)；（2）對(duì)于中值法和高斯混合模型，我們調(diào)整參數(shù)使其達(dá)到最好的檢測(cè)精度。另外，為了使比較盡量公平，我們只做背景減除,沒有進(jìn)行降噪和形態(tài)學(xué)處理。

fa-Currentfrainesib)Back^rciinclimages(c)Differenceimages圖8背景減除結(jié)果最佳的視頻序列選自PETS數(shù)據(jù)庫【30-32】，選定幀如圖9(a)所示。對(duì)所有的視頻序列，我們用100幀來生成背景，用第40幀做背景減除。這些視頻序列包含兩種主要的場(chǎng)景：緩慢運(yùn)動(dòng)的對(duì)象(如PETS00和PETS06)，多模態(tài)背景(如PETS01中擺動(dòng)的樹)；這兩種場(chǎng)景是背景減除中的不同情況。對(duì)于緩慢運(yùn)動(dòng)的對(duì)象，高斯模型的結(jié)果比較差，因?yàn)楦咚咕祵?duì)外部點(diǎn)敏感，如圖9(d)所示。而MRBM依賴于背景分布的極值，外部點(diǎn)對(duì)其影響很小。同樣，中值法和最大最小值法不能很好的應(yīng)對(duì)多模態(tài)背景，PETS01中擺動(dòng)的樹被誤認(rèn)為前景。跟預(yù)期一致，MRBM優(yōu)于其它三種方法。

FETSjCC:IJ-i「’FETSjCC:IJ-i「’呵刪*3■、■?■ft*叫二亠]d—JA<V“…r■￥f4tb d彳:』1 電rt⑷Original(b)AraxMin(c)Median(cl)MOG(e)MRBMimage yalne vahim圖9不同方法得到的背景減除結(jié)果。(a)標(biāo)準(zhǔn)PETS數(shù)據(jù)庫，(b)最大最小值法，(c)中值

法，(d)高斯混合模型，(e)最可靠背景模型4.3討論可能的欠缺盡管MRBM適用于許多應(yīng)用，仍然存在一些不能應(yīng)對(duì)的場(chǎng)合，圖10盡管MRBM適用于許多應(yīng)用，仍然存在一些不能應(yīng)對(duì)的場(chǎng)合，圖10就是不能應(yīng)對(duì)的例子。在這個(gè)實(shí)驗(yàn)中，視頻共有300幀，我們用前120幀來生成背景。圖10(a)?(g)分別顯示了第1，20，40，60，80，100，120幀，背景圖像顯示在圖10(h)中。前景人物的很大一部分被誤認(rèn)為背景。⑷1# (b)20# (c)4n# 〔町60#(e)80# (f)100# (g)]20# :lijbackgraiinrlimage圖10一個(gè)MRBM不能正確處理的例子。分別顯示了第1，20，40，60，80，100，120幀

圖像。通常，前景和背景的定義從自身來看并不明確。它包含在場(chǎng)景的語義中，在不同的應(yīng)用中可能不一致。在我們的應(yīng)用中，我們將運(yùn)動(dòng)對(duì)象定義為前景，將靜止（或者幾乎靜止）的東西定義為背景，這與大多數(shù)視頻監(jiān)控應(yīng)用的定義一致。通過第二節(jié)的分析，我們?cè)噲D用ECD模型來近似觀測(cè)值。在圖10的實(shí)驗(yàn)中，人物在大部分時(shí)間保持靜止，然后突然運(yùn)動(dòng)。這種情況下，大部分觀測(cè)強(qiáng)度值屬于人物，而非背景。對(duì)于人物的肩膀部分尤其明顯，肩膀部分有相似的顏色，以致于檢測(cè)不到運(yùn)動(dòng)。因此前景人物的大部分被誤認(rèn)為背景。實(shí)際上，這個(gè)例子反映了背景模型的根本問題：穩(wěn)定性與適應(yīng)性。理論上，如果我們?cè)黾佑糜谟?xùn)練的背景幀數(shù)，我們能得到更清晰的背景圖像。但是同時(shí)，會(huì)極大的犧牲背景模型的適應(yīng)性。當(dāng)背景改變（例如新停泊的汽車或者突然改變的光照），背景模型需要很長的時(shí)間才能適應(yīng)新情況，將產(chǎn)生大量的錯(cuò)誤。針對(duì)該問題，一種有效的解決方案是：將現(xiàn)有的基于像素的方法擴(kuò)展為基于區(qū)域或者基于幀的方法。通過分割圖像或者完善像素級(jí)的低級(jí)分類可以實(shí)現(xiàn)它。更進(jìn)一步，可以同時(shí)使用低級(jí)對(duì)象分割和高級(jí)信息（例如跟蹤或者事件描述）。因此，我們接下來的工作將專注于如何結(jié)合空間和高級(jí)信息。5結(jié)論本文主要有兩點(diǎn)貢獻(xiàn)：（1）我們介紹的影響因素描述可用于對(duì)變化的背景進(jìn)行建模；（2）基于ECD，我們開發(fā)了一種魯棒的背景生成方法一一最可靠背景模型。應(yīng)用MRBM，能從包含混亂運(yùn)動(dòng)對(duì)象的視頻序列中生成高質(zhì)量的背景圖像。一些例子顯示了這種方法的有效性和魯棒性。然而，仍然存在一些有待解決的問題。當(dāng)前的工作中僅僅考慮了像素的時(shí)間信息。怎么結(jié)合空間信息來提高本方法的魯棒性是后續(xù)工作的重點(diǎn)。一種直接的擴(kuò)展是：將當(dāng)前基于像素的方法修改成熔合了鄰域信息基于區(qū)域的方法。另外，結(jié)合使用低級(jí)分割和高級(jí)跟蹤信息，對(duì)我們的工作成果也將有極大的提高。6致謝在此要感謝陳熙霖博士和山世光博士，他們跟作者進(jìn)行了很有幫助的討論。這項(xiàng)研究的經(jīng)費(fèi)由以下單位贊助：中國自然科學(xué)基金會(huì)、中國科學(xué)院百名人才培養(yǎng)計(jì)劃、上海銀晨智能識(shí)別科技有限公司。參考文獻(xiàn)I.Haritaoglu,D.Harwoodand,L.S.Davis,W4:real-timesurveillanceofpeopleandtheiractivities,IEEETransactionsonPatternAnalysisandMachineIntelligence22（8）（2000）809-830.K.Toyama,J.Krumm,B.Brumitt,B.Meyers.,WallFlower:PrinciplesandPracticeofbackgroundmaintenance,in:IEEEInternationalConferenceonComputerVision,Corfu,Greece,1999,pp.255-261.A.Elgammal,D.Harwood,L.Davis,Non-parametricmodelforbackgroundsubtraction,in:EuropeanConferenceonComputerVision,Dublin,Ireland,2000,pp.751-767.T.E.Boult,R.J.Micheals,X.Gao,M.Eckmann,Intothewoods:visualSurveillanceofnoncooperativeandcamouflagedtargetsincomplexoutdoorsettings,ProceedingsoftheIEEE89(2001)1382—1402.C.R.Wren,A.Azarbayejani,T.Darrell,A.P.Pentland,Pfinder:Real-timeTrackingofthehumanbody,IEEETransactionsonPatternAnalysisandMachineIntelligence19(7)(1998)780785.C.Stauffer,W.Grimson,Adaptivebackgroundmixturemodelsforreal-timetracking,in:IEEEConferenceonComputerVisionandPatternRecognition,FortCollins,USA,1999,pp.246-252.S.Rowe,A.Blake,Statisticalbackgroundmodellingfortrackingwithavirtualcamera,in:BritishMachineVisionConference,Birmingham,UK,1995,pp.423-432.C.Stauffer,W.E.L.Grimson,Learningpatternsofactivityusingreal-timetracking,IEEETransactionsonPatternAnalysisandMachineIntelligence22(8)(2000)747-757.L.Li,W.Huang,I.YGu,Q.Tian,ForegroundobjectdetectioninchangingBackgroundbasedoncolorco-occurrencestatistics,in:IEEEWorkshoponApplicationsofComputerVision,Orlando,Florida,2002,pp.269-274.P.KaewTraKulPong,R.Bowden,AnimprovedadaptivebackgroundmixtureModelforreal-timetrackingwithshadowdetection,in:EuropeanWorkshoponAdvancedVideoBasedSurveillanceSystems,KluwerAcademic,2001.K.Kim,T.Chalidabhongse,D.Harwood,L.Davis,Real-timeforeground-Backgroundsegmentationusingcodebookmodel,RealTimeImaging11(3)(2005)172-185.A.Elgammal,R.Duraiswami,L.Davis,Effcientnon-parametricadaptivecolorModelingusingfastgausstransform,in:IEEEConferenceonComputerVisionAndPatternRecognition,Vol.2,2001,pp.563-570.A.M.Elgammal,R.Duraiswami,L.S.Davis,EffcientkerneldensityestimationUsingthefastgausstransformwithapplicationstocolormodelingandtracking.,IEEETransactionsonPatternAnalysisandMachineIntelligence25(11)(2003)1499-1504.A.Elgammal,Effcientnonparametrickerneldensityestimationforrealtimecomputervision,Ph.D.thesis,Rutgers,TheStateUniversityofNewJersey(2002).H.Askar,X.Li,Z.Li,BackgroundcluttersuppressionanddimmovingpointTargetsdetectionusingnonparametricmethod,in:InternationalConferenceonCommunications,CircuitsandSystemsandWestSinoExpositions,V)l.2,2002,pp.982-986.D.Thirde,G.Jones,HierarchicalprobabilisticmodelsforvideoobjectSegmentationandtracking,in:InternationalConferenceonPatternRecognition,Vol.1,2004,pp.636-639.T.Liu,A.W.Moore,A.Gray,Effcientexactk-nnandnonparametricClassificationinhighdimensions,in:NeuralInformationProcessingSystems,2003,pp.265-272.K.Fukunaga,L.Hostetler,Theestimationofthegradientofadensityfunction,Withapplicationsinpatternrecognition,IEEETransactionsonInformationTheory21(1975)32-40.D.Comaniciu,P.Meer,Meanshift:arobustapproachtowardfeaturespaceanalysis,IEEETransactionsonPatternAnalysisandMachineIntelligence24(5)(2002)603-619.I.Y.-H.Gu,V.Gui,Colourimagesegmentationusingadaptivemeanshiftfilters,in:InternationalConferenceonImageProcessing,2001,pp.726-729.L.Yang,P.Meer,D.J.Foran,UnsupervisedsegmentationbasedonrobustEstimationandcoloractivecontourmodels,IEEETransactionsonInformationTechnologyinBiomedicine9(3)(2005)475-486.D.Comaniciu,V.Ramesh,P.Meer,Kernel-basedobjecttracking,IEEETransactionsonPatt