畢業(yè)論文-運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)的研究

湖南大學(xué)畢業(yè)設(shè)計(jì)(論文)第頁(yè)第1章緒論1.1本課題研究背景及意義人類通過(guò)視覺(jué)、嗅覺(jué)和聽(tīng)覺(jué)等從外部世界獲取信息，但科學(xué)研究表明，人類有80%左右的信息均來(lái)自視覺(jué)，也就是從圖像中獲得。進(jìn)入21世紀(jì)后，計(jì)算機(jī)技術(shù)不斷發(fā)展，人工智能技術(shù)日新月異，人們夢(mèng)想能夠用計(jì)算機(jī)模擬人類通過(guò)視覺(jué)認(rèn)知外界，對(duì)攝像機(jī)獲取的輸入視頻圖像進(jìn)行分析和處理，計(jì)算機(jī)視覺(jué)即為研究如何使機(jī)器“看”的科學(xué)[1]。運(yùn)動(dòng)目標(biāo)檢測(cè)就是將變化區(qū)域從圖像序列中提取出來(lái)，作為計(jì)算機(jī)視覺(jué)中最熱門的研究方向之一，被廣泛應(yīng)用在民用、軍工和工程等各個(gè)領(lǐng)域中，它的常見(jiàn)應(yīng)用如下：智能監(jiān)控[2]：智能監(jiān)控系統(tǒng)對(duì)各類傳感器采集的圖像信號(hào)及攝像機(jī)捕捉的視頻圖像數(shù)據(jù)進(jìn)行自動(dòng)、實(shí)時(shí)分析，檢測(cè)、識(shí)別、跟蹤可疑目標(biāo)，進(jìn)而進(jìn)行行為判斷與異常報(bào)警，提高無(wú)人值守監(jiān)控系統(tǒng)的實(shí)時(shí)性和主動(dòng)性。智能交通[3]：實(shí)時(shí)分析交通運(yùn)輸狀況，對(duì)道路情況、車輛異常情況、交通流量等進(jìn)行監(jiān)督，在使用者和管理者之間建立準(zhǔn)確、高效的交通管理系統(tǒng)。醫(yī)療診斷[4]：通過(guò)對(duì)生物醫(yī)學(xué)序列圖像中病灶部位的檢測(cè)和跟蹤，獲得人體器官的運(yùn)動(dòng)功能，以此實(shí)現(xiàn)人體病情的檢查預(yù)測(cè)，為治療病情提供參考，為疾病的預(yù)防、診斷、監(jiān)視、治療提供著輔助甚至決定性作用。軍事國(guó)防[5]：對(duì)軍事中的運(yùn)動(dòng)目標(biāo)進(jìn)行定位和跟蹤，從而達(dá)到摧毀的目的，常用于地對(duì)空、空對(duì)地和空對(duì)空的導(dǎo)彈制導(dǎo)，還可用于自動(dòng)駕駛飛行器、無(wú)人駕駛車輛和自動(dòng)跟蹤目標(biāo)等高精端裝備，提高裝備的自動(dòng)化水平。人機(jī)交互[6]：通過(guò)姿勢(shì)、動(dòng)作、表情、手勢(shì)等方式作為計(jì)算機(jī)的輸入，捕獲、識(shí)別甚至理解人體語(yǔ)言，擺脫對(duì)鍵盤、鼠標(biāo)等傳統(tǒng)輸入設(shè)備的依賴，使人與計(jì)算機(jī)的對(duì)話更簡(jiǎn)潔直觀。隨著視頻技術(shù)的不斷發(fā)展，運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)不斷完善，在人們的生產(chǎn)、生活中做出越來(lái)越大的貢獻(xiàn)。但由于現(xiàn)實(shí)場(chǎng)景復(fù)雜，光照變化、物體陰影、局部遮擋等都會(huì)干擾運(yùn)動(dòng)目標(biāo)的檢測(cè)，目前還不存在某種檢測(cè)算法能應(yīng)用于所有場(chǎng)景，算法未能同時(shí)滿足準(zhǔn)確性、實(shí)時(shí)性與穩(wěn)定性，還尚未形成完備的科學(xué)理論體系，因此開(kāi)展運(yùn)動(dòng)目標(biāo)檢測(cè)算法的研究具有極高的學(xué)術(shù)價(jià)值和挑戰(zhàn)性。1.2國(guó)內(nèi)外研究現(xiàn)狀運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)的研究最先是由美國(guó)DefenseAdvancedResearchProjectsAgency提出來(lái)的，從1996年到2000年，美國(guó)DefenseAdvancedResearchProjectsAgency投入資金分別設(shè)立了VisualSurveillanceandMonitoring項(xiàng)目[7]和HumanIdentificationataDistance項(xiàng)目以應(yīng)用于軍事領(lǐng)域。隨后EuropeanUnion組織實(shí)施AnnotatedDigitalVideoforSurveillanceandOptimizedRetrieval項(xiàng)目，開(kāi)發(fā)了一個(gè)智能公共交通管理系統(tǒng)，實(shí)時(shí)監(jiān)控人群密集場(chǎng)所，緩解交通管理部門的壓力；美國(guó)IBM與UniversityofMaryland聯(lián)合開(kāi)發(fā)了W4(What,Who,When,Where)系統(tǒng)[8]，通過(guò)對(duì)人體建立運(yùn)動(dòng)模型，實(shí)現(xiàn)對(duì)人體異常行為的遠(yuǎn)距離監(jiān)控；Deriche和Paragios利用短程線的活動(dòng)輪廓和水平體系理論在連續(xù)圖像中檢測(cè)與跟蹤多個(gè)移動(dòng)物體[9]；P.R.Giaccone使用小化一個(gè)合適能量函數(shù)的神經(jīng)網(wǎng)絡(luò)對(duì)移動(dòng)前景進(jìn)行分割[10]；HironobuFujiyoshi和TakeoKanade提出分層檢測(cè)法，該算法能從實(shí)時(shí)連續(xù)視頻流中檢測(cè)多個(gè)相互重疊的移動(dòng)物體[11]。由于受到廣泛關(guān)注，運(yùn)動(dòng)目標(biāo)檢測(cè)的研究是InternationalJournalofComputerVision(IJCV)、ComputerVisionandImageUnderstanding(CVIU)、IEEETransactiononPatternAnalysisandMachineIntelligence(PAMI)、PatternRecognition(PAMI)等國(guó)際權(quán)威期刊和重要的學(xué)術(shù)會(huì)議如：InternationalConferenceonComputerVision(ICCV)、IEEEComputerSocietyonComputerVisionandPatternRecognition(CVPR)、EuropeanConferenceonComputerVision(ECCV)等的重要內(nèi)容之一，并不斷地涌現(xiàn)出許多行之有效的方法。在國(guó)內(nèi)，運(yùn)動(dòng)目標(biāo)檢測(cè)的研究起步得就要晚一些。20世紀(jì)60年代末，不少高校和研究機(jī)構(gòu)才開(kāi)始該領(lǐng)域的研究，但經(jīng)過(guò)多年努力，也取得了不少成果，計(jì)算機(jī)學(xué)報(bào)、中國(guó)圖象圖形學(xué)報(bào)、軟件學(xué)報(bào)、模式識(shí)別與人工智能等權(quán)威期刊上都發(fā)表了大量有學(xué)術(shù)價(jià)值的運(yùn)動(dòng)目標(biāo)檢測(cè)方面的文獻(xiàn)。中國(guó)科學(xué)院自動(dòng)化研究所的模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室對(duì)交通環(huán)境中運(yùn)動(dòng)目標(biāo)的檢測(cè)、人運(yùn)動(dòng)的監(jiān)控和人體行為模式的檢測(cè)等進(jìn)行了大量的研究，“視頻監(jiān)控下的人臉識(shí)別與跟蹤”項(xiàng)目能實(shí)現(xiàn)在攝像頭和人之間的距離大于5米的情況下，識(shí)別和跟蹤多個(gè)人臉[12]；清華大學(xué)研制的基于運(yùn)動(dòng)軌跡和二次Hough變換的多車道檢測(cè)算法能夠自適應(yīng)復(fù)雜環(huán)境，在省級(jí)高速公路的交通流量統(tǒng)計(jì)中被采用[13]；中國(guó)科學(xué)院的機(jī)器人學(xué)開(kāi)放實(shí)驗(yàn)室和南開(kāi)大學(xué)的軟件學(xué)院共同研究“多移動(dòng)機(jī)器人系統(tǒng)捕獲運(yùn)動(dòng)目標(biāo)的協(xié)調(diào)策略研究”；復(fù)旦大學(xué)電子工程系的圖像與智能實(shí)驗(yàn)室通過(guò)獨(dú)立元分析和統(tǒng)計(jì)方法實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤、圖像挖掘等；同時(shí)，大華集團(tuán)和?？低暤裙疽矊I(yè)務(wù)從傳統(tǒng)監(jiān)控拓展到智能監(jiān)控領(lǐng)域。然而，國(guó)內(nèi)的研究水平與國(guó)外相比仍存在一定的差距，還需進(jìn)行更深一步的研究。目前，主流的運(yùn)動(dòng)目標(biāo)的檢測(cè)算法有：幀間差分法、背景差分法和光流法，這三種算法適合于不同的應(yīng)用場(chǎng)景。顧名思義，幀間差分法[14]通過(guò)對(duì)視頻中前后兩幀圖像作差分來(lái)提取運(yùn)動(dòng)目標(biāo)，可用于有多個(gè)運(yùn)動(dòng)物體和攝像機(jī)移動(dòng)的場(chǎng)景。它的原理是：當(dāng)視頻中出現(xiàn)運(yùn)動(dòng)目標(biāo)時(shí)，前后兩幀會(huì)發(fā)生明顯改變，通過(guò)將兩幀灰度差值的絕對(duì)值與閾值比較來(lái)分析運(yùn)動(dòng)特性，確定有無(wú)運(yùn)動(dòng)目標(biāo)出現(xiàn)。該算法簡(jiǎn)單，復(fù)雜度低，對(duì)光照突變等場(chǎng)景改變不是很敏感，適應(yīng)性較強(qiáng)；但其不能完整地獲取運(yùn)動(dòng)目標(biāo)，選取的幀間時(shí)間間隔非常重要，對(duì)于運(yùn)動(dòng)速度快的物體，應(yīng)取較小的時(shí)間間隔，否則可能由于不重疊而被檢測(cè)為兩個(gè)獨(dú)立的運(yùn)動(dòng)目標(biāo)；而對(duì)于運(yùn)動(dòng)緩慢的物體，則需取較大的時(shí)間間隔，否則可能導(dǎo)致運(yùn)動(dòng)目標(biāo)在相鄰兩幀中完全重疊。背景差分法[15]是將視頻中的當(dāng)前幀與背景圖像作比較來(lái)檢測(cè)運(yùn)動(dòng)物體的方法，背景圖像建模的準(zhǔn)確性直接影響檢測(cè)結(jié)果的準(zhǔn)確性。由于現(xiàn)實(shí)場(chǎng)景中存在光照突變、局部遮擋、攝像機(jī)抖動(dòng)等不可預(yù)知的干擾因素，背景建模變得比較困難，常用的建模方法有如下幾種：中值法：取連續(xù)N幀圖像，將對(duì)應(yīng)像素的灰度值從小到大排序，取它的中間值作為背景圖像中對(duì)應(yīng)像素的灰度值。均值法：計(jì)算出圖像序列中連續(xù)N幀的平均灰度值，將其設(shè)定成背景圖像的灰度值，該算法運(yùn)算速度快，但對(duì)光照變化等動(dòng)態(tài)場(chǎng)景較為敏感?？柭鼮V波器模型：把背景看作是穩(wěn)態(tài)系統(tǒng)，把運(yùn)動(dòng)前景看作是噪聲，運(yùn)用時(shí)域遞歸低通濾波原理和Kalman濾波理論來(lái)預(yù)測(cè)慢速改變的背景，這種方法可以在用前景更新背景的同時(shí)，消除干擾噪聲，維持背景的穩(wěn)定性。單高斯分布模型：我們認(rèn)為每一個(gè)像素的灰度值均服從高斯分布，它的取值可以看成是一個(gè)隨機(jī)過(guò)程X?；旌细咚狗植寄Ｐ蚚16]：將圖像序列中的每一個(gè)像素都用多個(gè)高斯分布的加權(quán)和來(lái)模擬，每一個(gè)高斯分布都表示該像素的一種狀態(tài)，從而模擬出現(xiàn)實(shí)場(chǎng)景中的多模態(tài)情形。光流法[17]是一種基于圖像一致性假設(shè)的檢測(cè)方法，它利用圖像序列中像素強(qiáng)度的時(shí)域變化和相關(guān)性來(lái)確定各像素的運(yùn)動(dòng)情況。光流矢量是指像素在觀測(cè)成像面上運(yùn)動(dòng)的瞬時(shí)速度矢量，它包含了圖像中的運(yùn)動(dòng)目標(biāo)信息和三維物理結(jié)構(gòu)信息，可用于攝像機(jī)運(yùn)動(dòng)的情況。20世紀(jì)50年代，Gibson和Wallach等學(xué)者以心理學(xué)實(shí)驗(yàn)為基礎(chǔ)提出StructureFromMotion假設(shè)，隨后Horn和Schunck在1981年創(chuàng)造性地將二維速度場(chǎng)與灰度相結(jié)合，引入光流約束方程，創(chuàng)造了光流場(chǎng)計(jì)算的典型算法。光流法可有效地對(duì)運(yùn)動(dòng)目標(biāo)實(shí)現(xiàn)檢測(cè)和分割，對(duì)自動(dòng)飛行器的精確導(dǎo)航與著陸、軍事偵察中航天或衛(wèi)星圖片的自動(dòng)分析、地對(duì)空導(dǎo)彈火控系統(tǒng)的精確制導(dǎo)、戰(zhàn)況實(shí)時(shí)分析、醫(yī)學(xué)中異常器官細(xì)胞的分析與診斷等具有重要價(jià)值，但由于其算法復(fù)雜度高，計(jì)算量大，難以滿足實(shí)時(shí)性的要求，并且計(jì)算用到偏微分，穩(wěn)定性較差，因此目前在現(xiàn)實(shí)系統(tǒng)中應(yīng)用較少。1.3面臨的難題在實(shí)際視頻分析中，可能會(huì)受到光照突變、背景擾動(dòng)、局部遮擋和運(yùn)動(dòng)物體變化等因素的干擾，導(dǎo)致最終檢測(cè)失敗。面臨的難題可分為以下兩類：1.3.1現(xiàn)實(shí)場(chǎng)景中的干擾光照變化[18]、背景擾動(dòng)和攝影師操作不當(dāng)?shù)雀蓴_：當(dāng)光照發(fā)生變化，場(chǎng)景中許多背景像素也會(huì)發(fā)生變化，運(yùn)動(dòng)目標(biāo)的顏色等特征可能會(huì)發(fā)生較大變化；搖動(dòng)的樹(shù)葉和灌木叢、波動(dòng)的水面和旋轉(zhuǎn)的風(fēng)扇等背景擾動(dòng)很容易被誤判為運(yùn)動(dòng)前景；攝影師的操作抖動(dòng)會(huì)導(dǎo)致運(yùn)動(dòng)目標(biāo)和背景發(fā)生快速無(wú)規(guī)則改變。氣候變化：距離攝像頭較近的雪花或雨滴對(duì)檢測(cè)結(jié)果都會(huì)造成較大的影響，檢測(cè)準(zhǔn)確性會(huì)大大降低。如果整幅圖像都充滿雪花或雨滴，會(huì)導(dǎo)致整個(gè)背景雜亂無(wú)章；下雨天由于積水引起地面反光，也會(huì)對(duì)實(shí)際檢測(cè)帶來(lái)困難。目標(biāo)變化：在視頻采集過(guò)程中，攝像機(jī)的運(yùn)動(dòng)以及目標(biāo)物體的運(yùn)動(dòng)都會(huì)使目標(biāo)的尺度發(fā)生變化，同時(shí)旋轉(zhuǎn)和平移也會(huì)使運(yùn)動(dòng)目標(biāo)發(fā)生變化，這都給檢測(cè)帶來(lái)困難。局部遮擋，多目標(biāo)干擾等干擾：運(yùn)動(dòng)物體可能會(huì)受到局部遮擋、多目標(biāo)干擾等其他物體的干擾，這些因素可能會(huì)引起運(yùn)動(dòng)目標(biāo)的暫時(shí)不見(jiàn)或形狀改變，要求系統(tǒng)具有一定的穩(wěn)定性。1.3.2技術(shù)中的難點(diǎn)雖然現(xiàn)階段運(yùn)動(dòng)目標(biāo)的檢測(cè)已經(jīng)取得了大量成果，但要獲得更好的檢測(cè)效果和實(shí)時(shí)性，在技術(shù)上仍需解決不少問(wèn)題：多目標(biāo)檢測(cè)[19]：目前大多數(shù)研究都集中在對(duì)一個(gè)運(yùn)動(dòng)目標(biāo)的檢測(cè),多目標(biāo)檢測(cè)仍是一大難點(diǎn)。如果運(yùn)動(dòng)目標(biāo)增多,那么就存在相互遮擋的問(wèn)題,算法將涉及目標(biāo)分割等，大大增加了算法的復(fù)雜度,實(shí)時(shí)性較差。陰影檢測(cè)[20]：陰影檢測(cè)是復(fù)雜場(chǎng)景下運(yùn)動(dòng)目標(biāo)檢測(cè)的一個(gè)重要技術(shù)難點(diǎn),如何將陰影與運(yùn)動(dòng)目標(biāo)區(qū)分開(kāi)來(lái)是決定陰影檢測(cè)與消除的關(guān)鍵性步驟。盡管目前已經(jīng)提出了不少關(guān)于陰影檢測(cè)的方法，但從系統(tǒng)的復(fù)雜度和實(shí)用性來(lái)講，仍需選出一種適應(yīng)能力強(qiáng)，能適應(yīng)各種光照條件；檢測(cè)效果好，能將陰影準(zhǔn)確消除以防對(duì)目標(biāo)跟蹤帶來(lái)較大影響的算法。背景建模：由于現(xiàn)實(shí)場(chǎng)景中的背景復(fù)雜多樣，因此背景建模并沒(méi)有一個(gè)統(tǒng)一標(biāo)準(zhǔn)，同時(shí)背景的多樣性導(dǎo)致了建模的復(fù)雜性，一個(gè)好的背景模型需要兼顧各種復(fù)雜場(chǎng)景，目前這在工程中還有較大難度。1.4本文研究?jī)?nèi)容本文緊緊圍繞運(yùn)動(dòng)目標(biāo)檢測(cè)算法的研究這一內(nèi)容展開(kāi)，首先介紹了圖像處理的基礎(chǔ)知識(shí)，然后對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)的三種主流算法進(jìn)行深入研究，以高斯模型為主線，提出一種基于三幀差分法和像素變化率的混合高斯改進(jìn)算法，最后利用matlab仿真實(shí)驗(yàn)來(lái)證實(shí)本文提出的算法是可行的。全文內(nèi)容包括以下具體章節(jié)：第1章為緒論內(nèi)容，首先介紹了本課題的研究背景及研究意義，然后對(duì)國(guó)內(nèi)外的研究現(xiàn)狀進(jìn)行簡(jiǎn)要概述，分析在研究過(guò)程中可能會(huì)遇到的現(xiàn)實(shí)場(chǎng)景干擾和技術(shù)難題，并提供進(jìn)一步研究的思路和線索。第2章詳細(xì)介紹了圖像處理的相關(guān)技術(shù)，具體內(nèi)容包括真彩色圖像的灰度化、濾除圖像噪聲、閾值分割和形態(tài)學(xué)處理這四個(gè)方面，真彩色圖像的灰度化可用matlab自帶的rgb2gray函數(shù)完成；用于濾除圖像噪聲的濾波器可分為空間濾波器和頻率域?yàn)V波器，這兩種濾波器具有不同的特點(diǎn)和用途；閾值分割的常見(jiàn)方法有雙峰直方圖法、迭代閾值分割法和最大類間方差法；形態(tài)學(xué)處理通常由腐蝕和膨脹這兩個(gè)基本操作構(gòu)成。第3章對(duì)幀間差分法、背景差分法和光流法這三種運(yùn)動(dòng)目標(biāo)檢測(cè)的主流算法進(jìn)行了深入分析，比較優(yōu)缺點(diǎn)和適用場(chǎng)景，在現(xiàn)有理論和算法的基礎(chǔ)上，學(xué)習(xí)人們對(duì)幀間差分法提出的三幀差分法、累積差分法和區(qū)域差分法等改進(jìn)算法，了解背景建模的多種方法，重點(diǎn)理解高斯模型的建立。第4章首先介紹了傳統(tǒng)的高斯模型，分析單模態(tài)場(chǎng)景和多模態(tài)場(chǎng)景，進(jìn)而提出單模態(tài)高斯模型和混合高斯模型，為了解決現(xiàn)實(shí)場(chǎng)景中光照突變、樹(shù)枝搖晃、水面波動(dòng)、闖入無(wú)關(guān)目標(biāo)等干擾問(wèn)題，本文一種基于三幀差分法和像素變化率檢測(cè)的混合高斯改進(jìn)算法，并在matlab中仿真實(shí)驗(yàn)，驗(yàn)證該算法的有效性。最后，對(duì)本文的研究?jī)?nèi)容進(jìn)行總結(jié)，對(duì)未來(lái)的研究方向進(jìn)行分析。

第2章圖像處理基礎(chǔ)2.1引言運(yùn)動(dòng)目標(biāo)檢測(cè)是目標(biāo)跟蹤、特征提取、目標(biāo)識(shí)別和運(yùn)動(dòng)軌跡檢測(cè)等科學(xué)研究的基礎(chǔ)，在現(xiàn)實(shí)生活中取得了廣泛的應(yīng)用，具有很好的應(yīng)用前景。因此，研究學(xué)者們對(duì)其進(jìn)行了廣泛的關(guān)注與研究。為展開(kāi)后續(xù)章節(jié)，本章先對(duì)圖像處理的基礎(chǔ)知識(shí)作簡(jiǎn)要論述，主要闡述真彩色圖像的灰度化、圖像降噪、閾值分割以及形態(tài)學(xué)處理等基本概念[21]。2.2真彩色圖像的灰度化通常，攝像機(jī)采集的視頻為真彩色圖像序列，即RGB圖像序列，每個(gè)像素由3個(gè)數(shù)值表示紅色、綠色和藍(lán)色分量，即可用一個(gè)uint8、unit16或雙精度類型的數(shù)組描述一幅RGB圖像，m和n分別表示圖像的寬度和高度，圖像需占據(jù)較大的存儲(chǔ)空間，并且在處理圖像時(shí)，需要分別對(duì)三個(gè)顏色分量進(jìn)行計(jì)算，使得系統(tǒng)計(jì)算量大，不利于實(shí)時(shí)性。因此，在處理圖像之前，先將真彩色圖像灰度化，灰度圖像為R=G=B的情況，每個(gè)像素用一個(gè)[0,1]的數(shù)值表示其灰度值，有效減小了計(jì)算量，加快了系統(tǒng)的處理速度。matlab中自帶將真彩色圖像變?yōu)榛叶葓D像的函數(shù)：rgb2gray函數(shù)[22]，變換前后如圖2.1所示。真彩色圖像灰度圖像圖2.1真彩色圖像變換為灰度圖像其中，圖為原始圖像，圖為變換后的灰度圖像，可以看出轉(zhuǎn)換為灰度圖像不會(huì)影響運(yùn)動(dòng)目標(biāo)的檢測(cè)，并能加快圖像處理速度，增強(qiáng)實(shí)時(shí)性。2.3圖像噪聲處理在圖像的采集、獲取、傳送和轉(zhuǎn)換階段，圖像處理系統(tǒng)均處在復(fù)雜環(huán)境中，所有圖像均會(huì)受到不同程度的光照、電磁多變和背景擾動(dòng)等可見(jiàn)或不可見(jiàn)的干擾，從而影響運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確性。因此，有必要在處理和分析視頻前，對(duì)圖像序列進(jìn)行濾波，消除干擾噪聲，提高圖像質(zhì)量，方便后續(xù)的運(yùn)動(dòng)目標(biāo)檢測(cè)操作。2.3.1空間濾波器空間濾波器可用于模糊處理和降低噪聲。模糊處理常用于預(yù)處理中，可在目標(biāo)提取之前去除圖像中的部分瑣碎細(xì)節(jié)，或橋接直線與曲線的縫隙。降低噪聲則能提高圖像質(zhì)量，使后續(xù)處理取得更好的效果。下面將簡(jiǎn)要介紹線性的均值濾波器[23]和非線性的中值濾波器[24]這兩種常見(jiàn)的空間濾波器。2.3.1.1均值濾波器均值濾波器又稱為平滑線性空間濾波器，它使用模板鄰域內(nèi)各像素灰度值的平均值替換圖像中各像素的原灰度值，計(jì)算公式為： (2.1)這種處理降低了灰度值的“尖銳”變化，能有效減少圖像中的隨機(jī)噪聲；但另一方面，圖像的邊緣正是由灰度值尖銳變化帶來(lái)的特性，均值濾波會(huì)導(dǎo)致邊緣模糊的負(fù)面效應(yīng)。均值濾波器的模板大小根據(jù)需要選擇，其尺寸越大，平滑作用越強(qiáng)，同時(shí)邊緣模糊作用越大。為了減輕上述模糊效應(yīng)，可使用加權(quán)平均的方法：將不同的像素乘以不同的系數(shù)，使部分像素的重要性大于其他像素的重要性。我們常賦予中心點(diǎn)最高的權(quán)重，然后隨著距中心點(diǎn)距離的增大而減小像素點(diǎn)的權(quán)重，計(jì)算公式如下： (2.2)2.3.1.2中值濾波器中值濾波器是非線性統(tǒng)計(jì)排序?yàn)V波器中的一種，它是將像素鄰域內(nèi)灰度值的中值（中值計(jì)算包括原像素值）代替該像素的原灰度值，具體操作方法為：選定一個(gè)奇數(shù)窗口W，將W內(nèi)每一個(gè)像素的灰度值從小到大進(jìn)行排序，選取排序后的中間灰度值賦給窗口的中間像素，設(shè)圖像在(x,y)像素的灰度值為f(x,y)，去噪后對(duì)應(yīng)像素的灰度值為g(x,y)，則有以下表達(dá)式： (2.3)中值濾波器使有不同灰度值的像素看起來(lái)更接近它的相鄰像素，可用來(lái)去除那些相對(duì)于其鄰域像素更亮或更暗，并且區(qū)域小于濾波器區(qū)域一半的孤立像素族，較大的族受其影響較小，因此中值濾波器對(duì)以黑白形式疊加在圖像上的椒鹽噪聲非常有效。由于中值濾波器具有優(yōu)秀的去噪能力，并且模糊程度明顯低于同尺寸大小的線性平滑濾波器，因此被廣泛運(yùn)用。2.3.2頻率域?yàn)V波器頻率域?yàn)V波[25]與空間濾波對(duì)應(yīng)，二者之間的聯(lián)系是卷積定理，將濾波函數(shù)H(u,v)與輸入圖像的傅里葉變換F(u,v)相乘，再將結(jié)果作傅里葉逆變換，則可得到濾波后的輸出圖像。濾除噪聲需采用低通濾波器，下面介紹兩種圖像處理中常用的低通濾波器：巴特沃斯低通濾波器和高斯低通濾波器。2.3.2.1巴特沃斯低通濾波器截止頻率位于距原點(diǎn)D0處的n階巴特沃斯低通濾波器BLPF的傳遞函數(shù)為： (2.4)式中，D(u,v)是點(diǎn)(u,v)距頻率矩形中心的距離，BLPF的傳遞函數(shù)在通過(guò)頻率和濾除頻率之間沒(méi)有明顯截止的尖銳的不連續(xù)性，截止頻率點(diǎn)為D(u,v)=D0，其透視圖和顯示圖像如圖2.2所示。透視圖顯示圖像圖2.2BLPF的透視圖和顯示圖像2.3.2.2高斯低通濾波器高斯低通濾波器GLPF的傳遞函數(shù)為： (2.5)同上，D(u,v)是點(diǎn)(u,v)距頻率矩形中心的距離，D0是截止頻率，此處GLPF下降到最大值的0.607處，GLPF的透視圖和顯示圖像如圖2.3所示。透視圖顯示圖像圖2.3GLPF的透視圖和顯示圖像2.4閾值分割圖像分割就是將圖像劃分為多個(gè)特性不同的區(qū)域，并從中提取出有用目標(biāo)的過(guò)程，是一種重要的圖像分析技術(shù)。其方法有成百上千種，基于閾值的分割方法是最具代表的一種分割算法，具有處理直觀和易于實(shí)現(xiàn)的特點(diǎn)，能夠用封閉而連通的邊界定義不交疊的區(qū)域，適用于目標(biāo)和背景占據(jù)不同灰度值范圍的圖像。2.4.1雙峰直方圖法設(shè)圖像的灰度值范圍為0~L-1，灰度值為i的像素個(gè)數(shù)為mi，灰度直方圖反映了圖像中灰度值i與像素個(gè)數(shù)mi關(guān)系。假設(shè)某圖像中背景是淺色的，前景是深色的，得到這幅圖像的灰度直方圖如下圖所示，前景像素產(chǎn)生了直方圖上的左峰，背景像素產(chǎn)生了直方圖上的右峰。圖2.4雙峰直方圖實(shí)例從直方圖可以看出，前景與背景邊界附近的像素具有兩個(gè)峰值之間的灰度值，且這類像素?cái)?shù)目較少，因而形成了兩峰之間的谷，故可將閾值選取為兩峰之間的谷對(duì)應(yīng)的灰度值，把目標(biāo)與背景分離開(kāi)來(lái)。然而在實(shí)際應(yīng)用中，由于噪聲等因素的影響，灰度直方圖中原本分離的雙峰之間總會(huì)被填充，閾值很難直接確定。為解決上述問(wèn)題，人們提出了直方圖變換法，將像素梯度值作為加權(quán)的權(quán)重，利用像素鄰域的局部性質(zhì)將原直方圖加權(quán)變換成一個(gè)新的直方圖，新直方圖雙峰之間的谷更深或使原直方圖的谷轉(zhuǎn)變?yōu)榉澹瑥亩芨玫拇_定閾值。2.4.2迭代閾值分割法迭代法[26]采用基于逼近的思想，假設(shè)有一幅圖像f(i,j)，Z(i,j)是圖像上(i,j)點(diǎn)的灰度值，N(i,j)是(i,j)點(diǎn)的權(quán)重系數(shù)，即為取該點(diǎn)灰度值的概率，可按如下過(guò)程進(jìn)行迭代：步驟1：找出圖像的最小灰度值和最大灰度值，并設(shè)定如下初始閾值： (2.6)步驟2：根據(jù)閾值將圖像劃分為目標(biāo)和背景兩個(gè)部分，分別求出這兩個(gè)部分的加權(quán)平均灰度值和。步驟3：求出新的閾值： (2.7)步驟4：如果在允許范圍內(nèi)，則迭代結(jié)束，為最佳閾值；否則，繼續(xù)迭代。2.4.3最大類間方差法最大類間方差法[27]是由Otsu在1979年提出來(lái)的，它是在最小二乘法原理的基礎(chǔ)上推導(dǎo)出來(lái)的，其基本思路為：假設(shè)閾值為某一灰度值，將圖像區(qū)分成兩組，計(jì)算這兩組灰度值的方差，當(dāng)兩組之間方差為極大值時(shí)，此時(shí)這個(gè)灰度值就是分割圖像的最佳閾值。假設(shè)圖像有L個(gè)灰度級(jí)，灰度值為i的概率為pi，分割閾值設(shè)為灰度值k，將灰度值為0~k-1的像素定義為區(qū)間A，灰度值為k~L-1的像素定義為區(qū)間B，則像素灰度值落在區(qū)間A和區(qū)間B的概率分別為ωA和ωB，即： (2.8) (2.9)區(qū)間A和B的平均灰度值、整幅圖像的平均灰度值計(jì)算如下： (2.10) (2.11) (2.12)這兩個(gè)區(qū)間的類間方差為： (2.13)易知，該類間方差為關(guān)于自變量k的函數(shù)，k的變化范圍為0~L-1，取類間方差的極大值，此時(shí)對(duì)應(yīng)的灰度值k即為最佳判決閾值。2.5形態(tài)學(xué)處理形態(tài)學(xué)處理的流程如圖2.7所示，可用于二值圖像和灰度圖像，首先，設(shè)計(jì)一種正方形、圓形等形狀的結(jié)構(gòu)元；然后，計(jì)算結(jié)構(gòu)元的映射，將映射在原圖像中平移，采用交集和并集的處理方式，得到輸出圖像。原圖像原圖像平移、交、并等集合運(yùn)算結(jié)構(gòu)元素輸出圖像處理算法圖2.7形態(tài)學(xué)處理流程圖數(shù)學(xué)形態(tài)學(xué)可用來(lái)從圖像中提取表達(dá)和描繪區(qū)域形狀的有用分量，如：邊界，骨架和凸殼等，也可用來(lái)分離或連接圖像的部分區(qū)域。由于噪聲干擾、目標(biāo)與背景之間顏色相似等因素，在檢測(cè)出的運(yùn)動(dòng)目標(biāo)二值圖像中會(huì)有許多孤立的噪點(diǎn)、小間隙和孔洞等，這些都給后續(xù)的目標(biāo)識(shí)別與跟蹤帶來(lái)了干擾。我們可以通過(guò)形態(tài)學(xué)處理解決上述問(wèn)題，靈活運(yùn)用膨脹和腐蝕基本運(yùn)算，去除孤立的前景噪點(diǎn)，填補(bǔ)目標(biāo)內(nèi)部的空洞和小間隙，使運(yùn)動(dòng)目標(biāo)的提取更加完善。2.5.1膨脹和腐蝕膨脹和腐蝕[28]是形態(tài)學(xué)處理的基礎(chǔ)，腐蝕是使邊界向內(nèi)部收縮，消除邊界點(diǎn)的操作，可看作是一種形態(tài)學(xué)濾波操作，數(shù)學(xué)表達(dá)式如下： (2.14)式中，C為腐蝕后的二值圖像，T為用來(lái)腐蝕的結(jié)構(gòu)元，T(i,j)為結(jié)構(gòu)元中心平移到像素點(diǎn)(i,j)時(shí)得到的圖像，該式指出T對(duì)S的腐蝕是一個(gè)用(i,j)像素點(diǎn)平移的T包含在S中的所有點(diǎn)的集合。腐蝕操作可用來(lái)去除圖像中的某些部分，例如：可消除圖像中的孤立噪聲點(diǎn)，結(jié)構(gòu)元尺寸越大，可消除的部件越大，其作用過(guò)程如圖2.8(a)所示。膨脹與腐蝕對(duì)偶，它使邊界向外部擴(kuò)展，將物體附近的背景融合到物體中來(lái)，數(shù)學(xué)表達(dá)式如下： (2.15)式中，C為膨脹后的二值圖像，T為用來(lái)膨脹的結(jié)構(gòu)元，T(i,j)為結(jié)構(gòu)元中心平移到像素點(diǎn)(i,j)時(shí)得到的圖像。腐蝕是一種收縮或細(xì)化操作，而膨脹會(huì)增長(zhǎng)或粗化二值圖像中的物體，粗化的寬度由所用結(jié)構(gòu)元來(lái)控制，膨脹操作可用來(lái)橋接裂縫和填充物體中的空洞，但如果兩物體間距離較小，可能會(huì)使兩物體連在一起，作用過(guò)程如圖2.8(b)所示。(a)腐蝕(b)膨脹圖2.8腐蝕和膨脹2.5.2開(kāi)操作和閉操作開(kāi)操作是用結(jié)構(gòu)元B對(duì)A先腐蝕再膨脹，記作，表達(dá)式如下： (2.16)閉操作是用結(jié)構(gòu)元B對(duì)A先膨脹再腐蝕，記作，表達(dá)式如下： (2.17)膨脹會(huì)擴(kuò)大一幅圖像的組成部分，而腐蝕會(huì)縮小一幅圖像的組成部分，因此開(kāi)操作和閉操作不會(huì)改變圖像各組成部分的大小，作用過(guò)程如圖2.9所示。開(kāi)操作能平滑不規(guī)則的輪廓、斷開(kāi)狹窄的連接以及去除細(xì)小的突出；閉操作同樣可以平滑一部分輪廓，但不同的是，它能使較窄的斷裂和狹長(zhǎng)的溝壑彌合，消除較小的孔洞，填補(bǔ)間斷的輪廓。(a)開(kāi)操作(b)閉操作圖2.9開(kāi)操作和閉操作通過(guò)實(shí)驗(yàn)仿真，對(duì)同一幅圖像分別進(jìn)行腐蝕、膨脹、開(kāi)操作及閉操作，所得結(jié)果如圖2.10所示。(a)原圖像(b)腐蝕(c)膨脹(d)開(kāi)操作(e)閉操作圖2.10形態(tài)學(xué)處理實(shí)例圖(a)是添加了高斯噪聲和椒鹽噪聲的二值圖像，可明顯看出空中有許多孤立的噪點(diǎn)，塔上很多區(qū)域模糊；對(duì)原圖像進(jìn)行腐蝕得到圖(b)，可以去除塔上的噪點(diǎn)，但是塔的細(xì)小邊緣也被去除了，并且空中噪點(diǎn)更多了；圖(c)中膨脹可以去除空中的噪聲點(diǎn)，填補(bǔ)區(qū)域內(nèi)部的空洞，使塔變得清楚，將腐蝕與膨脹結(jié)合，利用開(kāi)操作和閉操作可以去除更多的噪聲，減輕圖像失真，從而達(dá)到更好的效果。

第3章常見(jiàn)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法3.1引言運(yùn)動(dòng)目標(biāo)檢測(cè)(MovingTargetDetection)就是將感興趣的運(yùn)動(dòng)目標(biāo)從視頻或圖像序列中提取出來(lái)的過(guò)程，它是計(jì)算機(jī)視覺(jué)的核心問(wèn)題，準(zhǔn)確的檢測(cè)出運(yùn)動(dòng)目標(biāo)是視頻分析和理解的關(guān)鍵技術(shù)，是實(shí)現(xiàn)目標(biāo)跟蹤、特征提取、目標(biāo)識(shí)別和運(yùn)動(dòng)軌跡檢測(cè)等研究的基礎(chǔ)，在監(jiān)控、跟蹤以及視頻內(nèi)容的行為分析等方面發(fā)揮著重要的作用。運(yùn)動(dòng)目標(biāo)的檢測(cè)通常都采用以下流程：原始監(jiān)控視頻原始監(jiān)控視頻預(yù)處理運(yùn)動(dòng)目標(biāo)區(qū)域檢測(cè)后續(xù)處理圖3.1運(yùn)動(dòng)目標(biāo)檢測(cè)流程圖根據(jù)攝像機(jī)是運(yùn)動(dòng)還是靜止可以分為動(dòng)態(tài)場(chǎng)景下的運(yùn)動(dòng)目標(biāo)檢測(cè)和靜態(tài)場(chǎng)景下的運(yùn)動(dòng)目標(biāo)檢測(cè)[29]，動(dòng)態(tài)場(chǎng)景的檢測(cè)算法主要應(yīng)用于計(jì)算機(jī)輔助駕駛等系統(tǒng)中，由于動(dòng)態(tài)場(chǎng)景的檢測(cè)算法是建立在靜態(tài)場(chǎng)景檢測(cè)算法的基礎(chǔ)之上，并且監(jiān)控系統(tǒng)通常采用固定的攝像頭采集圖像序列，故本文研究第二類情況。然而在實(shí)際場(chǎng)景中，運(yùn)動(dòng)目標(biāo)檢測(cè)會(huì)遇到現(xiàn)實(shí)工作難題，主要表現(xiàn)在以下幾個(gè)方面：(1)光照變化、背景擾動(dòng)和攝影師操作不當(dāng)?shù)雀蓴_：當(dāng)光照發(fā)生變化，場(chǎng)景中許多背景像素也會(huì)發(fā)生變化，運(yùn)動(dòng)目標(biāo)的顏色等特征可能會(huì)發(fā)生較大變化；搖動(dòng)的樹(shù)葉和灌木叢、波動(dòng)的水面和旋轉(zhuǎn)的風(fēng)扇等背景擾動(dòng)很容易被誤判為運(yùn)動(dòng)前景；攝影師的操作抖動(dòng)會(huì)導(dǎo)致運(yùn)動(dòng)目標(biāo)和背景發(fā)生快速無(wú)規(guī)則改變。(2)氣候變化：距離攝像頭較近的雪花或雨滴對(duì)檢測(cè)結(jié)果都會(huì)造成較大的影響，檢測(cè)準(zhǔn)確性會(huì)大大降低。如果整幅圖像都充滿雪花或雨滴，會(huì)導(dǎo)致整個(gè)背景雜亂無(wú)章；下雨天由于積水引起地面反光，也會(huì)對(duì)實(shí)際檢測(cè)帶來(lái)困難。(3)目標(biāo)變化：在視頻采集過(guò)程中，攝像機(jī)的運(yùn)動(dòng)以及目標(biāo)物體的運(yùn)動(dòng)都會(huì)使目標(biāo)的尺度發(fā)生變化，同時(shí)旋轉(zhuǎn)和平移也會(huì)使運(yùn)動(dòng)目標(biāo)發(fā)生變化，這都給檢測(cè)帶來(lái)困難。(4)局部遮擋，多目標(biāo)干擾等干擾：運(yùn)動(dòng)物體可能會(huì)受到局部遮擋、多目標(biāo)干擾等其他物體的干擾，這些因素可能會(huì)引起運(yùn)動(dòng)目標(biāo)的暫時(shí)不見(jiàn)或形狀改變，要求系統(tǒng)具有一定的穩(wěn)定性。3.2常見(jiàn)的檢測(cè)算法目前，運(yùn)動(dòng)目標(biāo)檢測(cè)的常用算法有：幀間差分法、背景差分法和光流法，接下來(lái)將分別介紹這三種算法。3.2.1幀間差分法顧名思義，幀間差分法就是將相鄰兩幀或三幀的灰度圖像做差分運(yùn)算，通過(guò)與閾值作比較，判斷各像素是屬于運(yùn)動(dòng)前景還是背景區(qū)域，可簡(jiǎn)稱為幀差法，大于閾值表示該像素灰度值變化明顯，為運(yùn)動(dòng)前景像素，相反則判斷為可忽略灰度變化，該像素視為背景像素，其數(shù)學(xué)表達(dá)式如下： (3.1)式中，ft(i,j)為t時(shí)刻(i,j)像素點(diǎn)的灰度值，ft-1(i,j)為t-1時(shí)刻(i,j)像素點(diǎn)的灰度值，T為判定的閾值，如果T設(shè)置過(guò)高，則運(yùn)動(dòng)前景檢測(cè)不完整；相反如果T設(shè)置過(guò)低，則會(huì)將背景干擾誤判為運(yùn)動(dòng)前景，Dt(i,j)為幀差法的輸出結(jié)果，值為1表示該像素為運(yùn)動(dòng)前景像素，值為0表示該像素為背景像素。幀差法是運(yùn)動(dòng)目標(biāo)檢測(cè)的基本算法之一，是最簡(jiǎn)單的算法，算法復(fù)雜度低，運(yùn)行速度快，由于做差分運(yùn)算的背景為前一幀圖像，因此對(duì)光線等場(chǎng)景變化具有較好的適應(yīng)性，適用于存在多個(gè)運(yùn)動(dòng)目標(biāo)和攝像機(jī)移動(dòng)的情況，具有較好的穩(wěn)定性。但對(duì)于運(yùn)動(dòng)物體內(nèi)部灰度值相似的像素，幀差法容易對(duì)其產(chǎn)生忽略，不能提取出運(yùn)動(dòng)前景的完整區(qū)域，只能檢測(cè)出邊界，在其內(nèi)部產(chǎn)生空洞現(xiàn)象，因此幀差法不適用于大且運(yùn)動(dòng)緩慢的物體；并且?guī)罘z測(cè)出的運(yùn)動(dòng)前景和實(shí)際的運(yùn)動(dòng)物體相比具有“拉長(zhǎng)”的效果，在運(yùn)動(dòng)物體后會(huì)產(chǎn)生“鬼影”現(xiàn)象，即將運(yùn)動(dòng)物體走過(guò)后露出的背景像素誤判為前景像素點(diǎn)，從而在運(yùn)動(dòng)物體后留下若干噪點(diǎn)，給下一步的目標(biāo)跟蹤、特征提取和目標(biāo)識(shí)別等研究帶來(lái)困難。幀差法的檢測(cè)效果還與幀間間隔有關(guān)，對(duì)于運(yùn)動(dòng)速度快的物體，應(yīng)取較小的時(shí)間間隔，否則可能由于不重疊而被檢測(cè)為兩個(gè)獨(dú)立的運(yùn)動(dòng)目標(biāo)；而對(duì)于運(yùn)動(dòng)緩慢甚至稍微停留的物體，則需取較大的時(shí)間間隔，否則可能導(dǎo)致運(yùn)動(dòng)目標(biāo)在相鄰兩幀中完全重疊。為了減小將背景像素當(dāng)作前景像素的誤判率，減輕“鬼影”現(xiàn)象，人們對(duì)上述傳統(tǒng)的幀差法進(jìn)行改進(jìn)，提出了三幀差分法、累積差分法和區(qū)域差分法[30][31]。3.2.1.1三幀差分法三幀差分法建立在二幀差分法的基礎(chǔ)上，取視頻中的連續(xù)三幀圖像It-1(x,y)、It(x,y)和It+1(x,y)，將It-1(x,y)和It(x,y)、It(x,y)和It+1(x,y)分別做差分運(yùn)算，再把得到的兩個(gè)差分圖像相與得到Dt(x,y)，即為幀差結(jié)果，將Dt(x,y)與閾值T作比較，大于T的像素點(diǎn)判斷為運(yùn)動(dòng)前景像素，否則認(rèn)為是背景像素，其數(shù)學(xué)表達(dá)式如下： (3.2) (3.3)三幀差分法原理簡(jiǎn)單，運(yùn)行速度快，具有較好的抗干擾能力，并且由于幀差結(jié)果是兩次差分圖像的公共部分，因此能夠有效地消除顯露背景，使檢測(cè)出運(yùn)動(dòng)前景更接近實(shí)際運(yùn)動(dòng)物體，但檢測(cè)出的運(yùn)動(dòng)前景內(nèi)部仍存在空洞，并且有一幀的滯后性，其流程圖如圖3.2所示。第k+1幀圖像第k+1幀圖像第k幀圖像第k-1幀圖像視頻圖像序列圖像預(yù)處理圖像預(yù)處理圖像預(yù)處理圖像差分圖像差分圖像相與閾值操作形態(tài)學(xué)處理前景目標(biāo)圖3.2三幀差分法流程圖3.2.1.2累積差分法由于運(yùn)動(dòng)緩慢的物體在相鄰兩幀圖像中的變化量很小，僅利用一幀差分圖像判斷容易被當(dāng)作背景噪聲；同時(shí)，由于噪聲的干擾或背景的擾動(dòng)，沒(méi)有運(yùn)動(dòng)前景的像素也會(huì)出現(xiàn)灰度差值不為零的情況，如果不對(duì)其稍加處理，計(jì)算機(jī)則無(wú)法區(qū)分這兩種情況，從而產(chǎn)生錯(cuò)誤結(jié)果。為解決這個(gè)問(wèn)題，Jain提出了累積差分法，累積差分法分析整個(gè)視頻中多個(gè)相鄰幀差分結(jié)果，對(duì)其進(jìn)行累加運(yùn)算，只有真正的運(yùn)動(dòng)前景像素才會(huì)是有規(guī)律的運(yùn)動(dòng)，具有較大的累加值，運(yùn)算過(guò)程如下： (3.4) (3.5)式中，bidf(x,y,t)是每一幀與前一幀的差分結(jié)果，adp(x,y,t)是到當(dāng)前幀為止，該像素的累加值，若bidf(x,y,t)為1，則對(duì)該像素累加值+1，否則清零。由于干擾像素的運(yùn)動(dòng)是無(wú)規(guī)律的，bidf(x,y,t)值時(shí)而為1時(shí)而為0，因此干擾像素?zé)o法累加到較大數(shù)值；相反，由于在連續(xù)多幀差分圖像中運(yùn)動(dòng)像素bidf(x,y,t)值取1，故具有較大的累加值，通過(guò)對(duì)累加值進(jìn)行閾值判斷，可以去除干擾噪聲點(diǎn)和背景擾動(dòng)點(diǎn)，從而獲得更準(zhǔn)確的檢測(cè)結(jié)果。3.2.1.3區(qū)域差分法區(qū)域差分法不是對(duì)某個(gè)像素做差分運(yùn)算，而是對(duì)每個(gè)模板做差分運(yùn)算，其數(shù)學(xué)表達(dá)式為： (3.6) (3.7)式中，Sk(x,y)為模板內(nèi)各像素灰度值之和，通常選取3×3大小的“十”或“田”字形模板，區(qū)域差分法利用像素空間信息去除噪聲干擾和背景擾動(dòng)的影響，其運(yùn)算過(guò)程與普通二幀差分法類似。3.2.2背景差分法背景差分法又稱為減背景法，是運(yùn)動(dòng)目標(biāo)檢測(cè)的常用方法之一，它的基本思想是將圖像序列中的當(dāng)前幀與背景模型作比較，利用灰度直方圖等統(tǒng)計(jì)信息判斷場(chǎng)景中是否有異常情況發(fā)生，通過(guò)灰度值等特征的變化提取運(yùn)動(dòng)目標(biāo)，其數(shù)學(xué)表達(dá)式可表示為： (3.8) (3.9)式中，gt(x,y)為t時(shí)刻的輸出圖像，ft(x,y)為當(dāng)前幀，bt(x,y)為t時(shí)刻的背景圖像。因此，使用背景差分法需要首先對(duì)背景進(jìn)行建模，背景圖像的確定成為背景差分法的關(guān)鍵，背景模型的準(zhǔn)確性直接影響檢測(cè)結(jié)果的準(zhǔn)確性，算法流程圖如圖3.3所示。視頻圖像視頻圖像預(yù)處理背景差分運(yùn)算背景建模后期處理目標(biāo)區(qū)域圖3.3背景差分法流程圖由于實(shí)際場(chǎng)景中存在光照突變、背景擾動(dòng)、局部遮擋和攝像機(jī)抖動(dòng)等不可預(yù)知的復(fù)雜干擾和隨機(jī)噪聲，背景建模變得有些困難，常見(jiàn)的背景模型有如下幾種：中值法：取連續(xù)N幀圖像，將對(duì)應(yīng)像素的灰度值從小到大排序，取它的中間值作為背景圖像中對(duì)應(yīng)像素的灰度值。均值法：計(jì)算出圖像序列中連續(xù)N幀的平均灰度值，將其設(shè)定成背景圖像的灰度值，該算法運(yùn)算速度快，但對(duì)光照變化等動(dòng)態(tài)場(chǎng)景較為敏感?？柭鼮V波器模型：把背景看作是穩(wěn)態(tài)系統(tǒng)，把運(yùn)動(dòng)前景看作是噪聲，運(yùn)用時(shí)域遞歸低通濾波原理和Kalman濾波理論來(lái)預(yù)測(cè)慢速改變的背景，這種方法可以在用前景更新背景的同時(shí)，消除干擾噪聲，維持背景的穩(wěn)定性。單高斯分布模型：我們認(rèn)為每一個(gè)像素的灰度值均服從高斯分布，它的取值可以看成是一個(gè)隨機(jī)過(guò)程X?；旌细咚狗植寄Ｐ停簩D像序列中的每一個(gè)像素都用多個(gè)高斯分布的加權(quán)和來(lái)模擬，每一個(gè)高斯分布都表示該像素的一種狀態(tài)，從而模擬出現(xiàn)實(shí)場(chǎng)景中的多模態(tài)情形。背景模型能夠動(dòng)態(tài)更新背景圖像，獲得較完整的運(yùn)動(dòng)前景，但對(duì)環(huán)境變化非常敏感，如果背景學(xué)習(xí)率選擇不當(dāng)，則會(huì)把長(zhǎng)時(shí)間滯留的運(yùn)動(dòng)目標(biāo)更新為背景，導(dǎo)致目標(biāo)檢測(cè)不準(zhǔn)確；并且不同建模方法的檢測(cè)效果也不相同，越復(fù)雜的背景模型效果越好，但這都是以算法的復(fù)雜度為代價(jià)，系統(tǒng)的實(shí)時(shí)性較差。3.2.3光流法20世紀(jì)50年代，Gibson和Wallach等學(xué)者以心理學(xué)實(shí)驗(yàn)為基礎(chǔ)提出StructureFromMotion假設(shè)，指出通過(guò)對(duì)二維平面中光流場(chǎng)恢復(fù)和計(jì)算可得到三維空間的運(yùn)動(dòng)以及結(jié)構(gòu)參數(shù)。1981年，Horn和Schunck創(chuàng)造性地將灰度值與二維速度場(chǎng)相結(jié)合，并引入光流約束方程，創(chuàng)造了光流場(chǎng)計(jì)算的典型算法：Horn-Schunck算法[32]，隨后Lucas和Kanade提出了另一種典型算法：Lucas-Kanade算法[33]。光流矢量是指觀測(cè)成像面上像素點(diǎn)的瞬時(shí)速度矢量，光流場(chǎng)則是指由各像素光流矢量組成的圖像運(yùn)動(dòng)場(chǎng)，它不僅包含了圖像中運(yùn)動(dòng)目標(biāo)的信息，還包含了三維結(jié)構(gòu)的豐富物理信息，可用于攝像機(jī)運(yùn)動(dòng)的情況。光流法是一種基于圖像一致性假設(shè)的方法，由于背景像素光流矢量的變化具有一定的連續(xù)性，而運(yùn)動(dòng)前景像素的光流矢量與鄰域截然不同，存在突變性，因此通過(guò)分析圖像中各像素的光流矢量，即可判斷圖像中是否存在運(yùn)動(dòng)前景。假設(shè)在t時(shí)刻，圖像中(x,y)像素點(diǎn)的灰度值為f(x,y,t)，到t+Δt時(shí)刻，該像素點(diǎn)運(yùn)動(dòng)到(x+Δx,y+Δy)位置處，灰度值變?yōu)閒(x+Δx,y+Δy,t+Δt)，根據(jù)圖像一致性假設(shè)，像素運(yùn)動(dòng)前后灰度值不變，即： (3.10)由于圖像中任意像素都不是獨(dú)立的，相鄰像素的灰度值是有關(guān)聯(lián)的，因此在整個(gè)圖像中灰度值是連續(xù)變化的，現(xiàn)將上式用泰勒級(jí)數(shù)展開(kāi)： (3.11)式中，為、dy和的高次項(xiàng)。當(dāng)，可忽略，化簡(jiǎn)后可得： (3.12)記，，，，，u和v分別表示x和y方向上的光流，Ix、Iy和It分別為f(x,y,t)對(duì)x、y和t的偏導(dǎo)數(shù)，上式可寫成： (3.13)可用矩陣形式表示為： (3.14)式中，，是圖像在(x,y)像素的灰度梯度分布，，是(x,y)像素的光流矢量?？梢钥闯?，上述光流方程中包含u和v兩個(gè)未知量，因此還需要一個(gè)約束方程才能求出u和v的值。Horn-Schunck法認(rèn)為運(yùn)動(dòng)前景的光流矢量是局部平滑的，或者是在局部區(qū)域中緩慢變化，即空間平滑性約束條件，約束方程如下： (3.15) (3.16)Lucas-Kanade法假定在以某像素為中心的很小鄰域Ω內(nèi)，所有像素的光流矢量都是恒定不變的，對(duì)各像素賦予相應(yīng)的權(quán)重，約束方程為： (3.17)式中，W(x)為權(quán)重窗函數(shù)，離中心越近的像素權(quán)重越大，上式的解可由下式得到： (3.18)式中，，，，是t時(shí)刻鄰域Ω內(nèi)的n個(gè)像素，實(shí)際上，是2×2的矩陣，則有： (3.19)光流法能有效地檢測(cè)和分割運(yùn)動(dòng)目標(biāo)，對(duì)地對(duì)空導(dǎo)彈和火箭控制系統(tǒng)的精確制導(dǎo)、飛行器的自動(dòng)精確導(dǎo)航與著陸、戰(zhàn)場(chǎng)中的動(dòng)態(tài)分析、軍事偵察中的衛(wèi)星圖片分析、醫(yī)療中的異常器官細(xì)胞分析與診斷等具有重要價(jià)值。用光流法檢測(cè)運(yùn)動(dòng)目標(biāo)時(shí)，可以不用提前知道背景場(chǎng)景的先驗(yàn)信息，也可以在背景運(yùn)動(dòng)的情況下進(jìn)行檢測(cè)，圖3.4即為L(zhǎng)ucas-Kanade算法的檢測(cè)結(jié)果，但由于光流法對(duì)光照突變等干擾非常敏感，并且算法復(fù)雜，實(shí)時(shí)性較差，在現(xiàn)實(shí)中目前還應(yīng)用較少。(a)前一幀圖像(b)后一幀圖像(c)檢測(cè)結(jié)果圖3.4光流法檢測(cè)結(jié)果3.2.4上述三種算法的比較上述三種算法各有優(yōu)缺點(diǎn)，幀間差分法的算法復(fù)雜度較小，運(yùn)算速度快，具有較好的實(shí)時(shí)性，并且對(duì)光照等環(huán)境變化不太敏感，但檢測(cè)出的運(yùn)動(dòng)前景內(nèi)部存在明顯的空洞現(xiàn)象，需進(jìn)行較多的后期處理；背景差分法容易受到光照變化、背景擾動(dòng)等影響，因此它的核心是背景建模，背景建模的準(zhǔn)確性直接影響算法結(jié)果的準(zhǔn)確性，但通常情況下，越準(zhǔn)確的背景模型越復(fù)雜，計(jì)算量越大，系統(tǒng)的實(shí)時(shí)性越差，這需要我們根據(jù)實(shí)際情況合理選擇模型，在準(zhǔn)確度和復(fù)雜度之間找到平衡點(diǎn)；光流法能夠全面獲取圖像中各像素的運(yùn)動(dòng)情況，攜帶了大量的運(yùn)動(dòng)信息和三維物理結(jié)構(gòu)信息，可用于攝像機(jī)運(yùn)動(dòng)的情況，但其算法復(fù)雜度高，計(jì)算量大，難以滿足實(shí)時(shí)性的要求，并且由于計(jì)算用到偏微分，因而算法穩(wěn)定性較差。表3.1三種算法的比較檢測(cè)算法算法復(fù)雜度難點(diǎn)優(yōu)點(diǎn)缺點(diǎn)幀間差分法小運(yùn)動(dòng)目標(biāo)內(nèi)部的空洞算法簡(jiǎn)單，易于實(shí)時(shí)處理，對(duì)場(chǎng)景變換不敏感無(wú)法檢測(cè)出暫時(shí)靜止的物體，檢測(cè)出的運(yùn)動(dòng)目標(biāo)內(nèi)部空洞現(xiàn)象明顯背景差分法中背景模型的選取、背景更新實(shí)時(shí)更新背景模型，能檢測(cè)出暫時(shí)靜止的物體，能實(shí)時(shí)處理對(duì)光照變化、背景擾動(dòng)等敏感光流法大難以滿足實(shí)時(shí)性的需求獲取運(yùn)動(dòng)目標(biāo)信息和三維物理結(jié)構(gòu)信息，可用于攝像機(jī)運(yùn)動(dòng)的情況計(jì)算量大，實(shí)時(shí)性差，需要硬件支持

第4章高斯模型的建立及改進(jìn)4.1引言背景差分法的核心是背景建模，背景建模的準(zhǔn)確性直接影響檢測(cè)結(jié)果的準(zhǔn)確性，常用的背景建模方法有：中值模型法、均值模型法、卡爾曼模型法和高斯模型法。對(duì)于現(xiàn)實(shí)場(chǎng)景中光照突變、背景擾動(dòng)、局部遮擋和攝像機(jī)抖動(dòng)等干擾，高斯模型法具有較好的自適應(yīng)性，能獲得穩(wěn)定性和可靠性較高的背景圖像，故本章將詳細(xì)介紹高斯模型，建立高斯模型的流程如圖4.1所示。初始化參數(shù)初始化參數(shù)對(duì)各像素建立高斯模型該像素判定為背景像素像素值與當(dāng)前高斯模型是否匹配提取下一幀圖像更新各像素的高斯模型參數(shù)該像素為前景像素否是圖4.1高斯模型的建立流程圖高斯分布又名正態(tài)分布，1733年，德國(guó)數(shù)學(xué)家和天文學(xué)家Moivre首次提出這一概念，之后德國(guó)數(shù)學(xué)家Guass率先將其應(yīng)用于天文學(xué)研究，并在研究誤差理論時(shí)從另一個(gè)角度導(dǎo)出該分布。高斯分布是一種典型的概率分布，其統(tǒng)計(jì)特性由μ和σ確定，在數(shù)學(xué)、物理及工程等領(lǐng)域有著重要的影響力。根據(jù)背景的統(tǒng)計(jì)學(xué)特性，可將背景分為單模態(tài)和多模態(tài)[34]，單模態(tài)是指每個(gè)背景像素的顏色或灰度值分布比較集中，可采用一個(gè)概率分布對(duì)其進(jìn)行描述，如果用高斯分布描述，那么每個(gè)像素對(duì)應(yīng)一組μ和σ值，即單高斯模型；與此相反，多模態(tài)是指每個(gè)背景像素的顏色或灰度值分布比較分散，需要用多個(gè)概率分布描述各個(gè)像素，每個(gè)概率分布都代表一種狀態(tài)，如果要用高斯分布描述，那么每一個(gè)像素都對(duì)應(yīng)多組μ和σ值，這就是混合高斯模型。4.2高斯模型根據(jù)描述各像素的高斯分布個(gè)數(shù)，可將高斯模型分為單高斯模型和混合高斯模型，其中，單高斯模型適用于單模態(tài)場(chǎng)景，混合高斯模型適用于多模態(tài)場(chǎng)景。4.2.1單高斯模型高斯分布又名正態(tài)分布，對(duì)于服從均值為μ，方差為σ2的高斯分布的隨機(jī)變量X，可記作X~N(μ,σ2)，其概率密度函數(shù)為： (4.1)單高斯模型最先由Prinder[35]提出來(lái)，是一種基于統(tǒng)計(jì)學(xué)的背景模型，它認(rèn)為圖像中各像素相互獨(dú)立，在背景變化不大、外界干擾不明顯的簡(jiǎn)單場(chǎng)景中，圖像序列中每個(gè)像素的顏色或灰度值應(yīng)滿足以某個(gè)均值為中心，在一定范圍內(nèi)隨機(jī)波動(dòng)，即可用單個(gè)高斯分布來(lái)描述，高斯分布表示該像素的狀態(tài)。假設(shè)t時(shí)刻(i,j)像素的灰度值為xt，滿足均值為μ，方差為σ2的高斯分布，那么該像素為背景像素的概率為： (4.2)如果xt在高斯分布的m倍標(biāo)準(zhǔn)差范圍內(nèi)，即有，其中，和為更新到前一幀為止該像素高斯模型的均值和方差，此時(shí)xt與高斯模型匹配，該像素為背景像素；否則該像素為運(yùn)動(dòng)前景像素。上式中m表示該像素被判斷為背景像素的允許誤差大小，在場(chǎng)景亮度比較暗或運(yùn)動(dòng)前景不清晰時(shí)，m取較小值，以防檢測(cè)出的運(yùn)動(dòng)目標(biāo)不完整，內(nèi)部存在大量空洞；在場(chǎng)景較亮且背景亮度變化較明顯時(shí)，需將m取較大值，以防止將背景像素誤判為運(yùn)動(dòng)前景像素，m的取值范圍通常為2.5~3。若像素灰度值xt與背景模型匹配，則需對(duì)背景模型進(jìn)行參數(shù)更新以適應(yīng)背景的變化，該像素高斯分布的均值和方差更新如下： (4.3) (4.4)式中，α為背景更新率，表示背景更新速度的快慢，若α取值較小，則背景更新速度較慢，當(dāng)前幀對(duì)背景圖像不會(huì)造成太大變化，這樣背景更新可能不夠及時(shí)，檢測(cè)出的運(yùn)動(dòng)前景可能不完整；若α取值較大，則背景更新速度較快，但這可能會(huì)把運(yùn)動(dòng)速度較慢或暫時(shí)靜止的運(yùn)動(dòng)前景誤判為背景，導(dǎo)致結(jié)果不準(zhǔn)確。相反，如果該像素與背景模型不匹配，即被判為運(yùn)動(dòng)前景像素，則高斯分布參數(shù)不用更新，均值和方差保持不變。背景模型的初始化也很重要，通常有兩種方法對(duì)其進(jìn)行初始化：一種是取圖像序列的前N幀，N一般取100~200，計(jì)算各像素前N幀的平均灰度值μ0和平均方差σ02，各像素高斯分布初始化為N(μ0,σ02)；另一種方法是用當(dāng)前幀初始化，各像素當(dāng)前幀的灰度值設(shè)為高斯分布的均值，方差設(shè)為一個(gè)較大值，隨著輸入圖像增多，方差逐漸減小，高斯分布的均值將越來(lái)越接近實(shí)際值。4.2.2混合高斯模型現(xiàn)實(shí)場(chǎng)景通常都是復(fù)雜多變的多模態(tài)場(chǎng)景，可能存在光照變化、光線反射、雨雪天氣、搖動(dòng)的樹(shù)葉和灌木叢、波動(dòng)的水面和旋轉(zhuǎn)的風(fēng)扇等干擾，背景像素的顏色或灰度值分布分散，單個(gè)高斯分布無(wú)法準(zhǔn)確描述出各像素的狀態(tài)。為了解決這個(gè)問(wèn)題，Stauffer和Grimson等人[36]對(duì)單高斯模型進(jìn)行延伸，提出了混合高斯模型，用多個(gè)單高斯模型的函數(shù)來(lái)描述復(fù)雜場(chǎng)景[37]。混合高斯模型的概率密度函數(shù)為： (4.5) (4.6)式中，K為表征像素顏色或灰度值變化的高斯分布個(gè)數(shù)，每一個(gè)高斯分布都代表一種狀態(tài)，K一般取3~5，K越大，各像素高斯分布個(gè)數(shù)越多，模型對(duì)背景的適應(yīng)性越強(qiáng)，但計(jì)算量也更大，所需的處理時(shí)間更長(zhǎng)，因此需要控制K的數(shù)值，如果K取值小于3，就失去了混合高斯模型的意義；如果K取值大于5，即使有更好的處理效果，但由于實(shí)時(shí)性太差，已經(jīng)失去了處理的意義，并且效果的提升沒(méi)有太明顯。表示t時(shí)刻第i個(gè)高斯分布的權(quán)重，表示t時(shí)刻第i個(gè)高斯分布的均值，表示t時(shí)刻第i個(gè)高斯分布的協(xié)方差矩陣，表示t時(shí)刻第i個(gè)高斯分布的概率密度函數(shù)，其中n是圖像的維度數(shù)，當(dāng)圖像序列為灰度圖像時(shí)，n=1；當(dāng)圖像序列為真彩色圖像時(shí)，n=3，通常假設(shè)真彩色圖像的R、G和B三通道相互獨(dú)立，各分量有相同的方差，則協(xié)方差矩陣為。4.2.2.1混合高斯模型的初始化混合高斯模型的初始化與單高斯模型類似，可用當(dāng)前幀初始化模型參數(shù)，混合高斯模型的第一個(gè)高斯分布的均值初始化為當(dāng)前幀各像素的灰度值，其余K-1個(gè)高斯分布的均值均初始化為0，并對(duì)第一個(gè)高斯分布的權(quán)重賦予較大值，而對(duì)其他K-1個(gè)高斯分布的權(quán)重賦予相同的較小值，并保證K個(gè)高斯分布的權(quán)重之和為1，再將K個(gè)高斯分布的方差初始化為相同的較大值，使其將可能的灰度值包含進(jìn)來(lái)，自動(dòng)更新更新模型參數(shù)。隨著輸入圖像增多，符合某高斯分布的像素越多，該高斯分布的權(quán)重越大，方差越小，灰度值向均值靠攏，對(duì)像素的描述將越來(lái)越準(zhǔn)確。若應(yīng)用對(duì)模型參數(shù)初始化要求較高，則可用另一種方式初始化：取視頻中的前N幀圖像，N一般取100~200，計(jì)算平均灰度值μ0和平均方差σ02，并用其初始化，且權(quán)重，但這種方法需要系統(tǒng)預(yù)存大量的圖像序列，對(duì)內(nèi)存要求較高，故本文采用第一種方法初始化模型。4.2.2.2混合高斯模型的更新由于背景是隨時(shí)間不斷變化的，因此需要利用當(dāng)前幀對(duì)背景模型不斷更新以適應(yīng)復(fù)雜場(chǎng)景，使檢測(cè)出的運(yùn)動(dòng)目標(biāo)完整準(zhǔn)確。首先判斷像素與高斯分布是否匹配，與單高斯模型同理，假設(shè)t時(shí)刻(i,j)像素的當(dāng)前灰度值為xt，如對(duì)任意高斯分布滿足，m一般取2.5~3，則xt與至少一個(gè)高斯分布匹配，為背景像素，此時(shí)需對(duì)高斯模型進(jìn)行更新?；旌细咚鼓Ｐ偷膮?shù)主要為：均值、方差和權(quán)重，若像素與高斯分布匹配，則該高斯分布的權(quán)重增大，參數(shù)更新如下： (4.7) (4.8) (4.9)對(duì)于不匹配的高斯分布，其均值和方差不改變，權(quán)重減小，更新如下： (4.10)式中，α為自定義學(xué)習(xí)率，取值范圍為0<α<1，β為參數(shù)學(xué)習(xí)率，β≈α/ωi，α和β表征背景更新速度的快慢，α越大，背景更新越快；α越小，背景更新越慢。模型更新后，由于K個(gè)高斯分布的權(quán)重均已改變，需要重新對(duì)權(quán)重歸一化： (4.11)然后按照ωx,y,i/σx,y,i由大到小排序，排序越靠前的高斯分布描述背景的可能性越大。如果當(dāng)前像素未能和任何一個(gè)高斯分布匹配，則判斷該像素為運(yùn)動(dòng)前景像素，并創(chuàng)建一個(gè)新的高斯分布，新高斯分布的均值為當(dāng)前像素灰度值，并設(shè)定一個(gè)較大的方差和一個(gè)較小的權(quán)重，如果已經(jīng)存在K個(gè)高斯分布，則用新高斯分布取代權(quán)重最小的那個(gè)。4.2.2.3運(yùn)動(dòng)前景檢測(cè)在混合高斯模型中，每個(gè)像素都有多個(gè)高斯分布，但并非所有高斯分布都是用來(lái)描述背景的。如果大部分高斯分布都用來(lái)描述背景，那么該像素為背景像素；相反，如果大部分高斯分布都用來(lái)描述運(yùn)動(dòng)前景，那么該像素為運(yùn)動(dòng)前景像素。因此，為了有效劃分背景像素和運(yùn)動(dòng)前景像素，我們必須區(qū)分開(kāi)描述背景的高斯分布和描述運(yùn)動(dòng)前景的高斯分布。由于背景像素灰度值變化緩慢，在時(shí)間上具有一定的連續(xù)性，因此描述背景像素的高斯分布具有權(quán)重大和方差小的特點(diǎn)，現(xiàn)將權(quán)重與標(biāo)準(zhǔn)差的比值記作優(yōu)先級(jí)，則描述背景像素的高斯分布具有較大的優(yōu)先級(jí)，即排序靠前。我們?nèi)∨判蛑星癇個(gè)高斯分布為描述背景的高斯分布，B由下式確定： (4.12)式中，argminb表示滿足括號(hào)內(nèi)條件的b的最小值，T為權(quán)重閾值，反映描述背景像素的高斯分布所占的最小比例，T通常取0.5~1。如果T取值過(guò)小，則混合高斯模型退化成單高斯模型，系統(tǒng)計(jì)算時(shí)間明顯減小；如果T取值較大，則背景模型能夠較好的描述場(chǎng)景中周期性運(yùn)動(dòng)的干擾，如：搖晃的樹(shù)葉和灌木叢、飄動(dòng)的旗幟和波動(dòng)的水面等。如果當(dāng)前像素能與前B個(gè)高斯分布中任意一個(gè)匹配，那么認(rèn)為該像素為背景像素；相反，如未能與前B個(gè)中任一個(gè)匹配，則該像素為運(yùn)動(dòng)前景像素。經(jīng)過(guò)多次仿真實(shí)驗(yàn)，我們發(fā)現(xiàn)：由于真彩色圖像對(duì)每一個(gè)像素都使用R、G、B三通道描述，灰度圖像只是其在R=G=B時(shí)的投影，因此對(duì)真彩色圖像的三個(gè)顏色通道分別建立混合高斯模型的檢測(cè)效果明顯優(yōu)于先將圖像轉(zhuǎn)換為灰度圖像，再對(duì)灰度圖像的灰度值建立混合高斯模型的效果，檢測(cè)結(jié)果如圖4.2所示。(a)原視頻第75幀(b)對(duì)灰度圖像建模(c)對(duì)真彩色圖像直接建模圖4.2檢測(cè)結(jié)果對(duì)比圖4.3改進(jìn)的混合高斯背景模型傳統(tǒng)的混合高斯模型為每個(gè)像素都建立了多個(gè)高斯分布，能夠較好的模擬背景場(chǎng)景的變化，但存在以下幾方面的問(wèn)題：(1)對(duì)每個(gè)像素均進(jìn)行建模，并對(duì)每個(gè)像素采用相同的更新方法，參數(shù)個(gè)數(shù)多，運(yùn)算量大，不利于算法的實(shí)時(shí)性。(2)沒(méi)有考慮場(chǎng)景中光照突變或飛入小鳥(niǎo)等無(wú)關(guān)小運(yùn)動(dòng)目標(biāo)的干擾情況。(3)將運(yùn)動(dòng)目標(biāo)離開(kāi)后的背景像素誤判為運(yùn)動(dòng)前景像素，從而形成“鬼影”現(xiàn)象。(4)對(duì)于形態(tài)大而運(yùn)動(dòng)速度慢或者暫時(shí)靜止的運(yùn)動(dòng)前景，可能會(huì)將其融合到背景中去，從而使檢測(cè)結(jié)果不完整。為了解決上述問(wèn)題，本文將三幀差分法與混合高斯背景模型相結(jié)合，提出一種基于三幀差分法和像素變化率檢測(cè)的混合高斯改進(jìn)算法。首先利用三幀差分法快速檢測(cè)出前景可疑像素，統(tǒng)計(jì)前景可疑像素的個(gè)數(shù)，計(jì)算出它與圖像總像素個(gè)數(shù)的比值，即像素變化率，以判斷是否需要用當(dāng)前幀初始化背景模型。對(duì)每個(gè)像素均建立混合高斯模型，僅對(duì)三幀差分法和混合高斯模型檢測(cè)為背景像素的點(diǎn)進(jìn)行模型參數(shù)更新，對(duì)于檢測(cè)為運(yùn)動(dòng)前景的像素模型參數(shù)保持不變，這樣可以減小算法的計(jì)算量，增強(qiáng)其實(shí)時(shí)性；同時(shí)，改善算法對(duì)形態(tài)大而運(yùn)動(dòng)緩慢的物體的檢測(cè)效果，改進(jìn)算法的流程如圖4.3所示。否否是否與該像素的前B個(gè)分布匹配為運(yùn)動(dòng)前景像素，提取該像素，但不更新參數(shù)后續(xù)處理是為背景像素，更新高斯模型參數(shù)為背景干擾像素，更新高斯模型參數(shù)是用第一幀初始化混合高斯模型輸入下一幀圖像用三幀差分法檢測(cè)前景可疑像素計(jì)算像素變化率是否超出上、下限閾值是否為前景可疑像素否用當(dāng)前幀初始化背景模型是否圖4.3基于三幀差分法和像素變化率檢測(cè)的混合高斯算法流程圖4.3.1基于三幀差分法選取前景可疑像素三幀差分法取視頻中的連續(xù)三幀圖像，兩兩做差分運(yùn)算，將兩差分圖像相與得到幀差結(jié)果，通過(guò)閾值比較，可快速判斷出圖像中的變化像素，檢測(cè)出的像素中包括真正的運(yùn)動(dòng)前景像素和光照變化、雨雪天氣、搖動(dòng)的樹(shù)葉和灌木叢、波動(dòng)的水面等背景干擾像素，判斷規(guī)則如下： (4.13) (4.14)式中，T為判定閾值，它的取值直接影響后續(xù)對(duì)運(yùn)動(dòng)目標(biāo)的提取。由于只是對(duì)前景目標(biāo)的初選，故不宜選取過(guò)大的閾值，造成后續(xù)提取的前景目標(biāo)內(nèi)出現(xiàn)空洞、裂紋等現(xiàn)象。針對(duì)上述要求，采用極限誤差準(zhǔn)則，取T=μ+3σ，μ和σ分別為幀差結(jié)果背景像素的均值和方差。4.3.2光照突變等干擾檢測(cè)在戶外場(chǎng)景中，常會(huì)發(fā)生由云朵移動(dòng)、打開(kāi)車燈等引起的光照突變，以及飛入小鳥(niǎo)、滾入皮球等無(wú)關(guān)干擾物體的情況，從而導(dǎo)致誤判，這些干擾情況是混合高斯模型無(wú)法消除的，因此本文算法加入了像素變化率這一參數(shù)，并對(duì)其設(shè)定了上、下限值。當(dāng)像素變化率大于上限值時(shí)，判斷為場(chǎng)景中發(fā)生了光照突變；當(dāng)像素變化率小于下限值時(shí)，判斷為有小鳥(niǎo)或皮球等無(wú)關(guān)小運(yùn)動(dòng)物體進(jìn)入圖像序列，此時(shí)均用當(dāng)前幀初始化混合高斯模型[38]。4.3.3背景模型的建立及參數(shù)更新對(duì)于三幀差分法檢測(cè)為背景像素的點(diǎn)，對(duì)其建立混合高斯模型，并利用當(dāng)前幀不斷地進(jìn)行更新。但是，在三幀差分法檢測(cè)出的前景可疑像素中，除了真正的運(yùn)動(dòng)前景像素，還有背景干擾像素，因此我們有必要用混合高斯模型再進(jìn)行一遍檢測(cè)。我們認(rèn)為，在按優(yōu)先級(jí)從大到小排序的所有高斯分布中，前B個(gè)高斯分布為描述背景的高斯分布，B由式(4.12)確定，故將前景可疑像素與混合高斯模型的前B個(gè)高斯分布進(jìn)行匹配，只要對(duì)任意一個(gè)分布滿足上文所述不等式，本文中取m=2.5，則有該像素與至少一個(gè)描述背景的高斯分布匹配，判斷為背景干擾像素；否則，為真正的運(yùn)動(dòng)前景像素。對(duì)于背景干擾像素，與三幀差分法檢測(cè)的背景像素一樣，對(duì)其建立混合高斯模型，并利用當(dāng)前幀的灰度值進(jìn)行更新；而對(duì)于真正的運(yùn)動(dòng)前景像素，我們不對(duì)其進(jìn)行模型參數(shù)更新，而是保持上一幀時(shí)的背景模型參數(shù)，防止將形態(tài)大而運(yùn)動(dòng)緩慢或暫時(shí)靜止的物體融合到背景中去，導(dǎo)致檢測(cè)結(jié)果不完整，還能減小算法的計(jì)算量，增強(qiáng)實(shí)時(shí)性。4.3.4仿真結(jié)果及分析