視頻中的人臉檢測定位與跟蹤識別

視頻中的人臉檢測定位與跟蹤識別摘要人臉檢測定位跟蹤作為生物特征識別的一項重要技術(shù)，其應(yīng)用相當廣泛。人臉檢測定位跟蹤的方法有很多，為了實現(xiàn)視頻中彩色圖像人臉的精確定位，本文采用了一種基于膚色模型、膚色分割處理的人臉定位算法。通過建立膚色模型，經(jīng)自適應(yīng)閾值的二值化處理后，再進行膚色分割，將非人臉區(qū)域去除；最終利用眼睛特征定位人臉。實驗結(jié)果表明，該算法對于復(fù)雜背景下的彩色圖像中的人臉正面定位和人臉轉(zhuǎn)動一定角度后定位都有較好效果。關(guān)鍵字：人臉檢測跟蹤；膚色建模；二值化；FaceDetectionAndTrackingIdentificationInTheVideoHuaJianZhangXiangGongXiaobiao（SchoolofInformationScience&Technology,SouthwestJiaotongUniversity,Chengdu,610031,China）AbstractFacedetectionpositioningandtrackingasabiologicalfeaturerecognitionisanimportanttechnique,itiswidelyusedinmanyaspects.Inthisarticle,inordertolocalizethehumanfaceincolorimagescapturedfromthevideoaccurately,ahumanfacelocalizationalgorithmbasedonskinmoduleandskincolorsegmentationwaspresented.Firstly,webuildtheskinmodule.Then,thenon-faceregionwasremovedincolorimageafterbinaryimageprocessingwithadaptivethresholdandtheskincolorsegmentation.AndfinallythehumanfacewaslocalizedbyusingthecharacteristictheeyesExperimentsshowthatthealgorithmiseffectivetolocalizethehumanfrontfaceandthefaceafterturninganangleincolorimagesundercomplexbackground.keywords:facedetectionandtracking;skinmodule;enbinary目錄TOC\o"1-3"\h\u29585第1章緒論 24921.1課題研究背景與意義 2275101.2國內(nèi)外研究狀況 3314821.3人臉檢測與跟蹤的難點 426131.4主要研究內(nèi)容及章節(jié)安排 531901第2章人臉檢測和跟蹤的主要方法 5309212.1人臉檢測的方法 5120402.2基于膚色的檢測方法 7238592.2.1RGB模型 7113692.2.2YCbCr(YUV)格式 731572.2.3HSV（色調(diào)/飽和度/強度）模型 8132792.3基于啟發(fā)式模型的方法 960212.3.1基于知識的方法 1033792.3.2基于局部特征的方法 10317372.3.3基于模板的方法 10274362.3.4基于統(tǒng)計模型方法 10108002.4人臉跟蹤的方法 11188762.4.1基于特征檢測方法的人臉跟蹤 1135882.4.2基于模型的人臉跟蹤 12282442.5本章小結(jié) 1417432第3章基于膚色模型的單圖片人臉檢測 1492523.1基于膚色的人臉定位 14203933.2RGB到Y(jié)CrCb色彩模型的轉(zhuǎn)換 15233153.3人臉膚色模型和二值化 16317683.4后處理 19183493.5人臉定位 19122053.6本章小結(jié) 1921347第4章基于膚色模型視頻中的人臉檢測 20249144.1算法流程 20265634.2圖像差分——運動目標提取 21126434.3模型建立和光補償 22134714.4眼部特征檢測 24260524.5本章小結(jié) 2520537第5章總結(jié) 2519418參考文獻 26第1章緒論1.1課題研究背景與意義近年來，隨著計算機技術(shù)和數(shù)字信號處理技術(shù)的迅猛發(fā)展，人們用攝像機獲取環(huán)境圖像并將其轉(zhuǎn)換成數(shù)字信號，且利用計算機實現(xiàn)對視覺信息處理的全過程，這就是計算機視覺技術(shù)的起源。計算機視覺成為一門獨立的學(xué)科，至少可以從美國麻省理工學(xué)院(MIT)Marr教授這一代人所作的奠基工作開始追溯，已有二三十年的歷史。如今，計算機視覺已經(jīng)成為人工智能領(lǐng)域最熱門的課題之一，受到普遍的重視。它的目的是用計算機實現(xiàn)人的視覺功能——對客觀世界的三維場景進行感知、理解和解釋。它既是工程領(lǐng)域，也是科學(xué)領(lǐng)域中的一個極富挑戰(zhàn)性的綜合性的學(xué)科，融合了圖像處理、模式識別、人工智能、自動控制等不同領(lǐng)域成果，吸引了來自各個學(xué)科的研究者加入到對它的研究之中。計算機視覺與研究人類或者動物的視覺是不同的：它借助于幾何、物理和學(xué)習(xí)技術(shù)來構(gòu)建模型，從而用統(tǒng)計的方法來處理數(shù)據(jù)。這里主要有兩類方法：一類是仿生學(xué)的方法，即參照人類視覺系統(tǒng)的結(jié)構(gòu)原理，建立相應(yīng)的處理模塊完成類似的功能和工作；另一類是工程的方法，即從分析人類視覺過程的功能開始著手。并不去刻意模擬人類視覺系統(tǒng)內(nèi)部結(jié)構(gòu)，而僅僅考慮系統(tǒng)的輸入和輸出，并采用任何現(xiàn)有的可行的手段實現(xiàn)系統(tǒng)功能。其中第二類方法是目前計算機視覺技術(shù)研究的趨向，目前已經(jīng)發(fā)展起一套獨立的計算理論與算法。作為人臉信息處理的一項關(guān)鍵技術(shù)，人臉檢測與跟蹤近年來成為計算機視覺領(lǐng)域研究的熱點。人臉的檢測與跟蹤是指在指定輸入的圖像或者視屏序列中確定所有目標人臉的位置、大小、姿勢和運動軌跡等參數(shù)隨時間變化的過程，最初作為人臉識別(FaceRecognition)系統(tǒng)中的一個關(guān)鍵環(huán)節(jié)而出現(xiàn)。在早期的人臉識別問題的研究中，人臉圖像往往具有很強的約束條件(如無背景圖像)，因此使人臉檢測問題并未受到很好的重視。近幾年隨著社會的發(fā)展，在經(jīng)濟、安全、犯罪和軍事領(lǐng)域需要對用戶身份進行核對，特別像銀行、海關(guān)等重要安全部門。人臉識別成為繼指紋識別之后最有潛力的生物身份驗證的手段。在此應(yīng)用背景之下要求識別系統(tǒng)能夠適應(yīng)一般場景下的圖像，由此引起的一系列問題使得研究者開始將人臉檢測和跟蹤作為一個獨立的課題進行研究，使其應(yīng)用背景遠遠超出人臉識別系統(tǒng)的范疇。目前簡單背景、人臉偏轉(zhuǎn)角度不大的正面人臉檢測算法已經(jīng)比較成熟，有較高的檢測效率和速度，但對于人臉偏轉(zhuǎn)角度較大、嚴重遮擋的情況下，算法魯棒性一般。在實際應(yīng)用中需要實時跟蹤、搜索人臉，這就要求算法對于人臉偏轉(zhuǎn)、遮擋具有較強的魯棒性，既要有較高的檢測速度，滿足實時性的要求；又要有較高的檢測精度，盡量減少誤檢、漏檢的情況。因此構(gòu)造出高效、準確的人臉檢測和跟蹤算法，從學(xué)術(shù)和實際應(yīng)用的角度都有非常重要的意義。1.2國內(nèi)外研究狀況目前，國外從事人臉檢測與跟蹤問題的研究的機構(gòu)，比較著名的有MIT的AI實驗室與多媒體實驗室、CMU的人機結(jié)構(gòu)實驗室等；國內(nèi)的清華大學(xué)、中國科學(xué)院計算技術(shù)研究所、北京工業(yè)大學(xué)等也從事相關(guān)的研究。此外，MPEG-7標準組織建立了人臉識別草案小組，人臉檢測算法也是一項征集的內(nèi)容，隨著研究的不斷深入，國際上一些權(quán)威期刊，如IJCV(InternationalJournalofComputerVision)、CVIU(ComputerVisionandImageUnderstanding)、PAMI(IEEETransonicPatternAnalysisandMachineIntelligence)及重要學(xué)術(shù)會議，例如ICCV(InternationalConferenceonComputerVision)、CVPR(IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition)、ECCV(EuropeanConferenceonComputerVision)、IWVS(IEEEInternationalWorkshoponVisualSurveillance)每年都有大量關(guān)于人臉檢測與人臉跟蹤的論文，極大地促進了研究學(xué)者的學(xué)術(shù)交流。國內(nèi)外對于人臉檢測跟蹤的實現(xiàn)方法多種多樣，但是由于任意場景下的人臉準確檢測和跟蹤的復(fù)雜度很高，并不存在一個適合各種實際應(yīng)用下的算法，這也就決定了當前的人臉檢測與跟蹤問題的研究仍然是建立在一定約束條件之上的，如運動的平滑性，遮擋的數(shù)目，光照不變條件，目標與背景之間的對比度等。1.3人臉檢測與跟蹤的難點人臉是一類具有相當復(fù)雜的細節(jié)變化的自然結(jié)構(gòu)目標，由于外貌、表情、膚色等不同，具有模式的可變性而難以用統(tǒng)一的模式加以描述。圖像或者視頻序場景中存在的背景復(fù)雜、人臉運動的非剛性、目標遮擋等問題，這對檢測和跟蹤帶來的很大的難度。在實際應(yīng)用中，人臉檢測所面臨的主要難點可以歸結(jié)為：(1)數(shù)學(xué)模型不能精確描述人臉；(2)人臉受到光照、陰影、距離的影響；(3)特定的復(fù)雜背景對檢測率有很大影響；(4)人臉在運動中的非剛性，角度、偏轉(zhuǎn)、遮擋等使人臉特征缺失。新的人臉跟蹤算法不斷被提出使得人臉跟蹤技術(shù)得到一定的發(fā)展，但是由于運動場景的復(fù)雜性，人臉跟蹤算法要實現(xiàn)在不同的環(huán)境行下對多個目標人臉實現(xiàn)實時準確跟蹤還是比較困難的。一般來說，人臉跟蹤算法主要實現(xiàn)的目標為：(1)魯棒性。在實際應(yīng)用中適應(yīng)各種強干擾(光線的強度變化、目標自遮擋、目標間遮擋、背景遮擋等)，能夠持續(xù)準確的定位目標人臉，實現(xiàn)跟蹤。(2)準確性。對目標人臉狀態(tài)改變時(偏轉(zhuǎn)、運動、附屬物等)，精確分割跟蹤。(3)實時性。不降準確性的同時算法計算復(fù)雜程度相對較小，在現(xiàn)有的硬件條件下，對人臉實時跟蹤。1.4主要研究內(nèi)容及章節(jié)安排人臉檢測與跟蹤問題的內(nèi)涵十分廣泛，由于人臉模式的復(fù)雜性，實現(xiàn)通用的人臉檢測與跟蹤方法還不現(xiàn)實。如何解決特定應(yīng)用場合、特定約束條件下的人臉檢測與跟蹤問題，仍將是該領(lǐng)域研究的主要方向。另外復(fù)雜背景圖像中的多姿態(tài)人臉的檢測與跟蹤也是研究的重點之一。本文主要研究了彩色圖片和視頻序列中的人臉檢測與跟蹤的問題。在人臉檢測方面文章主要討論了基于膚色的檢測方法、基于啟發(fā)式模型的方法和基于統(tǒng)計模型的方法等幾種主要方法，并利用膚色在YCrCb空間的聚類特性來檢測人臉，同時為了去除亮度對膚色的影響，增強檢測的可靠性，采用了亮度補償。最后選取眼部特征作為條件確定人臉區(qū)域。在基本的人臉跟蹤的方法上，主要研究了基于膚色的人臉檢測方法檢測視頻圖像中的人臉以及通過背景差分法對視頻中運動目標的檢測與追蹤，并基于膚色模型與人臉的眼部特征（啟發(fā)式特征人臉檢測）相結(jié)合對視頻中運動目標的人臉進行檢測與跟蹤。本文章節(jié)安排如下：第1章為緒論，主要討論了本課題的研究內(nèi)容和背景以及應(yīng)用范圍，分析了人臉檢測與跟蹤在國內(nèi)外的研究狀況，就這一課題的難點進行了論述。第2章主要分析了人臉檢測與跟蹤的主要方法。人臉檢測的主要方法有基于膚色的檢測方法、基于啟發(fā)式模型的方法和基于統(tǒng)計模型的方法等。人臉跟蹤的方法主要有基于特征檢測的方法、基于模型的方法和基于貝葉斯濾波的方法等。第3章主要分析了基于膚色的人臉檢測方法檢測視頻圖像中的人臉。本章主要介紹了基于膚色人臉檢測的具體方法，并對視頻幀中單張圖片單人臉進行檢測和定位。第4章主要講了通過背景差分法對視頻中運動目標的檢測與追蹤，并基于膚色模型與人臉的眼部特征（啟發(fā)式特征人臉檢測）相結(jié)合對視頻中運動目標的人臉進行檢測與跟蹤。第5章總結(jié)第6章參考文獻第2章人臉檢測和跟蹤的主要方法2.1人臉檢測的方法人臉檢測與跟蹤問題所涉及的內(nèi)容十分廣泛，從不同的角度可以有很多分類的方法。本文主要討論靜止圖像中的人臉檢測問題以及動態(tài)圖像序列中的人臉跟蹤問題。人臉模式具有復(fù)雜而細致的變化，所包含的模式特征也十分豐富(如圖2.1)，實際應(yīng)用中往往無法找到一個通用的算法，因此一般需要采用多種模式特征綜合的方法。圖2.1人臉模式特征目前，按照不同的分類角度，可以將人臉檢測問題分為多種類型，如表2.1所示：表2.1人臉檢測問題的分類一般情況下，按照人臉檢測所處理圖像的不同將其分為兩類：基于灰度圖像的人臉檢測和基于彩色圖像的人臉檢測。對于灰度圖像，目前存在的方法主要有：基于整體外貌(Appearance-based)的方法、基于特征(Feature-based)的方法和基于模板(Template-based)的方法。對于彩色圖像，由于其能夠提供豐富的信息，因此可以采用有別于灰度圖像的處理辦法，利用彩色圖像本身的特性進行人臉檢測。一般都是用膚色檢測加快人臉檢測的速度。例如，Yang和Ahuja在1998年的工作中，利用人的皮膚顏色建立了一個人臉檢測器：首先根據(jù)圖像的顏色進行分割，將其劃分為不同的區(qū)域，然后將符合皮膚顏色的區(qū)域進行合并，知道形成橢圓區(qū)域(近似人臉輪廓)來判定人臉是否存在。2.2基于膚色的檢測方法膚色方法是最通常的的方法之一，也是最容易理解的。它的主要手段就是利用人臉膚色與周圍環(huán)境顏色的差異，通過膚色將人臉與背景環(huán)境區(qū)分開來。根據(jù)計算機理論，對一種顏色而言，在計算機中有不同的表達方式，這樣就形成了不同的色彩空間。每個色彩空間也都有其各自的產(chǎn)生背景、應(yīng)用領(lǐng)域等。主要的色彩空間有以下幾種。2.2.1RGB模型由于彩色圖像的多光譜圖像的一種特殊情況，對應(yīng)與人類視覺的三基色即紅、綠、籃三個波段，是對人眼的光譜量化性質(zhì)的近似。因此利用R、Q、B三基色這三個分量來表征顏色是很自然的一種格式。而且多數(shù)的圖像設(shè)備都是一電荷藕合器件(CCD)技術(shù)為核心，直接感知色彩的R、G、B三個分量，這也使得三基色模型成為圖像成像、顯示、打印等設(shè)備的基礎(chǔ)，具有十分重要的作用。2.2.2YCbCr(YUV)格式這種色彩空間是以演播室質(zhì)量標準為目標的CCIR601編碼方案中采用的彩色模型，被廣泛的應(yīng)用在電視的色彩顯示等領(lǐng)域中。它同樣具有HIS格式中將亮度分優(yōu)點，但由于它可以從RGB格式線性變化得到，YCrCb與RGB的轉(zhuǎn)換公式為： （2.1）YCbCr格式直接應(yīng)用于物體色彩聚類分析的情況不多，相比之下，在其基礎(chǔ)上的變換模型的應(yīng)用更為普遍。膚色模型是人臉非常重要的一個特性。研究表明：盡管不同種族、不同年齡、不同性別的人的膚色看上去不同，但這種不同主要集中在亮度上。在去除亮度的色度空間里，不同膚色的分布具有據(jù)聚類性。在YCbCr色彩空間里，膚色聚類只在一個很小的范圍內(nèi)且具有二維高斯模型分布G=(m,C)，其中m=E(x)為均值，x=(Cb,Cr)T，C為協(xié)方差矩陣，C=E[(x-m)(x-m)T]。通過這個膚色模型分布可以得到待檢測彩色圖像中任意各一個像素點屬于皮膚的概率，對于某像素點s，從RGB空間轉(zhuǎn)換到Y(jié)CbCr色彩空間得到色度值(Cb,Cr)，則該像素的膚色概率密度可由下式計算得到： （2.2）式中，。2.2.3HSV（色調(diào)/飽和度/強度）模型它采用色調(diào)和飽和度來描述顏色，這種格式反映了人類觀察色彩的方式，同時也有利于圖像處理。其中V表示顏色的亮度，H表示色調(diào)，而S則表示顏色的飽和度。這種格式的優(yōu)點在于它將亮度(V)與反映色彩本質(zhì)特性的兩個參數(shù)即色度(H)與飽和度(S)分開。在對色彩信息的利用中，我們提取一類物體(目標人臉)的色彩方面的特性時，經(jīng)常需要了解其在某一色彩空間的聚類特性，而這一聚類特性往往體現(xiàn)在色彩的本質(zhì)特性上，而又經(jīng)常受到光照明暗等條件的干擾影響。若能將光度分量從色彩中提取出去，而只用反映色彩本質(zhì)特性的色度、飽和度來進行聚類分析，會獲得比較好的效果。彩色空間(RGB)轉(zhuǎn)換到HSV空間的轉(zhuǎn)換公式參見下式： （2.3） （2.4） （2.5）其中，。膚色模型建立的步驟：對于一幅被檢測的彩色圖像，首先將它由RGB空間裝換到Y(jié)CbCR色彩空間，然后根據(jù)(Cb,Cr)值，通過式(2.2)計算該值所對應(yīng)的膚色似然度，并且得到整幅圖像的最大膚色似然度。再根據(jù)選定的閾值得到其二值化圖像。如圖2.2所示：原始圖像 膚色似然圖像 二值化圖像圖2.2膚色分割圖像膚色分割后，得到一系列的膚色連通區(qū)域，本文采用橢圓準則來檢測每個膚色區(qū)域是否為人臉區(qū)域。首先計算每一塊膚色區(qū)域中膚色像素的坐標均值和協(xié)方差： （2.6） （2.7）N是區(qū)域的膚色像素點總數(shù)，Xi為各像素點坐標向量。根據(jù)橢圓面積準側(cè)(為橢圓軸長)，若檢測區(qū)域的面積Se的值超過閾值，則該區(qū)域包含人臉。2.3基于啟發(fā)式模型的方法該方法首先抽取幾何形狀、灰度、紋理等特征，然后檢驗他們是否符合人臉的先驗知識，利用較少的特征實現(xiàn)較高的檢測速度，實現(xiàn)實時檢測與跟蹤。但是想進一步提高知識模型的適應(yīng)能力，需要綜合更多的特征，實際上涉及到了圖像理解這一困難的問題，這是此類方法進一步發(fā)展遇到的主要障礙?；趩l(fā)式模型的人臉檢測方法進一步又可以分為基于知識和基于局部特征的檢測策略。2.3.1基于知識的方法該方法是首先定位候選人臉區(qū)域，然后再通過人臉的先驗知識來檢驗人臉是否存在。人臉器官的關(guān)系可以總結(jié)為一些規(guī)律。例如，人眼對稱出現(xiàn)在人臉上，鼻子和嘴巴中心的連線垂直于人眼的連線，等等。于是，可以利用一組描述人臉的局部特征分布的規(guī)則來進行人臉檢測(人臉局部特征之間的相對距離和位置關(guān)系)，如果圖像滿足這些規(guī)律，則存在人臉區(qū)域。Yang等提出了基于鑲嵌圖(馬賽克圖)的人臉檢測方法，將人臉的五官區(qū)域分別劃分為不同解析度的馬賽克塊，使用一組規(guī)則進行檢驗，并利用邊緣特征進一步驗證。他們利用分層的策略來檢測人臉，系統(tǒng)共分三層，首先最高一層的規(guī)則描述的是人臉整體應(yīng)該滿足的條件，而下層規(guī)則側(cè)重與人臉的細節(jié)應(yīng)滿足的條件?；谥R的方法所存在的主要問題是：(1)識別率不高，如果圖像背景存在類人臉區(qū)域，則必然導(dǎo)致誤檢；(2)該方法沒有給出如何確定最恰當?shù)娜四樜恢玫姆椒ǎ?3)對于不同角度的人臉，由于某些特征不可見，所以不能用這種方法檢測；(4)用與描述人臉特征之間的關(guān)系規(guī)則不易設(shè)計，規(guī)則制定過高或者過低會造成識別失敗。2.3.2基于局部特征的方法人臉存在一些固有的特征，使得人們能夠在不同的環(huán)境、姿態(tài)下也能發(fā)現(xiàn)人臉。這個方法就是先要找到固定的人臉特征，然后搜索到人臉。但是該方法面臨的主要問題是由于圖像噪聲、光照、陰影等原因破壞，弱化的局部特征，導(dǎo)致該算法失效。Chin-ChuanHan等則研究了利用形態(tài)學(xué)預(yù)處理方式實現(xiàn)人臉快速檢測的算法。這個檢測系統(tǒng)分成三個主要步驟：(1)在原始圖像中采用諸如閉運算、或或運算等形態(tài)學(xué)操作定位眼睛近似物像素的位置，然后用標記過程產(chǎn)生眼睛近似物分段。(2)利用眼睛近似物分段來指導(dǎo)搜索潛在的人臉區(qū)域。(3)人臉區(qū)域驗證。將所有候選人臉區(qū)域正規(guī)化，輸入到一個訓(xùn)練過的BP網(wǎng)絡(luò)用于鑒別人臉。2.3.3基于模板的方法首先建立一個標準人臉模板，由包含局部人臉特征的子模板構(gòu)成，然后對輸入圖像進行全局搜索，通過預(yù)先設(shè)置的閾值來判斷該圖像窗口中是否包含人臉。固定模板的方法簡單，容易實現(xiàn)，但是也存在缺點：(1)圖像噪聲對檢測結(jié)果影響很大，需要對輸入圖像作適當預(yù)處理。(2)模板大小人為設(shè)定，不能動態(tài)地檢測眼睛的位置。2.3.4基于統(tǒng)計模型方法由于精確描述人臉特征具有一定困難，因此另一類方法——基于統(tǒng)計模型的方法越來越受到重視。此類方法將人臉區(qū)域看作一類模型，即模板特征，使用大量的人臉與非人臉樣本訓(xùn)練并構(gòu)造分類器，通過判別圖像中所有可能區(qū)域?qū)儆谀念惸０宓姆椒▽崿F(xiàn)人臉檢測。在這個方法里，人臉檢測問題實際上轉(zhuǎn)化為統(tǒng)計模式識別的二分類問題。它不依賴與人臉的先驗知識和參數(shù)模型，避免不精確或者不完整的知識造成的誤判，并且采用了實例學(xué)習(xí)的方法獲取模型參數(shù)，統(tǒng)計意義上更為可靠，同時它可以通過增加學(xué)習(xí)的實例擴充檢測模型范圍，提高檢測的魯棒性，因此，基于統(tǒng)計模型的方法目前比較流行。這類方法基本分為：(1)基于特征空間的方法：將人臉區(qū)域圖像變換到某一特征空間，根據(jù)其在特征空間中的分布規(guī)律劃分人臉和非人臉兩類模式。(2)基于人工神經(jīng)網(wǎng)絡(luò)的方法：這是一種重要的機器學(xué)習(xí)方法，將人臉這類復(fù)雜的、難以描述的模式的統(tǒng)計特性隱含在人工神經(jīng)網(wǎng)絡(luò)(ANN)的結(jié)構(gòu)和參數(shù)之中。(3)基于概率模型的方法：一種基于貝葉斯判別準則的方法，它的思路是計算輸入圖像區(qū)域?qū)儆谌四樐Ｊ降暮篁灨怕?，?jù)此對所有可能的圖像窗口進行判別。(4)基于支持向量機的方法：支持向量機(SVM，SupportVectorMachines)是Vapnik等提出的基于結(jié)構(gòu)風(fēng)險最小化原理的統(tǒng)計學(xué)習(xí)原理，用于分類與回歸問題。Osuna等將SVM方法用于人臉檢測，取得了較好的實驗結(jié)果，該方法的基本思路是對每一個像素的檢測窗口使用SVM進行分類，以區(qū)別“人臉”和“非人臉”窗口。2.4人臉跟蹤的方法人臉跟蹤進行動態(tài)人臉信息處理的第一個環(huán)節(jié)，在視頻會議、可視電話、人工智能交互等方面有著重要的應(yīng)用價值。與人臉檢測不同，人臉跟蹤是指在視頻或者圖像序列中確定某個人臉的運動軌跡及大小變化的過程。它的挑戰(zhàn)性來自于兩個方面：一是魯棒性。由于人臉運動的不規(guī)則性、場景的復(fù)雜性，使得人臉跟蹤的難度加大；另一個就是實時性。人臉跟蹤處理的較多的是視頻序列，這就要求人臉跟蹤算法需要具有較高的運算效率。在計算機視覺領(lǐng)域，人臉跟蹤研究是運動目標跟蹤研究的一個分支問題，然而二者在算法上又存在較多交叉之處。例如在視頻圖像運動目標的提取過程中運用的光流法、背景減除法、時域差分等方法均可應(yīng)用到人臉跟蹤上。根據(jù)跟蹤的方法，人臉的跟蹤算法可以分為三類：一、基于特征檢測方法的人臉跟蹤；二、基于模型的人臉跟蹤；三、基于貝葉斯濾波方法的跟蹤。2.4.1基于特征檢測方法的人臉跟蹤基于人臉局部特征的跟蹤方法主要思想是根據(jù)不同的人臉器官特征信息進行器官跟蹤，這類方法經(jīng)常利用眼睛、嘴和鼻子等器官特征信息進行跟蹤定位。傳統(tǒng)的人臉特征點跟蹤方法通常是在人的臉部畫上標識點進行跟蹤。但是特征點會由于遮擋、光照或者陰影不可見，而導(dǎo)致跟蹤失敗，這是特征點跟蹤方法的缺點。1)人臉特征點的跟蹤Kouadio等提出了一種通過加標識點來跟蹤視頻中人臉特征點的方法，這些特征點跟蹤方法的局限是要在被拍攝者臉部添加標識點，而不能直接獲取面部某些特征點的位移。Jebara和Pentlan使用自動定位來跟蹤人臉，用運動技術(shù)對特征點的三維位置進行估計，并用本征臉的約束方法匹配人臉的幾何特征，來對于面部特征點位置估計。文獻提出一種基于Gabor小波系數(shù)的人臉特征點的跟蹤方法，將基于Gabor小波用于跟蹤視頻中的人臉特征點，在輸入視頻序列的起始幀開中，手動標定需要跟蹤的人臉特征點，提取這些點的小波系數(shù)。接著以前一幀特征點的坐標作為這一幀參考點，提取參考點的小波系數(shù)，對比新舊小波系數(shù)來估計特征點的新坐標，從而得到特征點在新幀中的位置，實現(xiàn)跟蹤目的。2）基于KLT算法的人臉特征點跟蹤KLT(Kanade_Lucas_Tomasi)算法是一種以待跟蹤窗口在視頻圖像幀間的誤差二次方和作為度量的跟蹤算法。參考文獻給出了一種在首幀中確定搜索特征點，采用改進的KLT算法對未加標識點的人臉正面視頻圖像進行特征點的跟蹤，進而求得人臉特征點運動參數(shù)的方法。與傳統(tǒng)的在人臉部畫上標識點的特征點跟蹤方法不同，KLT算法可以從未加標識點的正面人像視頻序列中通過紋理信息直接獲取臉部某些特征點的位移，該文獻還在KLT算法中加入了基于人臉統(tǒng)計信息的經(jīng)驗約束，使KLT算法更加合理有效。3）基于器官跟蹤的人臉跟蹤這種方法利用形態(tài)學(xué)運算對嘴進行跟蹤，并在很好的局部旋轉(zhuǎn)運算處理后，簡單地分析人臉的對稱性，從而高速準確地跟蹤人臉。這種方法不熟背景復(fù)雜程度、人臉運動強度和背景顏色等因素的影響，而只利用圖像的灰度信息，進行形態(tài)運算，運算效率較高，具有較強的魯棒性。2.4.2基于模型的人臉跟蹤基于模型的人臉跟蹤方法就是獲取目標的先驗知識，建立低價參數(shù)模型，對輸入的每一幀圖像通過滑動窗口進行模板匹配，實現(xiàn)人臉的識別與跟蹤。常見的跟蹤模型、雙眼模板匹配模型和可變形模型等。1）基于膚色模型的人臉跟蹤膚色是人臉最重要而且最明顯的特征，人臉面部膚色特征可以用幾個簡單的參數(shù)來表征，而且在一定光照條件下基本保持不變?；谀w色模型的跟蹤方法就是利用合適的表色模型，把膚色作為實現(xiàn)人臉跟蹤的關(guān)鍵信息。由于膚色信息對放大、縮小以及微小變形不敏感，這種方法比較容易在前一幀圖像分析結(jié)果的基礎(chǔ)上跟蹤到下一幀圖像的人臉區(qū)域，具有速度快，姿勢不變性等特點。目前的人臉跟蹤技術(shù)大都采用基于膚色模型的方法。2)基于橢圓模型的人臉跟蹤由于絕大部分人臉輪廓都近似為橢圓形狀，橢圓模型正是利用這一特征建立模型來實現(xiàn)人臉識別與跟蹤。該算法的思想是用一個橢圓模板在人臉的候選區(qū)域內(nèi)進行搜索，使環(huán)內(nèi)盡量包含最多的人臉邊緣點，對人臉的跟蹤就是確定這個橢圓模板。該算法能夠在自然光照條件下去的較為滿意的結(jié)果，同時對人臉在旋轉(zhuǎn)、縮放、遮擋等條件下，多人臉背景下的跟蹤有較強的魯棒性。3)基于雙眼模板匹配模型的人臉跟蹤該算法在對前一幀圖像進行人臉區(qū)域監(jiān)測的基礎(chǔ)上，預(yù)測當前幀中人臉區(qū)域可能的尺度與位置范圍，在預(yù)測范圍內(nèi)，利用人的臉部雙眼外形的獨特性，采用雙眼模板匹配與人工神經(jīng)網(wǎng)絡(luò)分類的方法跟蹤人臉。在搜索預(yù)測區(qū)域時，對每一個候選窗口使用雙眼模板匹配進行粗篩選，跟蹤時使用前一幀結(jié)果，進一步求解新的監(jiān)視區(qū)域。該方法在復(fù)雜、動態(tài)變化背景的圖像序列中比較有效。4)基于可變形模型的人臉跟蹤Goldenstein和Vogler等人利用可變形模型和預(yù)測濾波器實現(xiàn)在劣質(zhì)圖像序列中跟蹤三維人臉。他們用這種方法對臉部表情演變的參數(shù)值和形變進行恢復(fù)，在每個時刻測量高維可變模型的參數(shù)觀測值的正確分布。該方法將二維圖像偏移的置信區(qū)域限制在放射體內(nèi)，并將他們傳播到參數(shù)空間，在劣質(zhì)圖像序列中提取信息有很好的魯棒性。2.4.3基于貝葉斯濾波的人臉跟蹤貝葉斯濾波方法是對目標狀態(tài)進行估計，得到的一組觀測量來構(gòu)建后驗概率密度函數(shù)。這個后驗概率密度函數(shù)包含了所有當前的統(tǒng)計信息。這里所謂的濾波，就是利用過去和當前的觀測結(jié)果來估計目標當前狀態(tài)的過程?；谪惾~斯濾波的方法實際上是一種自頂向下的模型驅(qū)動的跟蹤方法。此方法將目標跟蹤問題巧妙的轉(zhuǎn)變?yōu)樵谪惾~斯濾波理論框架下的序貫濾波過程。通常在貝葉斯濾波理論框架下采用狀態(tài)空間法(StateSpaceApproach)實現(xiàn)視覺跟蹤。此方法主要包含以下幾種跟蹤算法：卡爾曼濾波及其改進方法，格子基搜索算法（格子濾波），粒子濾波方法。①卡爾曼濾波：卡爾曼濾波方法是美國著名學(xué)者Kalman和Bucy在1960年提出的一種遞推最優(yōu)線性均方誤差估計方法?？柭鼮V波利用目標的動態(tài)信息，試圖去掉噪聲的影響，從而得到一個關(guān)于目標位置的好的估計?？柭鼮V波方法采用線性遞歸濾波的方法，可以用任意一點作為初始化開始遞歸，實時計算，預(yù)測具無偏、穩(wěn)定和最優(yōu)。使用該方法的前提是系統(tǒng)為線性而且噪聲為高斯分布，此時它是最優(yōu)的，為了克服傳統(tǒng)卡爾曼濾波在非線性非高斯條件下的缺陷，有人提出了改進的卡爾曼濾波方法，主要有擴展卡爾曼濾波（EKF），無跡卡爾曼濾波（UKF）等。②格子基搜索：這種方法首先將數(shù)據(jù)空間劃分成為有限個單元的網(wǎng)格結(jié)構(gòu)，計算都是以單個的單元為對象，處理速度只與把數(shù)據(jù)空間分為多少個單元有關(guān)。在有限的狀態(tài)空間和離散的狀態(tài)空間的條件下，它可以給出最優(yōu)的序貫濾波概率密度。其代表算法有：STING算法、CLIQUE算法、WAVE-CLUSTER算法。③粒子濾波方法：粒子濾波本質(zhì)上是一種基于蒙特卡羅模擬實現(xiàn)貝葉斯遞推的技術(shù)，其核心思想是使用一組帶有相關(guān)權(quán)值的粒子(隨機樣本)來對后驗概率密度函數(shù)似然描述，然后基于這些粒子來對狀態(tài)進行估計。但在實際應(yīng)用中，粒子數(shù)目不可能是無窮大的，所以它是一種次優(yōu)估計。粒子濾波在使用中會出現(xiàn)粒子“退化”的現(xiàn)象，即經(jīng)過幾次迭代濾波，很少有粒子可以到達高似然概率區(qū)域。有人提出可以采用選取最優(yōu)重要性密度函數(shù)或通過重采樣的方法來解決此問題。重采樣的方法雖然可以有效緩解“退化”的問題，但它又帶來了“粒子耗盡”的問題。2.5本章小結(jié)隨著人機交互技術(shù)日益成為當前研究的一個中心，人臉檢測與跟蹤問題越來越受到重視，成為模式識別與計算機視覺領(lǐng)域的一個熱點。本章節(jié)就人臉檢測與跟蹤領(lǐng)域的主要方法進行概要性的分類和簡要介紹。人臉檢測問題的內(nèi)涵十分廣泛，由于人臉檢測與跟蹤問題的復(fù)雜特點，實現(xiàn)通用的人臉檢測與跟蹤方法還不現(xiàn)實。如何解決特定應(yīng)用場合、特定約束條件下的人臉檢測與跟蹤問題，仍將是該領(lǐng)域研究的主要方向。另外復(fù)雜背景圖像中的多姿態(tài)人臉的檢測與跟蹤也是研究的重點之一。人臉檢測與跟蹤的趨勢是利用多特征(如輪廓、膚色、器官等)，綜合多種分類方法(如概率模型、神經(jīng)網(wǎng)絡(luò)、SVM等)提高特定約束條件下的人臉檢測的準確率、人臉跟蹤的實時性，增強檢測系統(tǒng)的準確性和魯棒性。與此同時，如何平衡系統(tǒng)的性能提升與算法復(fù)雜度，仍是研究者需要解決的一個重要課題。第3章基于膚色模型的單圖片人臉檢測3.1基于膚色的人臉定位我們之所以能通過眼睛和大腦把單幀圖像中的人臉從背景區(qū)域中區(qū)分出來，很重要的一點原因就是人臉和背景之間存在著可以區(qū)分的色彩差異，這種差異同樣可以成為程序區(qū)分人臉和背景的依據(jù)，因此我們可以從臉部膚色入手，從背景中分離出人臉區(qū)域，并定位人臉，從而檢測出人臉。設(shè)計流程如下：圖3.1人臉定位和檢測流程圖3.2RGB到Y(jié)CrCb色彩模型的轉(zhuǎn)換我們從視頻中獲取的幀圖像通常是RGB模型的圖像，在RGB空間中顏色是有紅、綠、藍三種顏色按照不同的比例混合而成，這樣的表達方式不不能準確的反映出顏色本身的特征。因為，人眼看到的任何一種色彩光都是彩色三要素：亮度、色調(diào)、飽和度綜合而成的效果。其中，亮度是光作用于人眼時所引起的明亮程度的感覺，它與觀察事物的光強度有關(guān)；色度反映顏色的種類，是當人眼看到一種或多種波長的光時所產(chǎn)生的色彩感覺，它與光的波長有關(guān)，是決定顏色的基本特征；飽和度是指顏色的深淺程度，即各種顏色混入白光的程度。由此可知，這三個要素是對顏色本身最本質(zhì)的詮釋。此外，統(tǒng)計表明，不同的人種，不同環(huán)境下的膚色區(qū)別主要受亮度影響，受色度影響較小。可見，RGB彩色空間并不適合人類的視覺特征。一次，我們選擇更能突出顏色特征的色彩空間的YCrCb彩色空間來分析人臉膚色和背景色，并為人臉建模。YCrCb彩色空間（也稱為YUV彩色空間）的Y分量是表示像素的亮度，Cr和Cb稱為色度，其中Cr(U)分量表示紅色色差分量，Cb(V)表示藍色色差分量，這兩個色差信號分別傳送紅基色分量R和藍基色分量B與亮度分量Y的差值信號。即和，其中、為加權(quán)系數(shù)。對于黑白圖像有：R=G=B，則Cb=0，Cr=0。而對于彩色圖像，決定了圖像的色調(diào)，代表圖像的飽和度。在多媒體計算機中采用的YCrCb彩色空間，數(shù)字化后Y:Cb:Cr為8:4:4或8:2:2。具體的實現(xiàn)方法是處理亮度分量時，每個像素數(shù)字化為8bit（256級亮度），而Cb、Cr色差分量則是每四個像素用一個8bit數(shù)據(jù)表示，這樣以來，將一個像素用24bit表示壓縮為用12bit表示，對這種變化人眼是感覺不到的。為了簡化起見，本文從RGB彩色空間轉(zhuǎn)換到Y(jié)CrCb彩色空間的每個像素存放位數(shù)未做壓縮，變換公式如下：(3.1)轉(zhuǎn)換后的單幀圖像，仍以24bit表示一個像素值，其中第1個字節(jié)（前8位）表示Y分量，第2個字節(jié)（中間8位）表示Cr分量，第3個字節(jié)（后8位）表示Cb分量。3.3人臉膚色模型和二值化將單幀圖像轉(zhuǎn)換到Y(jié)CrCb空間后，要檢測該單幀圖像中某一像素是否屬于人臉像素，可以通過“閾值處理”的方法對該像素的灰度值進行判斷，然后把符合“閾值處理”公式的像素標識出來，從而實現(xiàn)圖像的二值化。其中，閾值處理就是指，對于輸入圖像的各像素灰度值屬于某閾值范圍內(nèi)時，賦予對應(yīng)輸出圖像的像素為白色或黑色。 要通過“閾值處理”的方法實現(xiàn)對單幀人臉圖像的二值化，必須先解決的問題是確定適合的人臉膚色模型。雖然人臉的膚色看起來是變化的，但是人臉膚色的變化多數(shù)情況是因為膚色亮度值的差異造成的。因此，在確定人臉膚色模型時，我們可以把這種由膚色亮度值造成的差異忽略掉，即只采用膚色的色度值來確定人臉的膚色模型。忽略膚色亮度值將不會影響對人臉膚色的成功檢測，反而可以減少對大容量的三維YCrCb彩色空間的處理，轉(zhuǎn)而對易處理的二維CrCb圖進行研究，同時還有助于減少對單幀圖像的計算量。 為了尋找適合的人臉膚色模型，我們首先依照所介紹的人臉膚色模型進行實驗。人臉膚色模型忽略了人臉膚色的亮度值，因此我們所進行的試驗都是在二維的UV（CrCb）圖中展開的。為了確定在UV（CrCb）圖中的臉部膚色精確度，使用重復(fù)實驗法來找出壓縮方法，用于在不同的膚色變換情況下，確定所有實驗人臉都共有的色度性質(zhì)。這些實驗的結(jié)果把最佳匹配（best-fit）區(qū)域分為3個單獨的臉部膚色類，分別是淺膚色、中等膚色和深膚色，每一個類表示一種特殊的人種群。用淺膚色類來判斷白種人，用中等膚色類來判斷黃種人，用深膚色類來判斷印第安人。圖3.2淺膚色圖3.3中等膚色圖3.4深膚色以上三幅CrCb圖所呈現(xiàn)的區(qū)域就是針對三種膚色類得到的最佳匹配（best-fit）區(qū)域，由此可以觀察到，這三類膚色在CrCb圖中共享一個公共的連續(xù)區(qū)域，人臉膚色具有很好的聚類性，該區(qū)域形成的最后二維臉部膚色模型見圖（3.4）所示。圖3.5該圖中所描繪的區(qū)域可以用下列不等式組表達：不等式組一：0.2611tan-10.3111且4378 （3.2）不等式組二：0.25tan-10.3611且070 （3.3）但是在程序中我們并沒有這么來進行閾值化，而是通過Cr和Cb兩個分量來實現(xiàn)閾值化分割人臉區(qū)域的，經(jīng)過多次試驗，我們發(fā)現(xiàn)Cr和Cb滿足下面的式子就可以很好的分割出人來區(qū)域了，式子如下： Cr≤173且Cb≤144 (3.4)即：Cr在150附近取值，Cb在120附近取值，在實現(xiàn)中，我們可以嘗試最佳分割閾值，為式子(6)。結(jié)果表明式子(6)能夠很好的實現(xiàn)人臉區(qū)域分割，效果如下：圖3.6原始圖像圖3.7閾值化圖像圖3.8定位檢測的人臉圖像3.4后處理通過二值化操作得到的單幀圖像中白色部分表示這些部分的像素是符合人臉膚色模型的像素，其黑色像素是不符合該模型判別條件的像素。由于環(huán)境的復(fù)雜性，在圖像中存在與人臉膚色模型相近像素。我們采用膨脹和腐蝕操作去掉單幀圖像中那些離散的非人臉區(qū)域以及一些孤立的噪聲。3.5人臉定位當二值化的單幀圖像完成后處理操作后，如果該單幀圖像中確有人臉的存在，則按照如下算法定位人臉區(qū)域。確定人臉區(qū)域的掃描算法經(jīng)常用于圖形學(xué)，即通過掃描圖像來檢測出人臉的邊緣。根據(jù)圖像的存儲原理，首先依次從下往上進行掃描，出現(xiàn)白色像素的第一行就是人臉的下邊界，記該行為y1。確定了下邊界以后，再往上掃描，每操作一行就記錄下該行的黑色像素的個數(shù)，一旦掃描完某一行后，該行的黑色像素個數(shù)值和該行的所有像素個數(shù)值（也就是圖像的寬度值）相同，那么就說明這行掃描線的前面一行是人臉的上邊界，記前面一行為y2。同理，再依次從左往右進行掃描，記下人臉的左右邊界為x1，x2。由此得到的坐標（x1,y1），（x2,y1），（x1,y2），（x2,y2）所確定的矩形內(nèi)的部分即為人臉區(qū)域。一旦得到人臉在單幀圖像中的位置坐標后，就可以在原來的、以RGB彩色空間表示的單幀圖像中，把滿足這個（由（x1,y1），（x2,y1），（x1,y2），（x2,y2）這四個坐標所確定下來的）矩形邊線給描敘出來。但是在圖像人臉定位的過程中，由于分割的效果有時候不理想，存在一些白色的像素不能很好的去除，此時我們采用上面的掃描方法定位人臉區(qū)域有時候效果不好，那么我采用一個區(qū)域檢測的方法，即：我們可以認為二值化后的人臉區(qū)域是比較集中的，且?guī)缀踉趫D像上占據(jù)最大集中區(qū)域，那么我們可以設(shè)定一個矩形區(qū)域，當檢測到得區(qū)域若果小于這個設(shè)定的區(qū)域則拋棄，不認為是人臉，而大于這個設(shè)定的區(qū)域時我們則認為是人臉區(qū)域，這樣從而可以避免一些局部小塊的白色像素的影響，提高了檢測的正確率。3.6本章小結(jié) 這一章主要完成是從視頻中截取一幅圖片，然后對這張圖片進行彩色空間轉(zhuǎn)換，二值化操作分割出人臉區(qū)域，最后利用掃描的方法定位人臉區(qū)域，在RGB圖像中進行標定人臉。程序的整個過程分為如下幾個函數(shù)完成：IplImage*ColorConvert(IplImage*pFrame);IplImage*Threshold(IplImage*pFrame);CvRectFindFaceArea(IplImage*pFrame);cvRectangle(pFrame,cvPoint(Rect.y,Rect.x),cvPoint(Rect.y+Rect.width,Rect.x+Rect.height),color,12);//RGB圖像中人臉標定。 但是這個程序僅僅對單張圖片中的單一人臉具有很好的檢測效果，這就使得程序具有很大的局限性。因為我們在分割定位人臉的時候是采用人臉的整個區(qū)域來進行人臉區(qū)域識別定位的。這就使得在多人臉，或者人臉有重疊的情況不能夠很好的檢測。所有，我們可以基于人眼檢測后，在進行人臉定位，或者基于嘴的檢測，然后定位出人臉，這樣的話，準確率會大很多，這是程序可以改進的地方。 另一個是人臉膚色建模和閾值化的過程中，針對不同背景圖像，分割的效果也可能不理想，這也在一定程度上影響了檢測定位的精度，所以為了能更準確的分割出人臉區(qū)域，我們可以從人臉的其他特征入手，從而減少閾值分割的非最佳性，并且我們可以在色彩轉(zhuǎn)換之前進行光補償來改善顏色的聚類性。第4章基于膚色模型視頻中的人臉檢測4.1算法流程 由第三章我們可以知道膚色模型可以對單張圖片單人臉進行檢測定位?，F(xiàn)在我們來實現(xiàn)膚色模型視頻中的人臉檢測定位，其算法流程圖如下：圖4.1視頻中人臉檢測算法流程4.2圖像差分——運動目標提取 背景差分法是利用當前圖像與背景圖像的差分來識別出運動目標的方法。背景模型的獲取和更新是該方法中的關(guān)鍵。一種簡單的獲取背景圖像的方法是當場景中無任何目標出現(xiàn)時捕捉背景圖像，但是這種方法有很多局限性。當場景環(huán)境復(fù)雜時，可以使用統(tǒng)計濾波完成背景的估計，但是如果場景中有個別部分做無規(guī)則運動時，就會引起場景中像素值的不斷變化，從而引起估計誤差。在此，則使用一種背景差分法和瞬時差分法相結(jié)合的方法，首先根據(jù)一定數(shù)量的視頻序列，采用基于高斯統(tǒng)計模型的方法會的背景圖像，后續(xù)中然后對每一幀視頻圖像，采用瞬時差分識別出運動目標的輪廓，然后用這幀圖像運動目標輪廓以外的區(qū)域?qū)Ρ尘澳Ｐ瓦M行基于統(tǒng)計濾波的更新。這樣就可以減少場景中運動目標對更新背景模型的影響，同時保證了系統(tǒng)運行時間的實時性，也可以得到較完整的目標識別信息，算法流程如下：圖4.2目標提取流程圖根據(jù)上述算法實現(xiàn)的運動目標的提取，效果如下：圖4.3運動目標提取圖4.3模型建立和光補償經(jīng)過對視頻的處理，已經(jīng)選出運動的區(qū)域作為對象來檢測人臉。此時對每一幀的處理實際上是對一個靜態(tài)圖像的運算。首先，選擇顏色空間建立膚色模型。顏色空間指某個三維顏色空間中的一個可見光的子集，它包含某個色彩域的所有色彩。任何一個顏色空間都只是可見光的子集，并不能包含所有可見光。RGB是最常見的彩色模型，然而，RGB空間更適合于顯示系統(tǒng)。在對圖像進行處理時，一般要先變換到其他顏色空間，這是因為RGB三分量密切相關(guān)，只要亮度改變，這三個分量都會相應(yīng)改變；而且，RGB是一種不均勻的顏色空間，兩種顏色之間的色差不能表示為該空間兩點間的距離?；谀w色在YCbCr空間中良好的聚類性，本文在YCbCr空間下構(gòu)建模型。然后，在初步處理得到的膚色區(qū)域里，分析是否包含最顯著的臉部特征：眼特征。在YCbCr空間中，眼特征可以用本文算法提取出來。通過對眼特征的辨認，確定人臉區(qū)域。圖像中由于光照影響，部分區(qū)域轉(zhuǎn)化為YCbCr空間時，人臉膚色聚類性變差，簡單來說既是從背景中提取人臉能力變差。進行光補償能夠有效改善膚色的聚類性。本文中鑒于要達到實時性的目的，簡化地將各個像素R、G、B三分量的和擴展到最高的255，進行光補償。補償算法: （4.1） （4.2） （4.3）式中r、g、b為原圖紅、綠、藍分量，R、G、B為補償?shù)募t、綠、藍分量。本方法處理后得出的圖像進行光補償后就可以檢測圖像中的人臉。光補償后根據(jù)膚色在YCbCr空間的具有的聚類性，使用檢測算法如下：1）首先將RGB圖像轉(zhuǎn)換為YCbCr圖像，YCbCr標準是CCIR制定的為了傳輸在整數(shù)0到255范圍內(nèi)編碼的亮度與色度成分圖像坐標系統(tǒng)。Y是指亮度分量，Cb是藍色色度分量，Cr是紅色色度分量。YCbCr與RGB之間的變換關(guān)系為: （4.4）2）將已經(jīng)轉(zhuǎn)化的Cb分量圖與Cr分量圖作差，即得到初級圖像，如圖4.5所示。與原圖(如圖4.4所示)比較可發(fā)現(xiàn)膚色部位已經(jīng)可以很容易地分辨出來。確定閾值二值化圖像時可以多次嘗試或者使用經(jīng)驗閾值，但是這兩種方法都不完善，存在速度慢或準確度不高的缺陷，折中的方法是使用自動閾值。自動閾值通常有Otsu法，迭代式閾值選擇法和最小誤差閾值選擇法。Otsu是一種使類間方差最大的自動閾值選擇法，其方法是:設(shè)圖像的像素為n，共分L個灰度級，首先求出整幅圖的灰度均值:。為第i灰度級像素的概率。假定灰度閾值為T，計算以T為限分開的兩部分C0、C1灰度均值、。 （4.5） （4.6）類間方差定義為: （4.7）其中表示C0C1在圖中出現(xiàn)的概率，表示整幅圖的灰度均值，然后令T在L個灰度內(nèi)依次取值，使最大者為最終閾值。該法簡單，處理速度快，本文使用Otsu法選取閾值。在灰度空間中設(shè)定自動閾值可以得到如圖4.4所示的圖像 圖4.4原圖像 圖4.5利用自動閾值將灰度圖處理后圖像4.4眼部特征檢測 初級處理后的二值圖像除臉部外，還有其他部位如手、胳膊、頸部等也顯示出來了。通過進一步作眼部特征判斷，可以去除這些部位影響，最終檢測出人臉。對眼部的檢測使用算法為: （4.8） （4.9） （4.10）Cr為Cr的負(如255-Cr)，是形態(tài)學(xué)中的膨脹運算，是腐蝕運算，g的定義g:，AND為與運算。在matlab環(huán)境下算法最終檢測出的人臉如圖4.5所示。圖4.5臉部檢測結(jié)果4.5本章小結(jié) 本章采用圖像差分法先檢測出運動區(qū)域，消除了背景對人臉檢測的影響，所有了搜索的范圍，利用膚色在YCrCb空間里的聚類性來檢測人臉區(qū)域，同時為了去除亮度對膚色的影響，增強檢測的可靠性，采用了亮度補償，最后選取了人臉的眼部特征作為條件確定人臉區(qū)域，實驗結(jié)果顯示，改算法有一定的實時性。 但是在運動目標的提取過程中，所采用的背景幀差法，并不是最佳的提取方法，對于某些場景中的運動目標又是不能很好的提取，并且，提取的運動目標的過程中會有一些余跡出現(xiàn)，所以在檢測跟蹤的時候，我們可以改進提取精度，采用一種方法擦出余跡。這是可以改進的地方。 在此次課題設(shè)計中我們只做到了單張單人臉的檢測定位和視頻當中的運動目標提取，以后的工作有待完善?？偨Y(jié)人臉檢測與跟蹤問題的內(nèi)涵十分廣泛，由于人臉模式的復(fù)雜性，實現(xiàn)通用的人臉檢測與跟蹤方法還不現(xiàn)實。本文主要研究了彩色圖片和視頻序列中的人臉檢測與跟蹤的問題，復(fù)雜背景圖像下的多姿態(tài)人臉的檢測與跟蹤也是研究的重點之一。本文學(xué)習(xí)了前人在人臉檢測與跟蹤的主要方法，給出了基于膚色人臉檢測與人臉的眼部特征（啟發(fā)式特征人臉檢測）相結(jié)合對視頻中運動目標的人臉進行檢測與跟蹤的方法。對于本文的人臉檢測與跟蹤的方法，利用VC6.0軟件平臺結(jié)合OpenCV計算機視覺庫進行了局部實現(xiàn)。具體來說，本文完成的主要工作總結(jié)如下：1、詳細分析了人臉檢測與跟蹤的相關(guān)理論和主流方法，將人臉檢測的方法分為基于膚色的檢測方法、基于啟發(fā)式模型的方法和基于統(tǒng)計模型的方法等；人臉跟蹤的方法主要分為基于特征檢測的方法、基于模型的方法和基于貝葉斯濾波的方法等。在此基礎(chǔ)上評述了各個算法的優(yōu)缺點以及應(yīng)用范圍和場合。2、我們主要研究了基于膚色的人臉檢測方法檢測視頻圖像中的人臉以及通過背景差分法對視頻中運動目標的檢測與追蹤，并基于膚色模型與人臉的眼部特征（啟發(fā)式特征人臉檢測）相結(jié)合對視頻中運動目標的人臉進行檢測與跟蹤。由于我們研究的時間有限和知識研究的還不透徹，我們只實現(xiàn)了單張單人臉的檢測定位和視頻當中的運動目標提取，所以我們希望在以后的學(xué)習(xí)中進一步深入研究視頻中人臉檢測與跟蹤。參考文獻[1]陳勝勇,劉盛等.基于OpenCV的計算機視覺技術(shù)實現(xiàn)[M].北京:科學(xué)