（計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)論文）基于視頻圖像的人臉特征點(diǎn)定位技術(shù)研究.pdf

基于視頻圖像的人臉特征點(diǎn)定位技術(shù)研究 計(jì)算機(jī)應(yīng)用技術(shù)專業(yè) 研究生劉姍姍指導(dǎo)教師王玲 摘要人臉特征點(diǎn)定位技術(shù)是人臉分析技術(shù)的關(guān)鍵，它被廣泛應(yīng)用于人臉 識(shí)別、三維人臉建模、人臉動(dòng)畫等領(lǐng)域。但是由于光照、姿態(tài)、面部表情的變 化以及眼鏡、胡須等遮擋物的干擾，增加了人們對(duì)特征點(diǎn)精確定位的難度。 本文主要針對(duì)的是左右轉(zhuǎn)動(dòng)的人臉視頻序列研究魯棒的人臉特征點(diǎn)定位 算法，主要的研究工作及創(chuàng)新點(diǎn)如下： 1 ) 在分析人臉面部主要器官分布規(guī)律的基礎(chǔ)上，參照m p e g - 4 標(biāo)準(zhǔn)中人 臉定義參數(shù)f d p 的人臉特征點(diǎn)分布，選取了本文使用的人臉特征點(diǎn)，同時(shí)根 據(jù)人臉特征點(diǎn)對(duì)后續(xù)應(yīng)用的重要性以及特征點(diǎn)定位的難易程度將選取的特征 點(diǎn)進(jìn)行了分類。 2 ) 通過對(duì)a s m 模型的初始位置以及人臉特征點(diǎn)的局部搜索策略進(jìn)行改進(jìn)， 提出了采用疊加的a s m 模型以及二維輪廓線進(jìn)行局部特征點(diǎn)搜索的算法。用于 人臉視頻序列第一幀接近正面人臉特征點(diǎn)的定位，該幀定位的準(zhǔn)確性直接影響 到后續(xù)視頻人臉特征點(diǎn)的跟蹤。 3 ) 提出按人臉姿態(tài)的不同，采用不同的策略跟蹤視頻人臉特征點(diǎn)。對(duì)于 小姿態(tài)的人臉采用仿射矯正的光流跟蹤方法，而對(duì)于中大姿態(tài)的人臉則通過 分區(qū)域，計(jì)算跟蹤準(zhǔn)確的人臉特征點(diǎn)的偏移量矯正光流跟蹤方法。對(duì)于難跟蹤 的人臉外輪廓點(diǎn)，本文提出采用把人臉圖像轉(zhuǎn)換到h s v 色彩空間，利用s o b e l 變換提取人臉輪廓的方法定位人臉外輪廓上的特征點(diǎn)。 4 ) 作為對(duì)視頻序列人臉特征點(diǎn)定位的一個(gè)應(yīng)用，本文根據(jù)視頻序列中定 位出來的人臉兩內(nèi)眼角點(diǎn)和鼻尖點(diǎn)估計(jì)出人臉姿態(tài)。最后，本文以v i s u a l c + + 6 0 以及o p e n c v l 0 為開發(fā)平臺(tái)，實(shí)現(xiàn)了視頻人臉序列特征點(diǎn)的定位并估 計(jì)人臉姿態(tài)。 關(guān)鍵詞：人臉特征點(diǎn)定位主動(dòng)形狀模型光流跟蹤仿射變換色彩空間 i i r e s e a r c ho nf a c i a lf e a t u r ep o i n t sl o c a t i o nb a s e d o nv i d e oi m a g e s a b s t r a c tf a c i a lf e a t u r ep o i n t sl o c a t i o ni st h ek e yt of a c ea n a l y s i st e c h n i q u e s ， i ti sw i d e l yu s e di nf a c er e c o g n i t i o n , 3 df a c em o d e l i n ga n df a c i a la n i m a t i o ne t c h o w e v e r , i ti sv e r yh a r dt ol o c a t ef a c i a lf e a t u r ep o i n t sp x e c i s e l yd u et ot h ec h a n g e s o fl i g h t ，g e s t u r ea n df a c i a le x p r e s s i o na n dt h eo c c l u s i o n so f g l a s s e sa n db e a r d i nt h i sd i s s e r t a t i o n ，r o b u s tf a c i a lf e a t u r ep o i n t sl o c a t i o na l g o r i t h mi ss t u d i e dt o t u r n i n gl e f ta n dn e g a th u m a nv i d e os e q u e n c e t h em a i np o i n t so fr e s e a r c ha n d i n n o v a t i o na r ea sf o l l o w s ： 1 ) t h ef a c i a lf e a t u r ep o i n t sa r es e l e c t e da c c o r d i n gt om p e g - 4f a c i a ld e f i n i t i o n p a r a m e t e r s ( f d p ) i nt h ea n a l y s i so ft h em a j o ro r g a n so fh u m a nf a c e a n dt h e s e l e c t e df a c i a lf e a t u r e p o i n t s a r ec l a s s i f i e db yt h e i m p o r t a n c e o ff o l l o w u p a p p l i c a t i o n sa n dt h ee a s eo fl o c a t i n gf e a t u r ep o i n t s 2 ) t h es t a c ka s ma n dt w o d i m e n s i o n a lc o n t o u rl i n e so fs e a r c h i n gl o c a l f e a t u r ep o i n t sa r ei n t r o d u c e db yi m p r o v i n gt h ei n i t i a lp o s i t i o no fa s ma n dt h e s e a r c h i n gs t r a t e g i e so f l o c a lf a c i a lf e a t u r ep o i n t s t h i sm e t h o di su s e dt ol o c a t et h e f i r s tf l a m ef a c i a lf e a t u r ep o i n t so fv i d e os e q u e n c e sw h i c hd i r e c t l ya f f e c t st h e p o s i t i o n i n ga c c u r a c yo f t h ef o l l o w - u pv i d e of a c i a lf e a t u r ep o i n t st r a c k i n g 3 ) d i f f e r e n ts t r a t e g i e st ot r a c kt h ev i d e of a c i a lf e a t u r ep o i n t st ot h ed i f f e r e n t f a c i a lg e s t u r e sa r ep r o p o s e d a f f i n e c o r r e c t e do p t i c a lf l o wt r a c k i n gm e t h o di su s e d f o rs m a l lg e s t u r e so fh u m a nf a c e o f f s e tc o r r e c t i o no ft h eo p t i c a lf l o wt r a c k i n g m e t h o dt h r o u g ht h es u b r e g i o n ，c a l c u l a t i n ga c c u r a t ep o i n t st r a c k i n gf o rm e d i u m l a r g eg e s t u r e so ff a c e t h eh u m a nf a c ei m a g e sa r ec o n v e r t e dt ot h eh s vc o l o r s p a c e ，u s i n gs o b e lt r a n s f o r r nt oe x t r a c tt h ef a c ec o n t o u ri su s e dt ol o c a t ef a c i a l f e a t u r ep o i n t so nt h eo u t e rc o n t o u r i i i 4 ) t h ef a c eg e s t u r e sa r ee s t i m a t e da c c o r d i n gt ot h ei n s i d ec o r n e ro ft h ee y e p o i n t sa n dt h et i po f n o s ea sa na p p l i c a t i o no ff a c i a lf e a t u r ep o i n tl o c a t i o nb yv i d e o s e q u e n c e s f i n a l l y , t h ef a c i a lf e a t u r ep o i n t sl o c a t i o no ft h ev i d e os e q u e n c ea n d e s t i m a t i o no ff a c e g e s t u r e s h a v eb e e ni m p l e m e n t e db yv i s u a lc + + 6 0a n d o p e n c v l 0 k e yw o r d s ：f a c i a lf e a t u r ep o i n t sl o c a t i o n a c t i v es h a p em o d e l ( a s m ) o p t i c a lf l o wt r a c k i n g a f f i n et r a n s f o r mc o l o rs p a c e i v 四) w i n 范大學(xué)學(xué)位論文獨(dú)創(chuàng)性及 使用授權(quán)聲明 本人聲明：所呈交學(xué)位論文，是本人在導(dǎo)師至墜：筮蕉指導(dǎo)下，獨(dú)立 進(jìn)行研究工作所取得的成果。除文中已經(jīng)注明引用的內(nèi)容外，本論文不含任何 其他個(gè)人或集體已經(jīng)發(fā)表或撰寫過的作品或成果。對(duì)本文的研究做出重要貢獻(xiàn) 的個(gè)人和集體，均已在文中以明確方式標(biāo)明。本聲明的法律結(jié)果由本人承擔(dān)。 本人承諾：已提交的學(xué)位論文電子版與論文紙本的內(nèi)容一致。如因不符而 引起的學(xué)術(shù)聲譽(yù)上的損失由本人自負(fù)。 本人同意所撰寫學(xué)位論文的使用授權(quán)遵照學(xué)校的管理規(guī)定： 學(xué)校作為申請(qǐng)學(xué)位的條件之一，學(xué)位論文著作權(quán)擁有者須授權(quán)所在大學(xué)擁 有學(xué)位論文的部分使用權(quán)，即：1 ) 已獲學(xué)位的研究生必須按學(xué)校規(guī)定提交印 刷版和電子版學(xué)位論文，可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫供 檢索；2 ) 為教學(xué)、科研和學(xué)術(shù)交流目的，學(xué)?？梢詫⒐_的學(xué)位論文或解密 后的學(xué)位論文作為資料在圖書館、資料室等場所或在有關(guān)網(wǎng)絡(luò)上供閱讀、瀏覽。 本人授權(quán)中國科學(xué)技術(shù)信息研究所將本學(xué)位論文收錄到中國學(xué)位論文 全文數(shù)據(jù)庫，并通過網(wǎng)絡(luò)向社會(huì)公眾提供信息服務(wù)。 ( 保密的學(xué)位論文在解密后適用本授權(quán)書) 學(xué)位論文作者簽名：剖舭 導(dǎo)師簽名： 簽字日期：加年 石月f 日 簽字日期吱擗易月二日 第一章緒論 1 1 研究背景及意義 隨著生物鑒別、人工智能、新一代人機(jī)交互等技術(shù)的迅猛發(fā)展，與人臉 相關(guān)的圖像處理技術(shù)如人臉識(shí)別、人臉動(dòng)畫、人臉表情分析、三維人臉建模等 更是引起了眾多科研機(jī)構(gòu)和大量研究人員的關(guān)注。而且，人臉與其他人體生物 特征相比，具有直接、友好、方便的特點(diǎn)，因此，有關(guān)人臉的分析技術(shù)己經(jīng)成 為近年來的研究熱點(diǎn)。而這些技術(shù)的一個(gè)首要前提就是要快速有效的從圖像或 者視頻序列中獲取人臉特征點(diǎn)信息，即實(shí)現(xiàn)人臉特征點(diǎn)定位。 雖然人類可以從人臉圖像中很輕松地分辨出面部特征點(diǎn)的準(zhǔn)確位置，但對(duì) 計(jì)算機(jī)來講并不容易。因?yàn)槿四樖欠莿傂缘?，人臉的大小、位置、姿態(tài)、表情 變化、年齡變化、遮擋物的干擾、毛發(fā)和佩戴物、光線的變化等都會(huì)嚴(yán)重影響 到正確地對(duì)人臉特征點(diǎn)進(jìn)行定位。而且，目前人臉特征點(diǎn)定位技術(shù)相對(duì)還比較 薄弱，比如在人臉識(shí)別領(lǐng)域中，做人臉檢測的研究人員僅僅給出人臉的大概位 置，并不考慮人臉特征點(diǎn)定位的準(zhǔn)確度，而大部分做人臉識(shí)別算法的研究人員 則都是假定人臉特征點(diǎn)的位置是給定的【1 1 。并且，該研究涉及到圖像處理、模 式識(shí)別、人工智能、計(jì)算機(jī)視覺、生理學(xué)、心理學(xué)等多個(gè)交叉學(xué)科。因此，人 臉特征點(diǎn)定位技術(shù)至今仍然是一項(xiàng)非常重要又極具挑戰(zhàn)性的課題，其中所采用 的特征點(diǎn)定位算法的精確度和定位的魯棒性是當(dāng)前研究的一個(gè)熱點(diǎn)。 所謂人臉特征點(diǎn)定位，就是通過計(jì)算機(jī)在人臉圖像中自動(dòng)地定位出人臉各 個(gè)器官的準(zhǔn)確位置，為人臉圖像的處理與分析提供重要的幾何信息，其準(zhǔn)確性 直接影響到后續(xù)應(yīng)用的性能，這些應(yīng)用主要有以下幾個(gè)方耐2 j ： 1 ) 為人臉識(shí)別提供重要的幾何特征等基礎(chǔ)信息。 2 ) 利用人臉面部特征定位的結(jié)果進(jìn)行人臉姿態(tài)表情分析。 3 ) 實(shí)現(xiàn)人臉圖像的自動(dòng)跟蹤。 4 ) 用于人臉圖像編碼。 5 ) 進(jìn)行人臉合成、三維人臉建模以及人臉動(dòng)畫的研究。 近年來由于視頻比靜態(tài)圖像能夠提供更加豐富的信息，因此，在人臉識(shí)別、 表情分析、三維人臉建模等領(lǐng)域逐漸把視頻人臉序列作為研究的主流，其中一 個(gè)必須解決的i 口- j 題就是在人臉視頻序列中定位和跟蹤人臉特征點(diǎn)i l j 。盡管前 入對(duì)該問題已經(jīng)做了深入的研究，但到目前為止，現(xiàn)有的人臉特征點(diǎn)定位技術(shù) 還是有很多苛刻的條件限制，比如要求均勻光照、正面中性表情人臉、無遮擋 物等。即便如此，該技術(shù)也未達(dá)到實(shí)用的程度。本文主要研究的就是視頻序列 中頭部姿態(tài)對(duì)人臉特征點(diǎn)定位的影響，精確的跟蹤大姿態(tài)角度頭部旋轉(zhuǎn)人臉特 征點(diǎn)是一個(gè)很有挑戰(zhàn)性的研究課題，對(duì)三維人臉建模、人臉合成等領(lǐng)域有很大 的應(yīng)用。 1 。2 國內(nèi)外研究現(xiàn)狀 1 2 1 人臉特征點(diǎn)定位技術(shù)的國內(nèi)外研究現(xiàn)狀 近年來，隨著人們對(duì)人臉特征點(diǎn)定位技術(shù)的不斷深入研究，從上世紀(jì)九十 年代以來，國內(nèi)外學(xué)者己經(jīng)提出了多種行之有效的人臉特征點(diǎn)定位方法。現(xiàn)有 的方法根據(jù)人臉定位所依據(jù)的基本信息的類型分為基于先驗(yàn)規(guī)則、基于幾何形 狀信息、基于色彩信息、基于外觀信息和基于關(guān)聯(lián)信息五類【3 】。 1 ) 基于先驗(yàn)規(guī)則：根據(jù)人臉特征的一般特點(diǎn)總結(jié)出一些經(jīng)驗(yàn)規(guī)則，在進(jìn) 行人臉特征點(diǎn)定位之前，先對(duì)輸入圖像進(jìn)行處理，強(qiáng)化目標(biāo)特征，然后根據(jù)這 些規(guī)則從圖像中搜索出人臉候選點(diǎn)。該類方法的典型代表有：鑲嵌圖1 4 j 、幾何 投影【5 1 、二值化定位【6 1 、廣義對(duì)稱【為。該類方法的優(yōu)點(diǎn)是構(gòu)造簡單，使用的都 是一些簡單的底層圖像信息，但是該方法的普遍適用性不高，有如要求圖像中 只能有單個(gè)人、簡單的背景、中性表情等諸多條件限制。 2 ) 基于幾何形狀信息：根據(jù)人臉部特征的形狀結(jié)構(gòu)特點(diǎn)構(gòu)造一個(gè)帶可變 參數(shù)的人臉幾何模型，通過一個(gè)評(píng)價(jià)度量函數(shù)來判斷被檢測區(qū)域與該模型的匹 配度，為了使模型能夠收斂于待定位的臉部特征需要在搜索過程中不斷調(diào)整參 數(shù)使評(píng)價(jià)度量函數(shù)最小化。該類方法包括：s n a k e s 引、可變模板【9 】、a s m 模型 1 0 1 。該類方法的優(yōu)點(diǎn)是具有很好的直觀性，易于理解和應(yīng)用，但是該方法的 運(yùn)算量一般都比較大，這是因?yàn)槿四樚卣鼽c(diǎn)附近的對(duì)比度比較低，為了使模型 收斂，其搜索過程比較緩慢。 3 ) 基于色彩信息：利用人臉面部與周圍環(huán)境不同的色彩信息，使用統(tǒng)計(jì) 方法建立起臉部特征的色彩模型，根據(jù)被檢測區(qū)域的色彩與色彩模型的匹配度 搜索候選區(qū)域找出候選點(diǎn)。該方法的優(yōu)點(diǎn)在于受姿態(tài)、尺寸、表情等變化的影 2 響小而且運(yùn)行速度快，但是該方法易受周圍環(huán)境因素的干擾，容易把環(huán)境中接 近膚色的信息提取出來。 4 ) 基于外觀信息：采用統(tǒng)計(jì)學(xué)的方法，將臉部特征附近一定區(qū)域內(nèi)的子 圖像映射到高維空間中的一個(gè)點(diǎn)。使用高維空間中的點(diǎn)集來描述同類臉部特 征，建立其統(tǒng)計(jì)模型，通過計(jì)算待測區(qū)域與模型的匹配度來判定其是否是目標(biāo) 臉部特征。該類方法的典型代表有：人工神經(jīng)網(wǎng)絡(luò)】、p c a t l2 1 、s v m t l3 1 。該 類方法的優(yōu)點(diǎn)是由于采用了統(tǒng)計(jì)的方法，因此對(duì)外界環(huán)境的適應(yīng)能力較強(qiáng)，但 是其運(yùn)算量較大，而且由于采用的都是高維信息，較抽象，無法直觀識(shí)別出入 臉特征。 5 ) 基于關(guān)聯(lián)信息：把臉部特征之間的相對(duì)位置信息引入到統(tǒng)計(jì)學(xué)習(xí)方法 中以獲取人臉特征的關(guān)聯(lián)信息。該類方法主要有：概率網(wǎng)絡(luò)【l4 1 、g a b o r 小波網(wǎng) 絡(luò)【l ”。該類方法對(duì)具有一定姿態(tài)變化的人臉有一定的適應(yīng)能力，但是由于加 入了關(guān)聯(lián)信息，因此該類方法的運(yùn)算量也進(jìn)一步加大。 目前，在定位較多的人臉特征點(diǎn)領(lǐng)域比較常用的是基于幾何形狀的方法， k a s s 8 j 等人在1 9 8 8 年首先提出了主動(dòng)輪廓線模型( a c t i v ec o n t o u rm o d e l s ， a c m ) ，或者稱為s n a k e 模型。該模型是一種能量極小化模型，是一條可以變 形的曲線。在變形過程中受到內(nèi)力和外力兩種力的作用，通過內(nèi)力約束它的形 狀，外力引導(dǎo)它的行為，將其拖向顯著的圖像特征。l e e t l 6 】等人在1 9 9 7 年提 出的結(jié)構(gòu)化s n a k e 模型對(duì)正面和側(cè)面人臉圖像實(shí)現(xiàn)面部特征定位。 由于s n a k e 模型只是利用了一般對(duì)象的先驗(yàn)知識(shí)，沒有關(guān)于特定對(duì)象的信 息，并不適用精度要求高的地方。因此，通過對(duì)主動(dòng)輪廓線模型進(jìn)行改進(jìn)，提 出了可變形模板【9 1 ，其主要思想是根據(jù)待檢測人臉特征的先驗(yàn)形狀信息，定義 一個(gè)反映該形狀變形部分的形狀模型，通過調(diào)整該模型的參數(shù)定位出人臉特征 的位置信息。由于可變形模板需要人為設(shè)計(jì)參數(shù)化的幾何模型，這對(duì)于形狀簡 單、較規(guī)則的人臉特征( 如眼睛和嘴巴) 可以較好地檢測出其位置和形狀信息。 但對(duì)于形狀復(fù)雜的人臉特征( 如鼻子、眉毛和人臉外輪廓) 檢測效果并不好， 而且該方法的運(yùn)算成本高，對(duì)于實(shí)時(shí)性要求較高的場合并不適用。 由于主動(dòng)輪廓線模型和可變形模板在人臉特征點(diǎn)定位中存在不足，1 9 9 5 年c o o t e s 等人提出了主動(dòng)形狀模型【10 1 ( a c t i v es h a p em o d e l s ，a s m ) ，該模型是 基于統(tǒng)計(jì)學(xué)習(xí)的方法，首先建立人臉特征點(diǎn)的全局形狀模型和局部紋理模型， 利用統(tǒng)計(jì)模型對(duì)人臉形狀進(jìn)行約束，通過局部特征點(diǎn)匹配的策略搜索候選特征 點(diǎn)，直至最終收斂到實(shí)際的人臉形狀上去da s m 模型近年來得到了廣泛的應(yīng) 用，主要是因?yàn)閍 s m 是利用統(tǒng)計(jì)學(xué)的方法學(xué)習(xí)了人臉的特征，能夠適應(yīng)不同 人臉的形狀，非常有效。但是a s m 并不是任何條件下都能夠取得很好的效果， 為了適應(yīng)不同的情況，近幾年很多研究人員在a s m 模型基礎(chǔ)上做了大量的研 究工作，如：k o s c h a n t r 7 】等將a s m 的特征擴(kuò)展到了彩色的情況，通過把局部 灰度模型轉(zhuǎn)換成紅、藍(lán)、綠三個(gè)顏色的模型來跟蹤視頻序列中的運(yùn)動(dòng)物體或人； c o o t e s t l 8 】等在a s m 的基礎(chǔ)上，為了使得a s m 的定位更加準(zhǔn)確，提出了主動(dòng) 表觀模型( a c t i v ea p p e a r a n c es h a p e ，a a m ) 。a a m 是a s m 的直接擴(kuò)展，在 a s m 的基礎(chǔ)上，a a m 增加了整體的灰度紋理模型，通過把整體的形狀模型與 整體的紋理模型組合構(gòu)成表觀模型，通過實(shí)驗(yàn)分析，a a m 的檢測效果要比 a s m 好，但是由于增加了一個(gè)模型，a a m 的運(yùn)行速度也相對(duì)較慢，而且a a m 比a s m 更容易受到光照的影響：2 0 0 1 年，北京微軟亞洲研究院的李子青和北 京大學(xué)的侯欣文等人提出了d a m ( d i r e c ta p p e a r a n c em o d e l s ) 1 1 9 】模型，通過 建立一個(gè)全局紋理到形狀的線性映射模型，提高運(yùn)行速度，實(shí)際上就是對(duì)a a m 的一種簡化：y a n 2 0 】等提出了t c a s m 方法，該方法不僅使用了a s m 的全局 形狀模型和局部紋理模型，而且還利用整體的紋理信息來控制形狀的變形，這 樣做的好處是改善了a s m 算法對(duì)初始化輪廓和光照的敏感性，提高了人臉特 征點(diǎn)定位的準(zhǔn)確性，而且運(yùn)行速度要比a a m 快；2 0 0 3 年z h o u l 2 1j 等提出了貝 葉斯切空間形狀模型( b a y e s i a nt a n g e n ts h a p em o d e l ，簡稱b t s m ) ；j i a o l 2 2 j 等提出了w - a s m 方法，通過利用g a b o r 小波特征來構(gòu)造圖像的局部結(jié)構(gòu)以 及后面出現(xiàn)的基于h a a r 小波的a s m ( h a a r - w a v e l e ta s m ) 【23 1 、m i l b o r r o w 【2 4 】 等提出的t r i m m e d m o d e l 模型和r a n 2 5 j 等提出的r a s m ( r e g u l a r i z e da s m ) 等都是在a s m 模型的基礎(chǔ)上針對(duì)不同的情況提出的改進(jìn)策略。 目前，國內(nèi)外致力于該領(lǐng)域的研究機(jī)構(gòu)主要有：美國的卡內(nèi)基梅隆大學(xué)、 m i t 、瑞典l i n k o p i n g 大學(xué)、丹麥的d t u 大學(xué)、國內(nèi)的北京微軟亞洲研究院、 清華大學(xué)、北京大學(xué)、中科院計(jì)算所和自動(dòng)化所、中山大學(xué)、浙江大學(xué)等。特 別是中科院自動(dòng)化所生物識(shí)別與安全技術(shù)研究中心的李子青研究組在該領(lǐng)域 4 取得了許多很好的成績t 1 9 】【2 0 1 【2 5 1 。 1 2 2 人臉特征點(diǎn)跟蹤技術(shù)的國內(nèi)外研究現(xiàn)狀 人臉特征點(diǎn)跟蹤方法主要可以分為基于模型的方法和基于光流的方法。基 于模型的方法通常是對(duì)特征點(diǎn)進(jìn)行描述性建模，利用模型從每幀圖像中選擇具 有物理對(duì)應(yīng)關(guān)系的相同特征點(diǎn)集合，然后在集合之間建立單映射來完成跟蹤任 務(wù)。c o o t e s 提出的主動(dòng)形狀模型( a c t i v es h a p em o d e l ，a s m ) 1 0 l 在面部特征 點(diǎn)跟蹤問題上，尤其特征點(diǎn)具有復(fù)雜運(yùn)動(dòng)時(shí)，獲得了優(yōu)異的效果，但是a s m 跟蹤只適合于幀間運(yùn)動(dòng)較小的情況。m c k e n n a 2 6 】等人選擇g a b o r 特征，采用 點(diǎn)分布模型描述面部特征點(diǎn)的運(yùn)動(dòng)，取得了較好的效果。 基于光流的方法通常是在參考幀中選擇一組特征點(diǎn)，假設(shè)特征點(diǎn)紋理在幀 間保持不變，然后通過局部匹配搜索完成跟蹤任務(wù)。由于光流可以從單個(gè)像素 的角度進(jìn)行圖像的跟蹤，因此被廣泛應(yīng)用于人臉特征點(diǎn)的跟蹤。最初的方法是 在人臉上貼標(biāo)識(shí)點(diǎn)來跟蹤視頻中的人臉特征點(diǎn)，其后為了實(shí)現(xiàn)自動(dòng)跟蹤人臉特 征點(diǎn)，很多學(xué)者做了大量的研究，其中應(yīng)用較廣泛的主要有l(wèi) u c a s 和k a n a d e t 2 7 1 提出的l u c a s k a n a d e 光流跟蹤算法，以及其后提出了很多改進(jìn)方梨2 8 】【2 9 】。但 是該方法需要被跟蹤點(diǎn)周圍有豐富的紋理，才能穩(wěn)定地跟蹤人臉特征點(diǎn)。 1 3 本文研究內(nèi)容 本文是針對(duì)一組在均勻光照條件下中性表情的人臉左右轉(zhuǎn)動(dòng)的視頻序列， 并且要求視頻第一幀接近正面人臉。然后對(duì)輸入的視頻幀自動(dòng)檢測出人臉區(qū) 域，并在檢測出的人臉區(qū)域上實(shí)現(xiàn)實(shí)時(shí)自動(dòng)的定位出人臉特征點(diǎn)。 本文研究內(nèi)容主要有： 1 ) 人臉特征點(diǎn)的選擇與分類：選擇哪些特征點(diǎn)以及選擇的特征點(diǎn)數(shù)目是 人臉特征點(diǎn)定位首要解決的問題，本文主要根據(jù)人臉識(shí)別領(lǐng)域以及三維人臉建 模領(lǐng)域中對(duì)人臉特征點(diǎn)的要求，選擇了既具有代表性又能夠描述一個(gè)人臉特征 的5 2 個(gè)特征點(diǎn)，并根據(jù)人臉特征點(diǎn)對(duì)后續(xù)應(yīng)用的重要性以及特征點(diǎn)定位的難 易程度將選取的這些特征點(diǎn)分為三大類：第一類是人臉眉毛、眼睛、鼻子和嘴 巴區(qū)域的關(guān)鍵特征點(diǎn)，第二類是對(duì)第一類特征點(diǎn)的進(jìn)一步描述，第三類是標(biāo)記 人臉外輪廓、額頭以及臉頰區(qū)域的特征點(diǎn)。 2 ) 改進(jìn)主動(dòng)形狀模型( a s m ) 實(shí)現(xiàn)對(duì)接近正面人臉面部特征點(diǎn)進(jìn)行定位： 采用a s m 模型對(duì)近正面人臉圖像定位特征點(diǎn)，針對(duì)存在的以下問題進(jìn)行改進(jìn)： ( a ) 傳統(tǒng)a s m 模型存在初始位置不準(zhǔn)確問題，容易造成特征點(diǎn)定位失敗。 在此首先對(duì)人臉圖像進(jìn)行人臉檢測定位出人臉位置，然后采用疊加的a s m 模 型，利用第一個(gè)a s m 的搜索結(jié)果作為第二個(gè)a s m 的初始位置，更加精確a s m 的初始位置。( b ) 傳統(tǒng)a s m 模型采用人臉特征點(diǎn)的法線方向上搜索候選點(diǎn)， 由于法線方向的一維輪廓線很難攜帶足夠的信息表示人臉特征點(diǎn)，容易造成特 征點(diǎn)定位的不準(zhǔn)確。在此，考慮在特征點(diǎn)周圍的二維鄰域內(nèi)搜索候選點(diǎn)，以便 提高特征點(diǎn)定位的精確度。 3 ) 對(duì)于有一定轉(zhuǎn)角的人臉，a s m 模型不能實(shí)現(xiàn)很好的特征點(diǎn)定位，在此 利用視頻序列提供的豐富信息，改進(jìn)金字塔l u c a sk a n a d e 光流跟蹤算法實(shí)現(xiàn) 對(duì)人臉特征點(diǎn)的精確跟蹤。對(duì)小姿態(tài)人臉采用仿射矯正的光流跟蹤算法，中 大姿態(tài)人臉則通過計(jì)算跟蹤準(zhǔn)確特征點(diǎn)的偏移量修正光流跟蹤的結(jié)果。 4 ) 由于第三類特征點(diǎn)在視頻跟蹤中特別困難，因此本文提出對(duì)于人臉外 輪廓上的點(diǎn)采用把視頻圖像轉(zhuǎn)換到h s v 色彩空間，利用邊緣檢測算子s o b e l 變換提取人臉輪廓，定位外輪廓上的點(diǎn)。對(duì)于額頭點(diǎn)和臉頰點(diǎn)，則提出根據(jù)人 臉的先驗(yàn)知識(shí)，結(jié)合定位出的人臉特征點(diǎn)的距離實(shí)現(xiàn)定位。 5 ) 分析現(xiàn)有的人臉姿態(tài)估計(jì)方法，利用本文定位的兩內(nèi)眼角點(diǎn)和鼻尖點(diǎn) 三個(gè)點(diǎn)估計(jì)出人臉繞y 軸旋轉(zhuǎn)的姿態(tài)角度。并且基于以上的研究，本文最后 以v i s u a lc + + 6 o 以及o p e n c v l 0 為開發(fā)平臺(tái)，實(shí)現(xiàn)了視頻人臉序列特征點(diǎn)的 實(shí)時(shí)定位，并且實(shí)時(shí)估計(jì)出人臉姿態(tài)。 1 4 論文的組織安排 本文工作主要涉及三大部分：一是關(guān)于a s m 人臉特征點(diǎn)定位，對(duì)主動(dòng)形 狀模型進(jìn)行實(shí)驗(yàn)分析；二是關(guān)于l u c a sk a n a d e 光流跟蹤，改進(jìn)l u c a sk a n a d e 光流跟蹤方法，實(shí)現(xiàn)人臉特征點(diǎn)的精確跟蹤；三是對(duì)視頻人臉特征點(diǎn)定位的一 個(gè)應(yīng)用，實(shí)現(xiàn)人臉姿態(tài)估計(jì)。 本文內(nèi)容分為六章： 6 第一章緒論。介紹了人臉特征點(diǎn)定位的研究意義，詳細(xì)分析了人臉特征點(diǎn) 定位和跟蹤的研究現(xiàn)狀。 第二章a d a b o o s t 人臉檢測及人臉特征點(diǎn)的選擇與分類。首先介紹了使用 a d a b o o s t 算法對(duì)人臉視頻序列的第一幀進(jìn)行人臉檢測，然后通過分析人臉主 要器官的分布規(guī)律，介紹了本文選擇的人臉特征點(diǎn)以及對(duì)這些特征點(diǎn)的分類。 第三章改進(jìn)的a s m 面部特征點(diǎn)定位算法。首先簡單介紹了傳統(tǒng)的a s m 算法，然后通過分析采用改進(jìn)的a s m ，實(shí)現(xiàn)了對(duì)接近正面人臉特征點(diǎn)的精確 定位，為后面實(shí)現(xiàn)人臉特征點(diǎn)的跟蹤提供了很好的初始值。 第四章改進(jìn)的金字塔l u c a sk a n a d e 光流算法視頻人臉特征點(diǎn)跟蹤。通過 分析金字塔l u c a sk a n a d e 光流跟蹤算法，按照人臉姿態(tài)的分類改進(jìn)l k 光流 跟蹤算法，實(shí)現(xiàn)精確定位人臉特征點(diǎn)，同時(shí)對(duì)出現(xiàn)遮擋情況以及較難定位的第 三類特征點(diǎn)提出了相應(yīng)的策略。 第五章利用定位的人臉特征點(diǎn)在人臉姿態(tài)估計(jì)中的應(yīng)用。首先介紹了基于 特征點(diǎn)的人臉姿態(tài)估計(jì)方法，然后利用本文中定位的人臉特征點(diǎn)實(shí)現(xiàn)了左右旋 轉(zhuǎn)人臉的姿態(tài)估計(jì)。 第六章總結(jié)與展望。對(duì)該論文的研究結(jié)果進(jìn)行總結(jié)以及對(duì)該問題的研究未 來做了展望。 7 第二章a d a b o o s t 人臉檢測及人臉特征點(diǎn)的選擇與分類 人臉檢測是指從圖像或視頻序列中檢測出人臉，并確定人臉的位置、大小 等信息。要實(shí)現(xiàn)人臉特征點(diǎn)的定位，首先要定位出人臉的大體位置，減少搜索 特征點(diǎn)的區(qū)域范圍，提高效率。而且，由于人的頭部組織結(jié)構(gòu)十分復(fù)雜，要實(shí) 現(xiàn)人臉特征點(diǎn)定位，必須要選出有代表性的人臉特征點(diǎn)。 2 1 基于a d a b o o s t 算法的人臉檢測 2 1 1 人臉檢測的主要技術(shù)方法 目前人臉檢測技術(shù)已經(jīng)取得了較大的進(jìn)展，主要可以分為四類p o 】：基于 知識(shí)的方法、基于特征的方法、基于模板匹配的方法和基于統(tǒng)計(jì)理論的方法。 1 ) 基于知識(shí)的方法：是依據(jù)人臉面部器官的對(duì)稱性、灰度差異等先驗(yàn)知 識(shí)制定出一系列的準(zhǔn)則，根據(jù)這些準(zhǔn)則把人臉面部器官之間的關(guān)系規(guī)則化，當(dāng) 圖像中的待測區(qū)域符合該準(zhǔn)則時(shí)則被檢測為人臉。y a n g 掣3 l 】利用從粗到精的 三級(jí)規(guī)則來檢測人臉。該方法的缺點(diǎn)是檢測率不太高，很難定義出滿足各種人 臉的規(guī)則。如果規(guī)則定義過高，則可能會(huì)導(dǎo)致人臉被漏檢；如果規(guī)則過低，可 能會(huì)造成較高的錯(cuò)誤接受率。 2 ) 基于特征的方法：與基于知識(shí)的方法不同，該方法是通過尋找面部的 一些不變的特征，例如眼睛、鼻子、嘴巴等，利用找到的這些不變特征來確定 檢測區(qū)域是否是人臉。另外，在彩色圖像中，人臉的膚色就是一個(gè)區(qū)別人臉與 非人臉的顯著特征，因?yàn)?，膚色具有相對(duì)的穩(wěn)定性，不依賴于人臉面部的細(xì)節(jié) 特征，也適用于旋轉(zhuǎn)、面部表情變化等情況。因此，利用人臉膚色在彩色圖像 中檢測人臉是一種很有效的方法。l e e 3 2 】設(shè)計(jì)了膚色模型來表征人臉顏色，在 復(fù)雜的環(huán)境背景下實(shí)現(xiàn)了人臉及面部器官的分割，并且取得了很好的效果。但 是該方法存在的問題是：受環(huán)境影響較大，當(dāng)圖像中有光照、噪聲等的影響時(shí)， 會(huì)造成圖像的特征不明顯或被嚴(yán)重破壞。 3 ) 基于模板匹配的方法：分為固定模板和變形模板兩大類。其中，固定 模板是指首先制定出幾個(gè)標(biāo)準(zhǔn)的模板，并且制定出符合人臉的條件，然后，計(jì) 算待檢測區(qū)域與標(biāo)準(zhǔn)模板之間的相關(guān)值，當(dāng)該相關(guān)值符合制定的條件時(shí)則判斷 該待測區(qū)域?yàn)槿四?，否則為非人臉；變形模板是指采用參數(shù)化的模板來描述人 8 臉特征，通過最小化參數(shù)的能量函數(shù)達(dá)到檢測人臉的目的。固定模板由于是參 考標(biāo)準(zhǔn)的模板，因此對(duì)姿態(tài)、表情變化等敏感，而變形模板雖然對(duì)非剛性目標(biāo) 有較好的適應(yīng)性，但參數(shù)的選擇較困難，而且花費(fèi)的時(shí)間較長。 4 ) 基于統(tǒng)計(jì)理論的方法：基于模板匹配的方法中的模板通常是通過先驗(yàn) 知識(shí)得到的，而基于統(tǒng)計(jì)理論的方法中使用的“模板 則是從訓(xùn)練集中通過學(xué) 習(xí)得到的。該方法是利用統(tǒng)計(jì)分析與機(jī)器學(xué)習(xí)的方法來尋找出人臉樣本與非人 臉樣本各自的統(tǒng)計(jì)特征，利用各自的特征構(gòu)建分類器，來分辨人臉與非人臉。 由于人臉圖像非常復(fù)雜，顯示地描述人臉特征是困難的，因此基于統(tǒng)計(jì)理論的 方法越來越被重視。該方法主要有特征臉方法、神經(jīng)網(wǎng)絡(luò)方法、支持向量機(jī)方 法、隱馬爾科夫模型方法以及b o o s t i n g 方法。 特征臉方法。該方法是對(duì)訓(xùn)練人臉圖像利用主成分分析( p r i n c i p a l c o m p o n e n t a a n a l y s i s ，p c a ) 生成特征臉( e i g e n f a c e ) 構(gòu)成人臉子空間【3 3 ，。通 過把圖像投影到該空間上做聚類，由于人臉在人臉子空間上的投影變化不是很 大，但非人臉圖像的投影變化卻很大，于是通過計(jì)算一幅圖像到人臉空間的距 離，尋找局部極小值達(dá)到人臉檢測的目的。 神經(jīng)網(wǎng)絡(luò)方法。神經(jīng)網(wǎng)絡(luò)方法是通過讓系統(tǒng)自動(dòng)學(xué)習(xí)人臉和非人臉樣本 復(fù)雜的類條件密度，構(gòu)造神經(jīng)網(wǎng)絡(luò)作為人臉和非人臉的分類器。r o w l e y l 3 4 】利 用多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)用于人臉檢測，效果非常好，之后在文獻(xiàn) 3 5 中r o w l e y 改進(jìn)該方法實(shí)現(xiàn)了多姿態(tài)下的人臉檢測。 支持向量機(jī)( s u p p o r tv e c t o rm a c h i n e s ，s v m ) 方法：是基于統(tǒng)計(jì)學(xué)習(xí) 理論，采用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理，將訓(xùn)練樣本映射到另一個(gè)高維空間中，在變 換后的高維空間內(nèi)尋找最優(yōu)分界面。o s u n a 等【3 6 】首次利用s v m 進(jìn)行人臉檢測， 文獻(xiàn) 3 7 】還利用多層s v m 結(jié)構(gòu)做人臉檢測。 隱馬爾科夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 方法：是一種存在有 限狀態(tài)的馬爾科夫鏈和序列的觀察值兩種機(jī)理的隨機(jī)過程。文獻(xiàn)【3 8 利用 h m m 來學(xué)習(xí)人臉到非人臉和非人臉到人臉的轉(zhuǎn)移概率，即通過計(jì)算子圖到每 個(gè)人臉和非人臉聚類中心的距離得到觀測序列，根據(jù)觀測序列學(xué)習(xí)h m m 的參 數(shù)，通過訓(xùn)練得到的最佳序列用來判斷測試圖像是否是人臉。 b o o s t i n g 方法：是首先賦予訓(xùn)練失敗的訓(xùn)練樣本較大的權(quán)值，然后，在 9 后續(xù)的學(xué)習(xí)中主要對(duì)較難的訓(xùn)練樣本進(jìn)行學(xué)習(xí)，通過不斷地學(xué)習(xí)，最后將該算 法挑選出來的若干個(gè)弱分類器加權(quán)相加組成強(qiáng)分類器【3 9 】。因此，該方法是一 種可以將弱分類器組合成為強(qiáng)分類器的統(tǒng)計(jì)學(xué)習(xí)方法。其中非常有代表性的 就是 v i o l a 和o n e s m 疑出的基于a d a b o o s t ( a d a p t i v eb o o s t i n g ) 算法的人臉檢 測方法，是目前效果最好的人臉檢測方法，而且在速度上遠(yuǎn)遠(yuǎn)快于幾乎所有其 他算法，已經(jīng)達(dá)到了實(shí)時(shí)的效果。該方法是采用積分國( i n t e g r a t e di m a g e ) 的 表示方法，提取類h a a s 小波的特征，采用級(jí)聯(lián)( c a s c a d e ) 策略將大量弱分類 器組合成強(qiáng)分類器。 212a d a b o o s t 算法用于人臉檢測 目前a d a b o o s t 算法在人臉檢測領(lǐng)域是實(shí)行性和準(zhǔn)確率都最好的方法，本 文采用v i o l a 和j o n e s 【4 ”提出的a d a b o o s t 算法對(duì)視頻人臉序列的第一幀進(jìn)行人 臉檢測，a d a b o o s t 算法的主要特征如下： 1 ) 使用類h a r t 的矩形特征，如圖2 i 所示。其中，圖2 i a 、b 是兩個(gè)矩 形的特征，c 為三個(gè)矩形的特征，d 為四個(gè)矩形的特征。 圖2l 類h a tr 特征 2 ) 采用積分圖計(jì)算類h a a r 特征的值，對(duì)于圖2 2 圖像內(nèi)的一點(diǎn)f ( # 、力 定義其積分n i i ( x ，y 1 為： 回同 i i ( x ，y ) = i ( x ，y ) ( 2 1 ) j s x ，y 卸 i i ( x ，y ) 可以由如下兩式迭代得到： s ( x ，y ) = s ( x ，y 一1 ) + i ( x ，y ) ( 2 2 ) i i ( x ，) = i i ( x l ，) - + - s ( x ，y ) ( 2 3 ) 其中s ( x ，一1 ) = 0 , i i ( 一1 ，y ) = 0 。如圖2 2 所示，點(diǎn)( x ，y ) 的積分圖的值就是 其左上角矩形所有像素之和，即圖中陰影部分。 圖22 點(diǎn)( x y ) 的積分圖的值 3 ) 使用b o o s t i n g 方法創(chuàng)建兩類問題( 人臉與非人臉) 的分類器節(jié)點(diǎn)，把 弱分類器訓(xùn)練成強(qiáng)分類器，具體算法參考文獻(xiàn)h o 。 4 ) 把每一個(gè)弱分類器組合成篩選式級(jí)聯(lián)的一個(gè)節(jié)點(diǎn)，如圖2 3 所示。 圖23 篩選式級(jí)聯(lián) 圖2 3 中的每個(gè)節(jié)點(diǎn)都是由多個(gè)b o o s t i n g 分類器組成，只要有人臉，基本 都可以檢測到，同時(shí)只拒絕一小部分非人臉，但是到最后一個(gè)節(jié)點(diǎn)時(shí)，幾乎所 有的非人臉都被拒絕掉，只剩下人臉區(qū)域。 本文利用o p c l 7 1 c v ( o p c as o u r c ec o m p u t e rv i s i o nl i b r a r y ) 提供的基于 a d a b o o s t 算法的v i o l a - j o n e s 人臉檢測技術(shù)，使用訓(xùn)練好的正面人臉模型文件 h a a r c a s c a d ef r o n t a l f a c ea l t 2x m l 來檢測視頻人臉序列第一幀的人臉圖像，取得 了很好的效果，實(shí)驗(yàn)結(jié)果如圖2 4 所示。 圖24a d a b o o s t 人臉檢測結(jié)果 由于本文是采用正面人臉做訓(xùn)練樣本的，雖然對(duì)小姿態(tài)角度的人臉也能夠 檢測的出來，但對(duì)于姿態(tài)變化很大的人臉，則效果不好，可以通過搜集更多的 多姿態(tài)人臉數(shù)據(jù)做訓(xùn)練樣本來提高對(duì)姿態(tài)的魯棒性。 22 人臉特征點(diǎn)的選擇與分類 人臉作為人體上晟具表達(dá)能力的一部分，具有個(gè)性化和多樣化的特點(diǎn)，因 此要定義人臉特征點(diǎn)就要建立在人臉的生理結(jié)構(gòu)特點(diǎn)的基礎(chǔ)之上。 2 21 人臉面部主要器官的分布規(guī)律 人臉面部主要器官有：眉毛、眼睛、鼻子、嘴巴和耳朵。人臉面部器官的 分靠是一種復(fù)雜的比例關(guān)系，其中最典型的代表就是“三庭五眼”覘則。 該規(guī)則具體插述如下1 4 ”： 在人臉正面圖像上，人臉輪廓近似于橢圓，雙眼在橢圓水平軸上，眉心、 鼻尖和下巴尖在豎直軸上。其中，在人臉豎直方向上，發(fā)際到眉弓、眉弓到鼻 尖、鼻尖到下巴尖點(diǎn)的距離都相等，稱為“三庭、在人臉?biāo)椒较蛏?，兩?之間、兩眼外角分別到雙耳的距離都相等，且都是一眼寬，然后，再加上兩個(gè) 眼睛本身的寬度，稱為“五跟”。 還有t 眉弓的寬度為四個(gè)眼睛的寬度：鼻尖位于眉弓至下頰底l ，2 處，鼻 底( 從鼻根到下頰處) 長度為臉部塊面長度的一半；鼻中隔與人中相連；鼻底與 耳底齊平，耳朵的高度可以通過眉毛的最高點(diǎn)來確定；口韶周圍組織的長度為 鼻底到下頰處的2 3 ：兩瞳孔之間的距離等于1 ：3 的寬度，也等于下頰的最大寬 度；兩個(gè)瞳孔之間的距離為齒槽弓的寬度；眉上部和鼻底引出的兩條水平線之 間為整個(gè)耳部。“三庭五眼”規(guī)則如圖2 5 所示。 5 1 1 5 1 5 。i 5 l i 5 。1 l 限 l 。l、 圖25 “蘭庭五眼”示意圖 。爰際線 戤 ： m+m斗m l 十瑰 2 2 。2 人臉特征點(diǎn)的定義 m p e g 4 【4 3 】是一個(gè)真正地把視頻和聲音以及計(jì)算機(jī)三維圖形和圖像結(jié)合 在一起的多媒體數(shù)據(jù)壓縮標(biāo)準(zhǔn)。在m p e g - 4 標(biāo)準(zhǔn)中，使用人臉定義參數(shù)f d p ( f a c i a ld e f i n i t i o np a r a m e t e r ) 、人臉動(dòng)畫參數(shù)f a p ( f a c i a la n i m a t i o np a r a m e t e r ) 以及人臉動(dòng)畫參數(shù)單元f a p u ( f a c i a la n i m a t i o np a r a m e t e ru n i m ) 三部分來描 述一個(gè)人臉的幾何、紋理以及表情信息。其中，f d p 提供了一個(gè)人臉特征點(diǎn) 的幾何數(shù)據(jù)，定義了8 4 個(gè)人臉特征點(diǎn)，如圖2 6 所示。 這些特征點(diǎn)是經(jīng)過大量的實(shí)驗(yàn)分析得到的，能夠真實(shí)的反應(yīng)一個(gè)人臉面部 的特點(diǎn)，因此目前大多都是基于f d p 定義的人臉特征點(diǎn)進(jìn)行人臉特征點(diǎn)分析 研究的。這樣做的好處是，能夠?yàn)楹罄m(xù)選擇人臉特征點(diǎn)提供很好的參考標(biāo)準(zhǔn)和 范圍，為實(shí)現(xiàn)人臉特征點(diǎn)定位奠定了理論基礎(chǔ)。 、 強(qiáng)龜釋烙 一伯 一 粵一：。 1 4 r i 口哺y 鼻 u 訊t y t 圖2 6 人臉定義參數(shù)h ) p ( f a o i a lo e f i n i t i o np a r a m e t e r ) 定義的人臉特征點(diǎn) 2 2 3 人臉特征點(diǎn)的選取 由于不同的研究領(lǐng)域所使用的人臉特征點(diǎn)的數(shù)目不同，對(duì)人臉特征點(diǎn)的選 擇也有所不同。在人臉識(shí)別領(lǐng)域，文獻(xiàn)【4 4 】選用1 0 個(gè)人臉特征點(diǎn)，文獻(xiàn) 4 5 】 選用了7 個(gè)人臉特征點(diǎn)。這些特征點(diǎn)不僅能反映人臉識(shí)別中最重要的特征，而 且也是較容易提取的特征點(diǎn)。在三維人臉建模領(lǐng)域，由于需要較準(zhǔn)確的刻畫人 臉，因此選取的特征點(diǎn)較多，文獻(xiàn) 4 6 1 選擇了2 5 個(gè)人臉特征點(diǎn)，文獻(xiàn) 4 7 1 選擇 了5 4 個(gè)人臉特征點(diǎn)，文獻(xiàn) 4 8 1 選擇了1 0 3 個(gè)人臉特征點(diǎn)。 本文選取人臉特征點(diǎn)的原則主要是根據(jù)后續(xù)應(yīng)用領(lǐng)域的需求，一方面選擇 的特征點(diǎn)能夠很好的描述人臉特征，另一方面特征點(diǎn)也不宜太多，以免增加不 必要的困難。因此，我們參照m p e g - 4 中人臉定義參數(shù)f d p 中的人臉特征點(diǎn) 分布，將人臉分為眉毛、眼睛、鼻子、嘴巴、外輪廓、額頭以及臉頰七個(gè)區(qū)域， 共選擇了5 2 個(gè)人臉特征點(diǎn)。同時(shí)根據(jù)人臉特征點(diǎn)對(duì)后續(xù)應(yīng)用的重要性以及特 征點(diǎn)定位的難易程度將選取的特征點(diǎn)分為三類，具體描述如下： 1 ) 第一類特征點(diǎn)：即關(guān)鍵特征點(diǎn)，標(biāo)記出入臉眉毛、眼睛、鼻子和嘴巴 四個(gè)區(qū)域的主要特征，共1 8 個(gè)特征點(diǎn)。包括：眉毛區(qū)域4 個(gè)特征點(diǎn)：左右眉 毛的內(nèi)、外眉點(diǎn)；眼睛區(qū)域6 個(gè)特征點(diǎn)：左右眼睛的內(nèi)、外眼角點(diǎn)、瞳孔點(diǎn)； 鼻子區(qū)域4 個(gè)特征點(diǎn)：鼻尖點(diǎn)、鼻下點(diǎn)、兩鼻孔點(diǎn)：嘴巴區(qū)域4 個(gè)特征點(diǎn)：兩 嘴角點(diǎn)、上下唇中心點(diǎn)。具體示意圖如圖2 7 ( a ) 黃色點(diǎn)所示。 1 5 2 ) 第二類特征點(diǎn)：是對(duì)第一類特征點(diǎn)的補(bǔ)充，即進(jìn)一步描述人臉眉毛、 眼睛、鼻子和嘴巴四個(gè)區(qū)域，共1 8 個(gè)特征點(diǎn)。包括：眉毛區(qū)域4 個(gè)特征點(diǎn)， 眼睛區(qū)域4 個(gè)特征點(diǎn)，鼻子區(qū)域6 個(gè)特征點(diǎn)，嘴巴區(qū)域4 個(gè)特征點(diǎn)。具體示意 圖如圖27 ( b ) 紅色點(diǎn)所示。 3 ) 第j 類特征點(diǎn)：是標(biāo)記人臉外輪廓、額頭以及臉頰區(qū)域的主要特征， 共1 6 個(gè)特征點(diǎn)，包括人臉外輪廓上1 1 個(gè)特征點(diǎn)，2 個(gè)臉頰點(diǎn)，額頭中心點(diǎn)， 2 個(gè)額頭左右輪廓點(diǎn)。具體示意圖如圖2 7 ( c ) 綠色粗點(diǎn)所示。 g gg ( a ) 第一類特征點(diǎn) ( b ) 第二類特征點(diǎn)( c ) 第三類特征點(diǎn) 圖27 人臉特征點(diǎn)分類示例圖 第一類特征點(diǎn)標(biāo)注的是人臉面部關(guān)鍵器官的角點(diǎn)位置。對(duì)人臉的眉毛、眼 睛、鼻子和嘴巴這四個(gè)區(qū)域進(jìn)行了關(guān)鍵點(diǎn)的定位，而且該類特征點(diǎn)由于在角點(diǎn) 位置上，較容易定位。第二類特征點(diǎn)是在第一類特征點(diǎn)的基礎(chǔ)上，對(duì)人臉這四 個(gè)區(qū)域進(jìn)一步細(xì)化，同時(shí)該類特征點(diǎn)的定位較第一類特征點(diǎn)要難一些。第三類 特征點(diǎn)標(biāo)注的是人臉外輪廓、額頭以及臉頰區(qū)域上的點(diǎn)，該類特征點(diǎn)是某些人 臉應(yīng)用領(lǐng)域所需要的如三維人臉建模領(lǐng)域。而且該類特征點(diǎn)是屬于難定位的 特征點(diǎn)。 23 本章小結(jié) 本章分為兩部分，第一部分首先簡單介紹了現(xiàn)有的人臉檢測技術(shù)，然后對(duì) 本文使用的基于a d a b o o s ! 的人臉檢測算法進(jìn)行了詳細(xì)介紹，并給出了實(shí)驗(yàn)的 結(jié)果。第二部分討論了人臉特征點(diǎn)的選取，首先介紹了人臉面部主要器官的分 布規(guī)律，詳細(xì)闡述了“三庭五眼 規(guī)則。其次，對(duì)m p e g - 4 標(biāo)準(zhǔn)做了簡單介 紹，給出了人臉定義參數(shù)f d p 定義的8 4 個(gè)人臉特征點(diǎn)的分布圖