一種用于可感知人人臉跟蹤技術(shù)在智能家庭服務(wù)系統(tǒng)中的應(yīng)用

一種用于可感知人人臉跟蹤技術(shù)在智能家庭服務(wù)系統(tǒng)中的應(yīng)用

1智能現(xiàn)實(shí)應(yīng)用采用視頻信號識別算法和人類識別技術(shù)廣泛應(yīng)用于對象圖像的編碼、安全檢查和智能人機(jī)互動系統(tǒng)等應(yīng)用。本文描述的算法是可感知家庭服務(wù)系統(tǒng)的首要模塊。此家庭服務(wù)系統(tǒng)包括一架攝像機(jī)、一個機(jī)頂盒和一臺電視機(jī)(圖1)。家庭服務(wù)系統(tǒng)可以控制各種家用設(shè)備,我們首先做一個通過感知人的存在來相應(yīng)地控制電視的機(jī)頂盒的系統(tǒng)。當(dāng)機(jī)頂盒確認(rèn)了是誰坐在電視機(jī)前面后,就會采取智能操作。例如,它可以為用戶打開電視并調(diào)到他(她)最喜歡的頻道;若識別出兒童坐在電視機(jī)前,它會關(guān)閉成人頻道甚至關(guān)閉電視機(jī)。這個系統(tǒng)不需要很高的準(zhǔn)確率,也不需識別大量的人,只要能識別家庭成員即可,但它必須快速,魯棒性強(qiáng),且能適用于不同環(huán)境,如不同照明條件和背景等。在該系統(tǒng)中,人臉定位和跟蹤技術(shù)是第一步也是非常重要的一步。迄今為止,國內(nèi)外的研究學(xué)者已提出了大量的人臉跟蹤算法,如用Snake法跟蹤輪廓,利用特征空間匹配技術(shù),或利用特征濾波因子方法,但這些方法計(jì)算量太大。本文提出一個實(shí)時、有效的人臉定位和跟蹤算法。這個跟蹤系統(tǒng)只需一個價格很低的數(shù)字?jǐn)z像機(jī),無需其他硬件設(shè)備。2動態(tài)跟蹤的人臉識別在我們的算法中,膚色被作為識別人臉的重要特征,此外,本文提出的人臉定位與跟蹤方法中也用到了背景信息。我們分三個步驟完成人臉識別和跟蹤:①用膚色濾波法和背景去除法將類似人臉的區(qū)域分割出來;②填充提取出區(qū)域中的孔洞;③基于一些常識規(guī)則提取人的面部。在用戶面部區(qū)域被捕捉后,當(dāng)他(她)移動時,其面部就會被連續(xù)跟蹤。圖2表示本文所述人臉跟蹤算法的主要步驟。在人臉定位與跟蹤之前,首先要進(jìn)行系統(tǒng)初始化,獲得所需的背景圖像,一旦有人出現(xiàn)在攝像機(jī)前,跟蹤進(jìn)程就會自動啟動。2.1色飽和度的區(qū)域分割Waibel等人為了研究不同人種的膚色分類,做了大量的統(tǒng)計(jì)學(xué)實(shí)驗(yàn),結(jié)果表明:不同人種的皮膚顏色差異很小,只是由于亮度不同使得不同人的膚色看起來差別較大?；诖私Y(jié)論,我們將膚色作為實(shí)時人臉跟蹤的主要特征。系統(tǒng)的視頻數(shù)據(jù)為RGB格式,各顏色分量的亮度值為0～255。但由于顏色分量(色調(diào)和色飽和度)沒有從RGB模型中分離出來,因此RGB模型對光線明暗變化非常敏感。先前的研究結(jié)果表明,在IRgBy色彩空間,色調(diào)可以與色飽和度及亮度分離,因此我們選擇了該色彩空間。根據(jù)Fleck&Forsyth給出的變換公式(式1～3),可將RGB值轉(zhuǎn)換成IRgBy值。I=L(R)+L(G)+L(B)3(1)Rg=L(R)?L(G)(2)By=L(B)?L(G)+L(R)2(3)Ι=L(R)+L(G)+L(B)3(1)Rg=L(R)-L(G)(2)By=L(B)-L(G)+L(R)2(3)其中L(x)=105×lg(x+1)。每個像素的色調(diào)和色飽和度可用式(4),式(5)計(jì)算:Hue=tan-1(Rg/By)(4)saturation=sqrt(Rg2+By2)(5)其中色調(diào)值用角度表示。利用色調(diào)和色飽和度的約束條件標(biāo)記皮膚區(qū)域,即如果某個像素的色調(diào)和色飽和度在膚色區(qū)內(nèi),則被標(biāo)記為皮膚點(diǎn)像素。在原始圖像中,1相當(dāng)于皮膚點(diǎn)像素,0相當(dāng)于非皮膚點(diǎn)像素。圖2(b)表示基于皮膚色調(diào)和色飽和度的區(qū)域分割結(jié)果。然而實(shí)驗(yàn)表明:僅利用顏色信息不能準(zhǔn)確地分割出人的面部區(qū)域,當(dāng)背景包含和皮膚相近顏色的物體(如手)時,這些物體會被錯誤地認(rèn)為是人臉區(qū)域的一部分。為此,我們利用背景去除的方法作為人臉分割的一個輔助步驟,具體實(shí)現(xiàn)是:在用戶坐下之前捕捉背景圖像,然后比較當(dāng)前的視頻圖像與背景圖像的差別,新物體(人)作為前景很容易被大致定位出來。我們可以利用一個自適應(yīng)的灰度閾值分割出一個二值前景圖像(如圖2(C)),既是皮膚區(qū)域又是前景區(qū)域,被認(rèn)為似人臉區(qū)域。2.2人臉區(qū)域定位理論上,除眼睛、嘴及鼻子等面部特征區(qū)域,其他皮膚區(qū)域沒有孔洞。本文利用約束步長算法(CRLA)逐行填充二值面部圖像中的孔洞。實(shí)驗(yàn)結(jié)果表明,相對于神經(jīng)網(wǎng)絡(luò)算法或其他復(fù)雜算法,這種方法快速有效。接下來,對經(jīng)CRLA填充處理后的似人臉區(qū)域做連接區(qū)域標(biāo)號處理,記錄區(qū)域信息,如每個連接區(qū)域的面積、寬度、高度,然后按照以下原則去除非面部區(qū)域:①若連接區(qū)域的高度太小或太大(如在系統(tǒng)中小于60或大于220),則被視作不能識別的小面部區(qū)域或非面部區(qū)域。②若連接區(qū)域?qū)捄透咧刃∮趯?shí)驗(yàn)值0.8,則被視作非面部區(qū)域。符合上述原則的區(qū)域應(yīng)被除去,剩下的區(qū)域被視為人臉區(qū)域。圖2(d)表示人臉區(qū)域定位結(jié)果,當(dāng)用戶移動時,面部區(qū)域可被連續(xù)跟蹤。圖2(e)中畫有邊框的人臉區(qū)域?yàn)楦櫧Y(jié)果。3人臉跟蹤結(jié)果此系統(tǒng)用CCD數(shù)字?jǐn)z像機(jī)(分辨率320×240/240×160/160×120)捕捉圖像,在IBMPCPII400上測試,它無需任何特殊硬件設(shè)備即可實(shí)時定位并跟蹤人臉。圖3是一些人臉跟蹤結(jié)果。圖3(a)～圖3(d)給出一些人臉大小、方位變化時的跟蹤結(jié)果,圖3(e)表明了本文算法對不同人種的人臉跟蹤結(jié)果,圖3(f)表明了當(dāng)有干擾時(如手在面部周圍揮舞),本文的算法同樣可以準(zhǔn)確地定位出人臉并能實(shí)時跟蹤移動人臉。實(shí)驗(yàn)結(jié)果表明,本文提出的結(jié)合使用皮膚過濾法和背景分離法是實(shí)時人臉跟蹤的有效方法。4實(shí)時、有效且魯棒性強(qiáng)的算法人臉跟蹤是計(jì)算機(jī)視覺界面系統(tǒng)的首要步驟。人為定位、辨認(rèn)、識別人臉非常容易,但目前還沒有一個有效的圖像處理系統(tǒng)能較好地解決這些問題。在這個項(xiàng)目中,我們基于以下兩點(diǎn):①已證明處理顏色信息比處理其他面部特征要快得多