基于人機(jī)交互的人臉老化算法研究(共10頁)

1、作者簡介：胡偉平，男，1979年5月出生，湖北省仙桃市人，講師，西南大學(xué)邏輯與智能研究中心邏輯學(xué)專業(yè)在讀博士，西南大學(xué)育才學(xué)院理工學(xué)院教師?；谌藱C(jī)交互的人臉老化系統(tǒng)(xtng)的研究與實現(xiàn)胡偉平1，2, 鄧輝文 3（1西南大學(xué)邏輯與智能(zh nn)研究中心，重慶400715； 2西南大學(xué)育才(yci)學(xué)院， 重慶401524； 3.西南大學(xué)計算機(jī)與信息科學(xué)學(xué)院，重慶400715）摘要：設(shè)計了一個基于人機(jī)交互的人臉老化系統(tǒng)，該系統(tǒng)包括建模和應(yīng)用兩部分。建模部分將人臉數(shù)據(jù)庫進(jìn)行預(yù)處理，建立歸一化的人臉數(shù)據(jù)庫和不同性別不同年齡段的人臉輪廓庫；在應(yīng)用部分，輸入圖像經(jīng)過預(yù)處理、輪廓變換、紋理合成之后

2、得到目標(biāo)圖像。此外，系統(tǒng)設(shè)計有人機(jī)交互接口，不僅能融合人類智能與機(jī)器智能，實現(xiàn)人機(jī)協(xié)同工作，也實現(xiàn)了對任一年齡不同生活狀況不同體型下目標(biāo)人臉的定制。實驗結(jié)果表明，該系統(tǒng)對于正面人像有較好的老化效果。關(guān)鍵字： 人機(jī)交互 人臉老化 圖形變換 紋理合成Research and Implementation on Human Face Aging System Based on HCIHu Weiping1,2 Deng Huiwen3(1. Institute of Logic and Intelligence, Southwest University, Chongqing 400715;2. S

3、outhwest University Yucai College, Chongqing 401524; 3. School of Computer and Information Science , Southwest University, Chongqing 400715)Abstract: A human face aging system based on HCI was designed which comprised two parts:the modeling part and the application part. In the modeling part, the im

4、ages from FG-NET aging database were pretreated and face contour database of different sexes and different ages were established. In the application part the test image was transformed to target image agter preprocessing, contour transformation and texture synthesis. HCI interfaces were added in the

5、 system to achive man-machine cooperation, and users were allowed to customize target face of different living condition, different body type and different ages through those interfaces. Experimental results show that the system can gain better aging effects for positive portraits.Key words: HCI, fa

6、ce aging, morph, texture synthesis人臉老化是人臉識別的一個(y )分支，在公安(gng n)刑偵、尋找丟失兒童、門禁系統(tǒng)、數(shù)字娛樂等方面有著非常廣泛的應(yīng)用，但由于年齡對于人臉容貌的影響是一個機(jī)制非常復(fù)雜的生理學(xué)課題(kt)，不僅與遺傳等內(nèi)在因素有關(guān)，還與生活水平、體型胖瘦等個體外在因素有關(guān)，除此之外，化妝、打扮、發(fā)型變化等都會使人對于年齡的判斷產(chǎn)生偏差，這讓人臉老化研究變得更加困難。目前廣泛使用的人臉老化合成技術(shù)主要是基于圖像的人臉?biāo)ダ虾铣?-4和基于三維建模的人臉?biāo)ダ虾铣?-7，但基于圖像的人臉?biāo)ダ虾铣赏嬖谥哳l信息（比如皺紋、法令紋等）刻畫不夠，導(dǎo)致合

7、成的圖像逼真性不夠；而基于三維建模的人臉?biāo)ダ虾铣蓜t由于需要對人臉進(jìn)行復(fù)雜的三維建模，成本高，數(shù)據(jù)量大，計算量非常大，欠缺實用性。本文結(jié)合圖像變形技術(shù)和小波變換技術(shù)，分別對人臉圖像的輪廓和膚色紋理特征進(jìn)行變換，同時借鑒錢學(xué)森處理大型復(fù)雜系統(tǒng)的思路，將人機(jī)結(jié)合的思想應(yīng)用于設(shè)計，開發(fā)出一個基于人機(jī)交互的人臉老化系統(tǒng)，實驗表明該系統(tǒng)具有較好的老化效果。1人臉圖像的預(yù)處理人臉圖像由于采集環(huán)境的不同，拍攝角度、光照、分辨率等往往都存在較大差異，另外，拍攝距離的不同又使得人臉在整幅圖像中的大小和位置各不相同，因此，必須對圖像進(jìn)行預(yù)處理。人臉圖像的預(yù)處理包括兩個方面：一是幾何歸一化，二是灰度歸一化。幾何歸一化

8、主要用于校準(zhǔn)因拍攝距離和人臉姿態(tài)變化造成的尺寸和角度差異，具體包括人臉尺度歸一化、人臉旋轉(zhuǎn)校正（歪頭）、人臉瞳孔對準(zhǔn)等三個環(huán)節(jié)。對人臉旋轉(zhuǎn)校正（側(cè)臉）需要使用到人臉的3D模型，而本文使用的塞浦路斯大學(xué)的FG-NET人臉數(shù)據(jù)庫8是二維數(shù)據(jù)庫，故并未進(jìn)行。FG-NET數(shù)據(jù)庫中自帶有人臉的68個特征點的數(shù)據(jù)，因此可以很方便進(jìn)行幾何歸一化，經(jīng)歸一化之后，得到分辨率與尺度一致、瞳孔位置相同的正面人像。而灰度歸一化則用來對不同(b tn)光強(qiáng)，光源方向下得到的人臉圖像進(jìn)行補(bǔ)償，以減弱(jinru)光照(gungzho)變化對人臉圖像的影響。考慮到人在變老過程中膚色變得暗淡無光澤，在對人臉圖像進(jìn)行灰度歸一化

9、過程中，采用一種年齡相關(guān)的灰度歸一化方法。根據(jù)人臉圖像的特點，鼻尖為人臉區(qū)域的最亮區(qū)，而鼻梁和人中區(qū)域為最暗區(qū)，取由兩眼內(nèi)眼角、下嘴唇圍成的矩形區(qū)域為膚色取色區(qū)域，取出該區(qū)域的最大和最小灰度，得到人臉源圖像的膚色灰度范圍s0和膚色最小灰度m0。對人的年齡段進(jìn)行劃分，每5歲為一個階段，目標(biāo)灰度變換范圍s1和最小灰度m1隨著年齡的變老逐漸變小。建立一個源圖像與灰度圖像之間的灰度變換映射，公式如式（1）。 （1）其中g(shù)0(i,j),g1(i,j)分別是源圖像和目標(biāo)圖像任一點的灰度。以上映射能將源圖像的灰度區(qū)間從m0,m0+s0變換到m1,m1+s1，同時對于超出這個范圍的灰度值，使用log函數(shù)將其快

10、速收縮到該目標(biāo)區(qū)間外的很小范圍內(nèi)。2人臉特征提取人臉特征提取目前主要有基于人臉幾何特征、基于人臉統(tǒng)計特征和基于人臉頻率域特征等三類方法。由于本系統(tǒng)所使用的數(shù)據(jù)庫已經(jīng)標(biāo)定了68個人臉特征點，所以可以在此基礎(chǔ)上使用基于人臉幾何特征的提取方法。FG-NET數(shù)據(jù)庫自帶的人臉特征點主要集中在人臉五官，考慮到人臉老化過程中發(fā)際線有明顯變化而且發(fā)型對于年齡有較大影響，因此已有68個特征點的基礎(chǔ)上，使用人工標(biāo)點的方式，將特征點增加至90個，如圖1所示，圖中三角形為原始68個特征點，圓圈所示為新增的22個特征點。確定特征點之后，按年齡段和性別分組，計算算術(shù)平均值，得到不同性別不同年齡段的人臉輪廓模板。 圖1 人

11、臉特征(tzhng)點對于(duy)測試圖像，其特征點可以使用(shyng)手工標(biāo)點方式來確定，也能先使用主動形狀模型9,10（Active Shape Model，ASM）來自動標(biāo)注，之后再用手工來確認(rèn)的方式來確定。3人臉輪廓變形圖像變形有三種常用方法：基于特征點的圖像變形、基于特征線的圖像變形以及基于塊的圖像變形，本系統(tǒng)采用基于特征線的圖像變形技術(shù)11來實現(xiàn)人臉輪廓的變化。對于給定人臉，其特征可以使用矢量來表示，其中是標(biāo)定出的特征點，n是特征點的個數(shù)。估算給定人臉的年齡，并給出目標(biāo)年齡，估算人臉年齡可以使用年齡函數(shù)，也能通過計算特征矢量與模板矢量的歐式距離，根據(jù)最小值來確定，這點在第5部分

12、詳細(xì)討論。取出人臉估計年齡模板和目標(biāo)年齡的輪廓模板，利用公式（2）可以計算得到目標(biāo)人臉的輪廓。 （2）根據(jù)和，使用前向warp技術(shù)11，即可重構(gòu)出變形之后的人臉。4人臉老化特征合成人的老化大體可以分為兩個階段，從兒童到青年，主要體現(xiàn)在輪廓變化上，而人進(jìn)入中年以后，輪廓基本不會發(fā)生改變，老化主要體現(xiàn)在膚色紋理的改變，比如膚色變暗、皮膚松弛下垂、產(chǎn)生皺紋等，為了實現(xiàn)人臉老化特征的合成，我們使用小波圖像分解和重構(gòu)技術(shù)3。小波分解可以把圖像分成低頻部分和高頻部分，其中低頻部分體現(xiàn)圖像的輪廓，高頻部分體現(xiàn)圖像的細(xì)節(jié)，根據(jù)這一特點，我們在人臉數(shù)據(jù)庫中選擇與目標(biāo)圖像輪廓最接近的樣本圖像，使用其小波分解的高頻

13、部分來替代源圖像的高頻部分，以實現(xiàn)衰老特征的移植。源圖像和樣本圖像進(jìn)行2層小波分解如公式（3）（4）: （3） （4）其中(qzhng)分別(fnbi)表示分解之后第二層的低頻(dpn)分量，第二層的水平、垂直和對角線上的高頻分量以及第一層的水平、垂直和對角線上的高頻分量。但是，在以上過程中，由于舍棄了樣本圖像的全部低頻部分，樣本圖像的絕大部分信息也隨之丟失，為此，我們借鑒衛(wèi)星遙感影像融合所采用的技術(shù)12，使用高通濾波算子來提取樣本圖像低頻部分的細(xì)節(jié)部分，再將它疊加到源圖像的低頻部分上，對以上分量進(jìn)行重新組合之后按照公式（5）進(jìn)行2層小波逆變換，即可重構(gòu)出融合樣本圖像衰老特征的目標(biāo)圖像。 （5

14、）5系統(tǒng)中的人機(jī)交互計算機(jī)經(jīng)過幾十年的高速發(fā)展，已經(jīng)廣泛應(yīng)用于生產(chǎn)生活中，在某些應(yīng)用中，體現(xiàn)出相當(dāng)?shù)闹悄苄?，但深入研究發(fā)現(xiàn)，機(jī)器智能主要采用邏輯思維方式，在形象思維和創(chuàng)造性思維方面，有著先天的缺陷，對于復(fù)雜系統(tǒng)和復(fù)雜問題，往往力不從心。針對復(fù)雜系統(tǒng)的特點，我國學(xué)者錢學(xué)森提出了“以人為主，人機(jī)結(jié)合”的解決思路，并在此基礎(chǔ)上發(fā)展出了綜合集成研討廳體系13,14，其基本思想是以人為主導(dǎo)，人機(jī)協(xié)同工作，將人腦的形象思維與計算機(jī)的快速、容量大的特點充分發(fā)揮出來，各采所長，從而獲得比單純依賴人或者單純依賴計算機(jī)更好的效果，處理更為復(fù)雜的問題。在本系統(tǒng)設(shè)計了多處人機(jī)交互接口，使人可以參與系統(tǒng)的運(yùn)行，實現(xiàn)人的

15、智能與機(jī)器智能的融合，達(dá)到1+12的效果。5.1 人機(jī)交互(jioh)解決(jiju)人臉特征提取問題人臉特征提取是一個十分復(fù)雜的問題(wnt)，雖然ASM算法可以較好地實現(xiàn)人臉特征的自動標(biāo)注，但是它也有十分明顯的缺點：首先它過分地依賴于平均模型的初始化位置，初始位置不理想將導(dǎo)致局部極??；其次是用整體形狀模型約束特征點定位結(jié)果難以保證特征點總體定位的正確性；第三算法受光照影響較大，在光照差異較大的情況，容易出現(xiàn)算法失敗的情形。雖然有不少對ASM算法的改進(jìn)，但是并不能從根本上改正ASM算法的缺點。本系統(tǒng)中采用人機(jī)交互的方式，先用ASM算法求出測試圖像的大致輪廓，再由人來進(jìn)行確認(rèn)，對于偏離較大的特

16、征點進(jìn)行校正，從而保證系統(tǒng)后續(xù)環(huán)節(jié)的正確運(yùn)行。5.2 人機(jī)交互解決人臉年齡估計問題人臉年齡估計是一個非常復(fù)雜的問題，不僅對于計算機(jī)，對于人來說也是一個十分困難的問題。比如劉德華在童夢奇緣中扮演的人物從20歲一直活到80歲，見圖2，演員沒變，但是通過化妝、發(fā)型等的變化，產(chǎn)生了觀眾在年齡上觀感的變化。此外，由于生活水平差異，不同的人表現(xiàn)出的年齡與實際年齡可能相差較大。要解決這種情況，光靠計算機(jī)難度極大，本系統(tǒng)中使用軟件估計人臉年齡之后，由人最后對該年齡進(jìn)行修正和確認(rèn)，從而較好地保證人臉年齡估計的正確性。圖2 劉德華在童夢奇緣中從20歲到80歲的造型5.3 人機(jī)交互解決目標(biāo)人臉胖瘦定制問題人的一生分

17、為很多階段，每個階段生活水平可能會發(fā)生較大變化，而不同的生活水平下人的胖瘦情況會發(fā)生相應(yīng)的變化，同時也會讓人的面相比實際年齡顯老或顯年輕，根據(jù)目標(biāo)可能的生活環(huán)境來定制其臉型輪廓和膚色，會使模擬結(jié)果更接近真實情況，提高系統(tǒng)的實用性。以往的研究極少有人考慮到類似問題，本系統(tǒng)中設(shè)計人機(jī)交互接口，用戶能根據(jù)需要定制目標(biāo)的胖瘦情況和生活水平，而系統(tǒng)會根據(jù)用戶的定制情況，對目標(biāo)的輪廓、目標(biāo)年齡段以及目標(biāo)的膚色范圍等進(jìn)行微調(diào)，從而產(chǎn)生符合用戶需求的目標(biāo)圖像。6實驗過程(guchng)及結(jié)果本系統(tǒng)(xtng)由建模部分和應(yīng)用部分組成，其中建模部分負(fù)責(zé)對FG-NET數(shù)據(jù)庫中的部分正面人像進(jìn)行預(yù)處理，并求出不同性

18、別不同年齡(ninlng)段的平均輪廓，應(yīng)用部分則對測試圖像進(jìn)行預(yù)處理、年齡估計、輪廓變形以及紋理合成，具體結(jié)構(gòu)如圖3所示。圖3 基于人機(jī)交互的人臉老化系統(tǒng)結(jié)構(gòu)圖系統(tǒng)選取FG-NET數(shù)據(jù)庫中來自82個不同人的370張正面人像，各年齡段的圖像個數(shù)統(tǒng)計如表1。表1 系統(tǒng)使用的人臉數(shù)據(jù)庫的基本情況 性別0-4歲5-9歲10-14歲15-19歲20-24歲25-29歲30-34歲男204143322188女1540372814134性別35-39歲40-44歲45-49歲50-54歲55-59歲60-64歲65-69歲男5962132女6512220系統(tǒng)(xtng)選擇作者(zuzh)現(xiàn)在(xinzi

19、)的照片作為測試圖片，使用ASM算法進(jìn)行特征點標(biāo)定之后，手工對特征點進(jìn)行修正，見圖4。將該圖像及特征點輸入系統(tǒng)得到從小到老的一系列圖像，如圖5。同時對每一個年齡段定制不同胖瘦情況及生活水平的圖像，見圖6。人臉的衰老合成效果無法使用量化的方式進(jìn)行評價，只能通過主觀感受來評價，在圖5中可以看出，通過輪廓變化，測試圖像很容易變換出年齡較小的情況，而中年至老年時，輪廓變化不明顯，但通過膚色、紋理、發(fā)型等的變化，可以讓人臉呈現(xiàn)出明顯的老化效果。圖6顯示對于合成的同一年齡的人臉圖像，微調(diào)其輪廓，可以呈現(xiàn)出不同生活狀況和胖瘦情況下的目標(biāo)人像，可以大大擴(kuò)展系統(tǒng)的應(yīng)用范圍。圖4 測試圖像及特征點圖4 測試圖像從

20、小到老的變化圖5 同一年齡不同胖瘦狀況下的變化7結(jié)束語本文提出了一個基于人機(jī)交互的人臉老化系統(tǒng)的框架，并加以實現(xiàn)。系統(tǒng)采用了與年齡相關(guān)的灰度歸一化方法，使人臉膚色更貼近年齡；利用圖形變形技術(shù)(jsh)改變目標(biāo)輪廓，使目標(biāo)圖像的臉型隨年齡變化而變化；利用小波分解和重構(gòu)技術(shù)，實現(xiàn)衰老特征的合成；同時借鑒處理復(fù)雜系統(tǒng)的人機(jī)結(jié)合的思想，加入人機(jī)交互接口，實現(xiàn)人的智能與機(jī)器智能的協(xié)同工作，也達(dá)成了定制不同生活狀況不同體型胖瘦情況目標(biāo)(mbio)人臉的目標(biāo)。實驗結(jié)果表明，本系統(tǒng)可以合成出給定圖像的不同生活狀況不同體型下任一年齡段的目標(biāo)圖像，具有較大的實用價值。但由于本系統(tǒng)使用的FG-NET數(shù)據(jù)庫中樣本人臉

21、為西方人臉，系統(tǒng)對于東方人臉的模擬效果未達(dá)到預(yù)期，且該數(shù)據(jù)庫中老年圖像數(shù)量明顯不足，導(dǎo)致在皺紋等衰老特征方面的刻畫不足，影響了系統(tǒng)老化效果，這是本系統(tǒng)在未來進(jìn)一步改進(jìn)的方向。參考文獻(xiàn)1 Rowland D A, Perrett D I. Manipulating facial appearance through shape and colorJ. IEEE Computer Graphics and Applications, 1995,15(5):70-76.2 Lanitis A, Taylor C J, Cootes T F. Toward automatic simulation o

22、f aging effects on face imagesJ. IEEE Trans. Pattern Analysis and Machine Intelligence,2002,24(4):442-455.3 王進(jìn). 基于視頻(shpn)的人臉表情建模研究D. 杭州:浙江大學(xué),2003.4 劉劍毅, 鄭南寧, 游屈波. 一種基于小波的人臉?biāo)ダ匣铣煞椒↗. 軟件學(xué)報, 2007,18(2):299-306.5 Yin Wu, Prem Kalra, Laurent Moccozet,etc. Simulating wrinkles and skin agingJ. The Visual

23、Computer, 1999, 15(4):183-198.6 Won-Sook Lee, Yin Wu, Magnenat-Thalmann N. Cloning and aging in a VR familyC. Proceedings of IEEE Virtual Reality, Houston, 1999:61-68.7 Scherbaum K, Sunkel M, Seidel HP, etc. Prediction of individual non-linear aging trajectories of facesJ. Computer Graphics Forum,2007,26(3):285-294.8 The FG-NET Aging DatabaseDB/OL. http:/sting.cycollege.ac.cy/alanitis/fgnetaging/index.htm, 2002.9 Coote