基于人機(jī)交互的人臉老化算法研究(共10頁(yè))

1、作者簡(jiǎn)介：胡偉平，男，1979年5月出生，湖北省仙桃市人，講師，西南大學(xué)邏輯與智能研究中心邏輯學(xué)專業(yè)在讀博士，西南大學(xué)育才學(xué)院理工學(xué)院教師?；谌藱C(jī)交互的人臉老化系統(tǒng)(xtng)的研究與實(shí)現(xiàn)胡偉平1，2, 鄧輝文 3（1西南大學(xué)邏輯與智能(zh nn)研究中心，重慶400715； 2西南大學(xué)育才(yci)學(xué)院， 重慶401524； 3.西南大學(xué)計(jì)算機(jī)與信息科學(xué)學(xué)院，重慶400715）摘要：設(shè)計(jì)了一個(gè)基于人機(jī)交互的人臉老化系統(tǒng)，該系統(tǒng)包括建模和應(yīng)用兩部分。建模部分將人臉數(shù)據(jù)庫(kù)進(jìn)行預(yù)處理，建立歸一化的人臉數(shù)據(jù)庫(kù)和不同性別不同年齡段的人臉輪廓庫(kù)；在應(yīng)用部分，輸入圖像經(jīng)過(guò)預(yù)處理、輪廓變換、紋理合成之后

2、得到目標(biāo)圖像。此外，系統(tǒng)設(shè)計(jì)有人機(jī)交互接口，不僅能融合人類智能與機(jī)器智能，實(shí)現(xiàn)人機(jī)協(xié)同工作，也實(shí)現(xiàn)了對(duì)任一年齡不同生活狀況不同體型下目標(biāo)人臉的定制。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)對(duì)于正面人像有較好的老化效果。關(guān)鍵字： 人機(jī)交互 人臉老化 圖形變換 紋理合成Research and Implementation on Human Face Aging System Based on HCIHu Weiping1,2 Deng Huiwen3(1. Institute of Logic and Intelligence, Southwest University, Chongqing 400715;2. S

3、outhwest University Yucai College, Chongqing 401524; 3. School of Computer and Information Science , Southwest University, Chongqing 400715)Abstract: A human face aging system based on HCI was designed which comprised two parts:the modeling part and the application part. In the modeling part, the im

4、ages from FG-NET aging database were pretreated and face contour database of different sexes and different ages were established. In the application part the test image was transformed to target image agter preprocessing, contour transformation and texture synthesis. HCI interfaces were added in the

5、 system to achive man-machine cooperation, and users were allowed to customize target face of different living condition, different body type and different ages through those interfaces. Experimental results show that the system can gain better aging effects for positive portraits.Key words: HCI, fa

6、ce aging, morph, texture synthesis人臉老化是人臉識(shí)別的一個(gè)(y )分支，在公安(gng n)刑偵、尋找丟失兒童、門禁系統(tǒng)、數(shù)字娛樂(lè)等方面有著非常廣泛的應(yīng)用，但由于年齡對(duì)于人臉容貌的影響是一個(gè)機(jī)制非常復(fù)雜的生理學(xué)課題(kt)，不僅與遺傳等內(nèi)在因素有關(guān)，還與生活水平、體型胖瘦等個(gè)體外在因素有關(guān)，除此之外，化妝、打扮、發(fā)型變化等都會(huì)使人對(duì)于年齡的判斷產(chǎn)生偏差，這讓人臉老化研究變得更加困難。目前廣泛使用的人臉老化合成技術(shù)主要是基于圖像的人臉?biāo)ダ虾铣?-4和基于三維建模的人臉?biāo)ダ虾铣?-7，但基于圖像的人臉?biāo)ダ虾铣赏嬖谥哳l信息（比如皺紋、法令紋等）刻畫(huà)不夠，導(dǎo)致合

7、成的圖像逼真性不夠；而基于三維建模的人臉?biāo)ダ虾铣蓜t由于需要對(duì)人臉進(jìn)行復(fù)雜的三維建模，成本高，數(shù)據(jù)量大，計(jì)算量非常大，欠缺實(shí)用性。本文結(jié)合圖像變形技術(shù)和小波變換技術(shù)，分別對(duì)人臉圖像的輪廓和膚色紋理特征進(jìn)行變換，同時(shí)借鑒錢學(xué)森處理大型復(fù)雜系統(tǒng)的思路，將人機(jī)結(jié)合的思想應(yīng)用于設(shè)計(jì)，開(kāi)發(fā)出一個(gè)基于人機(jī)交互的人臉老化系統(tǒng)，實(shí)驗(yàn)表明該系統(tǒng)具有較好的老化效果。1人臉圖像的預(yù)處理人臉圖像由于采集環(huán)境的不同，拍攝角度、光照、分辨率等往往都存在較大差異，另外，拍攝距離的不同又使得人臉在整幅圖像中的大小和位置各不相同，因此，必須對(duì)圖像進(jìn)行預(yù)處理。人臉圖像的預(yù)處理包括兩個(gè)方面：一是幾何歸一化，二是灰度歸一化。幾何歸一化

8、主要用于校準(zhǔn)因拍攝距離和人臉姿態(tài)變化造成的尺寸和角度差異，具體包括人臉尺度歸一化、人臉旋轉(zhuǎn)校正（歪頭）、人臉瞳孔對(duì)準(zhǔn)等三個(gè)環(huán)節(jié)。對(duì)人臉旋轉(zhuǎn)校正（側(cè)臉）需要使用到人臉的3D模型，而本文使用的塞浦路斯大學(xué)的FG-NET人臉數(shù)據(jù)庫(kù)8是二維數(shù)據(jù)庫(kù)，故并未進(jìn)行。FG-NET數(shù)據(jù)庫(kù)中自帶有人臉的68個(gè)特征點(diǎn)的數(shù)據(jù)，因此可以很方便進(jìn)行幾何歸一化，經(jīng)歸一化之后，得到分辨率與尺度一致、瞳孔位置相同的正面人像。而灰度歸一化則用來(lái)對(duì)不同(b tn)光強(qiáng)，光源方向下得到的人臉圖像進(jìn)行補(bǔ)償，以減弱(jinru)光照(gungzho)變化對(duì)人臉圖像的影響?？紤]到人在變老過(guò)程中膚色變得暗淡無(wú)光澤，在對(duì)人臉圖像進(jìn)行灰度歸一化

9、過(guò)程中，采用一種年齡相關(guān)的灰度歸一化方法。根據(jù)人臉圖像的特點(diǎn)，鼻尖為人臉區(qū)域的最亮區(qū)，而鼻梁和人中區(qū)域?yàn)樽畎祬^(qū)，取由兩眼內(nèi)眼角、下嘴唇圍成的矩形區(qū)域?yàn)槟w色取色區(qū)域，取出該區(qū)域的最大和最小灰度，得到人臉源圖像的膚色灰度范圍s0和膚色最小灰度m0。對(duì)人的年齡段進(jìn)行劃分，每5歲為一個(gè)階段，目標(biāo)灰度變換范圍s1和最小灰度m1隨著年齡的變老逐漸變小。建立一個(gè)源圖像與灰度圖像之間的灰度變換映射，公式如式（1）。 （1）其中g(shù)0(i,j),g1(i,j)分別是源圖像和目標(biāo)圖像任一點(diǎn)的灰度。以上映射能將源圖像的灰度區(qū)間從m0,m0+s0變換到m1,m1+s1，同時(shí)對(duì)于超出這個(gè)范圍的灰度值，使用log函數(shù)將其快

10、速收縮到該目標(biāo)區(qū)間外的很小范圍內(nèi)。2人臉特征提取人臉特征提取目前主要有基于人臉幾何特征、基于人臉統(tǒng)計(jì)特征和基于人臉頻率域特征等三類方法。由于本系統(tǒng)所使用的數(shù)據(jù)庫(kù)已經(jīng)標(biāo)定了68個(gè)人臉特征點(diǎn)，所以可以在此基礎(chǔ)上使用基于人臉幾何特征的提取方法。FG-NET數(shù)據(jù)庫(kù)自帶的人臉特征點(diǎn)主要集中在人臉五官，考慮到人臉老化過(guò)程中發(fā)際線有明顯變化而且發(fā)型對(duì)于年齡有較大影響，因此已有68個(gè)特征點(diǎn)的基礎(chǔ)上，使用人工標(biāo)點(diǎn)的方式，將特征點(diǎn)增加至90個(gè)，如圖1所示，圖中三角形為原始68個(gè)特征點(diǎn)，圓圈所示為新增的22個(gè)特征點(diǎn)。確定特征點(diǎn)之后，按年齡段和性別分組，計(jì)算算術(shù)平均值，得到不同性別不同年齡段的人臉輪廓模板。 圖1 人

11、臉特征(tzhng)點(diǎn)對(duì)于(duy)測(cè)試圖像，其特征點(diǎn)可以使用(shyng)手工標(biāo)點(diǎn)方式來(lái)確定，也能先使用主動(dòng)形狀模型9,10（Active Shape Model，ASM）來(lái)自動(dòng)標(biāo)注，之后再用手工來(lái)確認(rèn)的方式來(lái)確定。3人臉輪廓變形圖像變形有三種常用方法：基于特征點(diǎn)的圖像變形、基于特征線的圖像變形以及基于塊的圖像變形，本系統(tǒng)采用基于特征線的圖像變形技術(shù)11來(lái)實(shí)現(xiàn)人臉輪廓的變化。對(duì)于給定人臉，其特征可以使用矢量來(lái)表示，其中是標(biāo)定出的特征點(diǎn)，n是特征點(diǎn)的個(gè)數(shù)。估算給定人臉的年齡，并給出目標(biāo)年齡，估算人臉年齡可以使用年齡函數(shù)，也能通過(guò)計(jì)算特征矢量與模板矢量的歐式距離，根據(jù)最小值來(lái)確定，這點(diǎn)在第5部分

12、詳細(xì)討論。取出人臉估計(jì)年齡模板和目標(biāo)年齡的輪廓模板，利用公式（2）可以計(jì)算得到目標(biāo)人臉的輪廓。 （2）根據(jù)和，使用前向warp技術(shù)11，即可重構(gòu)出變形之后的人臉。4人臉老化特征合成人的老化大體可以分為兩個(gè)階段，從兒童到青年，主要體現(xiàn)在輪廓變化上，而人進(jìn)入中年以后，輪廓基本不會(huì)發(fā)生改變，老化主要體現(xiàn)在膚色紋理的改變，比如膚色變暗、皮膚松弛下垂、產(chǎn)生皺紋等，為了實(shí)現(xiàn)人臉老化特征的合成，我們使用小波圖像分解和重構(gòu)技術(shù)3。小波分解可以把圖像分成低頻部分和高頻部分，其中低頻部分體現(xiàn)圖像的輪廓，高頻部分體現(xiàn)圖像的細(xì)節(jié)，根據(jù)這一特點(diǎn)，我們?cè)谌四様?shù)據(jù)庫(kù)中選擇與目標(biāo)圖像輪廓最接近的樣本圖像，使用其小波分解的高頻

13、部分來(lái)替代源圖像的高頻部分，以實(shí)現(xiàn)衰老特征的移植。源圖像和樣本圖像進(jìn)行2層小波分解如公式（3）（4）: （3） （4）其中(qzhng)分別(fnbi)表示分解之后第二層的低頻(dpn)分量，第二層的水平、垂直和對(duì)角線上的高頻分量以及第一層的水平、垂直和對(duì)角線上的高頻分量。但是，在以上過(guò)程中，由于舍棄了樣本圖像的全部低頻部分，樣本圖像的絕大部分信息也隨之丟失，為此，我們借鑒衛(wèi)星遙感影像融合所采用的技術(shù)12，使用高通濾波算子來(lái)提取樣本圖像低頻部分的細(xì)節(jié)部分，再將它疊加到源圖像的低頻部分上，對(duì)以上分量進(jìn)行重新組合之后按照公式（5）進(jìn)行2層小波逆變換，即可重構(gòu)出融合樣本圖像衰老特征的目標(biāo)圖像。 （5

14、）5系統(tǒng)中的人機(jī)交互計(jì)算機(jī)經(jīng)過(guò)幾十年的高速發(fā)展，已經(jīng)廣泛應(yīng)用于生產(chǎn)生活中，在某些應(yīng)用中，體現(xiàn)出相當(dāng)?shù)闹悄苄?，但深入研究發(fā)現(xiàn)，機(jī)器智能主要采用邏輯思維方式，在形象思維和創(chuàng)造性思維方面，有著先天的缺陷，對(duì)于復(fù)雜系統(tǒng)和復(fù)雜問(wèn)題，往往力不從心。針對(duì)復(fù)雜系統(tǒng)的特點(diǎn)，我國(guó)學(xué)者錢學(xué)森提出了“以人為主，人機(jī)結(jié)合”的解決思路，并在此基礎(chǔ)上發(fā)展出了綜合集成研討廳體系13,14，其基本思想是以人為主導(dǎo)，人機(jī)協(xié)同工作，將人腦的形象思維與計(jì)算機(jī)的快速、容量大的特點(diǎn)充分發(fā)揮出來(lái)，各采所長(zhǎng)，從而獲得比單純依賴人或者單純依賴計(jì)算機(jī)更好的效果，處理更為復(fù)雜的問(wèn)題。在本系統(tǒng)設(shè)計(jì)了多處人機(jī)交互接口，使人可以參與系統(tǒng)的運(yùn)行，實(shí)現(xiàn)人的

15、智能與機(jī)器智能的融合，達(dá)到1+12的效果。5.1 人機(jī)交互(jioh)解決(jiju)人臉特征提取問(wèn)題人臉特征提取是一個(gè)十分復(fù)雜的問(wèn)題(wnt)，雖然ASM算法可以較好地實(shí)現(xiàn)人臉特征的自動(dòng)標(biāo)注，但是它也有十分明顯的缺點(diǎn)：首先它過(guò)分地依賴于平均模型的初始化位置，初始位置不理想將導(dǎo)致局部極?。黄浯问怯谜w形狀模型約束特征點(diǎn)定位結(jié)果難以保證特征點(diǎn)總體定位的正確性；第三算法受光照影響較大，在光照差異較大的情況，容易出現(xiàn)算法失敗的情形。雖然有不少對(duì)ASM算法的改進(jìn)，但是并不能從根本上改正ASM算法的缺點(diǎn)。本系統(tǒng)中采用人機(jī)交互的方式，先用ASM算法求出測(cè)試圖像的大致輪廓，再由人來(lái)進(jìn)行確認(rèn)，對(duì)于偏離較大的特

16、征點(diǎn)進(jìn)行校正，從而保證系統(tǒng)后續(xù)環(huán)節(jié)的正確運(yùn)行。5.2 人機(jī)交互解決人臉年齡估計(jì)問(wèn)題人臉年齡估計(jì)是一個(gè)非常復(fù)雜的問(wèn)題，不僅對(duì)于計(jì)算機(jī)，對(duì)于人來(lái)說(shuō)也是一個(gè)十分困難的問(wèn)題。比如劉德華在童夢(mèng)奇緣中扮演的人物從20歲一直活到80歲，見(jiàn)圖2，演員沒(méi)變，但是通過(guò)化妝、發(fā)型等的變化，產(chǎn)生了觀眾在年齡上觀感的變化。此外，由于生活水平差異，不同的人表現(xiàn)出的年齡與實(shí)際年齡可能相差較大。要解決這種情況，光靠計(jì)算機(jī)難度極大，本系統(tǒng)中使用軟件估計(jì)人臉年齡之后，由人最后對(duì)該年齡進(jìn)行修正和確認(rèn)，從而較好地保證人臉年齡估計(jì)的正確性。圖2 劉德華在童夢(mèng)奇緣中從20歲到80歲的造型5.3 人機(jī)交互解決目標(biāo)人臉胖瘦定制問(wèn)題人的一生分

17、為很多階段，每個(gè)階段生活水平可能會(huì)發(fā)生較大變化，而不同的生活水平下人的胖瘦情況會(huì)發(fā)生相應(yīng)的變化，同時(shí)也會(huì)讓人的面相比實(shí)際年齡顯老或顯年輕，根據(jù)目標(biāo)可能的生活環(huán)境來(lái)定制其臉型輪廓和膚色，會(huì)使模擬結(jié)果更接近真實(shí)情況，提高系統(tǒng)的實(shí)用性。以往的研究極少有人考慮到類似問(wèn)題，本系統(tǒng)中設(shè)計(jì)人機(jī)交互接口，用戶能根據(jù)需要定制目標(biāo)的胖瘦情況和生活水平，而系統(tǒng)會(huì)根據(jù)用戶的定制情況，對(duì)目標(biāo)的輪廓、目標(biāo)年齡段以及目標(biāo)的膚色范圍等進(jìn)行微調(diào)，從而產(chǎn)生符合用戶需求的目標(biāo)圖像。6實(shí)驗(yàn)過(guò)程(guchng)及結(jié)果本系統(tǒng)(xtng)由建模部分和應(yīng)用部分組成，其中建模部分負(fù)責(zé)對(duì)FG-NET數(shù)據(jù)庫(kù)中的部分正面人像進(jìn)行預(yù)處理，并求出不同性

18、別不同年齡(ninlng)段的平均輪廓，應(yīng)用部分則對(duì)測(cè)試圖像進(jìn)行預(yù)處理、年齡估計(jì)、輪廓變形以及紋理合成，具體結(jié)構(gòu)如圖3所示。圖3 基于人機(jī)交互的人臉老化系統(tǒng)結(jié)構(gòu)圖系統(tǒng)選取FG-NET數(shù)據(jù)庫(kù)中來(lái)自82個(gè)不同人的370張正面人像，各年齡段的圖像個(gè)數(shù)統(tǒng)計(jì)如表1。表1 系統(tǒng)使用的人臉數(shù)據(jù)庫(kù)的基本情況 性別0-4歲5-9歲10-14歲15-19歲20-24歲25-29歲30-34歲男204143322188女1540372814134性別35-39歲40-44歲45-49歲50-54歲55-59歲60-64歲65-69歲男5962132女6512220系統(tǒng)(xtng)選擇作者(zuzh)現(xiàn)在(xinzi

19、)的照片作為測(cè)試圖片，使用ASM算法進(jìn)行特征點(diǎn)標(biāo)定之后，手工對(duì)特征點(diǎn)進(jìn)行修正，見(jiàn)圖4。將該圖像及特征點(diǎn)輸入系統(tǒng)得到從小到老的一系列圖像，如圖5。同時(shí)對(duì)每一個(gè)年齡段定制不同胖瘦情況及生活水平的圖像，見(jiàn)圖6。人臉的衰老合成效果無(wú)法使用量化的方式進(jìn)行評(píng)價(jià)，只能通過(guò)主觀感受來(lái)評(píng)價(jià)，在圖5中可以看出，通過(guò)輪廓變化，測(cè)試圖像很容易變換出年齡較小的情況，而中年至老年時(shí)，輪廓變化不明顯，但通過(guò)膚色、紋理、發(fā)型等的變化，可以讓人臉呈現(xiàn)出明顯的老化效果。圖6顯示對(duì)于合成的同一年齡的人臉圖像，微調(diào)其輪廓，可以呈現(xiàn)出不同生活狀況和胖瘦情況下的目標(biāo)人像，可以大大擴(kuò)展系統(tǒng)的應(yīng)用范圍。圖4 測(cè)試圖像及特征點(diǎn)圖4 測(cè)試圖像從

20、小到老的變化圖5 同一年齡不同胖瘦狀況下的變化7結(jié)束語(yǔ)本文提出了一個(gè)基于人機(jī)交互的人臉老化系統(tǒng)的框架，并加以實(shí)現(xiàn)。系統(tǒng)采用了與年齡相關(guān)的灰度歸一化方法，使人臉膚色更貼近年齡；利用圖形變形技術(shù)(jsh)改變目標(biāo)輪廓，使目標(biāo)圖像的臉型隨年齡變化而變化；利用小波分解和重構(gòu)技術(shù)，實(shí)現(xiàn)衰老特征的合成；同時(shí)借鑒處理復(fù)雜系統(tǒng)的人機(jī)結(jié)合的思想，加入人機(jī)交互接口，實(shí)現(xiàn)人的智能與機(jī)器智能的協(xié)同工作，也達(dá)成了定制不同生活狀況不同體型胖瘦情況目標(biāo)(mbio)人臉的目標(biāo)。實(shí)驗(yàn)結(jié)果表明，本系統(tǒng)可以合成出給定圖像的不同生活狀況不同體型下任一年齡段的目標(biāo)圖像，具有較大的實(shí)用價(jià)值。但由于本系統(tǒng)使用的FG-NET數(shù)據(jù)庫(kù)中樣本人臉

21、為西方人臉，系統(tǒng)對(duì)于東方人臉的模擬效果未達(dá)到預(yù)期，且該數(shù)據(jù)庫(kù)中老年圖像數(shù)量明顯不足，導(dǎo)致在皺紋等衰老特征方面的刻畫(huà)不足，影響了系統(tǒng)老化效果，這是本系統(tǒng)在未來(lái)進(jìn)一步改進(jìn)的方向。參考文獻(xiàn)1 Rowland D A, Perrett D I. Manipulating facial appearance through shape and colorJ. IEEE Computer Graphics and Applications, 1995,15(5):70-76.2 Lanitis A, Taylor C J, Cootes T F. Toward automatic simulation o

22、f aging effects on face imagesJ. IEEE Trans. Pattern Analysis and Machine Intelligence,2002,24(4):442-455.3 王進(jìn). 基于視頻(shpn)的人臉表情建模研究D. 杭州:浙江大學(xué),2003.4 劉劍毅, 鄭南寧, 游屈波. 一種基于小波的人臉?biāo)ダ匣铣煞椒↗. 軟件學(xué)報(bào), 2007,18(2):299-306.5 Yin Wu, Prem Kalra, Laurent Moccozet,etc. Simulating wrinkles and skin agingJ. The Visual

23、Computer, 1999, 15(4):183-198.6 Won-Sook Lee, Yin Wu, Magnenat-Thalmann N. Cloning and aging in a VR familyC. Proceedings of IEEE Virtual Reality, Houston, 1999:61-68.7 Scherbaum K, Sunkel M, Seidel HP, etc. Prediction of individual non-linear aging trajectories of facesJ. Computer Graphics Forum,2007,26(3):285-294.8 The FG-NET Aging DatabaseDB/OL. http:/sting.cycollege.ac.cy/alanitis/fgnetaging/index.htm, 2002.9 Coote