三維人臉姿態(tài)校正研究

1、    三維人臉姿態(tài)校正研究    王金偉 戴飛銘摘 要：提出一種鼻尖點提取方法：根據(jù)鼻尖點在人臉上的對稱性，提取人臉對稱軸上的特征點，并構(gòu)建人臉的對稱平面，對稱平面與人臉網(wǎng)格的交線為人臉的中心側(cè)影線，依據(jù)中心側(cè)影線，提取鼻尖點。根據(jù)鼻尖點法向量、人臉對稱平面法向量以及鼻尖點和鼻基點之間的方向向量進行姿態(tài)校正。該方法計算量小、魯棒性強。關(guān)鍵詞：鼻尖點 人臉區(qū)域分割 三維人臉表情：tp391.4 ：a ：1672-3791（2018）08（b）-0038-04近年來，三維人臉識別方法開始逐漸取代二維人臉識別方法，二維人臉圖像易受姿態(tài)的影響，當(dāng)人臉發(fā)生偏轉(zhuǎn)時

2、，二維人臉圖像就會丟失一些信息，而三維人臉圖像可以在三維空間任意的旋轉(zhuǎn)、平移，可以彌補在不同視覺角度所觀察三維人臉表情圖像的差異，因此三維人臉圖像具有更好的魯棒性。雖然三維人臉數(shù)據(jù)不受姿態(tài)的影響，但三維人臉出現(xiàn)不同姿態(tài)的偏轉(zhuǎn)，都會造成三維幾何信息的變化，對特征點的提取容易造成影響，為了更好地提取準(zhǔn)確的特征點，必須對三維人臉表情進行姿態(tài)的校正。文獻1在進行三維人臉姿態(tài)校正之前，先對人臉進行曲面擬合，對于三維巨大的點云數(shù)據(jù)來說，計算量變得非常大。文獻2通過高斯曲率獲取人臉3個特征點，在將這3個特征點組建平面，在通過法向量進行人臉姿態(tài)校正，雖然計算量較少，但在特征點提取的準(zhǔn)確性也會影響到人臉姿態(tài)的校

3、正。文獻3通過聚類算法獲取三維人臉鼻子區(qū)域，根據(jù)參考鼻子區(qū)域，使用三維空間仿射變換進行人臉姿態(tài)的校正，再利用迭代最近點進一步校正，該方法對三維數(shù)據(jù)的缺失、噪聲不敏感，具有較高的魯棒性，但在運算時間上會比較長。本文提出了基于一種改進鼻尖點提取的三維人臉姿態(tài)校正算法研究：根據(jù)鼻尖點法向量、人臉對稱平面法向量以及鼻尖點和鼻基點之間的方向向量進行姿態(tài)校正。該方法計算量小、魯棒性強。本文方法流程，如圖1所示。1 鼻尖點提取鼻尖點是人臉區(qū)域重要的特征點，在人臉表情變化及姿態(tài)的變動的情況下，對鼻尖點的影響都比較小。目前，三維人臉表情識別對鼻尖點提取的研究還不夠深入，主要的方法有：（1）通過深度圖像提取人臉距

4、離參考面最近的點4-5，這一假設(shè)使得多數(shù)算法回避了提取鼻尖點這一關(guān)鍵步驟；（2）通過中心側(cè)影線提取鼻尖點，而中心側(cè)影線對鼻尖的提取都是基于三維人臉模型先驗對稱的前提。yueming wang等6人通過三維人臉的鏡像模型后，采用迭代最近點法（icp，iterative closest point）進行配準(zhǔn)，通過人臉的對稱點找出人臉的對稱平面，取對稱平面與三維人臉曲面的交線作為中心側(cè)影線。當(dāng)三維人臉的位置發(fā)生偏轉(zhuǎn)后，尤其是繞軸旋轉(zhuǎn)時，受人臉自身的旋轉(zhuǎn)造成信息的遮擋，采集到的三維人臉數(shù)據(jù)丟失最為嚴(yán)重，這時候人臉的點云數(shù)據(jù)基本上不是對稱的，因此采用鏡像模型的中心側(cè)影線提取鼻尖點的精確度不高。因此，本文

5、借鑒xu等人提取鼻尖點算法思路7-8，提出一種改進的鼻尖點提取（nose tip feature extraction，ntfe）方法。該方法根據(jù)鼻尖的幾何形狀提取符合形狀參數(shù)的候選點；其次，在這些候選點中，根據(jù)鼻尖點在人臉上的對稱性，提取人臉對稱軸上的特征點，并構(gòu)建人臉的對稱平面，對稱平面與人臉網(wǎng)格的交線為人臉的中心側(cè)影線，依據(jù)中心側(cè)影線，提取鼻尖點。1.1 鼻尖點的幾何形狀1.2 計算三維人臉的對稱性提取候選特征點后，還要通過人臉的對稱性進一步對候選特征點進行篩選，每個候選點對應(yīng)的曲面有可能有多個對稱平面與曲面相交，組成多條的對稱軸。1.3 中心側(cè)影線提取三維人臉對稱軸上的點后，根據(jù)對稱軸

6、上的點，構(gòu)建人臉的對稱平面，對稱平面與人臉網(wǎng)格的交線為人臉的中心側(cè)影線，如圖2所示。1.4 提取鼻尖點和鼻基點將所提取到的中心側(cè)影線放到一個統(tǒng)一的坐標(biāo)上，如圖3所示，中心側(cè)影線上的點到軸上最大的距離為鼻尖點，計算額頭到鼻尖點這段距離的最小極值點為鼻基點。2 三維人臉姿態(tài)校正通過ntfe算法提取鼻尖點和鼻基點后，便可對三維人臉姿態(tài)進行校正。首先建立正面的三維人臉坐標(biāo)系：x軸方向為水平向右、y軸方向為豎直向上、z軸方向為垂直于紙面向外。將上述所提取的三維人臉放在一個統(tǒng)一的坐標(biāo)系中，根據(jù)計算機圖形學(xué)知識9，以x、y、z分別作為三維人臉模型繞x旋轉(zhuǎn)、繞y旋轉(zhuǎn)、繞z旋轉(zhuǎn)的角度，得到一個旋轉(zhuǎn)矩陣r，最后完

7、成姿態(tài)的校正。根據(jù)上述三維人臉的對稱性，篩選出在人臉對稱軸上的點云，建立一個對稱平面，法向量為nx；將鼻尖點及其鄰域內(nèi)的點云擬合成二次曲面，計算鼻尖點的法向量nz。根據(jù)旋轉(zhuǎn)矩陣r完成三維人臉表情姿態(tài)的校正，如圖4所示。3 實驗結(jié)果比較與分析為了驗證本文提出方法的有效性，在三維人臉表情bu-3dfe數(shù)據(jù)庫進行實驗。從數(shù)據(jù)庫中任意選擇20張三維人臉表情圖像，并將其20個對象分為兩組：一組為訓(xùn)練集，另一組為測試集，每組各10個對象。最后，將平均值作為最終的實驗結(jié)果。3.1 鼻尖點提取實驗結(jié)果及分析其中n為人臉表情圖像數(shù)。按姿態(tài)校正前后進行實驗：第一種方法為姿態(tài)校正前方案，采用基于雙模態(tài)和基于局部曲率方法對8個特征點進行提取，如圖5所示；第二方法為姿態(tài)校正后方案，如圖6所示。誤差值如表2和表3所示。實驗結(jié)果可以看出，本文方法在提取準(zhǔn)確性更高，誤差值更小。參考文獻1 colombo a， cusano c.，schettini rd. 3d face detection using curvature analysisj.pattern recognition， 2006，39（13）：444-455.科技資訊2018年23期科技資訊的