移動設(shè)備上實時動畫系統(tǒng)

1、 移動設(shè)備上的實時人臉動畫系統(tǒng)PREFACE 基于實際表現(xiàn)的面部動畫系統(tǒng)，它能夠以實時28fps在移動設(shè)備上運行，該系統(tǒng)的一個關(guān)鍵組件是一個新型的回歸算法，它能夠從一臺普通的攝像機的二維視頻圖像幀中準(zhǔn)確地推斷面部運動參數(shù)。demo摘要01相關(guān)研究的現(xiàn)狀1、基于特殊設(shè)備（例如面部標(biāo)記點）的面部動畫技術(shù)已經(jīng)在電影和游戲制作方面取得了巨大的成功 ； 2、Weise等人（參考文獻(xiàn)2）開發(fā)了一個實時的面部動畫系統(tǒng)，其利用了Kinect 的RGBD攝像頭中獲取的深度和色彩信息。；3、曹等人（參考文獻(xiàn)1)為普通用戶提出了一個更實際的解決方案，用戶只需要單個普通攝像頭即可，而大多數(shù)的移動設(shè)備都能滿足這個條件。

2、02本篇論文的兩大貢獻(xiàn)點（1）曹等人在參考文獻(xiàn)1中通過兩步程序來跟蹤面部動畫（首先回歸各面部標(biāo)定點的三維位置，然后計算頭部姿勢和表情系數(shù)）。而我們直接回歸頭部姿態(tài)和表情系數(shù)。這樣一步到位的方法可以大大減少回歸目標(biāo)的維度數(shù)，在保證跟蹤精度的前提下顯著地提高跟蹤過程的性能表現(xiàn)。（2）我們進(jìn)一步提出采集在不同的照明環(huán)境下的用戶的訓(xùn)練圖像，并利用數(shù)據(jù)來訓(xùn)練獨立用戶個體的回歸，這樣可以魯棒地解決使用移動設(shè)備時頻繁發(fā)生照明變化而出現(xiàn)的問題。 我們提出學(xué)習(xí)一個能從2D視頻圖像幀中直接回歸面部動作參數(shù)的用戶回歸因子，將一張圖像I和它的面部動作參數(shù)的一個初步猜測 作為輸入，迭代地更新 的值，然后輸出最終的動作參

3、數(shù)。 整個學(xué)習(xí)過程共分為以下 幾個步驟：1.制備訓(xùn)練數(shù)據(jù) （1）圖像的拍攝和標(biāo)記 （2）用戶混合外形的生成 具有自動定位地標(biāo)記點的（a）（c）的兩幅拍攝圖像以及有手動校正標(biāo)記點的（b）（d）圖像。 （3）運動參數(shù)的還原 最后將每張輸入圖像I的動作參數(shù)串聯(lián)起來，形成一個46+4+3=53維向量：2.創(chuàng)建訓(xùn)練集 對于每個圖像和計算的運動參數(shù)向量 ，我們構(gòu)造 的一組增廣的參數(shù)向量作為它在回歸過程中的初步猜測。每個增廣的參數(shù)向量表示為 ，與之結(jié)合我們將一個訓(xùn)練元組構(gòu)造成 3.回歸訓(xùn)練，生成面部動作回歸 用這N個訓(xùn)練數(shù)據(jù) ，我們基于圖像I的像素強度訓(xùn)練一個從 到 的運動參數(shù)回歸函數(shù)。我們使用參考文獻(xiàn)1中

4、的兩級推動回歸算法。在第一級中，我們根據(jù)當(dāng)前的運動參數(shù)重建三維標(biāo)記，并對圖像I上的像素進(jìn)行采樣來構(gòu)造外觀向量，在第二級中，我們建立一個基于這個外觀向量的回歸序列，并通過最小化 和 之間的誤差來更新當(dāng)前的運動參數(shù)。核心：（1）生成外觀向量 （2）特征選?。?）蕨類結(jié)構(gòu)4.運行時進(jìn)行回歸，將視頻圖像幀和前面的幀的面部動作參數(shù)作為輸入，同時計算當(dāng)前幀的面部動作參數(shù) 通過3中訓(xùn)練的面部運動回歸器，我們可以實時計算出輸入視頻幀I的面部運動參數(shù)。我們從前一幀的回歸結(jié)果 開始，從訓(xùn)練集中找到類似于運動參數(shù) 的運動參數(shù)作為回歸的初始參數(shù)，并通過回歸器對它進(jìn)行更新。最終，我們計算所有更新的參數(shù)向量 的中值作為最

5、后的結(jié)果。 第一個策略是用來自復(fù)雜環(huán)境的訓(xùn)練數(shù)據(jù)訓(xùn)練回歸器。我們收集不同環(huán)境下的用戶設(shè)置圖像。在我們的實驗中，如圖所示，我們囊括了辦公室中，戶外陽光直射下以及昏暗酒店房間中的的圖像。 第二個策略：由于移動相機經(jīng)常執(zhí)行白平衡，這改變了圖像的整體強度，使整個圖像變暗或變亮。由于我們比較了從圖像中獲取的索引對特征，這些特征是與像素強度相關(guān)的絕對值，所以全局調(diào)整將使強度值在范圍內(nèi)不一致。為了處理這個問題，我們在訓(xùn)練和運行測試過程中對外觀向量進(jìn)行直方圖歸一化處理。左：歸一化前，大多數(shù)像素位于直方圖中的黑暗區(qū)域中，臉部顯得很暗; 右：歸一化后，直方圖均勻分布，人臉區(qū)域分布變得更加明亮。我們已經(jīng)在一臺擁有英

6、特爾酷睿i7 (3.5 GHz) CPU、能錄制30 fps的640480圖像的普通網(wǎng)絡(luò)攝像頭個人電腦上實現(xiàn)了該系統(tǒng)。實時算法在此設(shè)備上運行速度超過200fps，比1快8倍。我們還測試了摩托羅拉MT788手機上的回歸算法，該手機自帶英特爾Atom 2.0 GHz CPU和Android 4.0操作系統(tǒng)。性能依舊強大，大約在30 fps。我們與參考文獻(xiàn)1中的算法對訓(xùn)練，測試中的時間消耗和不同的回歸目標(biāo)的內(nèi)存消耗分別進(jìn)行比較，可以看到具有很大的性能提升。下圖是和參考文獻(xiàn)1中算法的跟蹤結(jié)果的比較，看上去相差無幾。但是實際上，從我們的運動參數(shù)重建的標(biāo)記點位置并不像曹等人直接形狀回歸生成的那么準(zhǔn)確。我們結(jié)果中的一些面部特征并不能很好地匹配，不能捕獲到臉部的細(xì)節(jié)。上部：我們的跟蹤結(jié)果 下部：參考文獻(xiàn)1的結(jié)果。結(jié)論： 我們引入了一種新穎的面部運動回歸算法，并表明它即