魔術(shù)眼鏡：從2D到3D

1、摘要本文提出了一個由2D互聯(lián)網(wǎng)人臉圖像中的眼鏡實現(xiàn)虛擬的3D眼鏡試戴系統(tǒng)。本系統(tǒng)的主要的技術(shù)挑戰(zhàn)是從2D人臉的眼鏡自動重建3D眼鏡模型。一、綜述人體虛擬試穿是一個最重要的增強現(xiàn)實的應用。虛擬試戴眼鏡在現(xiàn)有的試戴系統(tǒng)-預定義的數(shù)據(jù)庫互聯(lián)網(wǎng)圖片的眼鏡第二部分回顧了現(xiàn)有的基于單一圖像的三維重建方法。第三節(jié)介紹了我們的系統(tǒng)概述。第四、第五、第六條將提供我們的系統(tǒng)在圖像提取、三維變形和虛擬試穿等方面的技術(shù)細節(jié)。第七節(jié)實驗結(jié)果和討論在提出。第八節(jié)總結(jié)的文件，并討論未來的工作。2相關工作1. 虛擬眼鏡試戴之前的研究工作2. 提取人臉圖像感興趣區(qū)域 系統(tǒng)采用了卷積神經(jīng)網(wǎng)絡的合成數(shù)據(jù)進行訓練的分類，首先在像素級

2、得到粗糙的標簽，然后將分類結(jié)果納入我們的水平集能量函數(shù)的邊緣信息，并獲得滿意的最終結(jié)果。3. 從二維圖像重建三維模型 系統(tǒng)利用二維圖像的幾何形狀，直接指導三維模板的變形，從而可以得到視覺上可以接受的三維模型，包括分割步驟和變形步驟。3系統(tǒng)概述系統(tǒng)的輸入是一個眼鏡架的正面人臉圖像。其輸出是一個重建的可以放在用戶的臉上3D眼鏡模型。過程第一個模塊是2D眼鏡提取，從人臉圖像中提取干凈的2D眼鏡形狀。提出了一個粗糙卷及神經(jīng)網(wǎng)絡分類，迭代級集分割進行細化。我們將三維重建問題轉(zhuǎn)換為模板變形問題，簡化了計算，但產(chǎn)生了良好的結(jié)果。最后一個模塊是三維虛擬嘗試，這是建立在我們以前的工作基礎上。該模塊將重建的三維眼

3、鏡放到用戶的臉上，并演示了重建的輸出。在用戶查看系統(tǒng)是一個軟件并且在電腦上配備Kinect攝像頭。四、2D眼鏡提取1.利用像素的卷積神經(jīng)網(wǎng)絡分類器來大致確定是眼鏡的邊界利用1000無遮擋的正面人臉圖像，由著名的FERET數(shù)據(jù)庫。同時， 200個戴眼鏡的圖像。這些圖像的眼鏡是用純背景干凈，這樣很容易得到相應的輪廓形狀的面具，面部圖像通過兩只眼睛的位置校準，眼鏡的圖像通過它的最左上點和最右上點的位置進行校準。2.按水平集細化分割(1)基于邊界的卷積神經(jīng)網(wǎng)絡優(yōu)先的有效輪廓模型的生成，眼鏡的框架可以看作三個輪廓的組合：兩內(nèi)輪廓和外輪廓。(2)對稱性估計內(nèi)輪廓，左右兩邊的輪廓是對稱的，而對于外輪廓，左右

4、部分是對稱的。(3)內(nèi)、外輪廓提取的細節(jié)內(nèi)輪廓相對于外輪廓通常有相對較少的雜亂區(qū)域：使用公式6來擴張眼鏡的輪廓和適合眼鏡內(nèi)輪廓。外輪廓的情況更為復雜，通常是與眉毛，頭發(fā)等，為了減少這些干擾，初始輪廓由內(nèi)輪廓的擴張后生成。然后采用經(jīng)典的擴展水平集算法。先擴張再收縮三維模型重建1.首先進行模型檢索，從候選模型找到最合適的模型。2.二維操作點的選擇3.二維圖像三維模型變形受幾何校正技術(shù)的啟發(fā)，提出了一種通過優(yōu)化后的目標函數(shù)的點對點的模型變形算法4.紋理映射六、虛擬眼鏡試戴1.面部跟蹤基于主動外觀模型（AAM）的人臉跟蹤系統(tǒng)，可以得到頭平移和旋轉(zhuǎn)。2.阻塞求解不同于基于特征點或三維重建的方法，在補償過

5、程中我們添加了一個透明的通用人臉模型Candide-3解決遮擋問題。七.仿真結(jié)果與討論人臉合成過程中使用了FERET數(shù)據(jù)庫1000人臉數(shù)據(jù)。我們還創(chuàng)建了一個2D眼鏡的二進制圖像形狀數(shù)據(jù)庫，包括合成步驟中187個眼鏡形狀。正面人臉圖像和三維模板模型是在在互聯(lián)網(wǎng)上搜索得到的。1.眼鏡提取的結(jié)果卷積神經(jīng)網(wǎng)絡的分析方法，給出了一個相當粗略的猜測眼鏡地區(qū)。經(jīng)過水平集的細化，我們可以輪廓光滑，自然的圖片。利用人臉數(shù)據(jù)庫和眼鏡數(shù)據(jù)庫，同時充分利用圖像邊緣信息和對稱性信息。因此，提取的眼鏡的形狀更加自然和完整。2.三維變形的結(jié)果有2個主要的影響因素：一個是輸入的輪廓與模板的二維投影（可在模型檢索階段）的相似性，另一個是模板模型的頂點分布。模板A有一個均勻分布的頂點并且?guī)g的連接更順暢，所以變形結(jié)果通常更有利。3.虛擬試穿的結(jié)果圖13：三維變形結(jié)果及相應的虛擬試驗結(jié)果。第一行顯示輸入的人臉圖像與眼鏡。第二行顯示的輪廓圖像扭曲的三維模板的投影。第三行顯示處理點模板模型和提取輪廓。第四行顯示變形后的三維模型。最后一行顯示在3det系統(tǒng)中試戴的結(jié)果。所有這些變形的模型都是由模板生成的。結(jié)論我們的系統(tǒng)提供了3D眼鏡從一個單一的圖像生成系統(tǒng)重建虛擬試戴模型的新的解決方案。提出一個基于只有幾個有限的模板的有效的2