人臉特征點定位及其應(yīng)用

1、人臉特征點定位及其應(yīng)用第1頁，共25頁，2022年，5月20日，20點32分，星期日整體介紹主要內(nèi)容：當前常用的特征點定位方法，主要介紹AAM。提出在人臉特征定位中基于膚色信息的AAM模型的改進方法。介紹一個肖像畫生成系統(tǒng)的設(shè)計及實現(xiàn)。人臉特征點定位的概念人臉特征點定位及其應(yīng)用 沈育平 PB99011073特征點定位系統(tǒng)第2頁，共25頁，2022年，5月20日，20點32分，星期日常用的幾種特征點 定位算法基于灰度及其變化信息基于可變形模板基于神經(jīng)網(wǎng)絡(luò)基于Active Contour Model（Snake，主動輪廓模型）基于Active Shape Model（ASM，主動形狀模型）基于Ac

2、tive Appearance Model（AAM，主動表觀模型）由于人臉特征復雜性，及圖像的多變性，目前仍然沒有一個通用的方法第3頁，共25頁，2022年，5月20日，20點32分，星期日基于AAM (Active Appearance Model)模型AAM模型常用的幾種特征點定位方法由控制參數(shù)矢量c控制形狀和紋理的變化，調(diào)節(jié)c可以得到不同的形狀和臉部紋理，從而合成不同的人臉調(diào)節(jié)c可以合成不同的人臉形狀臉部紋理輪廓變化模式矩陣 臉部紋理變化模式矩陣第4頁，共25頁，2022年，5月20日，20點32分，星期日 精細定位粗略定位常用的幾種特征點定位方法AAM搜索過程原圖像得到粗略定位不斷調(diào)整

3、C，使合成人臉的灰度與圖像灰度差達到最小值得到精細定位由計算公式可得各特征點的位置對每一個比例、位置、旋轉(zhuǎn)角度進行迭代搜索第5頁，共25頁，2022年，5月20日，20點32分，星期日常用的幾種特征點定位方法AAM搜索時間分析85.1%14.9%有很大的改進空間第6頁，共25頁，2022年，5月20日，20點32分，星期日基于膚色信息的AAM改進方法膚色模型人臉特征點定位及其應(yīng)用 沈育平 PB99011073采用YCrCb彩色空間進行分析Y反映的是圖像的明度，故只Cr,Cb分量分析可以不受圖像的亮度影響。膚色像素在Cr-Cb空間中的分布相對很集中，可以用Gauss分布來描述 第7頁，共25頁，

4、2022年，5月20日，20點32分，星期日高斯分布基于膚色信息的AAM改進方法人臉特征點定位及其應(yīng)用 沈育平 PB99011073第8頁，共25頁，2022年，5月20日，20點32分，星期日膚色模型所考察的像素和膚色的相似度：象素的矢量 與高斯分布中心的距離基于膚色信息的AAM改進方法人臉特征點定位及其應(yīng)用 沈育平 PB99011073計算相似度自適應(yīng)閾值分割（二值化）第9頁，共25頁，2022年，5月20日，20點32分，星期日AAM改進方法AAM的缺陷對彩色圖像進行特征點定位時無疑忽略了色彩信息的作用，可以充分利用膚色信息，使搜索過程加速。一種基于膚色模型的人眼定位方法眼睛在二值圖像中

5、的雙孔結(jié)構(gòu)基于膚色信息的AAM改進方法眼睛的雙孔結(jié)構(gòu)第10頁，共25頁，2022年，5月20日，20點32分，星期日人臉特征點定位及其應(yīng)用 沈育平 PB99011073AAM改進方法基于膚色模型的人眼定位方法基于膚色信息的AAM改進方法計算相似度使用自動閾值分割算法進行二值化對二值圖進行去噪音處理，就是在以每一個膚色象素為中心的5*5鄰域內(nèi)統(tǒng)計膚色象素的個數(shù)，超過半數(shù)時中心點保膚色第11頁，共25頁，2022年，5月20日，20點32分，星期日AAM改進方法基于膚色模型的人眼定位方法基于膚色信息的AAM改進方法人臉特征點定位及其應(yīng)用 沈育平 PB99011073對二值圖進行腐蝕運算，去掉各區(qū)域

6、之間的細連線用邊緣跟蹤算法跟蹤各區(qū)域的輪廓對所有區(qū)域的輪廓進行種子填充，得到“掩蓋圖”將二值圖與“掩蓋圖”求異或，即可得到二值圖中的所有孔第12頁，共25頁，2022年，5月20日，20點32分，星期日基于膚色信息的AAM改進方法AAM改進方法基于膚色模型的人眼定位方法人臉特征點定位及其應(yīng)用 沈育平 PB99011073獲取候選眼，對每個孔進行檢測若滿足以下條件則為候選眼：1.平均亮度小于802.包圍盒大小超過閾值D獲取候選眼對，將候選眼兩兩配對若符合下列條件，則為候選眼對：1.兩包圍盒不相交2.兩包圍盒中心連線斜率不超過閾值3.兩包圍盒大小不超過一定范圍對每個候選眼對進行模板匹配，計算平均眼

7、對灰度與候選眼對所在區(qū)域灰度的相似度第13頁，共25頁，2022年，5月20日，20點32分，星期日AAM改進方法改進： 確定眼睛位置后，根據(jù)五官位置分布的規(guī)律性，可以由此確定人臉的位置及方向，從而為AAM模型的搜索提供一個較好的初始位置和大小，并且可以縮小搜索窗口，從而減少AAM的搜索時間 基于膚色信息的AAM改進方法人臉特征點定位及其應(yīng)用 沈育平 PB99011073第14頁，共25頁，2022年，5月20日，20點32分，星期日AAM改進方法基于膚色信息的AAM改進方法用基于臉色信息的人眼定位方法確定人眼根據(jù)眼睛和臉部區(qū)域的關(guān)系獲得臉部區(qū)域范圍，縮小搜索窗口根據(jù)人眼位置確定AAM模型的初

8、始搜索姿態(tài)使用AAM搜索算法，得到特征點精確定位人臉特征點定位及其應(yīng)用 沈育平 PB99011073第15頁，共25頁，2022年，5月20日，20點32分，星期日基于膚色信息的AAM改進方法性能比較圖片原模型定位間改進后模型定位時間改進量占原來的百分比122.6625.22177.0%220.1786.93965.6%321.6219.35156.8%418.4886.37665.5%522.9459.00460.6%621.9248.78259.9%721.8504.22480.7%823.1398.68462.5%921.7476.21371.4%1022.4225.95173.5%平均

9、改進百分比67.4人臉特征點定位及其應(yīng)用 沈育平 PB99011073第16頁，共25頁，2022年，5月20日，20點32分，星期日系統(tǒng)結(jié)構(gòu)人物肖像畫自動生成系統(tǒng)人臉特征點定位及其應(yīng)用 沈育平 PB99011073肖像畫自動生成系統(tǒng)頭發(fā)處理臉部器官處理合成開發(fā)工具： Visual C+ 6.0，AAM-API第17頁，共25頁，2022年，5月20日，20點32分，星期日臉部器官處理過程人物肖像畫自動生成系統(tǒng)人臉特征點定位及其應(yīng)用 沈育平 PB99011073自然三次樣條自動閾值分割特征點定位使用84個特征點獲得各器官包圍盒第18頁，共25頁，2022年，5月20日，20點32分，星期日頭發(fā)

10、的提取過程人物肖像畫自動生成系統(tǒng)只將Y值（亮度）T(50)的像素保留使用數(shù)學形態(tài)學的閉運算將頭發(fā)中的噪音(白色小孔)濾去進行兩次腐蝕，然后跟蹤輪廓每一輪廓對應(yīng)一個包圍盒根據(jù)頭發(fā)區(qū)域與臉部區(qū)域的位置關(guān)系，確定頭發(fā)區(qū)域用種子填充的方法填充頭發(fā)區(qū)域第19頁，共25頁，2022年，5月20日，20點32分，星期日肖像畫的合成及顯示 人物肖像畫自動生成系統(tǒng)人臉特征點定位及其應(yīng)用 沈育平 PB99011073第20頁，共25頁，2022年，5月20日，20點32分，星期日系統(tǒng)運行界面第21頁，共25頁，2022年，5月20日，20點32分，星期日系統(tǒng)結(jié)果人物肖像畫自動生成系統(tǒng)第22頁，共25頁，2022年，5月20日，20點32分，星期日系統(tǒng)存在的一些問題和待改進的地方： 系統(tǒng)分析總結(jié)從系統(tǒng)的結(jié)果來看，對于大多數(shù)人臉圖像，都可以得到相應(yīng)的肖像圖人物肖像畫自動生成系統(tǒng)系統(tǒng)對頭發(fā)的處理并沒有考慮頭發(fā)被分割成若干區(qū)域的情況。系統(tǒng)沒有對耳朵進行處理 丟失頭發(fā)邊界的處理太過粗糙，常出現(xiàn)鋸齒狀邊緣。針對這種情況可以使用Snake模型獲取頭發(fā)區(qū)域的外輪廓鋸齒狀邊緣第23頁，共25頁，2022年，5月20