結(jié)構(gòu)化人臉超分專題講座PPT

1、1-制作 -2014.2.25 structured face hallucination結(jié)構(gòu)化的人臉超分cvpr（ieee國際計算機視覺與模式識別會議），2013.2結(jié)構(gòu)化的人臉超分引言相關(guān)工作本文算法算法效果3 引言 相關(guān)工作本文算法算法效果人臉超分： 由低分辨率圖像（low-resolution images, lr）復原出高分辨率圖像（high-resolution images, hr）的技術(shù)。圖像超分辨率重建 vs 圖像復原、圖像插值 1. 圖像復原是在不改變圖像尺寸的情況下恢復一幅圖像。1. 圖像插值可以提高圖像分辨率，但只是可以增加圖像的像素尺寸，改變圖像的視覺效 果，不能突破

2、原有的信息量。3. 圖像超分辨率重建能使放大后圖像仍能保持原始輸入圖像的細節(jié)部分，它涵蓋了圖像 復原技術(shù)和圖像插值。lrhr超分辨率重建超分辨率重建 降采樣降采樣4 引言 相關(guān)工作本文算法算法效果(a) 低分辨率圖像(b) bicubic 插值(c) 隨機樣本 (d) 自適應樣本 (e) 全體樣本 (f) 原始高分辨率圖像(a) (b) (c) (d) (e) (f)圖1 不同樣本選擇方法的 sr重建效果比較：5 引言 相關(guān)工作本文算法算法效果 why放大圖像空間尺寸，圖像會出現(xiàn)鋸齒鋸齒現(xiàn)象，尤其是原始輸入圖像中的細節(jié)信息，很容易出現(xiàn)過模糊過模糊現(xiàn)象。高分辨率圖像能提供豐富的細節(jié)信息細節(jié)信息，

3、對客觀場景的描述更準確細致。通常在視頻監(jiān)控等情況下獲取的人臉圖像分辨率較低，不能直接使用。超分辨率技術(shù)可以在高分辨率下高質(zhì)量顯示圖像高質(zhì)量顯示圖像。人臉圖像超分辨率重建是圖像超分辨率技術(shù)在人臉上的應用。它還可以應用在很多領(lǐng)域，除了人臉識別，還有人臉視頻圖像傳輸、人臉圖像恢復、人臉圖像表情分析等。6 引言 相關(guān)工作本文算法算法效果1. 基于重建的方法： 采用“重建約束”，即高分辨率圖像經(jīng)過變形和下采樣，生成低分辨率的輸入圖像，來復原出高分辨率圖像。2. 基于學習的方法： 通過學習低分辨率圖像與高分辨率圖像之間的關(guān)系，獲得高分辨率圖像的先驗知識，同時結(jié)合重建約束來指導對圖像的超分辨率。參見：參見：

4、圖像超分辨率算法綜述 江靜，張雪松，紅外技術(shù)，2012-01.7 引言 相關(guān)工作本文算法算法效果1 hallucination faces (s.barker ,t.kanade,2000) 通過利用以金字塔形式組織的正面人臉圖像的梯度分布先驗，在最大后驗最大后驗概率概率的框架下完成超分辨率重建。由于重建過程是逐像素逐像素進行的，因此容易缺失一些人臉的全局性約束，如對稱性和亮度的一致性等。他們在定義hr圖像的先驗分布時，使用的是從訓練人臉庫中搜索出的最相似像素的水平和豎直梯度，這使得hr圖像的先驗項是與輸入的lr圖像相關(guān)的，即基于識別的梯度先驗。9 face hallucination:the

5、ory and practice (c.liu ,h.-y.shum.etc,2007) liu 等人提出了人臉超分辨率的兩步法兩步法：首先,在特征臉子空間中，用一個全局參數(shù)模型根據(jù)低分辨率輸入圖像估計估計出高分辨率人臉圖像；然后，用一個局部非參數(shù)馬爾科夫網(wǎng)絡模型來補償補償?shù)谝徊街兄亟ǖ母叻直媛蕡D像與原始高分辨率圖像間的殘差。但是第一步中的全局參數(shù)模型需要已知降晰函數(shù)，而且第二步中的馬爾科夫網(wǎng)絡也需要復雜的計算。8結(jié)構(gòu)化的人臉超分摘要摘要 本文提出一種基于局部圖像結(jié)構(gòu)的人臉超分方法。每幅人臉圖像可由面部器官（facial components）、輪廓（contours）、平滑區(qū)（smooth

6、regions）三部分表示。1. 面部器官：進行圖像配準，產(chǎn)生準確的樣本，變換高 頻細節(jié)用來保存結(jié)構(gòu)上的一致性。2. 輪廓： 在高分辨率圖像（hr）中學習統(tǒng)計先驗， 產(chǎn)生顯著的結(jié)構(gòu)。3. 平滑區(qū)： 塊匹配方法。9 引言 相關(guān)工作本文算法算法效果本文算法的主要步驟本文算法的主要步驟10 引言 相關(guān)工作本文算法算法效果本文算法的大致描述本文算法的大致描述11 引言 相關(guān)工作本文算法算法效果lihigitsuii)( . .minarg2（1）本文算法本文算法：梯度算子：卷積：寬的高斯核寬的高斯核：下采樣g：使目標函數(shù)取最小值時的變量值minargnote：關(guān)鍵問題：求關(guān)鍵問題：求becuuu,eu

7、cubuu整 合12即所謂的徑向基函數(shù)徑向基函數(shù) (radial basis function， 簡稱 rbf)。高斯核函數(shù)高斯核函數(shù)2)*2/(2exp)(ccxxxxk 其中， 為核函數(shù)中心， 為函數(shù)的寬度參數(shù) ，控制了函數(shù)的徑向作用范圍。cx 高斯函數(shù)是單值函數(shù)單值函數(shù)。這表明，高斯濾波器用像素鄰域的加權(quán)均值來代替該點的像素值，而每一鄰域像素點權(quán)值是隨該點與中心點的距離單調(diào)單調(diào)增減增減的。這一性質(zhì)是很重要的，因為邊緣是一種圖像局部特征，如果平滑運算對離算子中心很遠的像素點仍然有很大作用，則平滑運算會使圖像失真。 引言 相關(guān)工作本文算法算法效果1301020304050020406000.

8、050.10.150.2theta=4.66.4寬高斯核寬高斯核 引言 相關(guān)工作本文算法算法效果1401020304050020406000.10.20.30.4theta=1.66.1文中所用文中所用 引言 相關(guān)工作本文算法算法效果15 引言 相關(guān)工作本文算法算法效果landmarks樣本庫樣本庫multi-pie dataset（320*240，包含年齡，姿勢，表情的變化）1. 289個人的2184張正面人臉圖像2. 60個人的283張30度角的人臉圖像1). 一個標記關(guān)鍵點標記關(guān)鍵點的文件；2). two labels: 一個標記姿勢標記姿勢,一個標記是否存在眼是否存在眼 鏡（手動標記）

9、。鏡（手動標記）。 two labels用來限制搜索區(qū)域 每張人臉圖像對應每張人臉圖像對應:16 引言 相關(guān)工作本文算法算法效果21,),(),(minargbibinieieiyxyxyxt（2）1. 面部器官的梯度圖面部器官的梯度圖（gradient maps for facial components）1.1 樣本圖像配準樣本圖像配準（alighing exemplar images）cunieieiyx1,：樣本圖像中標記器官的n個關(guān)鍵點。nibibiyx1,： 中標記器官的n個關(guān)鍵點， 由lr圖像 雙立方插值得到。bibilit：非反射對稱變換。note:17 引言 相關(guān)工作本文算法

10、算法效果)(ghljj（3）jh：針對某一特定器官 （如鼻子，嘴巴，眼睛對眼睛對，眉毛對眉毛對等）的hr樣本圖像集。c1.2 樣本圖像確定樣本圖像確定（determining exemplar images）* * 通過比較 和 來確定器官 的最佳匹配樣本圖像。jllic1.3 變換各器官的梯度圖變換各器官的梯度圖（transferring gradients of components）*jl最佳匹配的lr樣本圖像cu*jh相應的hr原圖像每個器官的梯度圖組合起來18 引言 相關(guān)工作本文算法算法效果2*)()()(minarglipjlsjpvpvpmj（4）note:hm：hr掩模圖，當像

11、素值屬于器官 ，其值為1，否則，為0clm：通過公式（3），對 降采樣得到hmv： 梯度圖lijv： 梯度圖jls:由器官 和眼鏡標識確定c 如果某個器官（比如眼睛對）有眼鏡遮擋，就可以通過眼鏡標識排除 那些不戴眼睛的樣本圖像。s1.219 引言 相關(guān)工作本文算法算法效果yx ,，不同的器官來自不同的人的樣本圖像note:20 引言 相關(guān)工作本文算法算法效果kkqppfkk,.,1),/exp()(（5）k：方向p：以像素 為中心的圖像塊pkq：像素 的 方向上的鄰近塊pk：一個參數(shù)2.1 2.1 方向保持下采樣方向保持下采樣（direction-preserving upsampling）2

12、. 面部輪廓的梯度圖面部輪廓的梯度圖（gradient maps for facial contours） 已有算法是基于插值后圖像產(chǎn)生邊緣，這樣產(chǎn)生的邊緣會出現(xiàn)缺口（jaggy），而本文通過學習統(tǒng)計先驗統(tǒng)計先驗保存圖像邊緣結(jié)構(gòu)，恢復邊緣銳度。針對 中的每一個像素 ，計算其方向相似度（the directional similarity）：lipeu21 引言 相關(guān)工作本文算法算法效果lkkkidigitstifi)( . .)(minarg2（6）ks：由 計算得到的 方向上的相似性圖likkt：由lr圖像 雙線性插值得到的hr圖像ks 從 到 ，并不改變相應的梯度幅度，因此，保留了方向的相

13、似性。)(),.,(1pspsk)(),.,(1ptptk求方向保持的求方向保持的hr圖像圖像di22 引言 相關(guān)工作本文算法算法效果方向保持下采樣方向保持下采樣li ks ktdi圖像 的邊緣雖然clear，smooth，但不夠sharp，需要恢復邊緣銳度。di23 引言 相關(guān)工作本文算法算法效果otherwisemmandmmifpctpqp01)(（7）2.2 2.2 學習邊緣銳度的統(tǒng)計先驗學習邊緣銳度的統(tǒng)計先驗（learning statistical priors for edge sharpness）針對 的每個像素 ，提取特征集合dipdmmmcpp,標記邊緣中心點標記邊緣中心點

14、給定一個hr樣本圖像，經(jīng)eq.(3)和eq.(6)得到 ,dim： 的梯度幅度rq,：在法線的兩個相反方向上，與 相鄰 的兩個像素。pm：訓練圖像 的梯度圖的幅度hidi24 引言 相關(guān)工作本文算法算法效果建立查詢表建立查詢表（lookup table）dmmcp,_pm2.3 2.3 生成梯度圖生成梯度圖（generating gradient maps）)()(_pummpudppe（8）du： 的梯度圖eu：面部輪廓梯度圖di25 引言 相關(guān)工作本文算法算法效果邊緣銳度恢復邊緣銳度恢復26 引言 相關(guān)工作本文算法算法效果3. 平滑區(qū)的梯度圖平滑區(qū)的梯度圖（gradient maps fo

15、r smooth regions）bu利用公式 ，從匹配的數(shù)據(jù)集中產(chǎn)生lr樣本圖像集。)(ghljj1 c. barnes, e. shechtman, d. b. goldman, and a. finkelstein.the generalized patchmatch correspondence algorithm.in eccv, 2010.利用塊匹配方法1尋找最相似lr樣本塊，減少計算量。2 m. irani and s. peleg. improving resolution by image registration.cvgip, 53(3):231239, 1991.lr 塊hr 塊后向投影算法2hrbu梯度圖對應27 引言 相關(guān)工作本文算法算法效果)1 ()(1 (deeecccuwuwwuwu（9）4. 整合梯度圖整合梯度圖（intergrating gradient maps ）ucw：所