結(jié)構(gòu)化人臉超分

StructuredFaceHallucination 結(jié)構(gòu)化的人臉超分 引言 相關(guān)工作 本文算法 算法效果 人臉超分 由低分辨率圖像 low resolutionimages LR 復(fù)原出高分辨率圖像 high resolutionimages HR 的技術(shù) 圖像超分辨率重建VS圖像復(fù)原 圖像插值1 圖像復(fù)原是在不改變圖像尺寸的情況下恢復(fù)一幅圖像 1 圖像插值可以提高圖像分辨率 但只是可以增加圖像的像素尺寸 改變圖像的視覺效果 不能突破原有的信息量 3 圖像超分辨率重建能使放大后圖像仍能保持原始輸入圖像的細(xì)節(jié)部分 它涵蓋了圖像復(fù)原技術(shù)和圖像插值 a 低分辨率圖像 b Bicubic插值 c 隨機樣本 d 自適應(yīng)樣本 e 全體樣本 f 原始高分辨率圖像 a b c d e f 圖1不同樣本選擇方法的SR重建效果比較 Why放大圖像空間尺寸 圖像會出現(xiàn)鋸齒現(xiàn)象 尤其是原始輸入圖像中的細(xì)節(jié)信息 很容易出現(xiàn)過模糊現(xiàn)象 高分辨率圖像能提供豐富的細(xì)節(jié)信息 對客觀場景的描述更準(zhǔn)確細(xì)致 通常在視頻監(jiān)控等情況下獲取的人臉圖像分辨率較低 不能直接使用 超分辨率技術(shù)可以在高分辨率下高質(zhì)量顯示圖像 人臉圖像超分辨率重建是圖像超分辨率技術(shù)在人臉上的應(yīng)用 它還可以應(yīng)用在很多領(lǐng)域 除了人臉識別 還有人臉視頻圖像傳輸 人臉圖像恢復(fù) 人臉圖像表情分析等 1 基于重建的方法 采用 重建約束 即高分辨率圖像經(jīng)過變形和下采樣 生成低分辨率的輸入圖像 來復(fù)原出高分辨率圖像 2 基于學(xué)習(xí)的方法 通過學(xué)習(xí)低分辨率圖像與高分辨率圖像之間的關(guān)系 獲得高分辨率圖像的先驗知識 同時結(jié)合重建約束來指導(dǎo)對圖像的超分辨率 1 Hallucinationfaces S Barker T Kanade 2000 通過利用以金字塔形式組織的正面人臉圖像的梯度分布先驗 在最大后驗概率的框架下完成超分辨率重建 由于重建過程是逐像素進(jìn)行的 因此容易缺失一些人臉的全局性約束 如對稱性和亮度的一致性等 他們在定義HR圖像的先驗分布時 使用的是從訓(xùn)練人臉庫中搜索出的最相似像素的水平和豎直梯度 這使得HR圖像的先驗項是與輸入的LR圖像相關(guān)的 即基于識別的梯度先驗 9 Facehallucination Theoryandpractice C Liu H Y Shum etc 2007 Liu等人提出了人臉超分辨率的兩步法 首先 在特征臉子空間中 用一個全局參數(shù)模型根據(jù)低分辨率輸入圖像估計出高分辨率人臉圖像 然后 用一個局部非參數(shù)馬爾科夫網(wǎng)絡(luò)模型來補償?shù)谝徊街兄亟ǖ母叻直媛蕡D像與原始高分辨率圖像間的殘差 但是第一步中的全局參數(shù)模型需要已知降晰函數(shù) 而且第二步中的馬爾科夫網(wǎng)絡(luò)也需要復(fù)雜的計算 摘要 本文提出一種基于局部圖像結(jié)構(gòu)的人臉超分方法 每幅人臉圖像可由面部器官 facialcomponents 輪廓 contours 平滑區(qū) smoothregions 三部分表示 1 面部器官 進(jìn)行圖像配準(zhǔn) 產(chǎn)生準(zhǔn)確的樣本 變換高頻細(xì)節(jié)用來保存結(jié)構(gòu)上的一致性 2 輪廓 在高分辨率圖像 HR 中學(xué)習(xí)統(tǒng)計先驗 產(chǎn)生顯著的結(jié)構(gòu) 3 平滑區(qū) 塊匹配方法 本文算法的主要步驟 本文算法的大致描述 1 本文算法 關(guān)鍵問題 求 整合 即所謂的徑向基函數(shù) RadialBasisFunction 簡稱RBF 高斯核函數(shù) 其中 為核函數(shù)中心 為函數(shù)的寬度參數(shù) 控制了函數(shù)的徑向作用范圍 高斯函數(shù)是單值函數(shù) 這表明 高斯濾波器用像素鄰域的加權(quán)均值來代替該點的像素值 而每一鄰域像素點權(quán)值是隨該點與中心點的距離單調(diào)增減的 這一性質(zhì)是很重要的 因為邊緣是一種圖像局部特征 如果平滑運算對離算子中心很遠(yuǎn)的像素點仍然有很大作用 則平滑運算會使圖像失真 寬高斯核 文中所用 Landmarks 樣本庫 2 1 面部器官的梯度圖 GradientMapsforFacialComponents 1 1樣本圖像配準(zhǔn) Alighingexemplarimages 3 針對某一特定器官 如鼻子 嘴巴 眼睛對 眉毛對等 的HR樣本圖像集 1 2樣本圖像確定 Determiningexemplarimages 通過比較和來確定器官的最佳匹配樣本圖像 1 3變換各器官的梯度圖 Transferringgradientsofcomponents 4 Note 1 2 不同的器官來自不同的人的樣本圖像 Note 5 2 1方向保持下采樣 Direction preservingupsampling 2 面部輪廓的梯度圖 GradientMapsforFacialContours 已有算法是基于插值后圖像產(chǎn)生邊緣 這樣產(chǎn)生的邊緣會出現(xiàn)缺口 jaggy 而本文通過學(xué)習(xí)統(tǒng)計先驗保存圖像邊緣結(jié)構(gòu) 恢復(fù)邊緣銳度 針對中的每一個像素 計算其方向相似度 thedirectionalsimilarity 6 從到 并不改變相應(yīng)的梯度幅度 因此 保留了方向的相似性 求方向保持的HR圖像 方向保持下采樣 圖像的邊緣雖然clear smooth 但不夠sharp 需要恢復(fù)邊緣銳度 7 2 2學(xué)習(xí)邊緣銳度的統(tǒng)計先驗 Learningstatisticalpriorsforedgesharpness 針對的每個像素 提取特征集合 標(biāo)記邊緣中心點 給定一個HR樣本圖像 經(jīng)Eq 3 和Eq 6 得到 建立查詢表 lookuptable 2 3生成梯度圖 Generatinggradientmaps 8 邊緣銳度恢復(fù) 利用公式 從匹配的數(shù)據(jù)集中產(chǎn)生LR樣本圖像集 1 C Barnes E Shechtman D B Goldman andA Finkelstein Thegeneralizedpatchmatchcorrespondencealgorithm InECCV 2010 利用塊匹配方法 1 尋找最相似LR樣本塊 減少計算量 2 M IraniandS Peleg Improvingresolutionbyimageregistration CVGIP 53 3 231 239 1991 9 4 整合梯度圖 IntergratingGradientMaps 所有HR掩