結(jié)構(gòu)化人臉超分

StructuredFaceHallucination結(jié)構(gòu)化的人臉超分1.結(jié)構(gòu)化的人臉超分引言相關(guān)工作本文算法算法效果2.引言相關(guān)工作本文算法算法效果人臉超分：由低分辨率圖像〔low-resolutionimages,LR〕復(fù)原出高分辨率圖像〔high-resolutionimages,HR〕的技術(shù)。圖像超分辨率重建VS圖像復(fù)原、圖像插值1.圖像復(fù)原是在不改變圖像尺寸的情況下恢復(fù)一幅圖像。1.圖像插值可以提高圖像分辨率，但只是可以增加圖像的像素尺寸，改變圖像的視覺效果，不能突破原有的信息量。3.圖像超分辨率重建能使放大后圖像仍能保持原始輸入圖像的細(xì)節(jié)局部，它涵蓋了圖像復(fù)原技術(shù)和圖像插值。LRHR超分辨率重建降采樣3.引言相關(guān)工作本文算法算法效果(a)低分辨率圖像(b)Bicubic插值(c)隨機(jī)樣本(d)自適應(yīng)樣本(e)全體樣本(f)原始高分辨率圖像(a)

(b)

(c)(d)(e)(f)圖1不同樣本選擇方法的SR重建效果比較：4.引言相關(guān)工作本文算法算法效果Why放大圖像空間尺寸，圖像會出現(xiàn)鋸齒現(xiàn)象，尤其是原始輸入圖像中的細(xì)節(jié)信息，很容易出現(xiàn)過模糊現(xiàn)象。高分辨率圖像能提供豐富的細(xì)節(jié)信息，對客觀場景的描述更準(zhǔn)確細(xì)致。通常在視頻監(jiān)控等情況下獲取的人臉圖像分辨率較低，不能直接使用。超分辨率技術(shù)可以在高分辨率下高質(zhì)量顯示圖像。人臉圖像超分辨率重建是圖像超分辨率技術(shù)在人臉上的應(yīng)用。它還可以應(yīng)用在很多領(lǐng)域，除了人臉識別，還有人臉視頻圖像傳輸、人臉圖像恢復(fù)、人臉圖像表情分析等。5.

引言

相關(guān)工作本文算法算法效果1.基于重建的方法：采用“重建約束〞，即高分辨率圖像經(jīng)過變形和下采樣，生成低分辨率的輸入圖像，來復(fù)原出高分辨率圖像。2.基于學(xué)習(xí)的方法：通過學(xué)習(xí)低分辨率圖像與高分辨率圖像之間的關(guān)系，獲得高分辨率圖像的先驗(yàn)知識，同時結(jié)合重建約束來指導(dǎo)對圖像的超分辨率。6.

引言

相關(guān)工作本文算法算法效果[1]Hallucinationfaces(S.Barker,T.Kanade,2000)

通過利用以金字塔形式組織的正面人臉圖像的梯度分布先驗(yàn)，在最大后驗(yàn)概率的框架下完成超分辨率重建。由于重建過程是逐像素進(jìn)行的，因此容易缺失一些人臉的全局性約束，如對稱性和亮度的一致性等。他們在定義HR圖像的先驗(yàn)分布時，使用的是從訓(xùn)練人臉庫中搜索出的最相似像素的水平和豎直梯度，這使得HR圖像的先驗(yàn)項(xiàng)是與輸入的LR圖像相關(guān)的，即基于識別的梯度先驗(yàn)。[9]Facehallucination:Theoryandpractice(C.Liu,H.-Y.Shum.etc,2007)Liu等人提出了人臉超分辨率的兩步法：首先,在特征臉子空間中，用一個全局參數(shù)模型根據(jù)低分辨率輸入圖像估計(jì)出高分辨率人臉圖像；然后，用一個局部非參數(shù)馬爾科夫網(wǎng)絡(luò)模型來補(bǔ)償?shù)谝徊街兄亟ǖ母叻直媛蕡D像與原始高分辨率圖像間的殘差。但是第一步中的全局參數(shù)模型需要降晰函數(shù)，而且第二步中的馬爾科夫網(wǎng)絡(luò)也需要復(fù)雜的計(jì)算。7.結(jié)構(gòu)化的人臉超分摘要本文提出一種基于局部圖像結(jié)構(gòu)的人臉超分方法。每幅人臉圖像可由面部器官〔facialcomponents〕、輪廓〔contours〕、平滑區(qū)〔smoothregions〕三局部表示。1.面部器官：進(jìn)行圖像配準(zhǔn)，產(chǎn)生準(zhǔn)確的樣本，變換高頻細(xì)節(jié)用來保存結(jié)構(gòu)上的一致性。2.輪廓：在高分辨率圖像〔HR〕中學(xué)習(xí)統(tǒng)計(jì)先驗(yàn)，產(chǎn)生顯著的結(jié)構(gòu)。3.平滑區(qū)：塊匹配方法。8.

引言相關(guān)工作本文算法算法效果本文算法的主要步驟9.

引言相關(guān)工作本文算法算法效果本文算法的大致描述10.

引言相關(guān)工作本文算法算法效果（1）本文算法：梯度算子：卷積：σ寬的高斯核：下采樣：使目標(biāo)函數(shù)取最小值時的變量值Note：關(guān)鍵問題：求整合11.即所謂的徑向基函數(shù)(RadialBasisFunction，簡稱RBF)。高斯核函數(shù)其中，為核函數(shù)中心，為函數(shù)的寬度參數(shù)，控制了函數(shù)的徑向作用范圍。高斯函數(shù)是單值函數(shù)。這說明，高斯濾波器用像素鄰域的加權(quán)均值來代替該點(diǎn)的像素值，而每一鄰域像素點(diǎn)權(quán)值是隨該點(diǎn)與中心點(diǎn)的距離單調(diào)增減的。這一性質(zhì)是很重要的，因?yàn)檫吘壥且环N圖像局部特征，如果平滑運(yùn)算對離算子中心很遠(yuǎn)的像素點(diǎn)仍然有很大作用，那么平滑運(yùn)算會使圖像失真。

引言相關(guān)工作本文算法算法效果12.寬高斯核

引言相關(guān)工作本文算法算法效果13.文中所用

引言相關(guān)工作本文算法算法效果14.

引言相關(guān)工作本文算法算法效果Landmarks樣本庫Multi-PIEdataset（320*240，包含年齡，姿勢，表情的變化）1.289個人的2184張正面人臉圖像2.60個人的283張30度角的人臉圖像1).一個標(biāo)記關(guān)鍵點(diǎn)的文件；2).twolabels:一個標(biāo)記姿勢,一個標(biāo)記是否存在眼鏡（手動標(biāo)記）。

twolabels用來限制搜索區(qū)域每張人臉圖像對應(yīng):15.

引言相關(guān)工作本文算法算法效果（2）1.面部器官的梯度圖〔GradientMapsforFacialComponents〕1.1樣本圖像配準(zhǔn)〔Alighingexemplarimages〕：樣本圖像中標(biāo)記器官的n個關(guān)鍵點(diǎn)。：中標(biāo)記器官的n個關(guān)鍵點(diǎn)，由LR圖像雙立方插值得到。：非反射對稱變換。Note:16.

引言相關(guān)工作本文算法算法效果（3）：針對某一特定器官（如鼻子，嘴巴，眼睛對，眉毛對等）的HR樣本圖像集。1.2樣本圖像確定〔Determiningexemplarimages〕*通過比較和來確定器官的最佳匹配樣本圖像。1.3變換各器官的梯度圖〔Transferringgradientsofcomponents〕最佳匹配的LR樣本圖像相應(yīng)的HR原圖像每個器官的梯度圖組合起來17.

引言相關(guān)工作本文算法算法效果（4）Note:：HR掩模圖，當(dāng)像素值屬于器官，其值為1，否則，為0：通過公式（3），對降采樣得到：梯度圖：梯度圖:由器官和眼鏡標(biāo)識確定

如果某個器官（比如眼睛對）有眼鏡遮擋，就可以通過眼鏡標(biāo)識排除那些不戴眼睛的樣本圖像。1.218.

引言相關(guān)工作本文算法算法效果不同的器官來自不同的人的樣本圖像Note:19.

引言相關(guān)工作本文算法算法效果（5）：方向：以像素為中心的圖像塊：像素的方向上的鄰近塊：一個參數(shù)2.1方向保持下采樣〔Direction-preservingupsampling〕2.面部輪廓的梯度圖〔GradientMapsforFacialContours〕已有算法是基于插值后圖像產(chǎn)生邊緣，這樣產(chǎn)生的邊緣會出現(xiàn)缺口〔jaggy〕，而本文通過學(xué)習(xí)統(tǒng)計(jì)先驗(yàn)保存圖像邊緣結(jié)構(gòu)，恢復(fù)邊緣銳度。針對中的每一個像素，計(jì)算其方向相似度（thedirectionalsimilarity）：20.

引言相關(guān)工作本文算法算法效果（6）：由計(jì)算得到的方向上的相似性圖：由LR圖像雙線性插值得到的HR圖像從到，并不改變相應(yīng)的梯度幅度，因此，保留了方向的相似性。求方向保持的HR圖像21.

引言相關(guān)工作本文算法算法效果方向保持下采樣圖像的邊緣雖然clear，smooth，但不夠sharp，需要恢復(fù)邊緣銳度。22.

引言相關(guān)工作本文算法算法效果（7）2.2學(xué)習(xí)邊緣銳度的統(tǒng)計(jì)先驗(yàn)〔Learningstatisticalpriorsforedgesharpness〕針對的每個像素，提取特征集合標(biāo)記邊緣中心點(diǎn)給定一個HR樣本圖像，經(jīng)Eq.(3)和Eq.(6)得到,：的梯度幅度：在法線的兩個相反方向上，與相鄰的兩個像素。：訓(xùn)練圖像的梯度圖的幅度23.

引言相關(guān)工作本文算法算法效果建立查詢表〔lookuptable〕2.3生成梯度圖〔Generatinggradientmaps〕（8）：的梯度圖：面部輪廓梯度圖24.

引言相關(guān)工作本文算法算法效果邊緣銳度恢復(fù)25.

引言相關(guān)工作本文算法算法效果3.平滑區(qū)的梯度圖（GradientMapsforSmoothRegions）利用公式，從匹配的數(shù)據(jù)集中產(chǎn)生LR樣本圖像集。[1]C.Barnes,E.Shechtman,D.B.Goldman,andA.Finkelstein.Thegeneralizedpatchmatchcorrespondencealgorithm.InECCV,2021.利用塊匹配方法[1]尋找最相似LR樣本塊，減少計(jì)算量。[2]M.IraniandS.Peleg.Improvingresolutionbyimageregistration.CVGIP,53(3):231–239,1991.LR塊HR塊后向投影算法[2]HR梯度圖對應(yīng)26.

引言相關(guān)工作本文算法算法效果（9）4.整合梯度圖〔IntergratingGradientMaps〕：所有HR掩模圖