第12組題_圖像超分辨率_第七組匯報(bào)

1、圖像(t xin)超分辨率技術(shù)Image SuperResolution小組(xioz)成員： 20132112 任萬(wàn)盛 20132216 周子軒共十六頁(yè) 圖像超分辨率是指由一幅低分辨率圖像或圖像序列恢復(fù)出高分辨率圖像。 圖像超分辨率技術(shù)分為超分辨率復(fù)原和超分辨率重建(zhn jin)。 目前， 圖像超分辨率研究可分為 3個(gè)主要范疇: 基于插值、 基于重建和基于學(xué)習(xí)的方法.概述(i sh)共十六頁(yè) 圖像(t xin)超分辨率示意圖共十六頁(yè)基于插值的超分辨率技術(shù)： 基于多幀圖像插值技術(shù)的方法是超分辨率研究中最直觀的方法。這類方法首先估計(jì)各幀圖像之間的相對(duì)運(yùn)動(dòng)信息，獲得HR圖像在非均勻間距采樣點(diǎn)上

2、的像素(xin s)值，接著通過(guò)非均勻插值得到HR柵格上的像素值，最后采用圖像恢復(fù)技術(shù)來(lái)去除模糊和降低噪聲。典型的方法包括：Rajan和Chaudhuri通過(guò)分解、插值和融合3個(gè)步驟實(shí)現(xiàn)的通用插值方法；TAOHJ等提出的小波域的雙線性插值；Lertrattanapanich和Bose提出的使用基于光滑性約束的Delaunay三角化插值算法等。這類方法的優(yōu)點(diǎn)是算法快速易行，適合并行計(jì)算，基本可以滿足實(shí)時(shí)要求，但因?yàn)椴荒芤腩~外有用的高頻信息，因而很難在SR圖像中得到銳化的效果，同時(shí)，也沒(méi)有考慮到LR圖像的像素值并不是HR圖像的理想采樣值，而是對(duì)HR圖像像素值的空間平均和卷積效應(yīng)這一事實(shí)。共十六頁(yè)

3、理想(lxing)插值最近鄰插值四點(diǎn)三次插值六點(diǎn)雙三次插值共十六頁(yè)基于重建的超分辨率技術(shù)： 基于重建的超分辨率方法的基礎(chǔ)是均衡及非均衡采樣定理。它假設(shè)低分辨率的輸入采樣信號(hào)(圖像) 能很好地預(yù)估出原始的高分辨率信號(hào)(圖像)。絕大多數(shù)超分辨率算法都屬于這一類，其中主要包括頻域法和空域法。 頻率域方法是圖像超分辨率重建中一類重要方法，其中最主要的是消混疊重建方法。消混疊重建方法是通過(guò)解混疊而改善圖像的空間分辨率實(shí)現(xiàn)超分辨率復(fù)原，最早的研究工作是由 Tsai 和 Huang在 1984 年進(jìn)行的。在原始場(chǎng)景信號(hào)帶寬有限的假設(shè)下，利用離散傅立葉變換和連續(xù)傅立葉變換之間的平移、混疊性質(zhì)，給出了一個(gè)由一系

4、列欠采樣觀察(gunch)圖像數(shù)據(jù)復(fù)原高分辨率圖像的公式。多幅觀察(gunch)圖像經(jīng)混頻而得到的離散傅立葉變換系數(shù)與未知場(chǎng)景的連續(xù)傅立葉變換系數(shù)以方程組的形式聯(lián)系起來(lái)，方程組的解就是原始圖像的頻率域系數(shù)，再對(duì)頻率域系數(shù)進(jìn)行傅立葉逆變換就可以實(shí)現(xiàn)原始圖像的準(zhǔn)確復(fù)原。共十六頁(yè) 在空域類方法中，其線性空域觀測(cè)模型涉及全局和局部運(yùn)動(dòng)、光學(xué)模糊、幀內(nèi)運(yùn)動(dòng)模糊、空間可變點(diǎn)擴(kuò)散函數(shù)、非理想采樣等內(nèi)容?？沼蚍椒ň哂泻軓?qiáng)的包含空域先驗(yàn)約束的能力(nngl)，主要包括非均勻空間樣本內(nèi)插、迭代反投影方法、凸集投影法、最大后驗(yàn)概率以及混合 MAP/ POCS 方法、最優(yōu)和自適應(yīng)濾波方法、確定性重建方法等。共十六頁(yè)頻

5、域方法通過(guò)在頻率域消除頻譜而改善圖像的空間分辨率?；诟道锶~變換的移位(y wi)特性； (Tsai andHuang)考慮光學(xué)系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)和噪聲的影響；（Tekalp）估計(jì)幀間整體平移參數(shù)的解算方法；(Kaltenbacker and Hardie)用遞歸最小二乘對(duì)對(duì)Tsai公式中的混疊矩陣進(jìn)行求解。由于頻率域方法只能應(yīng)用于全局平移和線性空間不變降質(zhì)模型，并且它對(duì)空間域先驗(yàn)的能力不足，缺少靈活性，所以目前這類方法已經(jīng)不再是研究的熱點(diǎn)。共十六頁(yè)空域方法非均勻樣本內(nèi)插法（Non-uniform interpolation）；迭代反投影方法（Iterative Back Projection

6、, IBP）;凸影投影法（Projection onto Convex Set, POCS）;最大后驗(yàn)概率估計(jì)（Maximum a Posteriori ,MAP）;混合Map/POCS方法；自適應(yīng)(shyng)濾波方法；共十六頁(yè)基于學(xué)習(xí)的超分辨率技術(shù) 基于學(xué)習(xí)的方法是近年來(lái)超分辨率算法研究中的熱點(diǎn)，它采用大量的高分辨率圖像構(gòu)造學(xué)習(xí)庫(kù)產(chǎn)生學(xué)習(xí)模型，在對(duì)低分辨率圖像進(jìn)行恢復(fù)的過(guò)程中引入由學(xué)習(xí)模型獲得(hud)的先驗(yàn)知識(shí)，以得到圖像的高頻細(xì)節(jié)，獲得(hud)較好的圖像恢復(fù)效果。 基于學(xué)習(xí)的超分辨率方法中關(guān)鍵是建立學(xué)習(xí)模型，獲得先驗(yàn)知識(shí)。常用的學(xué)習(xí)模型有馬爾科夫隨機(jī)場(chǎng)模型、圖像金字塔模型、神經(jīng)網(wǎng)絡(luò)模

7、型、主成分分析模型等。基于學(xué)習(xí)的方法充分利用了圖像本身的先驗(yàn)知識(shí)，在不增加輸入圖像樣本數(shù)量的情況下仍能產(chǎn)生高頻細(xì)節(jié)，獲得比基于重建方法更好的復(fù)原結(jié)果，并能較好的應(yīng)用于人臉和文字等圖像的復(fù)原。共十六頁(yè)具體步驟為：（1）將高分辨率圖像按照降質(zhì)模型進(jìn)行降質(zhì)，產(chǎn)生(chnshng)訓(xùn)練集。（2）根據(jù)高分辨率圖像的低頻部分和高頻部分對(duì)應(yīng)關(guān)系對(duì)圖像分塊，通過(guò)一定算法進(jìn)行學(xué)習(xí)，獲得先驗(yàn)知識(shí)，建立學(xué)習(xí)模型。（3）以輸入的低分辨率塊為依據(jù)，在建立好的訓(xùn)練集中搜索最匹配的高頻塊。共十六頁(yè)(1)生物醫(yī)學(xué)成像: 核磁共振成像等；(2)衛(wèi)星成像：遙感、遙測(cè)、軍事(jnsh)偵察等；(3)視頻監(jiān)控(4)視頻格式轉(zhuǎn)換(5)

8、視頻增強(qiáng)和復(fù)原：老舊電影的翻制等；(6)顯微成像、虛擬現(xiàn)實(shí)等超分辨率重建技術(shù)(jsh)應(yīng)用共十六頁(yè)存在(cnzi)的問(wèn)題 目前，圖像超分辨率重建的研究比較成熟，但距離實(shí)用還有較大差距。未來(lái)研究方向主要集中在以下幾個(gè)方面： 發(fā)展和尋求新的退化模型，使成像模型更加精確和全面，實(shí)現(xiàn)對(duì)點(diǎn)擴(kuò)散函數(shù)和噪聲的精確估計(jì)。圖像超分辨率增強(qiáng)的成功依賴于準(zhǔn)確的、符合實(shí)際成像系統(tǒng)特性和成像條件的降模型，而要獲得符合實(shí)際成像過(guò)程的降質(zhì)模型是十分困難的，通常采用簡(jiǎn)單、確定的降質(zhì)模型進(jìn)行近似，這樣的近似模型與實(shí)際成像過(guò)程差距較大。 壓縮域的超分辨率重建。傳統(tǒng)的超分辨率算法都是針對(duì)圖像序列，而實(shí)際中最常見(jiàn)的圖像序列是視頻文件

9、。因而下一步的工作可以針對(duì)不同的視頻壓縮格式和編解碼技術(shù)，在超分辨率算法中綜合考慮成像模型和壓縮算法帶來(lái)的圖像降質(zhì)效果，以及運(yùn)動(dòng)補(bǔ)償(bchng)和編碼傳輸機(jī)制，實(shí)現(xiàn)壓縮域的超分辨率重建。共十六頁(yè) 效率和魯棒性問(wèn)題。目前的超分辨率算法具有很高的計(jì)算復(fù)雜度，如何減少計(jì)算量，提高算法速度，是下一步值得研究問(wèn)題。同時(shí)，在目前很多算法中都做了各種假設(shè)，如照度變等，這在實(shí)際應(yīng)用中是很難滿足的，因此需要研究穩(wěn)健的算法滿足實(shí)際應(yīng)用的需要。 模糊圖像和三維圖像的超分辨率研究。模糊一直是圖像處理中的一個(gè)難點(diǎn)，如何對(duì)模糊圖像進(jìn)行超分辨率需要進(jìn)一步研究。目前針對(duì)三維圖像的超分辨率研究還很少，如何對(duì)三維圖像進(jìn)行建模也是一個(gè)值得研究的課題。 超分辨率客觀評(píng)價(jià)標(biāo)準(zhǔn)研究。目前對(duì)于圖像超分辨率結(jié)果主要依靠人的主觀評(píng)價(jià)，缺少一種客觀的評(píng)價(jià)標(biāo)準(zhǔn)，現(xiàn)有的PSNR、MSE等并不能很好的反映超分辨率效果(xiogu)，需要發(fā)展一種客觀的評(píng)價(jià)機(jī)制。共十六頁(yè) 謝 謝 ！共十六頁(yè)內(nèi)容摘要圖像超分辨率技術(shù)。TAOHJ等提出的小波域的雙線性插值。Lertrattanapanich和Bose提出的使用基于光滑性約束的Delaunay三角化插值算法等。基于重建的超分辨率方法的基礎(chǔ)是均衡