發(fā)明專(zhuān)利-樣稿

1、說(shuō) 明 書(shū) 摘 要本發(fā)明涉及一種圖像修復(fù)方法，本發(fā)明首先將目標(biāo)圖像進(jìn)行方向經(jīng)驗(yàn)?zāi)Ｐ头纸猓⒃试S根據(jù)已有信息繪制給定待修復(fù)區(qū)域內(nèi)已破壞的邊結(jié)構(gòu)信息，利用方向經(jīng)驗(yàn)?zāi)Ｐ头纸獾玫降念l率特征值計(jì)算相似度先行完成整個(gè)受損區(qū)域內(nèi)的邊結(jié)構(gòu)修復(fù)，然后再根據(jù)待修復(fù)區(qū)域邊界上像素點(diǎn)的梯度特征結(jié)合置信度計(jì)算剩余填充區(qū)域的優(yōu)先級(jí)，并再次利用分解得到的頻率特征值計(jì)算相似度完成對(duì)應(yīng)區(qū)域的修復(fù)。本發(fā)明的方法不僅能夠修復(fù)較大尺度缺損區(qū)域中的結(jié)構(gòu)和紋理信息，還能夠修復(fù)具有一定遮擋關(guān)系的圖像。修復(fù)過(guò)程魯棒性高，有效地防止了錯(cuò)誤信息的連續(xù)擴(kuò)展。摘 要 附 圖選擇待修復(fù)區(qū)域?qū)Υ迯?fù)圖像進(jìn)行方向經(jīng)驗(yàn)?zāi)Ｐ头纸飧鶕?jù)已有信息修復(fù)待修復(fù)區(qū)域中已

2、破壞的邊緣結(jié)構(gòu)利用梯度結(jié)合置信度選擇剩余區(qū)域優(yōu)先級(jí)最高塊作為臨時(shí)待填充目標(biāo)樣本塊在已知區(qū)域利用方向經(jīng)驗(yàn)?zāi)Ｐ头纸獾玫降念l率特征值計(jì)算相似度搜索相似度最高的源樣本塊完成當(dāng)前目標(biāo)樣本塊修復(fù)用相關(guān)性搜索策略完成其它級(jí)圖像對(duì)應(yīng)位置修復(fù)置信度是否都為1更新各級(jí)圖像邊界像素的置信度結(jié)束否是權(quán) 利 要 求 書(shū)1、一種圖像修復(fù)方法，其特征在于，包括以下步驟：步驟一，對(duì)于給定的圖像f (x, y)，選擇待修復(fù)區(qū)域，其中x，y表示像素點(diǎn)的坐標(biāo)值；步驟二，利用方向經(jīng)驗(yàn)?zāi)Ｐ蛯?duì)給定的圖像f (x, y)進(jìn)行分解，得到三級(jí)以上圖像；步驟三，根據(jù)已有信息修復(fù)每級(jí)分解所得圖像的待修復(fù)區(qū)域中已破壞的邊緣結(jié)構(gòu)；步驟四，自動(dòng)修復(fù)各級(jí)

3、圖像，以每級(jí)分解圖像的邊界上優(yōu)先級(jí)最高的目標(biāo)樣本塊作為一次迭代填充單位，重復(fù)以下步驟，直到填滿(mǎn)各級(jí)圖像被修復(fù)區(qū)域內(nèi)的所有像素：步驟（1），利用梯度值、置信度計(jì)算各級(jí)圖像邊界區(qū)域的優(yōu)先級(jí)，步驟（2），根據(jù)優(yōu)先級(jí)、相似度和相關(guān)性搜索策略確定本次各級(jí)圖像填充的目標(biāo)樣本塊，完成對(duì)應(yīng)區(qū)域的修復(fù)，步驟（3），更新本次迭代處理后的各級(jí)圖像邊界區(qū)域像素的置信度；其中，梯度值，其中，N表示像素的鄰域面積，大小與待修復(fù)的目標(biāo)樣本塊和源樣本塊為的大小相同，表示N中所含像素個(gè)數(shù)；置信度，其中，為原圖像，為待修復(fù)區(qū)域，當(dāng)像素，點(diǎn)處的置信度初始化為0，否則初始化為1；對(duì)于給定中心位置在處的目標(biāo)樣本塊，待修復(fù)區(qū)域的邊界為，

4、其優(yōu)先級(jí)，其中，表示待修復(fù)的目標(biāo)樣本塊中所含像素個(gè)數(shù)，為梯度值。2、根據(jù)權(quán)利要求1所述的一種圖像修復(fù)方法，其特征在于，步驟二中，采用方向經(jīng)驗(yàn)?zāi)Ｐ蛯D像f (x, y)分解為：，其中，為進(jìn)行方向經(jīng)驗(yàn)?zāi)Ｐ头纸獾姆较颍菍?duì)應(yīng)于方向的二維各級(jí)圖像，對(duì)應(yīng)于方向的殘余圖像。3、根據(jù)權(quán)利要求1所述的一種圖像修復(fù)方法，其特征在于，步驟三中根據(jù)已有信息修復(fù)每級(jí)分解所得圖像的待修復(fù)區(qū)域中已破壞的邊緣結(jié)構(gòu)，具體為：根據(jù)已有信息指定待修復(fù)區(qū)域中已破壞的邊結(jié)構(gòu)信息，并利用方向經(jīng)驗(yàn)?zāi)Ｐ头纸獾玫降念l率特征值修復(fù)選定的邊緣結(jié)構(gòu)，沿已知區(qū)域的已有邊界繪制相應(yīng)的曲線(xiàn)，表示出完整的結(jié)構(gòu)信息；在進(jìn)行修復(fù)時(shí)，在各級(jí)圖像中首先沿繪制曲線(xiàn)

5、順序進(jìn)行修復(fù)，第一個(gè)待修復(fù)的目標(biāo)樣本塊為按照繪制順序繪制的第一條曲線(xiàn)與待修復(fù)區(qū)域的交界位置；對(duì)應(yīng)的搜索匹配空間為在已知區(qū)域繪制的曲線(xiàn)上，并利用當(dāng)前級(jí)圖像中目標(biāo)樣本塊與源樣本塊的相似度在定義的搜索匹配空間中搜索與其匹配的源樣本塊，直到邊緣結(jié)構(gòu)完全修復(fù)；對(duì)于圖像中每個(gè)像素點(diǎn)(x,y)的三個(gè)頻率特征值計(jì)算公式為：，其中：，imfiH (x, y)為第i級(jí)圖像imfi (x, y)對(duì)應(yīng)于方向的2D Hilbert變換；k =1對(duì)應(yīng)方向，k =2對(duì)應(yīng)+90方向。4、根據(jù)權(quán)利要求3所述的一種圖像修復(fù)方法，其特征在于，步驟四的步驟（2）中，填充過(guò)程如下：步驟(41) 在待修復(fù)圖像中，利用梯度值、置信度確定剩

6、余目標(biāo)樣本塊的填充優(yōu)先級(jí)，選取優(yōu)先級(jí)最高的塊作為當(dāng)前待修復(fù)的目標(biāo)樣本塊；步驟(42) 在圖像中待修復(fù)區(qū)域外的部分，利用方向經(jīng)驗(yàn)?zāi)Ｐ头纸獾玫降念l率特征值，在對(duì)應(yīng)級(jí)圖像的圖像中待修復(fù)區(qū)域外的部分中搜索具有最高相似性的源樣本塊進(jìn)行復(fù)制，完成當(dāng)前目標(biāo)區(qū)域的修復(fù)；步驟(43) 對(duì)于其它級(jí)圖像的修復(fù)，利用相關(guān)性搜索策略完成對(duì)應(yīng)的修復(fù)；步驟(44) 更新本次迭代處理后的各級(jí)圖像邊界區(qū)域像素的置信度為1，重復(fù)以上步驟，直到完成各級(jí)圖像的修復(fù)。5、根據(jù)權(quán)利要求4所述的一種圖像修復(fù)方法，其特征在于，所述相關(guān)性搜索策略包括以下步驟：初始化：Imf (i) 和Imf (i-1)為相鄰兩級(jí)待修復(fù)圖像，Imf (i-1)

7、為已經(jīng)修復(fù)完畢的圖像，Imf (i)為當(dāng)前待修復(fù)圖像；步驟（51），采用優(yōu)先級(jí)計(jì)算方法計(jì)算圖像Imf (i)邊界區(qū)域的優(yōu)先級(jí)，選取具有最高填充優(yōu)先級(jí)的目標(biāo)樣本塊為當(dāng)前待填充塊，其中心點(diǎn)，為當(dāng)前待填充區(qū)域的邊界；步驟（52），在其上一級(jí)已修復(fù)完畢的IMF圖像Imf (i-1)中的尋找對(duì)應(yīng)位置，從對(duì)應(yīng)的已知區(qū)域中通過(guò)頻率特征值的相似度計(jì)算搜索與目標(biāo)樣本塊匹配的小于閾值的一些源樣本塊，并構(gòu)造一個(gè)集合；步驟（53），在Imf (i)圖像中尋找與步驟（52）中構(gòu)造集合對(duì)應(yīng)的源樣本塊，并通過(guò)頻率特征值的相似度計(jì)算，求得最為匹配的源樣本塊；步驟（54），重復(fù)步驟（51）至步驟（51）直到完成該級(jí)圖像Imf

8、(i)的修復(fù)后結(jié)束。6、根據(jù)權(quán)利要求3或5所述的一種圖像修復(fù)方法，其特征在于，所述當(dāng)前級(jí)圖像中目標(biāo)樣本塊與源樣本塊的相似度計(jì)算公式為：，其中，指第i級(jí)圖像中的目標(biāo)樣本塊，指對(duì)應(yīng)合成的第i級(jí)圖像中的源樣本塊，N指圖像塊在已知區(qū)域所占像素個(gè)數(shù)，和指的是對(duì)應(yīng)區(qū)域中第j個(gè)像素的頻率特征值。- 4 -說(shuō) 明 書(shū)一種圖像修復(fù)方法技術(shù)領(lǐng)域本發(fā)明涉及一種圖像修復(fù)方法，屬于計(jì)算機(jī)圖像處理和計(jì)算機(jī)圖形學(xué)領(lǐng)域，具體說(shuō)是一種圖像修復(fù)算法。背景技術(shù)圖像修復(fù)可以用來(lái)解決對(duì)破損的畫(huà)作、照片等影像資料進(jìn)行修復(fù)；可以用來(lái)去除圖像或視頻中的某些特定目標(biāo)；可以用來(lái)完成在數(shù)字圖像或視頻的獲取、處理、傳輸和解壓縮過(guò)程中因信息丟失所留下

9、的信息缺損區(qū)的修復(fù)；還可以用于進(jìn)行超分辨率和高光去除等技術(shù)的研究。這項(xiàng)技術(shù)涉及圖像處理，計(jì)算機(jī)視覺(jué)，圖形學(xué)，模式識(shí)別，人工智能，機(jī)器學(xué)習(xí)等多個(gè)領(lǐng)域的技術(shù)。近年來(lái)，在圖像和視頻修復(fù)方面，國(guó)內(nèi)外的研究者從不同的研究角度出發(fā)提出了很多卓有成效的方法，根據(jù)出發(fā)點(diǎn)的不同，概括起來(lái)，其中代表性的方法大致可以分為三類(lèi)：一類(lèi)是基于偏微分方程(Partial Differential Equation, PDE)的修復(fù)方法，如文獻(xiàn)1：M. Bertalmio, G. Sapiro, V. Caselles, et al. Image inpainting. Proceedings of ACM SIGGRAPH

10、. 2000, 417-424.和文獻(xiàn)2：T. F. Chan and J. Shen, Variational image inpainting. Communications on Pure and Applied Mathematics. 2005, 58(5): 579-619.介紹的，該類(lèi)方法適用于修復(fù)圖像或視頻中小尺度缺損；另一類(lèi)是基于紋理合成(Texture Synthesis)的修復(fù)方法，如文獻(xiàn)3：A. Criminisi, P. Prez, K. Toyama. Region filling and object removal by exemplar-based image

11、 inpainting. IEEE Transactions on Image Processing. 2004, 13(9): 1200-1212.和文獻(xiàn)4：J. Sun, L. Yuan, J. Jia, et al. Image completion with structure propagation. ACM Transactions on Graphics. July 2005, 24(3): 861-868.介紹的，該類(lèi)方法適用于修復(fù)圖像或視頻中大尺度缺損；還有一類(lèi)是基于圖像分解的修復(fù)技術(shù)，如文獻(xiàn)5：M. Bertalmio, L. Vese, G. Sapiro, et al.

12、 Simultaneous structure and texture image inpainting. IEEE Transactions on Image Processing. 2003, 12(8): 882-889和文獻(xiàn)6：P. Perez, M. Gangnet, A. Blake. Poisson image editing. Proceedings of ACM SIGGRAPH. 2003, 313-318.介紹的，該類(lèi)方法將上述兩種方法進(jìn)行結(jié)合，但由于受基于偏微分方程的修復(fù)方法的限制比較大，所以也不適合修復(fù)圖像或視頻中的大尺度缺損。偏微分方程在圖像處理領(lǐng)域的研究始于上世紀(jì)

13、六、七十年代，最早用于圖像去噪方面的研究。到上世紀(jì)九十年代，偏微分方程在圖像處理理論上有了較大的發(fā)展，并結(jié)合其它的數(shù)學(xué)工具，如形態(tài)學(xué)、仿射幾何、逼近論等，形成了較完整的理論體系?；谄⒎址匠痰膱D像處理方法具有很好的數(shù)學(xué)基礎(chǔ)，深入的理論背景，算法穩(wěn)定性也較高。早期的圖像修復(fù)技術(shù)多數(shù)都是基于PDE來(lái)完成的，這類(lèi)算法的主要思想是利用偏微分方程來(lái)做圖像的修復(fù)，它對(duì)待修復(fù)區(qū)域沒(méi)有拓?fù)湎拗?，而且插值由合適的PDE數(shù)值格式自動(dòng)來(lái)完成。通過(guò)數(shù)值方法來(lái)求解偏微分方程，計(jì)算出要填補(bǔ)的空洞處的線(xiàn)性結(jié)構(gòu)，然后通過(guò)擴(kuò)散過(guò)程把周?chē)念伾钊肟斩?，達(dá)到修復(fù)的效果?？傮w來(lái)說(shuō)基于偏微分方程的數(shù)字修復(fù)算法往往是假設(shè)圖像是光滑的

14、，通過(guò)擬合函數(shù)計(jì)算采樣得到破損區(qū)域處的顏色值，由于PDE模型中隱含著圖像要求滿(mǎn)足某種正則化條件的假設(shè)，所以該方法只適合于非紋理圖像或低紋理圖像的修復(fù)，整體而言，PDE數(shù)字修復(fù)算法求解比較復(fù)雜，計(jì)算速度慢，適合于修復(fù)比較小的裂紋、劃痕等，但對(duì)紋理或結(jié)構(gòu)較復(fù)雜的區(qū)域修復(fù)效果不好，會(huì)產(chǎn)生一定的模糊效果，修復(fù)的區(qū)域越大模糊作用范圍就越大。與基于偏微分方程的方法相比，基于紋理合成的修復(fù)方法是一種有效的對(duì)圖像修復(fù)的方法，特別是對(duì)于修復(fù)區(qū)域較大的紋理圖像修復(fù)效果更為顯著，而且不會(huì)使修復(fù)區(qū)域中間產(chǎn)生模糊。紋理合成的宗旨是根據(jù)已知的樣本圖像，生成一個(gè)新的紋理圖像，并且新生成的紋理圖像并不能是原樣本紋理簡(jiǎn)單的復(fù)制

15、，但要與樣本紋理在視覺(jué)上具有相似的效果。數(shù)字修復(fù)是對(duì)圖像或視頻指定區(qū)域內(nèi)的缺損信息進(jìn)行估計(jì)的一個(gè)過(guò)程，其目的也是要得到與待修復(fù)區(qū)域周?chē)畔⒃谝曈X(jué)上比較連續(xù)或相似的圖像信息。因而將紋理合成技術(shù)進(jìn)行擴(kuò)展用于數(shù)字修復(fù)方面具有一定的可行性。圖像修復(fù)與紋理合成的相似點(diǎn)在于它們都是根據(jù)已經(jīng)有的圖像信息生成新的圖像信息，并需要對(duì)已有的圖像進(jìn)行采樣分析，新生成的圖像都需要保持和已有圖像的相似性。它們的區(qū)別在于，首先，在紋理合成過(guò)程中，存在固定的樣本紋理，它根據(jù)樣本紋理生成新的紋理，但在圖像修復(fù)過(guò)程中，不存在樣本紋理，只能使用待修復(fù)圖像區(qū)域周?chē)囊阎獔D像作為樣本紋理來(lái)完成修復(fù)；其次，在紋理合成過(guò)程中，需要合成的

16、是一幅完整的紋理圖像，但在圖像修復(fù)過(guò)程中，只需合成待修復(fù)區(qū)域內(nèi)的圖像，這就需要考慮待修復(fù)區(qū)域的邊界情況；另外，在合成隨機(jī)紋理時(shí)，不需要考慮圖像的結(jié)構(gòu)信息，在合成規(guī)則或半規(guī)則的結(jié)構(gòu)紋理時(shí)，可直接利用紋理的結(jié)構(gòu)相似性，提取其中的結(jié)構(gòu)單元進(jìn)行紋理合成，而在圖像修復(fù)中，只能根據(jù)待修復(fù)區(qū)域邊界上的圖像結(jié)構(gòu)信息推測(cè)其內(nèi)部的結(jié)構(gòu)信息，修復(fù)圖像的結(jié)構(gòu)信息要比紋理合成中保持紋理的結(jié)構(gòu)信息難得多?？傮w來(lái)說(shuō)基于紋理合成的數(shù)字修復(fù)算法一般都通過(guò)在待修復(fù)區(qū)域邊界確定當(dāng)前待修復(fù)的圖像塊，然后利用相似函數(shù)，在已知圖像區(qū)域搜索匹配的源圖像塊，完成圖像未知部分的修復(fù)。由于許多自然圖像中都含有豐富的紋理信息，若是待修復(fù)區(qū)域內(nèi)沒(méi)有

17、太復(fù)雜的圖像邊緣結(jié)構(gòu)，這類(lèi)算法的修復(fù)效果一般都比較好，相對(duì)于基于偏微分的修復(fù)算法，基于紋理合成的修復(fù)算法簡(jiǎn)單，速度較快，能夠修復(fù)大面積的圖像區(qū)域。缺點(diǎn)是只適用于修復(fù)簡(jiǎn)單的線(xiàn)型結(jié)構(gòu)，對(duì)其它復(fù)雜結(jié)構(gòu)修復(fù)效果比較差。針對(duì)基于偏微分方程的修復(fù)方法對(duì)圖像的結(jié)構(gòu)信息修復(fù)效果較好，同時(shí)基于紋理合成的修復(fù)方法對(duì)圖像紋理細(xì)節(jié)信息修復(fù)效果較好的事實(shí)，近年來(lái)研究者試圖將兩種方法結(jié)合起來(lái)，提出了基于圖像分解的修復(fù)方法，分別修復(fù)圖像結(jié)構(gòu)和紋理細(xì)節(jié)。該類(lèi)算法的關(guān)鍵在于圖像分解，也就是要將圖像分解為兩部分再進(jìn)行分別修復(fù)：一部分體現(xiàn)圖像的結(jié)構(gòu)信息，并用基于偏微分方程的修復(fù)方法完成對(duì)應(yīng)的修復(fù)，另一部分提供圖像的紋理信息，并用基

18、于紋理合成的修復(fù)方法來(lái)完成對(duì)應(yīng)的修復(fù)，最后合并兩方面的修復(fù)結(jié)果得到最后的修復(fù)好的圖像。這些算法都對(duì)圖像修復(fù)取得了相當(dāng)不錯(cuò)的效果，但是由于現(xiàn)有方法受基于偏微分方程修復(fù)方法的限制比較大，所以這類(lèi)算法也不太適用于對(duì)較大面積圖像區(qū)域的修復(fù)。基于圖像分解的修復(fù)算法的修復(fù)效果很大程度上依賴(lài)于圖像分解技術(shù)、圖像結(jié)構(gòu)的修復(fù)技術(shù)和紋理合成技術(shù)的選取。發(fā)明內(nèi)容發(fā)明目的：本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種魯棒高效、修復(fù)效果好的圖像修復(fù)方法。技術(shù)方案：本發(fā)明公開(kāi)了一種圖像修復(fù)方法，包括以下步驟：步驟一，對(duì)于給定的圖像f (x, y)，選擇待修復(fù)區(qū)域，其中x，y表示像素點(diǎn)的坐標(biāo)值；步驟二，利用方向經(jīng)

19、驗(yàn)?zāi)Ｐ蛯?duì)給定的圖像f (x, y)進(jìn)行分解，得到三級(jí)以上圖像；步驟三，根據(jù)已有信息修復(fù)每級(jí)分解所得圖像的待修復(fù)區(qū)域中已破壞的邊緣結(jié)構(gòu)；步驟四，自動(dòng)修復(fù)各級(jí)圖像，以每級(jí)分解圖像的邊界上優(yōu)先級(jí)最高的目標(biāo)樣本塊作為一次迭代填充單位，重復(fù)以下步驟，直到填滿(mǎn)各級(jí)圖像被修復(fù)區(qū)域內(nèi)的所有像素：步驟（1），利用梯度值、置信度計(jì)算各級(jí)圖像邊界區(qū)域的優(yōu)先級(jí)，步驟（2），根據(jù)優(yōu)先級(jí)、相似度和相關(guān)性搜索策略確定本次各級(jí)圖像填充的目標(biāo)樣本塊，完成對(duì)應(yīng)區(qū)域的修復(fù)，步驟（3），更新本次迭代處理后的各級(jí)圖像邊界區(qū)域像素的置信度；其中，梯度值，其中，N表示像素的鄰域面積，大小與待修復(fù)的目標(biāo)樣本塊和源樣本塊為的大小相同，表示N中

20、所含像素個(gè)數(shù)；置信度，其中，為原圖像，為待修復(fù)區(qū)域，當(dāng)像素，點(diǎn)處的置信度初始化為0，否則初始化為1；對(duì)于給定中心位置在處的目標(biāo)樣本塊，待修復(fù)區(qū)域的邊界為，其優(yōu)先級(jí)，其中，表示待修復(fù)的目標(biāo)樣本塊中所含像素個(gè)數(shù)，為梯度值。本發(fā)明步驟二中，采用方向經(jīng)驗(yàn)?zāi)Ｐ蛯D像f (x, y)分解為：，其中，為進(jìn)行方向經(jīng)驗(yàn)?zāi)Ｐ头纸獾姆较?，是?duì)應(yīng)于方向的二維各級(jí)圖像，對(duì)應(yīng)于方向的殘余圖像。本發(fā)明步驟三中根據(jù)已有信息修復(fù)每級(jí)分解所得圖像的待修復(fù)區(qū)域中已破壞的邊緣結(jié)構(gòu)，具體為：根據(jù)已有信息指定待修復(fù)區(qū)域中已破壞的邊結(jié)構(gòu)信息，并利用方向經(jīng)驗(yàn)?zāi)Ｐ头纸獾玫降念l率特征值修復(fù)選定的邊緣結(jié)構(gòu)，沿已知區(qū)域的已有邊界繪制相應(yīng)的曲線(xiàn)，表示

21、出完整的結(jié)構(gòu)信息；在進(jìn)行修復(fù)時(shí)，在各級(jí)圖像中首先沿繪制曲線(xiàn)順序進(jìn)行修復(fù)，第一個(gè)待修復(fù)的目標(biāo)樣本塊為按照繪制順序繪制的第一條曲線(xiàn)與待修復(fù)區(qū)域的交界位置；對(duì)應(yīng)的搜索匹配空間為在已知區(qū)域繪制的曲線(xiàn)上，并利用當(dāng)前級(jí)圖像中目標(biāo)樣本塊與源樣本塊的相似度在定義的搜索匹配空間中搜索與其匹配的源樣本塊，直到邊緣結(jié)構(gòu)完全修復(fù)；對(duì)于圖像中每個(gè)像素點(diǎn)(x,y)的三個(gè)頻率特征值計(jì)算公式為：，其中：，imfiH (x, y)為第i級(jí)圖像imfi (x, y)對(duì)應(yīng)于方向的2D Hilbert變換；k =1對(duì)應(yīng)方向，k =2對(duì)應(yīng)+90方向。本發(fā)明步驟四的步驟（2）中，填充過(guò)程如下：步驟(41) 在待修復(fù)圖像中，利用梯度值、置

22、信度確定剩余目標(biāo)樣本塊的填充優(yōu)先級(jí)，選取優(yōu)先級(jí)最高的塊作為當(dāng)前待修復(fù)的目標(biāo)樣本塊；步驟(42) 在圖像中待修復(fù)區(qū)域外的部分，利用方向經(jīng)驗(yàn)?zāi)Ｐ头纸獾玫降念l率特征值，在對(duì)應(yīng)級(jí)圖像的圖像中待修復(fù)區(qū)域外的部分中搜索具有最高相似性的源樣本塊進(jìn)行復(fù)制，完成當(dāng)前目標(biāo)區(qū)域的修復(fù)；步驟(43) 對(duì)于其它級(jí)圖像的修復(fù)，利用相關(guān)性搜索策略完成對(duì)應(yīng)的修復(fù)；步驟(44) 更新本次迭代處理后的各級(jí)圖像邊界區(qū)域像素的置信度為1，重復(fù)以上步驟，直到完成各級(jí)圖像的修復(fù)。本發(fā)明所述相關(guān)性搜索策略包括以下步驟：初始化：Imf (i) 和Imf (i-1)為相鄰兩級(jí)待修復(fù)圖像，Imf (i-1)為已經(jīng)修復(fù)完畢的圖像，Imf (i)為

23、當(dāng)前待修復(fù)圖像；步驟（51），采用優(yōu)先級(jí)計(jì)算方法計(jì)算圖像Imf (i)邊界區(qū)域的優(yōu)先級(jí)，選取具有最高填充優(yōu)先級(jí)的目標(biāo)樣本塊為當(dāng)前待填充塊，其中心點(diǎn)，為當(dāng)前待填充區(qū)域的邊界；步驟（52），在其上一級(jí)已修復(fù)完畢的IMF圖像Imf (i-1)中的尋找對(duì)應(yīng)位置，從對(duì)應(yīng)的已知區(qū)域中通過(guò)頻率特征值的相似度計(jì)算搜索與目標(biāo)樣本塊匹配的小于閾值的一些源樣本塊，并構(gòu)造一個(gè)集合；步驟（53），在Imf (i)圖像中尋找與步驟（52）中構(gòu)造集合對(duì)應(yīng)的源樣本塊，并通過(guò)頻率特征值的相似度計(jì)算，求得最為匹配的源樣本塊；步驟（54），重復(fù)步驟（51）至步驟（51）直到完成該級(jí)圖像Imf (i)的修復(fù)后結(jié)束。本發(fā)明所述當(dāng)前級(jí)圖

24、像中目標(biāo)樣本塊與源樣本塊的相似度計(jì)算公式為：，其中，指第i級(jí)圖像中的目標(biāo)樣本塊，指對(duì)應(yīng)合成的第i級(jí)圖像中的源樣本塊，N指圖像塊在已知區(qū)域所占像素個(gè)數(shù)，和指的是對(duì)應(yīng)區(qū)域中第j個(gè)像素的頻率特征值。有益效果：本發(fā)明的圖像修復(fù)方法與現(xiàn)有修復(fù)方法相比優(yōu)點(diǎn)在于：修復(fù)效果好，魯棒性高，有效地防止了錯(cuò)誤信息的連續(xù)擴(kuò)展，本發(fā)明的方法不僅能夠修復(fù)較大尺度缺損區(qū)域中的結(jié)構(gòu)和紋理信息，還能夠修復(fù)具有一定遮擋關(guān)系的圖像。附圖說(shuō)明下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明做更進(jìn)一步的具體說(shuō)明，本發(fā)明的上述和/或其他方面的優(yōu)點(diǎn)將會(huì)變得更加清楚。圖1 為本發(fā)明中所涉及到的符合定義。圖2 為本方明主要流程圖。圖3 為本發(fā)明圖像進(jìn)行方向

25、經(jīng)驗(yàn)?zāi)Ｐ头纸馑媒Y(jié)果。圖4 為本發(fā)明破損區(qū)域邊緣結(jié)構(gòu)修復(fù)過(guò)程。圖5為本發(fā)明其中一級(jí)圖像修復(fù)過(guò)程。圖6 為本發(fā)明相關(guān)級(jí)圖像修復(fù)過(guò)程。具體實(shí)施方式：結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明做進(jìn)一步詳細(xì)描述：首先定義一些符號(hào)，如圖1所示：對(duì)于待修復(fù)圖像，定義待修復(fù)區(qū)域?yàn)?，通常手工?biāo)定，也稱(chēng)為未知區(qū)域，形狀不受任何限制；的邊界為，隨著修復(fù)的進(jìn)行，不停地改變；已知區(qū)域?yàn)?)，是填充區(qū)域的采樣空間，也稱(chēng)為源區(qū)域；另外定義邊界上待修復(fù)的目標(biāo)樣本塊為，在源區(qū)域進(jìn)行相似度匹配計(jì)算搜索得到的源樣本塊為。如圖2所示，本發(fā)明包括以下步驟：步驟一，選擇出圖像上待修復(fù)區(qū)域。步驟二，采用方向經(jīng)驗(yàn)?zāi)Ｐ头纸夥椒▽?duì)待修復(fù)圖像進(jìn)行分解。步驟

26、三，在進(jìn)行修復(fù)時(shí)將結(jié)構(gòu)的整體特性融入到圖像修復(fù)中，允許根據(jù)已有信息修復(fù)每級(jí)分解所得圖像的待修復(fù)區(qū)域中已破壞的邊緣結(jié)構(gòu)，并利用方向經(jīng)驗(yàn)?zāi)Ｐ头纸獾玫降念l率特征值相似度計(jì)算修復(fù)指定的邊緣結(jié)構(gòu)，使待修復(fù)區(qū)域中已被破壞的邊緣先行完成修復(fù)。步驟四，利用梯度特征值結(jié)合置信度的方法來(lái)確定剩余目標(biāo)樣本塊的填充優(yōu)先級(jí)，選取優(yōu)先級(jí)最高的塊作為當(dāng)前待填充的目標(biāo)塊。步驟五，利用方向經(jīng)驗(yàn)?zāi)Ｐ头纸獾玫降念l率特征值計(jì)算相似度，在對(duì)應(yīng)級(jí)圖像的已知區(qū)域中搜索具有最高相似性的源樣本塊，并將其復(fù)制到當(dāng)前已選定的優(yōu)先級(jí)最高的待填充目標(biāo)塊中，完成當(dāng)前目標(biāo)區(qū)域的修復(fù)。步驟六，利用相關(guān)性搜索策略完成其它級(jí)圖像對(duì)應(yīng)位置的修復(fù)。步驟七，更新各級(jí)

27、圖像邊界像素的置信度。步驟八，判斷各級(jí)圖像邊界像素的置信度是否都為1，如果存在置信為0時(shí)，重復(fù)步驟四到步驟七，直至各級(jí)圖像邊界像素的置信度都為1，完成各級(jí)圖像的修復(fù)。步驟九，最后將所修復(fù)的各級(jí)圖像進(jìn)行合并，得到最終修復(fù)結(jié)果。本發(fā)明中，方向經(jīng)驗(yàn)?zāi)Ｐ头纸猓―irection Empirical Mode Decomposition， DEMD）為在修復(fù)圖像前，將待修復(fù)圖像進(jìn)行方向經(jīng)驗(yàn)?zāi)Ｐ头纸猓玫饺舾杉?jí)圖像，本發(fā)明中默認(rèn)的圖像級(jí)數(shù)為3級(jí)，當(dāng)然根據(jù)需要可作適當(dāng)調(diào)節(jié)。對(duì)于給定的圖像f (x, y)，首先按給定的角順時(shí)針旋轉(zhuǎn)得到旋轉(zhuǎn)圖像。然后對(duì)該圖像先按每行抽取極大、極小值，并對(duì)這些極值點(diǎn)進(jìn)行三次樣條插

28、值得到一維采樣的上下包絡(luò)，計(jì)算其平均包絡(luò)，再對(duì)該平均包絡(luò)按每列抽取極值和插值得到垂直方向上下包絡(luò)，計(jì)算其平均包絡(luò)，設(shè)最后得到的包絡(luò)均值為m1 (x, y)，則旋轉(zhuǎn)圖像與m1 (x, y)的差即： （1）在理想狀態(tài)下，h1 (x, y) 就是第一級(jí)圖像；然而在實(shí)際計(jì)算中，這種現(xiàn)象是不可能出現(xiàn)的。所以本發(fā)明將h1 (x, y) 作為輸入信號(hào)，重復(fù)上面所敘述過(guò)程，可以得到： （2）當(dāng)h1k (x, y) 滿(mǎn)足1、在整個(gè)數(shù)據(jù)集合中，極點(diǎn)的數(shù)目和過(guò)0點(diǎn)的數(shù)目必須相等或最多相差一個(gè)；2、在任何一點(diǎn)，由局部最大值和最小值所形成包絡(luò)的均值都等于0要求時(shí)，設(shè)其為第一級(jí)圖像imf1 (x, y)，則函數(shù)的殘余圖像

29、為r1 (x, y)。本發(fā)明將r1 (x, y)作為新的輸入信號(hào)，用公式(1)，(2)重復(fù)計(jì)算，得到一系列圖像。直到其殘余圖像沿水平、垂直方向存在單調(diào)一維采樣，算法終止。最后將所得的一系列圖像和最后的殘余圖像沿逆時(shí)針旋轉(zhuǎn)，得到最后的各級(jí)圖像和殘余圖像。這樣對(duì)于給定的任意圖像f(x,y)都可以分解為下式： （3）其中，是對(duì)應(yīng)于方向的二維各級(jí)圖像，對(duì)應(yīng)于方向的殘余圖像。為敘述方便，本發(fā)明將殘余圖像歸結(jié)為最后一級(jí)待修復(fù)圖像。最終分解結(jié)果如圖3所示。其中圖3(a)為自然圖像；圖3 b圖3d為分解得到的各級(jí)圖像。其中對(duì)于方向的求取，首先對(duì)圖像f (x, y)進(jìn)行Fourier變換F (u, v)，然后對(duì)

30、F (u, v)進(jìn)行Radon變換，并將超過(guò)規(guī)定閾值的局部最大值點(diǎn)周?chē)闹等コ?，作逆Radon變換得到F (u, v)；最后將所有周?chē)芰亢统^(guò)規(guī)定常數(shù)的點(diǎn)按能量排序，把能量最大的點(diǎn)對(duì)應(yīng)的方向設(shè)定為圖像變化最為明顯的方向即為。本發(fā)明中基于頻率特征值的相似度計(jì)算準(zhǔn)則為：當(dāng)對(duì)圖像進(jìn)行修復(fù)時(shí)，對(duì)于目標(biāo)樣本塊在已知區(qū)域中尋找與之最相似的源樣本塊將是修復(fù)的重要步驟。因此，一個(gè)好的相似度計(jì)算準(zhǔn)則對(duì)圖像修復(fù)結(jié)果的好壞起著至關(guān)重要的作用，分辨紋理是根據(jù)紋理的高頻、次高頻等進(jìn)行自適應(yīng)的分辨。DEMD在自適應(yīng)的提取圖像具有的獨(dú)特優(yōu)勢(shì)，反映了提取頻率特征的過(guò)程，因而能夠更準(zhǔn)確有效地把握?qǐng)D像中細(xì)節(jié)的本質(zhì)特征與變化趨勢(shì)

31、，本發(fā)明從該角度出發(fā)進(jìn)行圖像修復(fù)，使修復(fù)后的圖像更加符合圖像整體效果。基于這一點(diǎn)，本發(fā)明應(yīng)用DEMD提取得到的各級(jí)圖像中每點(diǎn)的特征值進(jìn)行匹配搜索。本發(fā)明從DEMD提取得到的各級(jí)圖像中每點(diǎn)的頻率特征值出發(fā)進(jìn)行相似度計(jì)算。從DEMD中得到的主要特征是瞬時(shí)頻率和包絡(luò)，為了得到這些特征，首先采用二維方向Hilbert變換（2D Hilbert變換）定義二維復(fù)信號(hào)。對(duì)于給定的二維信號(hào)f (x, y)的Fourier變換為F(u, v)，則f (x, y)對(duì)應(yīng)的復(fù)信號(hào)的Fourier變換為： （4）其中，w=u ,v是坐標(biāo)向量，是對(duì)應(yīng)于方向（指定方向）的單位向量，F(xiàn)A (w)逆Fourier變換 fA (

32、x, y)稱(chēng)為原信號(hào)對(duì)應(yīng)于方向的復(fù)信號(hào)。從而fA (x, y)的虛部就是f (x, y)對(duì)應(yīng)于方向的Hilbert變換。將經(jīng)過(guò)DEMD分解得到的各級(jí)圖像進(jìn)行上述變換，令imfiH (x, y)為第i級(jí)圖像imfi (x, y)對(duì)應(yīng)于所求方向的2D Hilbert變換。fiA (x, y)是對(duì)應(yīng)的分析函數(shù)。其中每級(jí)圖像的幅值函數(shù)和相位函數(shù)分別為： （5）這樣再對(duì)相位函數(shù)求導(dǎo)數(shù)，可得到對(duì)應(yīng)的瞬時(shí)頻率，這里的頻率是分別沿方向和+90的方向?qū)?shù)得到： （6）其中，k =1對(duì)應(yīng)方向，k =2對(duì)應(yīng)+90方向。通過(guò)上述計(jì)算，本發(fā)明得到對(duì)應(yīng)一系列圖像中每個(gè)像素點(diǎn)(x,y)的三個(gè)頻率特征值： （7）因此，在計(jì)算

33、當(dāng)前級(jí)圖像中目標(biāo)樣本塊與源樣本塊的相似度時(shí)，本發(fā)明采用如下方式進(jìn)行計(jì)算： （8）其中，指第i級(jí)圖像中的目標(biāo)樣本塊，指對(duì)應(yīng)合成的第i級(jí)圖像中的源樣本塊，N指圖像塊在已知區(qū)域所占像素個(gè)數(shù)，和指的是對(duì)應(yīng)區(qū)域中第j個(gè)像素的特征值。得到上述公式后，即可在已知區(qū)域中利用該匹配判斷準(zhǔn)則對(duì)當(dāng)前目標(biāo)樣本塊進(jìn)行匹配搜索，尋找小于規(guī)定閾值的源樣本塊構(gòu)造一個(gè)集合，并隨機(jī)從該集合中選取一個(gè)作為最終的源樣本塊，直接拷貝相應(yīng)的圖像信息到目標(biāo)樣本塊上，即可完成當(dāng)前區(qū)域的修復(fù)。本發(fā)明中，根據(jù)已有信息完成破損邊結(jié)構(gòu)修復(fù)為：將圖像整體信息融入到圖像修復(fù)中，通過(guò)已有信息完成待修復(fù)區(qū)域中已破壞的邊緣結(jié)構(gòu)的修復(fù)。當(dāng)修復(fù)具有遮擋關(guān)系的結(jié)構(gòu)

34、信息圖像時(shí)，如圖4a所示，要修復(fù)的窗戶(hù)結(jié)構(gòu)信息被物體遮擋，從圖像整體信息出發(fā)，沿已知區(qū)域的已有邊界繪制相應(yīng)的曲線(xiàn)，使其可以表示完整的結(jié)構(gòu)信息，如圖4b所示，其中紫顏色線(xiàn)段即為交互繪制的曲線(xiàn)，并且是從已知區(qū)域出發(fā)繪制得到。在進(jìn)行修復(fù)時(shí)，在各級(jí)圖像中首先沿繪制曲線(xiàn)順序進(jìn)行修復(fù)，將第一個(gè)待修復(fù)的目標(biāo)樣本塊按照繪制順序定義為繪制第一條曲線(xiàn)與待修復(fù)區(qū)域的交界位置，如圖4b是先繪制水平方向，后繪制垂直方向的曲線(xiàn)，故先修復(fù)水平方向曲線(xiàn)，其中綠色塊即為第一個(gè)待修復(fù)的目標(biāo)樣本塊。對(duì)應(yīng)的搜索匹配空間定義為在已知區(qū)域繪制的曲線(xiàn)上，并利用公式(8)在定義的搜索匹配空間中搜索與其匹配的源樣本塊，如圖4b中紅色塊即為搜索

35、得到的與當(dāng)前匹配的源樣本塊，將該樣本塊信息復(fù)制到相應(yīng)位置，如圖4c所示，即可完成當(dāng)前位置的修復(fù)。沿所繪制的曲線(xiàn)重復(fù)上述過(guò)程，如圖4c圖4e所示，直到繪制的表示結(jié)構(gòu)信息的所有曲線(xiàn)全部修復(fù)完畢。最后將各級(jí)圖像對(duì)應(yīng)的修復(fù)結(jié)果進(jìn)行疊加，得到最后的邊界修復(fù)結(jié)果，同時(shí)更新待修復(fù)區(qū)域，最終邊界修復(fù)結(jié)果如圖4f所示。圖像的結(jié)構(gòu)信息能夠得到很好的修復(fù)。本發(fā)明中，基于梯度特征填充優(yōu)先級(jí)計(jì)算為：對(duì)于已經(jīng)修復(fù)好邊結(jié)構(gòu)信息的各級(jí)圖像剩余區(qū)域，本發(fā)明采用區(qū)域優(yōu)先級(jí)方法來(lái)決定修復(fù)順序。由于圖像的梯度特征反映了相鄰像素間的連接緊密程度和相對(duì)變化程度，并且由于梯度是一個(gè)一階微分算子，計(jì)算簡(jiǎn)單，所以采用圖像的梯度特征來(lái)進(jìn)行優(yōu)先級(jí)

36、計(jì)算具有一定優(yōu)勢(shì)。因此本發(fā)明采用該方法對(duì)修復(fù)好邊結(jié)構(gòu)信息的各級(jí)圖像剩余區(qū)域的填充優(yōu)先級(jí)進(jìn)行計(jì)算。如果像素，那么規(guī)定點(diǎn)處的置信度被初始化為0，否則被初始化為1，即： （9）另外，需要計(jì)算反映點(diǎn)處局部邊緣特征的梯度值，其大小由處的梯度幅值的大小決定，梯度值可以計(jì)算如下： （10）其中，N表示像素的鄰域面積，大小與，的大小相同，表示N中所含像素個(gè)數(shù)，表示一幅圖像在水平方向和垂直方向的梯度。對(duì)于給定中心位置在()處的目標(biāo)樣本塊，其優(yōu)先級(jí)的計(jì)算如下：其中：上式中表示中所含像素個(gè)數(shù)，梯度反映了周?chē)倪吘壓徒Y(jié)構(gòu)信息的一種度量。計(jì)算樣本塊優(yōu)先值的目的是為了從具有較多邊緣結(jié)構(gòu)信息的位置最先開(kāi)始填補(bǔ)，這樣做的結(jié)果

37、有助于把不連續(xù)的線(xiàn)條結(jié)構(gòu)，經(jīng)過(guò)修復(fù)而有機(jī)的連接在一起。優(yōu)先值越大，那么優(yōu)先級(jí)也就越高，處的區(qū)域也就越先進(jìn)行填補(bǔ)和修復(fù)。在修復(fù)過(guò)程當(dāng)前級(jí)圖像過(guò)程中，選取當(dāng)前具有最高優(yōu)先級(jí)的目標(biāo)樣本塊，在已知區(qū)域中利用公式(8)尋找與之最為匹配的源樣本塊，并將對(duì)應(yīng)信息復(fù)制到相應(yīng)位置，更新區(qū)域，重復(fù)上述過(guò)程直到區(qū)域=，即可完成對(duì)應(yīng)級(jí)圖像的修復(fù)。其修復(fù)過(guò)程如圖5所示，其中藍(lán)顏色區(qū)域?yàn)榇迯?fù)區(qū)域邊界，綠色塊為當(dāng)前待修復(fù)區(qū)域，紅色塊為在已知區(qū)域中搜索得到的與其匹配區(qū)域。圖5a原始圖像；圖5b圖5e為中間修復(fù)過(guò)程；圖5f修復(fù)結(jié)果。本發(fā)明中，各級(jí)圖像相關(guān)性搜索策略為：當(dāng)把待修復(fù)圖像進(jìn)行DEMD分解后，得到一系列圖像，首先根據(jù)已有信息對(duì)