教育資料（2021-2022年收藏的）自然圖像摳圖方法討論.

1、云南大學(xué)學(xué)報(bào)(自然科學(xué)版 , 2007, 29(S2 :228232CN 53-1045/N ISSN 0258-7971Journal of Yunnan U niversity自然圖像摳圖方法討論任艷宏, 徐丹, 蘇鵬宇(云南大學(xué)計(jì)算機(jī)科學(xué)與工程系, 摘要:, 它通過(guò)用戶(hù)交互, 指定圖像中的少, 、準(zhǔn)確地分離出所有的前景物體. 文章對(duì)若干, .關(guān)鍵詞:; 前景提取; 自然圖像摳圖;alpha 估計(jì)中圖分類(lèi)號(hào):TP31714文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):0258-7971(2007 S2-0228-05在數(shù)字圖像或視頻編輯領(lǐng)域, 一個(gè)很重要的應(yīng)用就是分割、提取圖像中不同對(duì)象進(jìn)行處理. 而其中最直觀(guān)

2、的分割需求就是從圖像中分離前景和背景, 進(jìn)而將分割出的前景圖像與其他的背景組合形成一幅新的圖像. 總的來(lái)說(shuō), 對(duì)景物提取與合成技術(shù)的需求隨著視頻制作、基于圖像的建模和繪制、視頻壓縮等應(yīng)用領(lǐng)域的開(kāi)拓而變得更加迫切. 圖1毛發(fā)、云彩很難通過(guò)常規(guī)方法提取出來(lái), 基于透明度的方法適用于解決這種問(wèn)題Fig 11I t s m ore effective to extract hair or cloud by alpha estimation than by normal method如果圖像中前景、背景的邊界清晰, 可以采用沿著邊界剪切、粘貼的方法, 只要你足夠細(xì)心, 也可以獲得比較不錯(cuò)的效果. 然而在

3、自然圖像中, 這種方法通常是難以實(shí)現(xiàn)的. 自然景物如樹(shù)葉和發(fā)束通常比一個(gè)像素還要細(xì)小, 如圖1(a 這使得離散的數(shù)字圖像在前、背景交界處大量的像素點(diǎn)從不止一個(gè)物體上獲得光線(xiàn). 另外, 一些半透明物體的圖像如云彩、玻璃杯, 即使是在景物內(nèi)部, 像素點(diǎn)也包含了前、背景物體的色彩, 在這種情況下, 傳統(tǒng)的邊探測(cè)和圖像分割算法是無(wú)能為力的.針對(duì)上述問(wèn)題, 大量科研工作者進(jìn)行了長(zhǎng)期的研究和探索, 采用alpha 估計(jì)的前景提取思想, 對(duì)單個(gè)像素點(diǎn)包含的色彩進(jìn)行前景和背景的分離, 從而較好的解決了這類(lèi)問(wèn)題.1alpha 估計(jì)的歷史值的概念由3個(gè)不同的群體分別創(chuàng)造出來(lái):收稿日期:2007-09-14基金項(xiàng)目

4、:國(guó)家自然科學(xué)基金資助項(xiàng)目(60663010 ; 云南省自然科學(xué)基金資助項(xiàng)目(2006F0017M .作者簡(jiǎn)介:任艷宏(1977-, 男, 云南人, 主要從事圖像去噪, 圖像放大, 自然圖像摳圖等方面的研究. 計(jì)算機(jī)圖形學(xué)、電影和電視業(yè)以及遙感. 最初在圖形學(xué)中值的應(yīng)用是為了“S oft Filling ”, 即改變反走樣區(qū)域例如一條邊界的色彩值. Fishkin 和Barsky 1發(fā)表了當(dāng)值未知但是原始前景和背景色彩已知的情況下, 最為綜合的技術(shù)文章. 邊界上一個(gè)像素點(diǎn)的色彩被假定為落在由原始色彩展開(kāi)的色彩空間的矢量子空間中. 這項(xiàng)技術(shù)對(duì)于2個(gè)物體之間不超過(guò)四種的色彩有效. Mitsunag

5、a 等人2研制了一個(gè)更加健壯的估計(jì)值的系統(tǒng). 設(shè)的模成比例的. 會(huì)增加信噪比. 然而如毛發(fā)和水這樣的物體不遵從這一條假設(shè).在相當(dāng)長(zhǎng)的一段時(shí)間內(nèi), 電影和電視工作者使用藍(lán)色屏幕進(jìn)行簡(jiǎn)單的景物提取. 被攝物置于1張藍(lán)色屏幕前, 錄制完畢后膠片上的藍(lán)色屏幕被其他的背景所替代. Smith 和Blinn 3非常詳細(xì)的研究了這種“藍(lán)屏”問(wèn)題, 發(fā)現(xiàn)僅僅在最簡(jiǎn)易的情況下才存在唯一的物象提取結(jié)果. 他們證明:如果能在兩張任意對(duì)應(yīng)像素點(diǎn)都不同的背景屏幕下拍攝前景物體, 那么在通常的情況下可以得到關(guān)于前景的唯一結(jié)果. 但是, 這種方法僅僅在能夠兩次拍攝同一個(gè)不動(dòng)物體的錄影棚內(nèi)才有效.最后, 在遙感領(lǐng)域, “分離

6、像素點(diǎn)”是一直以來(lái)被關(guān)注的課題, 因?yàn)樾l(wèi)星圖像的每一個(gè)像素點(diǎn)都混合了大量不同種類(lèi)不同物質(zhì)反射的光線(xiàn). 一種簡(jiǎn)單但是非常有效的方法來(lái)自于A(yíng)dams 等人4. 他們?cè)诳紤]明暗亮度效應(yīng)的同時(shí)由一幅火星表面照片推導(dǎo)出了巖石和土壤成分并且估計(jì)了它們?cè)趫D像中每一點(diǎn)的含量. 然而這類(lèi)技術(shù)通常需要預(yù)先給出許多并不包含在圖像中的信息, 例如各種物質(zhì)的實(shí)驗(yàn)室參照光譜, 對(duì)候選物質(zhì)成分排序的研討, 和對(duì)數(shù)據(jù)的其他分析. 本文中研究的景物提取, 沒(méi)有如此復(fù)雜的附加條件. 輸入僅僅是單幅數(shù)字圖像.2基于alpha 估計(jì)的摳圖技術(shù)P orter 和Du ff 5在1984年引入了通道的概念, 并展示了如何將值應(yīng)用于合成多

7、張圖像生成復(fù)雜的數(shù)字圖像. 其中描述了了最為常見(jiàn)的組合操作是over 操作, 它被總結(jié)為組合等式C =F +(1-B , (1 其中C , F , B 分別表示合成圖像, 前景圖像和背景圖像的RG B 三維矢量, 代表了顏色的不透明度, 其值介于(0, 1 之間, 而合成圖像的顏色值是由前景顏色和背景顏色以值為參數(shù)進(jìn)行線(xiàn)性混合而得. , 其C , 前景圖像F 和, 本文討論景提取, 它對(duì)圖像的背景不做要求, 且只需一張圖像.然而, 在彩色圖像中, 等式(1 包含3個(gè)方程7個(gè)未知量, 它是一個(gè)非約束問(wèn)題, 而這類(lèi)問(wèn)題是不可精確求解的. 因此, 我們必須尋求一些額外的約束條件或者充分利用已知圖像上

8、的信息, 才有可能用近似的方式進(jìn)行求解. 而這正是所有已知摳圖算法的核心所在.目前提出的方法都要對(duì)圖像的局部特征進(jìn)行假設(shè), 在大多數(shù)條件下這些假設(shè)是可以成立的, 比如局部顏色平滑假設(shè), 局部顏色概率分布一致假設(shè). 在這些假設(shè)下, 依靠用戶(hù)提供的額外信息, 就能有效地降低等式(1 中的變量個(gè)數(shù), 從而達(dá)到求解的目的.多數(shù)摳圖算法采用1幅原圖像和1幅對(duì)應(yīng)的T rimap 作為額外的用戶(hù)信息. T rimap 是1幅已被粗分割過(guò)的圖像, 如圖2, 它劃分原圖像為3個(gè)區(qū)域:已知前景、已知背景和未知區(qū)域. 前2個(gè)提供了將要假設(shè)條件使用依賴(lài)的先驗(yàn)知識(shí), 后1個(gè)表示算法將要處理的區(qū)域. 算法的結(jié)果是1個(gè)前景

9、圖像層和1個(gè)背景圖像層, 前景圖像層中包含了每個(gè)像素的前景顏色信息和不透明度值, 當(dāng)它們按照組合等式(1 合成時(shí), 能得到1幅同原圖像精確匹配的圖像.另一類(lèi)目前更為流行的做法是由用戶(hù)在原圖像的前景區(qū)域和背景區(qū)域的適當(dāng)位置簡(jiǎn)單的勾勒幾筆(稀疏畫(huà)筆集 , 畫(huà)筆覆蓋的位置提供了圖像前景、背景以及混合區(qū)域的相關(guān)信息, 所有未被畫(huà)筆覆蓋的區(qū)域均是未知區(qū)域, 而算法僅需依賴(lài)這些很少的交互信息就能構(gòu)造一個(gè)求解系統(tǒng), 通過(guò)擴(kuò)散或羽化過(guò)程求解.922第S2期任艷宏, 等:自然圖像摳圖方法討論 圖2(b , ; (c 中紅色為確知前景, 藍(lán)色為確知背景Fig 12(b -,black -background ,g

10、ray -unknow (c scribbles (red -foreground , blue -background 3幾種代表性技術(shù)在這個(gè)部分我們對(duì)幾種當(dāng)前比較成功的摳圖算法進(jìn)行簡(jiǎn)要的介紹.311K nockout 6算法要求一個(gè)精確的trimap , 理想的情況下, 未知區(qū)域中僅包含值在(0,1 之間的像素. 當(dāng)處理一個(gè)未知區(qū)域像素時(shí), 首先找出離該點(diǎn)最近的前景、背景邊界點(diǎn)集, 然后分別用這些點(diǎn)集的平均色作為F 和B 的估計(jì)值, 值在每個(gè)顏色通道被單獨(dú)計(jì)算, 最終的值是它們的加權(quán)平均. 然而, 如果沿著邊界估計(jì)出的F 和B 的值和真實(shí)的顏色值不太一致時(shí), 算法的結(jié)果就會(huì)很糟. 312R

11、uzon -Tom asi method 7是一種基于顏色統(tǒng)計(jì)的算法. 前景和背景顏色的分布被建模為一種無(wú)向高斯分布. 顏色統(tǒng)計(jì)在一個(gè)相當(dāng)大的圖像塊上進(jìn)行. 算法對(duì)原圖像顏色C 服從的分布做出假設(shè), 顏色C 來(lái)自于in -between 的分布, 這種分布是前景分布和背景分布插值的結(jié)果, 利用這種假設(shè)對(duì)值進(jìn)行計(jì)算. 該算方法最大化點(diǎn)C 處分布的概率密度. 算法的不利之處是顏色統(tǒng)計(jì)需要在一個(gè)較大的子區(qū)域上進(jìn)行, 計(jì)算量大, 而且這些區(qū)域通常包含很多重疊區(qū)域, 因此不能被正確的處理. 313B ayesian m atting 8也是一種使用顏色分布的算法, 但是它進(jìn)行每個(gè)像素的顏色分布估計(jì). 像

12、素沿著前景邊界和背景邊界依輪廓-輪廓的順序處理, 在對(duì)每一個(gè)像素進(jìn)行計(jì)算的時(shí)候, 除了對(duì)確知區(qū)域內(nèi)的前景點(diǎn)和背景點(diǎn)進(jìn)行采樣之外, 還把之前已經(jīng)計(jì)算完畢的像素點(diǎn)加入采樣集中, 這使得相鄰像素的計(jì)算結(jié)果過(guò)渡自然. 該算法進(jìn)行顏色統(tǒng)計(jì)采用一套有向高斯分布. 算法用Bayesian 框架來(lái)最大化F , B 和值的似然函數(shù). 該算法是較為成功的一個(gè), 然而它的不利之處在于它的假設(shè)忽略了P( 項(xiàng), 該項(xiàng)被假設(shè)為在全圖中等概率的, 因而當(dāng)原圖像的前景或背景分布重疊時(shí), 算法結(jié)果不理想.314Poisson m atting 9算法假設(shè)在未知區(qū)域中F和B 是平滑的. 每個(gè)未知像素的F 和B 通過(guò)從邊界開(kāi)始的顏

13、色擴(kuò)散進(jìn)行估計(jì). 通過(guò)對(duì)等式(1 進(jìn)行梯度運(yùn)算構(gòu)造P oiss on 偏微分方程, 該方程用于求解通道圖. 未知區(qū)域通過(guò)一個(gè)迭代過(guò)程逐漸縮小, 直至收斂. 算法首先在全局上求解, 得到的結(jié)果通過(guò)多種局部濾波方式選擇性的改進(jìn). 由于給了用戶(hù)更多的交互手段, 處理復(fù)雜的場(chǎng)景比Bayesian matting 更加穩(wěn)定. 算法的不足之處在于當(dāng)前景或背景不夠平滑(如:包含大量的邊 , 或者未知區(qū)域的顏色和邊界顏色差異很大的時(shí)候, 結(jié)果不能令人滿(mǎn)意.315B elief propagation 10算法僅需提供很少的trimap 約束(如:少量的顏色筆刷定義前景和背景,其余的圖像區(qū)域均被看作未知區(qū)域 就

14、能產(chǎn)生好的結(jié)果. 算法采用值的離散集, 摳圖問(wèn)題被形式化為能量最小化問(wèn)題, 能量表達(dá)式由數(shù)據(jù)因子、平滑因子構(gòu)成. 其中數(shù)據(jù)因子強(qiáng)制F 和B 符合局部統(tǒng)計(jì)要求. 對(duì)圖像像素和離散的值集構(gòu)造Markov 隨機(jī)場(chǎng), 并通過(guò)Belief Propagation 方法求解. 之后對(duì)顏色統(tǒng)計(jì)結(jié)果求精, 并迭代算法直到收斂. 然而, 處理過(guò)程即使在一次迭代和一次收斂過(guò)程中也相當(dāng)慢.316Closed Form Solution 11算法通過(guò)處理一個(gè)二次代價(jià)函數(shù)進(jìn)行計(jì)算. 算法的核心假設(shè)在于, F32云南大學(xué)學(xué)報(bào)(自然科學(xué)版 第29卷 和B 的顏色是局部線(xiàn)性的. 意即前景和背景中的每一個(gè)像素的顏色在局部是某兩

15、個(gè)顏色的線(xiàn)性組合的近似結(jié)果. 在這種假設(shè)下, 值是線(xiàn)性依賴(lài)于一個(gè)小的圖像窗口中的顏色C :p C p +b , (2 其中p 是一個(gè)小窗口中的像素(如:3×3的窗口 , a 和b 是這個(gè)窗口中的固定系數(shù). 構(gòu)造代價(jià)函數(shù)并通過(guò)(2 求解, a 和b 系數(shù)可用已知顏色C 和計(jì)算得出的描述并估計(jì). 領(lǐng)域像素的乘法被用于表示(2 式中的. . 該方程系統(tǒng)是一個(gè)N 乘N 的矩陣, N 是未知區(qū)域中像素的個(gè)數(shù). 求解過(guò)程將直接得到原圖像的通道圖. F 和B 可以由另一個(gè)二次代價(jià)函數(shù)計(jì)算而得.算法的交互性很好, 而且僅需很少的筆刷約束就能得到很好的結(jié)果. 不利之處在于計(jì)算速度代價(jià)高和缺乏顏色統(tǒng)計(jì)特

16、性. 后者會(huì)在小洞和細(xì)槽內(nèi)的通道上產(chǎn)生“glows ”現(xiàn)象(因?yàn)榇罅款I(lǐng)域不透明像素阻止了背景顏色信息的擴(kuò)散過(guò)程 . 另外, 局部顏色平滑假設(shè)在噪聲圖像上不再有效.4摳圖技術(shù)的展望我們認(rèn)為摳圖技術(shù)未來(lái)發(fā)展方向主要有以下幾個(gè)方面:友好的用戶(hù)交互:基于trimap 的交互方式過(guò)于呆板, 用戶(hù)不能在精細(xì)的部分和毛發(fā)區(qū)域進(jìn)行手動(dòng)控制, 并且對(duì)前景存在大量空洞的圖像難以處理. 簡(jiǎn)單筆刷模式操作簡(jiǎn)單, 交互性能強(qiáng), 必將成為摳圖技術(shù)的潮流.高精度復(fù)雜背景下的處理:文中所提到的各種自然圖像摳圖方法處理背景單一的“亞像素級(jí)別”的前景提取效果不錯(cuò). 但是, 對(duì)于在背景高度清晰復(fù)雜的情況下, 上述各種自然圖像摳圖方

17、法的處理效果仍不理想.降低算法復(fù)雜度:現(xiàn)有的算法基本上都存在計(jì)算量大的情況, 基于統(tǒng)計(jì)學(xué)的方法有大量的統(tǒng)計(jì)分布計(jì)算, 擴(kuò)散算法通常要求解很大的線(xiàn)性方程系統(tǒng), 有的還需要多次迭代才能得到較好的結(jié)果. 要做到真正的實(shí)時(shí)交互還有一段距離.視頻組合:盡管擁有目前自然圖像摳圖技術(shù)的成果, 視頻組合仍然是摳圖技術(shù)面臨的一個(gè)挑戰(zhàn).5結(jié)束語(yǔ)本文就近年來(lái)圖像處理中的摳圖技術(shù)做了簡(jiǎn)單的綜述, 、發(fā)展過(guò)程、研究?jī)?nèi)容、, . , 同時(shí)也對(duì)摳圖技術(shù)與人工智能、計(jì)算機(jī)視覺(jué)等領(lǐng)域結(jié)合進(jìn)行探索.參考文獻(xiàn):1FISHKI N K,BARSKYB. A family of new alg orithms for s oftfil

18、lingJ.C om p G raph ,1984,18(3 :2352244.2MITS UNAG A T , Y OK OY AM A T , T OTS UK A T. AutoK ey :Human assisted key extraction C .In SIGG RAPH95, 1995,2652272.3S MITH A , BLI NN J. Blue screenmatting C .In SIG 2G RAPH96, 1996,2592268.4ADAMS J ,S MITH M ,JOH NS ON P. S pectral mixture m odel 2ing:A

19、new analysis of rock and s oil types at the Viking 1lander siteJ.J of G eophys Res ,1986,91(B8 :809828112.5PORTER T ,DUFF T. C om positing digital images C .InSIGG RAPH 1984, 1984,2532259.6BERM AN A ,V LAH OS P ,DADOURI AN A. C om prehensivemethod for rem oving from an image the background sur 2roun

20、ding a selected object P .U. S. Patent 6134345, 2000.7RUZ ON M , T OM ASI C. Alpha estimation in natural imagesC, Proc. of IEEE C VPR ,2000,18225.8CH UANG Y, C UR LESS B , S A LESI N D ,et al. A BayesianApproach to Digital Matting C .Proc. of IEEE C VPR , 2001,2642271.9S UN J , J I A J , T ANG C K,

21、SH UM H Y. P oiss on mattingJ.AC M T rans. G raph. ,2004, 23(3 :3152321. 10W ANGJ ,C OHE N M F. An iterative optimization approachfor unified image segmentation and mattingC.Proc of IC 2C V ,2005, 2:9362943.11LE VI N A , LISCHI NSKI D , WEISS Y. A Closed F orm S o 2lution to Natural Image MattingC.P

22、roc of IEEE C VPR , 2006,61268.132第S2期任艷宏, 等:自然圖像摳圖方法討論 Discussion about nature image mattingRE N Y an 2hong , X U Dan , S U Peng 2yu(Department of C om puter Science and Engineering , Y unnan University , K unming 650091, Abstract :Natureimage matting is the process of extracting a based on limited user input. User provide image key about foreground using it to automati 2cally extract all fore -In matting , and summarize s ome repr