引導(dǎo)濾波論文翻譯

1、引導(dǎo)濾波圖像摘要：這篇論文中，我們提出一個(gè)新的明確的圖像濾波器叫，引導(dǎo)濾波器。來(lái)自于一個(gè)局部線性模型，引導(dǎo)濾波器計(jì)算濾波結(jié)果通過(guò)考慮引導(dǎo)圖像的內(nèi)容，引導(dǎo)圖像可以是輸入圖像自身或者是另外一個(gè)不同的圖像。引導(dǎo)濾波器能夠向雙邊濾波器1一樣保持邊緣平滑，但是它在邊緣附近有更好的表現(xiàn)。引導(dǎo)濾波器也是更一般地超越平滑的概念：它可以轉(zhuǎn)化引導(dǎo)圖的結(jié)構(gòu)為濾波輸出，用于很多新的濾波應(yīng)用圖像去霧、及引導(dǎo)摳圖。更多的，引導(dǎo)濾波器自然的有個(gè)快速并且不近似線性時(shí)間算法，與核的尺寸和像素亮度范圍無(wú)關(guān)?，F(xiàn)在，它是最快的邊緣保持濾波器之一。實(shí)驗(yàn)顯示引導(dǎo)濾波器在很多種計(jì)算機(jī)視覺(jué)及圖形學(xué)的應(yīng)用中有很好的作用及效率，包括邊緣保持平滑

2、，細(xì)節(jié)增強(qiáng)，HDR壓縮，圖像摳圖，去霧，級(jí)聯(lián)采樣等等。1 介紹大部分的計(jì)算機(jī)視覺(jué)以及計(jì)算機(jī)圖形學(xué)圖像濾波涉及到抑制或者提取圖像的內(nèi)容。簡(jiǎn)單的有核的線性平移不變?yōu)V波器（LTI），例如平均，高斯，拉普拉斯和Sobel濾波器2，都被廣泛應(yīng)用于圖像恢復(fù)，模糊/銳化，邊緣檢測(cè)，特征提取等等。可選擇的，LTI濾波器能明確地通過(guò)解決一個(gè)在高動(dòng)態(tài)范圍（HDR）壓縮3的泊松方程來(lái)執(zhí)行圖像拼接4，圖像摳圖5，以及梯度域操作6。濾波核是通過(guò)一個(gè)齊次的拉普拉斯矩陣的轉(zhuǎn)置明確地被定義。LTI濾波核是空間不變并且與圖像內(nèi)容獨(dú)立的。但是通常有時(shí)候需要考慮引導(dǎo)圖像的附加信息。各向異性擴(kuò)散7的先驅(qū)工作用需要濾波的圖像本身的梯度

3、去指導(dǎo)擴(kuò)散過(guò)程，避免平滑到邊緣。平方和最小加權(quán)濾波器8利用輸入需要濾波的圖像（而不是像7的中間結(jié)果）去指導(dǎo)，并且選擇一個(gè)二次函數(shù)，這個(gè)二次函數(shù)等價(jià)于一個(gè)非一般穩(wěn)定狀態(tài)的各向異性擴(kuò)散。在其他的應(yīng)用中，引導(dǎo)圖像也能是另外的圖像而不是本來(lái)的輸入圖像。例如，灰度圖著色9色度通道不應(yīng)該在亮度邊緣溢出；在圖像摳圖10, 應(yīng)該抓住一個(gè)復(fù)合圖像的細(xì)薄結(jié)構(gòu)；在圖像去霧11景深層應(yīng)該與原場(chǎng)景一致。在這些例子中我們將色度/景深層作為需要被濾波的圖像，亮度/復(fù)合/場(chǎng)景看做相應(yīng)的引導(dǎo)圖。濾波過(guò)程9、10、11 是通過(guò)優(yōu)化引導(dǎo)圖像的權(quán)重二次成本函數(shù)獲得的。解決方法是解一個(gè)僅依賴引導(dǎo)的大的系數(shù)矩陣。這個(gè)非齊次的矩陣明確的是

4、定義于一個(gè)平移變化的濾波核。同時(shí)，這些依賴于最優(yōu)化的方法8、9、10、11常常犧牲精確度來(lái)達(dá)到快的計(jì)算速度。另外的一個(gè)利用引導(dǎo)圖像的方法是明確的建立它的濾波核。雙邊濾波器，在12、13中分別提出，1以及也許是這種濾波器中最受歡迎之一的后來(lái)提出的14。它們?cè)谝粋€(gè)像素的輸出是附近像素的加權(quán)平均，這個(gè)加權(quán)是依賴于同引導(dǎo)圖亮度/顏色的相似度。這個(gè)引導(dǎo)圖能夠是濾波器自己本身1或者是另一幅圖像14。雙邊濾波器能夠平滑小的波動(dòng)并且保持邊緣。盡管這個(gè)濾波器在很多情況下都有效，它可能會(huì)有一些不希望的在邊緣附近的梯度逆轉(zhuǎn)偽影15，16，8（將在3.4部分討論）。快速的執(zhí)行雙邊濾波器也是一個(gè)挑戰(zhàn)性的問(wèn)題。近期的技術(shù)

5、17、18、19、20、21依賴于量子化方法加速，但是犧牲了精確度。在這篇論文中，我們提出了一個(gè)新的明確的圖像濾波叫做引導(dǎo)濾波。這個(gè)濾波器輸出結(jié)果是引導(dǎo)圖像的局部線性轉(zhuǎn)換。在一方面，引導(dǎo)濾波器有一個(gè)號(hào)的邊緣保持平滑效果像雙邊濾波器一樣，但是它沒(méi)有梯度逆轉(zhuǎn)偽影的影響。在另一方面，引導(dǎo)濾波能夠遠(yuǎn)遠(yuǎn)不只是平滑：在引導(dǎo)圖的輔助下，它能讓濾波輸出更結(jié)構(gòu)化并且不比輸入平滑。我們論證了引導(dǎo)濾波在很多方面的應(yīng)用中都有很好的結(jié)果，包括圖像平滑/增強(qiáng)，HDR壓縮，flash/非flash成像，摳圖，去霧，和級(jí)聯(lián)采樣。更多的，引導(dǎo)濾波器自然地有一個(gè)O（N）（N個(gè)像素）時(shí)間復(fù)雜度算法在灰度圖和高維圖像中，與核的尺寸和

6、亮度范圍無(wú)關(guān)。特別的，我們的CPU執(zhí)行達(dá)到40ms每兆像素在灰度濾波器：就我們所知，這是最快的邊緣保持濾波器。本文的初步版本已經(jīng)被ECCV1022出版。值得一提的是，從那時(shí)候開(kāi)始起，引導(dǎo)濾波器見(jiàn)證了一些列新的應(yīng)用。這個(gè)引導(dǎo)濾波器能有一個(gè)高質(zhì)量的實(shí)時(shí)O（N）立體匹配算法23。一個(gè)相似的立體方法被獨(dú)立地提出來(lái)24。引導(dǎo)濾波也被應(yīng)用于光流估計(jì)23，交互式的圖像分割23，顯著性檢測(cè)25，照明渲染26。我們相信引導(dǎo)濾波有很大的潛能在計(jì)算機(jī)視覺(jué)及圖形學(xué)，貢獻(xiàn)出他的簡(jiǎn)單，高效及高質(zhì)量。我們提供一個(gè)公開(kāi)的代碼來(lái)促進(jìn)未來(lái)的學(xué)習(xí)27。2 相關(guān)工作我們回顧一下邊緣保持濾波技術(shù)，我們對(duì)他們進(jìn)行分類(lèi)為顯式及隱式平均權(quán)重

7、濾波器和沒(méi)有平均的一種。2.1 顯式的平均權(quán)重濾波器雙邊濾波器1也許是最簡(jiǎn)單并且最直觀的一個(gè)顯式平均權(quán)重濾波器。它計(jì)算濾波輸出為每個(gè)像素鄰近像素的平均值，由高斯權(quán)重空間及亮度距離。雙邊濾波器平滑圖像并且保持邊緣。他已經(jīng)被廣泛應(yīng)用于減少噪聲28，HDR壓縮15，多尺度細(xì)節(jié)分解29，圖像提取30，它推廣成了級(jí)聯(lián)濾波器14，權(quán)重是通過(guò)另一個(gè)引導(dǎo)圖計(jì)算來(lái)的而不是輸入的濾波圖像。級(jí)聯(lián)濾波器是很適合當(dāng)需要濾波的圖像不能提供可靠的邊緣信息的時(shí)候，當(dāng)它噪聲非常多或者是一個(gè)中間結(jié)果的時(shí)候，例如Flash/非flash去噪14，圖像采樣31，圖像去卷積32，立體匹配33。雙邊濾波器也有限制盡管他很普遍。他已經(jīng)被提

8、到15，16，8，雙邊濾波器可能會(huì)產(chǎn)生“梯度逆轉(zhuǎn)”偽影。原因是當(dāng)（通常是邊緣附近）一個(gè)像素周?chē)泻芏嘞嗨频南袼貢r(shí)，高斯平均權(quán)重不穩(wěn)定。在這樣的情況下，結(jié)果在邊緣處會(huì)產(chǎn)生不希望的輪廓，通常被發(fā)現(xiàn)在細(xì)節(jié)增強(qiáng)和HDR壓縮的情況中。雙邊濾波器的另外一個(gè)問(wèn)題是效率問(wèn)題。最有效的執(zhí)行是O（Nr2）時(shí)間復(fù)雜度。核的半徑是。Durand and Dorsey15提出一個(gè)線性分段函數(shù)模型并且能夠給于FFT（快速傅里葉變換）濾波。Paris和Durand17計(jì)算雙邊濾波器作為一個(gè)3D濾波器在一個(gè)空間變化的領(lǐng)域，并且向下采樣這個(gè)領(lǐng)域去加速如果奈奎斯特條件大致上如此。在這種空間盒子核的情況，Weiss34提出一個(gè)O（

9、Nlogr）時(shí)間復(fù)雜度的方法基于分布直方圖，并且Porikli18提出第一個(gè)O（N）的時(shí)間復(fù)雜度算法應(yīng)用積分直方圖。我們指出那些建立直方圖本質(zhì)上是執(zhí)行2D的空間濾波器在空間變化領(lǐng)域用下面的1D變化濾波器。在這個(gè)觀點(diǎn)下，34和18沿著范圍域取樣但是不重構(gòu)它。Yang19提出另一種O（N）方法，在范圍域內(nèi)插入值以至于可以進(jìn)行更激進(jìn)的再次抽樣。這上面的所有方法都是線性復(fù)雜W,r,t取樣亮度值的數(shù)目（eg線性分段數(shù)目或者直方圖條的數(shù)目）。他們需要粗采樣去或者滿意的數(shù)度，但是如果奈奎斯特條件被嚴(yán)重破壞，就會(huì)導(dǎo)致質(zhì)量退化?？臻g變化域被推廣到更高維的情況，顏色權(quán)重雙邊濾波器35。這個(gè)大的代價(jià)歸因于高維能通過(guò)

10、高斯線段樹(shù)20，the Permutohedral Lattices 21, or the Adaptive Manifolds 36降低。但是這些方法的表現(xiàn)不能同灰度雙邊濾波器競(jìng)爭(zhēng)，因?yàn)樗鼈兓ㄙM(fèi)了很多額外的時(shí)間準(zhǔn)備數(shù)據(jù)結(jié)構(gòu)。在雙邊濾波器的限制下，人們開(kāi)始調(diào)查新的設(shè)計(jì)邊緣保持濾波器。O（N）時(shí)間復(fù)雜度的邊緣避免小波（EAW）37是用顯式圖像自適應(yīng)的小波變換。但是核的小波是在圖像平面的稀疏分布的。限制核的尺寸，這可能會(huì)限制它的應(yīng)用。最近Gastal and Oliveira38提出了另一個(gè)O（N）濾波器，就是大家都知道的域轉(zhuǎn)換濾波器。關(guān)鍵思想是反復(fù)地和分開(kāi)地應(yīng)用1D邊緣保持濾波器。O（N）時(shí)間復(fù)

11、雜度是通過(guò)積分圖像或者遞歸濾波獲得的。我們會(huì)在本論文中比較這些濾波器。2.2 隱式的平均權(quán)重濾波器一系列優(yōu)化二次成本函數(shù)并求解線性方程組的方法，等效于隱式濾波圖像的逆矩陣。在圖像分割39和色彩化9，這個(gè)矩陣的關(guān)系是高斯函數(shù)的顏色相近。在圖像摳圖，一個(gè)摳圖拉普拉斯矩陣10是被設(shè)計(jì)來(lái)強(qiáng)制matte作為一個(gè)圖像顏色的局部線性轉(zhuǎn)換。這個(gè)矩陣也被用來(lái)去霧處理11。平方和最小權(quán)重濾波器8根據(jù)圖像梯度調(diào)整矩陣的相關(guān)性產(chǎn)生無(wú)光暈邊緣保持平滑結(jié)果。盡管這些基于最優(yōu)化的方法常常產(chǎn)生高質(zhì)量結(jié)果，解決線性方程組很耗時(shí)。直接解決像高斯消元法由于內(nèi)存要求“填充”問(wèn)題40、41而不實(shí)際。迭代解決例如Jacobi方法，SOR

12、和共軛梯度法40都匯集太慢。盡管仔細(xì)設(shè)計(jì)預(yù)處理器41很大的減少了迭代次數(shù)，但是計(jì)算成本還是太高。多網(wǎng)格的方法42是被證明O(N)時(shí)間復(fù)雜度用作齊次的泊松方程，但是它的質(zhì)量退化了當(dāng)矩陣變得越來(lái)越不齊次的時(shí)候。以經(jīng)驗(yàn)為主的，隱式的加權(quán)平口濾波器至少花上好些秒去處理一個(gè)只有一個(gè)像素的圖像或者用預(yù)處理器41或者用網(wǎng)格的方法8。已經(jīng)發(fā)現(xiàn)就是這些隱式的濾波器與顯式的是密切相關(guān)的。在43，Elad展示雙邊濾波器是一個(gè)Jacobi迭代法在解決高斯相關(guān)矩陣的時(shí)候。41局部自適應(yīng)預(yù)處理器和37的小波邊緣避免是用類(lèi)似的方法構(gòu)建的。早在這篇論文中，我們展示一個(gè)引導(dǎo)濾波與摳圖拉普拉斯矩陣密切相關(guān)10。2.3 無(wú)平均濾波

13、器邊緣保持濾波能后同樣通過(guò)無(wú)平均濾波器得到。中值濾波器2是一個(gè)很有名的邊緣保持操作，和一個(gè)特別的例子局部直方圖濾波器44。直方圖濾波器有O（N）時(shí)間復(fù)雜度在某種程度是雙邊網(wǎng)格的一種。TV濾波器45優(yōu)化一個(gè)正規(guī)化L1代價(jià)函數(shù)，并且相當(dāng)于迭代中值濾波46。L1代價(jià)函數(shù)能被優(yōu)化通過(guò)半二次分割47，在一個(gè)二次模型機(jī)軟閾值法中選擇。最近，Paris48提出操縱每個(gè)像素的拉普拉斯金字塔系數(shù)去保持邊緣濾波。Xu49提出優(yōu)化一個(gè)正規(guī)化L0代價(jià)函數(shù)幫助分段常量解決方法。這些無(wú)平均濾波器通常都很耗時(shí)。3 引導(dǎo)濾波我們先定義一個(gè)普通的線性平移變換濾波器程序，與引導(dǎo)圖像，一個(gè)濾波輸入圖像以及一個(gè)輸出圖像相關(guān)。和是根據(jù)

14、應(yīng)用預(yù)先給定的，他們可以完全相同。在一個(gè)像素點(diǎn)處的濾波結(jié)果是被表達(dá)成一個(gè)加權(quán)平均： (1)和都是像素下標(biāo)。濾波器核是指導(dǎo)圖像的函數(shù)并且與獨(dú)立。這個(gè)濾波器是與線性相關(guān)的。一個(gè)這樣的濾波器的例子是級(jí)聯(lián)濾波器14雙邊濾波核是被下面的式子給定的： （2）是像素坐標(biāo)，是一個(gè)歸一化參數(shù)保證.參數(shù)和分別調(diào)整空間相似度和顏色亮度范圍相似度的靈敏性。當(dāng)和相等時(shí)，級(jí)聯(lián)濾波器降解成初始的雙邊濾波器1。顯式的加權(quán)平均濾波器優(yōu)化一個(gè)二次函數(shù)并且解決一個(gè)下面形式的線性方程組： (3)和是列向量N-1，相應(yīng)的和.是一個(gè)N-N的只跟相關(guān)的矩陣。（3）的解,與（1）有相同的形式，。3.1 定義現(xiàn)在我們定義引導(dǎo)濾波器，關(guān)鍵的假設(shè)

15、是這個(gè)引導(dǎo)濾波器在引導(dǎo)圖像和濾波輸出之間是一個(gè)局部線性模型。我們假設(shè)是中心在像素的窗口的線性轉(zhuǎn)換： (4)是假定同相同的線性系數(shù)。用一個(gè)半徑為r的方形窗口。這個(gè)局部線性模型確定只要有一個(gè)邊緣那么就有一個(gè)邊緣，因?yàn)檫@個(gè)模型被證明在圖像超分辨率50，圖像摳圖10，和去霧11中是有效的。為了決定線性系數(shù),我們需要約束輸入的濾波圖像。我們定義輸出為輸入減去一些不希望的內(nèi)容n例如噪聲/紋理： . (5) 我們尋求一個(gè)解決辦法能夠最小化和之間的差異，同時(shí)保持線性模型（4）。特別的，我們最小化下面的窗口的代價(jià)函數(shù)： (6)這里，是一個(gè)懲罰大的的正則化參數(shù)。我們將在3.2部分研究它的直觀意義。方程式（6）是線

16、性回歸模型51，52并且它通過(guò)以下給定的解決： (7) (8)這里，和是引導(dǎo)圖像的窗口平均值跟方差，是中像素個(gè)數(shù)，是在的平均值。獲得了線性系數(shù)，我們能計(jì)算濾波輸出根據(jù)方程（4）。圖1（右）顯示了關(guān)于一個(gè)引導(dǎo)濾波過(guò)程的解釋。然而，一個(gè)像素與所有覆蓋的重疊窗口相關(guān)，所以方程（4）中的值不是相同的當(dāng)用不同的窗口中計(jì)算。一個(gè)簡(jiǎn)單的策略是平均所有的的可能值。所以，計(jì)算了所有圖像中窗口的值，我們計(jì)算通過(guò)下面濾波輸出結(jié)果： (9)注意，由于盒子窗口是對(duì)稱的，我們重寫(xiě)方程（9）為： (10)和是在處的所有重疊窗口平均系數(shù)。這個(gè)重疊窗口的平均策略在圖像去噪53很流行并且是非常成功的BM3D算法54的一個(gè)構(gòu)件塊。

17、用這個(gè)（10）中的修改， 不再是的縮放了，因?yàn)榫€性系數(shù)空間可變。但是因?yàn)槭且粋€(gè)均值濾波器的輸出，他們的梯度會(huì)比明顯邊緣附近要小得多。在這種情況下，我們能將，意味著中的突然強(qiáng)度變化可以大部分被保存。方程（7）、（8）、（10）是引導(dǎo)濾波器的定義。一個(gè)偽代碼在算法1中。這個(gè)算法中，是用一個(gè)半徑為r的均值濾波器。相關(guān)性的縮寫(xiě)（corr）,方差的縮寫(xiě)（var），協(xié)方差的縮寫(xiě)（cov）表明了這些變量的直觀意義。我們將討論最快的執(zhí)行并且在第4部分計(jì)算細(xì)節(jié)。Algorithm 1. Guided Filter.Input: filtering input image p, guidance image, r

18、adius r,regularization Output: filtering output q./ *is a mean filter with a wide variety of O (N) time methods. */3.2 邊緣保持濾波器 考慮到給定的引導(dǎo)濾波器，我們第一次學(xué)習(xí)邊緣保持特性。圖2顯示一個(gè)用一系列引導(dǎo)濾波參數(shù)的例子。這里我們研究特別的例子，當(dāng)引導(dǎo)圖像是同輸入濾波圖相同的情況。我們能看到引導(dǎo)濾波變現(xiàn)出的邊緣保持平滑特性（圖2）。引導(dǎo)濾波的邊緣保持濾波特性能夠被解釋為下面的直觀反映?？紤]到I=P時(shí)，并且。很明顯當(dāng)，并且.如果，我們考慮兩種情況。第一種：”高方差”。如果圖

19、像在中很多變化，我們有 , so and.第二種：“平坦的塊”。如果圖像幾乎與窗口相同的話，我們會(huì)有 , so and, 因此，and.當(dāng)與被平均得到和，結(jié)合（10）得到輸出結(jié)果。我們有，當(dāng)一個(gè)像素在一個(gè)高方差區(qū)域的中間，它的值是不變的。然而，如果是在平坦區(qū)域的中間，它的值就會(huì)變成周?chē)鷧^(qū)域像素的平均值更具體的說(shuō)，平坦與高方差的標(biāo)準(zhǔn)是被參數(shù)給定的。如果塊狀的方差(2)比該參數(shù)小得多則被平滑，然而那些方差大得多則被保留。在引導(dǎo)濾波中的影響就像是雙邊濾波器（2）中的方差r2，都決定什么是應(yīng)該被保留一個(gè)邊緣/高方差塊。更多的，在一個(gè)平坦區(qū)，引導(dǎo)濾波器變成一個(gè)級(jí)聯(lián)的兩箱平均值濾波器半徑為r。級(jí)聯(lián)的箱均值

20、濾波器是高斯濾波器一個(gè)很好的近似。因此，我們經(jīng)驗(yàn)性地建立在引導(dǎo)濾波器和雙邊濾波器的一致： 和圖2顯示了兩個(gè)濾波器的結(jié)果應(yīng)用相應(yīng)的參數(shù)，圖2中的表格PSNR顯示了引導(dǎo)濾波器和雙邊濾波器用各自參數(shù)得到定量差異。當(dāng)PSNR>=4018時(shí)，它被認(rèn)為視覺(jué)不敏感。3.3 濾波器核通過(guò)（7）、（8)、(10)中可以很容易的顯示，和的關(guān)系如（1）中的平均加權(quán)形式。實(shí)際上，在（7）中能夠被重寫(xiě)成一個(gè)權(quán)重總和。是僅僅只依賴于的權(quán)重。同樣的原因，我們也有來(lái)自（8）的。跟來(lái)自（10）的.我們能夠證明核權(quán)重是明確被下面的式子表示： (11)由于跟的線性關(guān)系，濾波核被給定。把（8）代入（10）并且消掉b,我們得到：

21、 (12)Fig. 2. Edge-preserving filtering results of a gray-scale image using the guided filter (top) and the bilateral filter (bottom). In this example, the guidance I is identical to the input p. The input image is scaled in 0,1. The table “PSNR” shows the quantitative difference between the guided f

22、ilter results and the bilateral filter results using corresponding parameters. The input image is from 1. Fig.3. A 1-D example of an ideal step edge. For a window that exactly center on the edge, the variables and are as indicated.求偏導(dǎo)，得到： (13)在這個(gè)等式中，我們有： (14)當(dāng)是窗口中的時(shí)候，為1，否則為0.另一方面，偏微分在（13）中能夠被式（7）計(jì)算：

23、 (15)將（14）（15）代入（13），我們得到 (16)這是濾波核的表達(dá)式。一些更多的計(jì)算機(jī)代數(shù)操作顯示不需要做額外的工作區(qū)歸一化權(quán)重。邊緣保持平滑特性能夠被理解通過(guò)研究濾波核（11）。以一個(gè)理想的一維的邊緣階躍信號(hào)為例子（圖3）Iik 和 Ij k有同樣的符號(hào)（+、-）當(dāng)Ii和Ij在邊緣的同一邊，而當(dāng)在邊緣的不同兩邊他們就會(huì)有相反的符號(hào)。所以在（11），兩個(gè)像素點(diǎn)再不同的邊時(shí)比在相同邊時(shí)要小得多（接近于0）。這意味著像素穿過(guò)一個(gè)邊緣幾乎不會(huì)被平均到一起。我們也能理解式（11）中對(duì)平滑的影響。當(dāng)（平坦區(qū)域）時(shí)，這個(gè)核變成這是一個(gè)LTI的低通濾波器（這是兩個(gè)均值濾波器的級(jí)聯(lián)）。圖4解釋了一些

24、真實(shí)圖像的核形狀的例子。在最上排是在一個(gè)階躍邊緣的核。像雙邊的核，引導(dǎo)濾波器的核分配到邊緣另一邊的像素的權(quán)重幾乎為0.在中間的一行是在小比例的紋理局部快的核。所有的濾波器都是將鄰近的像素全部平均并且表現(xiàn)為低通濾波器。這在一個(gè)常量區(qū)更加明顯（圖4，低下的一行）引導(dǎo)濾波器分解成一個(gè)兩個(gè)均值濾波器的級(jí)聯(lián)。在圖4（b）中看到引導(dǎo)濾波器是選擇的非均勻的并且對(duì)x/y軸有輕微地偏差。這是因?yàn)槲覀冊(cè)谠O(shè)計(jì)濾波器的時(shí)候用的盒子窗口。這個(gè)問(wèn)題可以用高斯權(quán)重窗口替代而得到解決。形式上的，我們能引入這個(gè)（6）中的權(quán)重： (17)它直接顯示了結(jié)果，高斯濾波器能夠用于計(jì)算將算法1中的所有的均值濾波器用高斯濾波器計(jì)算。結(jié)果核

25、是圖4d中的旋轉(zhuǎn)均勻的。在第4部分，我們會(huì)顯示始終是O(N)時(shí)間復(fù)雜度的高斯濾波器想初始的引導(dǎo)濾波器那樣。但是因?yàn)樵趯?shí)際中我們發(fā)現(xiàn)初始的引導(dǎo)濾波器總是足夠好，我們所有剩下的實(shí)驗(yàn)中都用使用它。3.4 梯度保留濾波器盡管引導(dǎo)濾波是一個(gè)像雙邊濾波器一樣的邊緣保持平滑操作，在細(xì)節(jié)增強(qiáng)和HDR壓縮它避免了梯度逆轉(zhuǎn)偽影。一個(gè)簡(jiǎn)單細(xì)節(jié)增強(qiáng)算法的介紹如下（圖5）。給定的輸入信號(hào)（圖5中的黑色部分），它的邊緣保持平滑輸出被用作一個(gè)基層 (紅色)。輸入信號(hào)和基層的差是細(xì)節(jié)層（藍(lán)色）：d=p-q.它是用來(lái)放大去增強(qiáng)細(xì)節(jié)的。增強(qiáng)信號(hào)（綠色）是增強(qiáng)層和基層的結(jié)合。這個(gè)方法的仔細(xì)說(shuō)明在15中能看到。雙邊濾波器（圖5頂部）

26、，基層與輸入信號(hào)在邊緣像素（看放大的）不一致。圖（6）解釋了雙邊濾波核的邊緣像素。因?yàn)檫@個(gè)像素與鄰近不相似，高斯權(quán)重范圍核不可靠的平均了一些像素。更糟的是，這個(gè)范圍核是因?yàn)橥蛔兊倪吘壎a(chǎn)生偏差。例如圖6中的邊緣像素，它的邊緣值比初始值小，讓被濾波的信號(hào)比輸入圖像更加銳化了。這個(gè)銳化影響已經(jīng)被發(fā)現(xiàn)在15，16，8?，F(xiàn)在提出輸入圖像的梯度是正的：（如圖5和圖6）。當(dāng)是尖銳的，它給出了：細(xì)節(jié)層因此有一個(gè)負(fù)的梯度意味著它有個(gè)翻轉(zhuǎn)的梯度方向w,r,t輸入新哈（圖5頂部）。當(dāng)細(xì)節(jié)層被夸大并且重組了輸入信號(hào)，邊緣處出現(xiàn)梯度逆轉(zhuǎn)偽影。這個(gè)偽影是固有的并且不能通過(guò)調(diào)節(jié)參數(shù)被安全的避免因?yàn)閳D像通常有各種規(guī)模和量級(jí)

27、的邊緣。在另一方面，引導(dǎo)濾波器在避免逆轉(zhuǎn)梯度上有很好的表現(xiàn)。實(shí)際上，如果我們用分片連續(xù)模型（4），當(dāng)()引導(dǎo)圖是自身的時(shí)候能證明沒(méi)有這種逆轉(zhuǎn)偽影。在這種情況下，（7）給出了并且是常量。所以我們有，并且細(xì)節(jié)層梯度 ，意味著和總是有相同的梯度方向。當(dāng)我們用重疊模型（9）代替（4），我們有。因?yàn)?a與-b是兩個(gè)低通濾波圖，我們得到并且上面的結(jié)論仍然是接近現(xiàn)實(shí)。在實(shí)際中，我們?cè)谒性囼?yàn)中不觀察梯度逆轉(zhuǎn)偽影。圖5（底下）給出了一個(gè)例子。不像雙邊濾波核，引導(dǎo)濾波設(shè)計(jì)許多小的但是必要的權(quán)重去減弱核的邊緣。這讓引導(dǎo)濾波核的偏差更少，避免減少圖（5）中例子邊緣像素的值。我們注意到，梯度逆轉(zhuǎn)問(wèn)題也在最近的邊緣保持

28、域轉(zhuǎn)換濾波器38中出現(xiàn)（圖7）。這個(gè)非常有效的濾波器是來(lái)源于1維的雙邊濾波核，所以他不能安全的避免梯度逆轉(zhuǎn)。3.5 擴(kuò)展到顏色濾波這個(gè)引導(dǎo)濾波能容易得擴(kuò)展到顏色圖像中。這種情況下，輸入濾波圖像是多通道的。這非常明顯的是需要將濾波器應(yīng)用到各個(gè)獨(dú)立的通道上。在這種情況下，引導(dǎo)圖像也是多通道的，我們重寫(xiě)這個(gè)局部的線性模型（4） (18)這里是一個(gè)3*1的顏色向量，是一個(gè)3*1的系數(shù)向量，qi和是標(biāo)量。引導(dǎo)濾波器用于圖像顏色的引導(dǎo)圖變成 (19) (20) (21)這里，是引導(dǎo)圖像的窗口的一個(gè)3*3的協(xié)方差矩陣，U是一個(gè)3*3的單位矩陣。一個(gè)顏色引導(dǎo)圖能夠更好的保持那些在灰度圖像中不明顯的邊緣（圖8）

29、。一個(gè)顏色引導(dǎo)圖在摳圖和去霧應(yīng)用中也非常重要，如同我們后來(lái)知道的，因?yàn)榫植烤€性模型是更可能對(duì)RGB顏色空間比對(duì)灰度圖像有效10。Fig. 8. Guided filtering results guided by the color image (b) and guided by its gray-scale version (c). The result in (c) has halos because the edge is not undistinguishable in gray-scale.Fig. 9. Structure-transferring filtering.3.6 結(jié)構(gòu)

30、轉(zhuǎn)換過(guò)濾有趣的是，引導(dǎo)濾波器不是簡(jiǎn)單地平滑濾波器。考慮到局部線性模型,輸出結(jié)果是一個(gè)局部引導(dǎo)圖的縮放（加上一個(gè)補(bǔ)償量）。這讓從引導(dǎo)圖結(jié)構(gòu)轉(zhuǎn)化成輸出成為可能，甚至濾波輸出是平滑的（圖9）顯示一個(gè)結(jié)構(gòu)轉(zhuǎn)化的濾波例子，我們提出一種引導(dǎo)濾波的應(yīng)用：一個(gè)的二進(jìn)制掩膜精煉去產(chǎn)生一個(gè)物體邊界附近的影像（圖10）。二進(jìn)制的掩膜能通過(guò)割圖或者其他分割方法得到，并且用于輸入的濾波器。引導(dǎo)圖是顏色圖像。圖10顯示了三個(gè)濾波器的行為：引導(dǎo)濾波器，（級(jí)聯(lián)）雙邊濾波器，和最近的一個(gè)域轉(zhuǎn)換濾波器38。我們觀察到引導(dǎo)濾波器完全地恢復(fù)了頭發(fā)，即使濾波輸入是二進(jìn)制的并且很粗糙。雙邊濾波器也許會(huì)失去一些細(xì)薄的結(jié)構(gòu)（放大看）。這是因

31、為雙邊濾波器是用像素的顏色差異來(lái)引導(dǎo)的，然而引導(dǎo)濾波器是有分片連續(xù)模型。我們也可以觀察到域轉(zhuǎn)換濾波器沒(méi)有一個(gè)好的結(jié)構(gòu)轉(zhuǎn)換能力并且只是簡(jiǎn)單平滑了結(jié)果。這是因?yàn)檫@個(gè)濾波器基于像素的測(cè)量距離，并且它的輸出是一系列一維的自適應(yīng)跨度的盒子濾波器38。結(jié)構(gòu)濾波是一個(gè)很重要的引導(dǎo)濾波器的特性。它能用于新的基于濾波的應(yīng)用，包括摳圖和去霧。它也能用到高質(zhì)量的基于濾波的立體匹配。2324。3.7 與隱式方法的關(guān)系引導(dǎo)濾波器與摳圖的拉普拉斯矩陣10有密切聯(lián)系.這個(gè)引入例如新的視角去理解這個(gè)濾波器。在一個(gè)封閉情況下去摳圖10，摳圖拉普拉斯矩陣是源于一個(gè)局部線性模型。不像引導(dǎo)濾波器，計(jì)算每個(gè)窗口的局部最佳值，這個(gè)密閉的

32、情況裙子一個(gè)全局最優(yōu)值。為了解決這個(gè)未知的,這個(gè)方法最小化下面的代價(jià)函數(shù)： (22)這里，是一個(gè)N*1的向量表示未知的matte，是約束條件，L是一個(gè)N*N的摳圖的“拉普拉斯”矩陣，并且A是一個(gè)對(duì)角矩陣根據(jù)約束權(quán)重編碼。這個(gè)最小化問(wèn)題解決方案是通過(guò)解下面的線性方程組： (23)拉普拉斯摳圖矩陣是通過(guò)下面的式子給定的： (24) 克羅內(nèi)克符號(hào)。比較（24）與（11），我們發(fā)現(xiàn)摳圖拉普拉斯矩陣元素能直接被引導(dǎo)濾波器的核給定： (25)在43中的策略，我們證明引導(dǎo)濾波的輸出是一個(gè)Jacobi迭代在最優(yōu)化（22）時(shí)： (26)證明：從（25）得到的矩陣是： (27)U是一個(gè)同L相同大小的單位矩陣。應(yīng)用

33、Jacobi方法40在線性方程組（23），我們需要矩陣對(duì)角線/非對(duì)角線的部分。我們分解W成對(duì)角線部分Wd和非對(duì)角線部分Wo，所以。從（27）和（23）我們得到： (28)注意到Wo是非對(duì)角線的，用作為最初始的猜想，我們計(jì)算Jacobi方法的一個(gè)迭代： (29)在（29），唯一的卷積是矩陣的乘法。另外矩陣是所有的對(duì)角線和逐點(diǎn)操作。更加簡(jiǎn)化（29），我們讓矩陣滿足：或者，相當(dāng)于 (30)在（30）中期望的值是2，暗示了（22）中的約束是溫和的。等式（29）被簡(jiǎn)化為： (31)這就是引導(dǎo)濾波器。在55，通過(guò)Conjugate梯度求解器40引導(dǎo)濾波器和摳圖拉普拉斯矩陣另一種關(guān)系。在第5部分，我們用這種

34、特性去圖像摳圖和去霧。證明了關(guān)于最初的的猜想的可靠性。這是這個(gè)濾波器結(jié)構(gòu)轉(zhuǎn)化特性的另一個(gè)角度觀點(diǎn)。4 計(jì)算量和效率引導(dǎo)式過(guò)濾器相比雙邊濾波的主要優(yōu)點(diǎn)是它自然有 O (N) 時(shí)間非近似算法，不依賴于窗口半徑 r 和強(qiáng)度范圍。（1）中的濾波過(guò)程是轉(zhuǎn)換變體的卷積。當(dāng)內(nèi)核變得更大時(shí)其計(jì)算的復(fù)雜性增加。取代直接執(zhí)行卷積的做法，我們借助算法1并從其定義（7）（8）和（10）來(lái)計(jì)算濾波器輸出。主要的計(jì)算負(fù)擔(dān)是有著半徑為 r 的窗口的均值濾波器。 幸運(yùn)的是，（非標(biāo)準(zhǔn)化的）窗口濾波器可以有效地計(jì)算在 O (N) 時(shí)間使用整數(shù)圖像技術(shù) 57 或簡(jiǎn)單的移動(dòng)總和法 （見(jiàn)算法 2）?？紤]到窗口濾波器的可分離性，任意一種

35、方法需要讓每個(gè)像素沿每個(gè)x / y 軸方向進(jìn)行兩個(gè)操作（加減）。因此均值濾波，需要每個(gè)像素、五個(gè)加減操作和一個(gè)分割（以規(guī)范）。Algorithm 2. 1D Box Filter via Moving SumInput: input signal p, radius r Output: output signal s. 2: for to end do4: end for伴隨著O (N) 時(shí)間的均值濾波，算法 1中的引導(dǎo)濾波器自然是 O (N) 時(shí)間。同樣，在（19）（20）和（21）中顏色指導(dǎo)下的版本可被計(jì)算在類(lèi)似的 O (N) 時(shí)間的方式。一個(gè)公共的Matlab程序代碼是在文獻(xiàn) 22 中可

36、用，包括灰度和彩色兩個(gè)版本。在表1中，我們總結(jié)均值濾波在不同場(chǎng)景中所需的數(shù)量。在這里，dI和dp分別是在和的通道數(shù)目。我們還列出的特殊情況，因?yàn)橹貜?fù)的和可以節(jié)省一些均值濾波。在實(shí)踐中最關(guān)注的是的情況。我們嘗試在PC機(jī)與英特爾核心i7 3.0 GHz CPU和8 GB RAM的運(yùn)行時(shí)間。執(zhí)行是在C+語(yǔ)言環(huán)境下。所有的算法是基于單核的以及除非在指定情況下都沒(méi)有SIMD 指令(例如，SSE)。在我們的實(shí)驗(yàn)中，均值濾波需時(shí)約 5-7ms/Mp。運(yùn)行時(shí)間如表 1 所示。我們想突出在邊緣保持平滑下顯示灰度級(jí)圖像（）需要唯一的40ms/Mp。作為比較（見(jiàn)表2），18中的O(N)時(shí)間雙邊濾波器記錄有使用32位

37、直方圖（B = 32）需155ms/Mp和使用64位直方圖需310ms/Mp。18中所述的方法使用積分直方圖，要求對(duì)每個(gè)像素使用6B 加/減法運(yùn)算來(lái)生成直方圖。相反，我們可以采用56中的移動(dòng)直方圖，其中需要每個(gè)像素進(jìn)行2B+2的操作。在SSE下我們執(zhí)行情況18+56達(dá)到40ms/Mp（B = 32）和80ms/Mp（B = 64）。因?yàn)樵?6移動(dòng)直方圖的提出僅為中值濾波，組合18+56，盡我們所知，是在文獻(xiàn)中尚未發(fā)布的先進(jìn)的雙邊濾波。楊的O(N)算法19當(dāng)B=8（使用作者的公共代碼，并伴隨盒的空間內(nèi)核）時(shí)需要大約120ms/Mp。請(qǐng)注意O(N)時(shí)間引導(dǎo)式的濾波器是非近似的，并且適用于任何范圍的

38、強(qiáng)度。與此相反，由于區(qū)域式的二次抽樣，O(N)時(shí)間雙邊濾波器可能有明顯量化構(gòu)件。圖 11 顯示了示例在高動(dòng)態(tài)范圍的信號(hào)將被在哪里濾波。Porikli的方法18特別當(dāng)B = 32時(shí)具有明顯的量化構(gòu)件。類(lèi)似的方法在楊的方法19中很少見(jiàn)，當(dāng)B = 8時(shí)由于范圍內(nèi)插（但需要更多的時(shí)間，見(jiàn)表2），但當(dāng)B = 4時(shí)仍然明顯是因?yàn)槟慰固夭蓸訔l件變得嚴(yán)重破損。彩色圖像濾波（見(jiàn)表3），引導(dǎo)濾波器當(dāng)時(shí)需要300ms/Mp 時(shí)和當(dāng)時(shí) 需要150ms/Mp。這是遠(yuǎn)遠(yuǎn)快于高維的雙邊濾波算法如高斯kd-tree算法20(> 10 s/Mp) 和先進(jìn)的Permutohedral Lattice 算法21(>1

39、s/Mp)。在22中引導(dǎo)濾波的出版后 篩選域變換中，最近很多如38提出 O(N)時(shí)間閾轉(zhuǎn)換濾波器。38的報(bào)告中提到，在彩色圖像濾波中其歸一化積（NC）版本需160ms/Mp，而其遞歸濾波器（RF）版本需要60ms/Mp。雖然域變換速度非常快，它不回避梯度逆轉(zhuǎn)（圖 7）以及不適合傳輸結(jié)構(gòu)（圖10）。在O(N)時(shí)間來(lái)遞歸高斯濾波器58中，第3.3節(jié)所述的高斯引導(dǎo)的濾波器也是O(N)時(shí)間。遞歸高斯濾波器是比箱子濾波器更昂貴（15個(gè)行動(dòng)與兩個(gè)操作，每個(gè)像素沿每個(gè)x=y的方向）。TABLE 2Time Comparisons with O (N) Bilateral Filters for Gray-S

40、cale Image Filtering TABLE 3Time Comparisons on Color Image FilteringFig. 11. Quantization artifacts of O (N) time bilateral filter. (a) Input HDR image (32 bit float, displayed by linear scaling). (b) Compressed image using Poriklis O (N) bilateral filter (32 bins) 18. (c) Compressed image using th

41、e guided filter. Note both methods have comparable running time.Fig. 12. Detail enhancement. The parameters are for the guided filter, and for the bilateral filter. The detail layer is boosted * 5.Fig. 13. HDR compression. The parameters are for the guided filter,and for the bilateral filter.5 實(shí)驗(yàn)接下來(lái)

42、,我們使用引導(dǎo)濾波器在各種各樣的計(jì)算機(jī)視覺(jué)和圖形應(yīng)用程序上進(jìn)行實(shí)驗(yàn)。Fig. 14. Flash/no-flash de-noising. The parameters are for the guided filter, and for the joint bilateral filter.Fig. 15. Guided feathering. A binary mask p is filtered under the guidance of I. In the zoom-in patches, we compare with the photo-shop refine edge funct

43、ion and the closed-form matting. For closed-form matting, we erode and dilate the mask to obtain a trimap. The parameters are for the guided filter.細(xì)節(jié)增強(qiáng)和 HDR 壓縮。第 3.4 節(jié)已經(jīng)講述了細(xì)節(jié)增強(qiáng)方法。HDR 壓縮是用類(lèi)似的方式完成的，只是將壓縮的基底層取代了放大細(xì)節(jié)層（見(jiàn) 15）。圖 12 顯示了一個(gè)細(xì)節(jié)增強(qiáng)得例子，圖 13 顯示了一個(gè)示例 HDR 壓縮。此外提供了使用雙邊濾波的結(jié)果。如縮放與修補(bǔ)部分中所示，雙邊濾波器會(huì)導(dǎo)致梯度逆轉(zhuǎn)的情

44、況。請(qǐng)注意梯度逆轉(zhuǎn)情況經(jīng)常引導(dǎo)邊緣部分進(jìn)行新的配置。閃光/無(wú)閃點(diǎn)去噪。在14中，已經(jīng)展示了在有閃光圖像的引導(dǎo)下進(jìn)行去噪形成無(wú)閃點(diǎn)圖像的過(guò)程。圖14顯示了使用聯(lián)合的雙邊濾波和引導(dǎo)的濾波器的比較。梯度逆轉(zhuǎn)情況在聯(lián)合雙邊濾波結(jié)果中的一些邊緣附近被發(fā)現(xiàn)。引導(dǎo)羽化/消光。我們已經(jīng)在 3.6 節(jié)中介紹了引導(dǎo)羽化的應(yīng)用。一個(gè)類(lèi)似的工具，稱為“邊緣調(diào)整”是由 Adobe Photoshop CS4 商業(yè)軟件提供的。此外可以通過(guò)閉合式窗體消光 10 計(jì)算準(zhǔn)確的遮擋。圖 15 顯示了比較。我們的結(jié)果是在本文中短發(fā)的例子中與閉合式窗體解決方案進(jìn)行比較。對(duì)于這 6 百萬(wàn)像素的圖像，我們的方法和 Photoshop的方法都提供了快速反饋（<1s），盡管閉合式窗體解決方法需花費(fèi)大約兩分鐘來(lái)解決一個(gè)龐大的線性系統(tǒng)。在一般的消光情況下模糊區(qū)較大；我們可以