面向行人移除的街景圖像全局優(yōu)化時空修補方法

面向行人移除的街景圖像全局優(yōu)化時空修補方法面向行人移除的街景圖像全局優(yōu)化時空修補方法

隨著城市化的加速，城市中的行人數(shù)量越來越多，而這些行人也日益成為城市中的一個特色，吸引著大量游客的到來，為城市帶來了經(jīng)濟效益。然而，對于某些需要展示景點、建筑或街景的圖片或視頻而言，這些行人成為了“干擾因素”，需要被移除。因此，行人移除技術(shù)越來越受到關(guān)注。但是，由于行人在圖片或視頻中的位置和形狀不同，因此對于行人移除的結(jié)果不盡相同，也無法完全自動化。目前，行人移除技術(shù)主要借助圖像修補算法完成時空修補，本文將介紹面向行人移除的街景圖像全局優(yōu)化時空修補方法。

1.行人移除初步處理

行人移除技術(shù)的第一步是將行人從背景中分離出來。為此，可以借助深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)等技術(shù)。一些列論文表明，MaskR-CNN和機器學(xué)習(xí)算法可以有效地分離人像和背景，成為行人移除技術(shù)中不可或缺的一部分。

2.行人移除時空修補

一旦確定了需要移除的行人位置，就需要使用圖像修補技術(shù)來填補行人所在的區(qū)域。圖像修補主要有兩種方法：基于紋理的方法和基于統(tǒng)計的方法?；诩y理的方法利用圖像的紋理特征實現(xiàn)補洞，但針對紋理較為單一的行人圖片，這種方法很難實現(xiàn)理想的效果?；诮y(tǒng)計的方法常?？梢栽趫D像中進(jìn)行區(qū)域之間的交換，這樣就可以避免一些類似于紋理差異的問題。根據(jù)修補的位置，可將修補算法分為空間修補和時間修補兩種。

2.1空間修補

空間修補是指在單一靜態(tài)圖像中行人移除的空間修補。當(dāng)前，比較實用有用的是基于無縫克隆(SeamlessCloning)技術(shù)的修補方法。這種技術(shù)將圖像處理、替換和融合等步驟結(jié)合在一起。首先，使用“基礎(chǔ)區(qū)域”的方式選擇相似區(qū)域來替換行人位置，然后將原圖像的邊緣平滑地削弱或強化，以使之與替換后的圖像進(jìn)行無縫連接?；谕敢暤呐で?AffineWarping)技術(shù)對修補偏移的影響進(jìn)行了管理，并對不同類型的圖像采取了不同的處理方法。

當(dāng)前，和SeamlessCloning技術(shù)很相似的是“紋理合成(TextureSynthesis)”技術(shù)。紋理合成技術(shù)不需要選擇“基礎(chǔ)區(qū)域”，而是利用圖像中紋理的全局信息進(jìn)行替換，能夠進(jìn)行更加可控的替換選項的設(shè)置，但是需要更多的人工干預(yù)。

2.2時間修補

時間修補系統(tǒng)是指在基于視頻移除行人時，需要同時考慮圖像空間修補和時間上連續(xù)幀之間的補位。這種方法可以使用圖像向量(VideoVector)或基于形變或流的技術(shù)進(jìn)行。其中VideoVector技術(shù)是將一系列圖像作為向量（降維）表示，然后使用一致性檢測算法對缺失的像素進(jìn)行估計。而基于形變或流的技術(shù)，則是利用多幀圖像中的單向圖像流(FieldofOpticalFlow)和結(jié)構(gòu)相似度作為參考，將相鄰幀的信息融合和插值得到缺失像素。

3.行人移除全局優(yōu)化

在進(jìn)行“行人移除”的過程中，往往會存在一些空洞、錯位等問題，這些問題極大地影響到“行人移除”的效果。為避免這些問題，需要進(jìn)行全局優(yōu)化。行人移除全局優(yōu)化的方法有以下幾種：

3.1圖像圖割(ImageGraphCuts)

圖像圖割技術(shù)是一種將圖像分割成多個區(qū)域的技術(shù)。在對行人進(jìn)行移除時，可以將所有需要進(jìn)行修復(fù)的區(qū)域視為一個區(qū)域，將整塊區(qū)域進(jìn)行修補，這樣可以避免存在的空洞或問題。

3.2角點匹配(CornerMatching)

角點匹配技術(shù)是一種為了制作全景圖像的方法，它通過將所有圖像的角點進(jìn)行拼接，然后將所有的角點匹配起來，進(jìn)而得到最終的全景圖像。在移除行人時，通過將所有需要進(jìn)行修復(fù)的區(qū)域分塊，分段拼接后再進(jìn)行匹配，這樣可以更加精細(xì)地完成移除任務(wù)。

3.3視頻去抖(DepthfromMotion)

在行人移除時，需要進(jìn)行視覺去抖。最初，視覺去抖是由普通的視頻去抖技術(shù)內(nèi)容，通過在一定時間內(nèi)的平均值中去除噪聲。然而，在使用行人移除時，還需考慮進(jìn)去抖攝像機位移的問題，因此這種方法常常需要被適當(dāng)?shù)卣{(diào)整。

4.結(jié)論

通過研究和實踐，我們發(fā)現(xiàn)，采用合理的圖像修補算法，結(jié)合時間和空間修補進(jìn)行全局優(yōu)化，能夠有效地移除街景圖像中的行人，為城市景點和街景的展示提供了很好的幫助。但是，由于行人的不確定性和復(fù)雜性以及圖像修補算法的