立體圖像的深度估計(3D感知)

1、立體圖像的深度估計(感知)硬件方案:主動攤射已丸博碼罔耀，提開特II匹氏哦Zfvrft理鋼38光前飛行時冋陰畳計算近臣離阿倦泌夷豊窪可達屋親無轉(zhuǎn)壓近業(yè)離可達奄米更牌匝OLdlnirn-lmni凱覇削fl靜百有惜響+和埸瑪茨勾ons雙目方案有多種結(jié)構(gòu)：比如垂直雙目結(jié)構(gòu)、水平雙目結(jié)構(gòu)、單攝像機平移結(jié)構(gòu)等。通常情況下，在實驗與實際應用中，使用得最為廣泛的是水平雙目結(jié)構(gòu)平臺。雙目系統(tǒng)中實現(xiàn)原理是怎么樣的？從圖片中的一個點p(u,v)怎么得到現(xiàn)實世界中的P(x_w,y_w,z_w)；=_皿d為視差。P7PB(Baseline)如上圖，P是現(xiàn)實中的一點，O_R和O_T分別是兩個相機的光心，點P在兩個相機上

2、面的成像點分別是p和p(相機的成像平面經(jīng)過旋轉(zhuǎn)后放在了鏡頭前方)，f是相機的焦距，B為兩個相機的中心距，Z就是我們想要求得的深度信息X_R和X_T分別是成像點距離圖像最左側(cè)的距離。視差定義為：d=X_R-X_T，視差值就是左右兩幅圖像上對應點之間在水平方向上的位置差。根據(jù)三角形相似原理，顯然有：所以總體來說，想要得到該點現(xiàn)實世界的三維坐標，關鍵點就在于求出該點的視差值。背景介紹：立體圖像的深度估計對計算機視覺應用至關重要，包括用于汽車自動駕駛、三維模型重構(gòu)、物體檢測和識別的自動駕駛。給一對矯正過的立體圖像，深度信息估計的目標是計算參考圖上每一個像素點的視差值d(disparityd)。視差值就

3、是左右兩幅圖像上對應點之間在水平方向上的位置差。對于左圖中的像素點(x,y)，它在右圖中對應點的坐標為(x-d,y),d=xl-xr,這個點的深度值可以通過fB/d來計算，其中f是攝像機的焦距，B是兩個攝像頭之間的距離(該計算可參考)。對左右視圖進行預處理，畸變矯正處理-極線對齊處理坐標系介紹：,來描述世界坐標系。對于世界坐標系中的一點M,記作。為了=1表世界坐標系：世界坐標系就是物理空間中的三維坐標系。世界坐標系的原點、x,y,z軸的方向理論上均可以人為任意設定。如圖所示，一般用坐標系原點與三維坐標軸方便用矩陣表示幾個坐標系之間的轉(zhuǎn)換，通常我們用齊次坐標來表示每一個坐標系中的點。那么，世界坐

4、標系上的點示為齊次坐標為II攝像機坐標系：在涉及到該坐標系時，通常都是以攝像機鏡頭的聚焦中心點為原點，即選擇焦點作為原點。選取攝像機的光軸為z軸。x,y軸方向分別平行于攝像機拍攝圖像的水平與垂直方向。由此可見，攝像機坐標系也是一個三維坐標系。研究中用原點O與三維坐標軸Xc、Yc、Zc來描述攝像機坐標系，見上圖。攝像機坐標系中的一點M通常被記為(xc,yc,zc),使用齊次坐標表示為(xc,yc,zc,1)。對于三維空間中的一點，攝像機坐標系與世界坐標系之間的轉(zhuǎn)換關系可以表示為這兩個三維坐標系之間的旋轉(zhuǎn)與平移，可以表示為：.yRT22空J0L檢也JJ1inaniI其中矩陣T是平移矩陣。矩陣R是正

5、交旋轉(zhuǎn)矩陣。旋轉(zhuǎn)矩陣的參數(shù)有如下約束關系:If+丿+人了=1丿；+H+AJ1H邛-+JI-+JlZ=I圖像坐標系：圖像坐標系是以攝像拍攝到的圖像平面作為坐標系平面的。圖像坐標系的X軸平行于圖像的橫軸，丫軸平行于圖像的縱軸。坐標原點為需要注意的是，圖像坐標系的基本單位并不是整數(shù)值的像素點，而是實際的長度單位，如英尺、毫米等。通常使用坐標軸I來描述圖像坐標系。點M在圖像坐標系里映射的m點可以記作（x,y）。像素坐標系：攝像機獲得的圖像，是以離散像素點的形式存儲的。因此，需要引入像素坐標。像素坐標是以離散整數(shù)值為單位。因此，像素坐標系是離散的二維坐標系。其原點一般選擇圖像左上角像素所處的位置。像素坐

6、標系的橫軸與縱軸通常取圖像的水平與垂直方向。假設空間中的一點M在圖像坐標系成像m可以表示作（u,v），則兩個坐標系之間的關系可以表示為如下：“一叫=X/XInrrtrivr其中，是坐標系中的圖像中心坐標。，的具體物理意義可以理解為一個像素點在兩個坐標軸向上的實際占用長度。是沿著兩個坐標軸方向上的采樣密集度。具體而言，我們可以把它理解為單位長度中存在的像素個數(shù)。則u一一001右邊的x,y指的是圖像坐標系的坐標X,Y攝像機拍攝圖像是一個將三維空間點信息投影到成像平面的過程，而三維點云重投影，是要根據(jù)視差數(shù)據(jù)將成像平面中的二維像素點映射到三維空間中。其中空間中的一點P在左右攝像機圖像坐標系成像的坐標

7、分別為，是圖像中心位置的坐標值，也就是中心軸與成像平面的相交的位置的坐標，和是X和Y方向的等效焦距。這樣根據(jù)主視圖中一點的像素坐標以及這一點對應的視差，則根據(jù)式（5.1）我們可以求出該點在三維空間中的坐標。所有的算法都是要得到比較準確的視差圖:可以注意到近處的物體相比遠處的物體有更大的視差。越大視差在視差圖像的灰度圖中就越亮，顏色色調(diào)越暖表示視差更大而深度更小。H叫Nilinia曙傳統(tǒng)方法:立體視覺視差圖算法處理階段的分類可編碼為如下步驟（計算匹配代價-聚合匹配代價-計算稠密視差-優(yōu)化稠密視差）：假設輸入是一張校正好的圖像方法分類表格匯總：iuuM1K社！坤附忙“1WBi像笛足|墟內(nèi)中蟲嚴天卅

8、長也眩最和也腔值對唄聲址!J，羽墳尊hMtttiMKKB4HE詁拽神援（jSS.tt.追幔鼻）乏劇詡艷耨血*用舷牛0城施嗎蔚Tt理也的岫曜fE不塔円弒少胸妥特EE荊帶靄曲進盤專的”|址皿擔追庁企理，他柏弟曲時庖也可左攤再厠亞怕廉宦輛世柿劃帝膚出上奇異點母業(yè)定全剛曲4$Mt創(chuàng)隹左右國*時理的和押猊上習菇夬匹H代護路徑握豪昂草朮收理呂匹配睛債打社去雌軒燭JRK計m雜喪晦0L此-HEE&iKBLn-hZ.jqe還可以根據(jù)采用圖像表示的基元不同:區(qū)域立體匹配算法：給定一幅圖像上的一點，選取該點鄰域內(nèi)的一個子窗口，在另一幅圖像中的一個區(qū)域內(nèi)，根據(jù)某種相似性，尋找與子窗口圖像最相似的窗口，得到的匹配窗口中

9、對應的像素點就為該像素的匹配點?？色@得稠密視差圖?；谔卣鞯牧Ⅲw匹配算法：基于幾何特征信息（邊緣、線、輪廓、興趣點、角點和幾何基元等）提取圖像的幾何特征點，針對幾何特征點進行視差估計，利用得到的視差信息重建三維空間場景?？色@得稀疏視差圖，通過插值可獲得稠密視差圖。局部方法：即基于區(qū)域或者窗口的方法。因為給定點（或像素）上的差異計算僅取決于預定義支持窗口內(nèi)的強度值。因此，該方法只考慮局部信息，計算復雜度低，運行時間短。全局方法：把視差分配看作是所有視差值的全局能量函數(shù)最小化問題。這種方法被表述為目標函數(shù)中包含兩個項的能量最小化過程。全局方法沒有step2?；谫Y料的豐富度和流行度，我們主要研究的

10、是局部方法。下面是對上面四個步驟的說明。Thematchingcostcomputation（計算匹配代價）假設有由攝像機獲得的立體圖像對，若在左右圖像上各取一像素點，立體匹配就是衡量這兩個點是否是對應的像素點，因此需要建立一個立體匹配的代價函數(shù)來衡量這兩個點的近似程度。在評價兩個點的相似性時，我們通常是尋找兩個點在灰度、邊緣等方面的相似性，所以通常用灰度差、像素梯度差來描述這兩點的差異，差異越小兩點越相似。這種灰度差、梯度差就是所謂的匹配代價。實際上，匹配代價的計算也都大多以灰度與梯度為依據(jù)，用的比較多的立體匹配代價有：基于像素的技術算法，常見的比如說absolutedifferences(

11、AD),squareddifferences(SD);基于區(qū)域或者窗口的技術比基于像素或者是特征的技術能提供更加豐富豐富的信息，并且更加準確，因為匹配過程考慮到了給定區(qū)域的整個像素集，常見的算法是sumofabsolutedifferences(SAD),thesumofsquareddifferences(SSD),normalizedcrosscorrelation(NCC),ranktransforms(RT),andcensustransforms(CT)。基于窗口的主要缺點就是這些方法通常假定支持窗口中的所有像素都具有相似的差異值。AD：同=山(咒)一乙(兀一乩刃|,(1)Inthi

12、sequalio(咒，y,d)representsthedisparitymapcoordinates.where(jc,y)arcthecoordinntesofthepixelofinterestanddisthedisparity(ordepth)value.，rypically;inrhematchingprocess,匸isusedasreferenceimageandtheAD方法是最簡單的，由于復雜度低，可以用來實時的立體匹配，對于很少紋理的效果很好，但是很高紋理圖就不能產(chǎn)生平滑的視差圖。SD：以提高邊緣的平整度，并使深度不連續(xù)附近的區(qū)域光滑。但是對光照和噪聲太敏感，特別是在室外

13、環(huán)境中?；谔卣鞯募夹g：傳統(tǒng)的特征提取方法包括：視覺特征(比如邊緣，形狀，紋理，分割，梯度峰值)，統(tǒng)計特征(比如極小值，中值，直方圖)，變換特征(比如Hough變換，小波變換，Gabor變換)。因為僅僅和特征點相關，盡管計算量顯著減少，但是不能獲得完整的視差圖。特征匹配的精度仍然很低。所以，基于特征的技術不受歡迎。SAD：該算法能夠?qū)崟r處理，雖然很快，但是產(chǎn)生的初始視差圖的質(zhì)量很低，原因在于有噪聲在物體的邊界和無紋理區(qū)域。SSD：SSDfx,Vy-lAx-d.y2.小多個固定的窗口可以來減少遮擋誤差的發(fā)生，其目的是搜索出最小的誤差并且在視差圖中選出合適的像素。CostAggregation(聚

14、合匹配代價)：目的在于最小化匹配的不確定性。因為基于單個像素的計算得到的匹配代價，對于精確的匹配是遠遠不夠的。聚合后的匹配代價可以認為不僅僅是描述了兩像素點之間灰度與梯度的差異程度，也是描述兩像素點與周圍像素點相關性的差異程度。常用的做法是通過一個窗口來將這些損失全部相加起來。窗口的設計有以下幾種：固定的窗口技術(FW),缺點是在一個給定的閾值情況下，隨著窗口大小的增大，誤差率也會增大，而且對特定的輸入數(shù)據(jù)集需要設定合適的參數(shù)值，否則會模糊物體的邊界。為了解決在深度不連續(xù)區(qū)域的過多人工處理痕跡，多窗口(MW)技術，自適應窗口技術(AW),自適應權(quán)重窗口技術(ASW)被提出來了。ASW：whE比

15、i&asquaresupportwindowcenteredonpixdp,The?windowsizeisaasrdefinedparameter.Thevalueoftheq)functionrepresentsthepossibilitythatapixelqwillpossessadisparityvaluesimilartothatofthewindowcenterpixeluC(aJ)representsatargetpixelawithaDisparityComputationandOptimization(計算稠密視差)通過聚合匹配代價，可以得到像素點在不同視差位置的聚合后匹配

16、代價。對于局部匹配算法，在選取視差時，我們通常選擇聚合后的最小值作為視差的值。也就是使用WTA(WinnerTakesAll)策略來選擇最佳視差值。如下式子所示，選取的視差值是聚合匹配代價后的最小值所對應的視差。D表示視差的取值范圍%-argminC(p.M)*:Ihedisparityassociatedwiththemiiiinmniaggregatedcostd?ateachpixelischosen.Cr(p,J)representstheaggregatecostobtainedafterthematchingcostcalcuhaTionandDDisparityMapRefine

17、ment(優(yōu)化稠密誤差)目的在于減少噪聲和提高視差圖的質(zhì)量。優(yōu)化稠密視差通常作為立體匹配算法中的一個附加選項。在一些雙目立體視覺的具體應用中，對于視差的精度沒有特別的要求，故對稠密視差不需要進行優(yōu)化工作。優(yōu)化主要從從兩方面入手，一般來說，這個步驟由正則化和遮擋填充或者插值構(gòu)成。首先是對像素進行亞像素處理，得到更為精確的像素位置，而不是像素的整數(shù)值；其次是對得到的視差進行左右一致性檢測。如果根據(jù)左視圖的視差圖，左視圖一像素點pl所對應的匹配點為pr,若根據(jù)右視圖所對應的右視圖中pr的匹配點不是pl,則視差匹配不一致。這種匹配不一致的檢查失敗通常是由于遮擋或者像素誤匹配，優(yōu)化這種不一致性可以采用領

18、域像素視差值優(yōu)化填充的方法。立體匹配的約束條件：立體匹配經(jīng)常都會是一種病態(tài)問題，求解兩個視圖對應的匹配點是一個會產(chǎn)生極大不確定性的過程。為了減少這種匹配中的不確定性，通常情況下會在匹配算法中對匹配點施用一些約束條件。這些約束限制條件不僅可以降低匹配算法中的不確定性,同時可以減少匹配算法的匹配范圍,從而達到極大加快算法速度的目的。極線約束條件：攝像機所拍攝的三維場景內(nèi)的任意一三維目標點都處于一個極平面內(nèi),極平面與成像平面相交的直線為極線。對于一個成像平面中的某一特征點,在另一個成像平面上的對應點一定在該成像平面的對應極線上,這個特性被稱為“對極約束”。對極約束使得我們在立體匹配的過程中,可以將對

19、特征點的搜索工作,由在整個成像平面上搜索變?yōu)橹辉跇O線上搜索,大大降低了搜索量。唯一性約束條件：唯一性約束是指匹配的像素點應該成對出現(xiàn),一一對應。如果立體圖像對中的一個視圖中的像素點匹配另一個視圖中的兩個或多個像素點，則認為不滿足唯一性約束。在自遮擋的情況中，會出現(xiàn)多匹配的問題，其主要產(chǎn)生原因是像素點在另一個視圖中被遮擋后，被匹配到了其他非匹配像素點上。致性約束條件：如果根據(jù)左視圖做參考圖像得到的的視差圖，左視圖一像素點pl所對應的匹配點為pr,若根據(jù)右視圖作為參考圖像，所對應的右視圖中pr的匹配點不是pl,則視差匹配不一致。不滿足一致性約束時，這時就會被看成是一個誤匹配。視差約束條件：在匹配過

20、程中，通常會對匹配視差做一個人為的先驗規(guī)定，規(guī)定匹配過程中的視差范圍，如果匹配過程中匹配值超出了這個先驗范圍,則認為不滿足視差約束條件。相似性約束：對于一個匹配點及其所處的支持窗內(nèi)，區(qū)域、輪廓、邊緣等應該相似。在主要依據(jù)特征點的匹配算法中，特征的匹配主要就是根據(jù)相似性約束。對于傳統(tǒng)方法的進行尋找匹配點的過程計算很復雜，并且計算量也比較大，匹配過程中還要設置合適的窗口參數(shù)進行匹配數(shù)據(jù)，這些種種弊端和繁瑣的缺點有沒有用什么來代替呢？簡化匹配約束的計算過程,減少計算復雜度不需要人為的調(diào)整窗口的參數(shù)，最好能讓他自己學習要有一定的泛化能力，輸入新的數(shù)據(jù)，對已經(jīng)有的模型或者函數(shù)參數(shù)不需要經(jīng)過調(diào)整或者改動很

21、小也有很強的能力來得到一張優(yōu)秀的視差圖。下面列舉兩個傳統(tǒng)方法：1.OpencvBM這是一個局部的方法,特點是處理速度非常快,非?？?但是得到的視差圖結(jié)果并不是特別好,會出現(xiàn)斷斷續(xù)續(xù)的情況2.OpencvSGBM這是一個半全局的方法，介于全局和局部之間，特點是處理速度比較快，精度也比較好3.GC算法還未找到該算法的直接代碼，該算法是全局的方法?；贑NN的方法：1.MC-CNN這個算法使用了一個CNN來計算matchingcost:輸入是兩個圖片的一小塊，輸出是這兩塊不匹配的概率，相當于一個損失函數(shù)，當兩者匹配時為0,不匹配時最大可能為1。通過對一個給定的圖片位置搜索可能的d取值，找到最小的CN

22、N輸出，就得到了這一點局部的偏移估算。MC-CNN算法接下來做了如下后期處理：Cross-basedcostaggregation:基本思想是對鄰近的像素值相似的點的偏移求平均，提高估計的穩(wěn)定性和精度。Semi-globalmatching:基本思想是鄰近的點的平移應該相似，加入平滑約束并求偏移的最優(yōu)值。插值和圖片邊界修正：提高精度，填補空白。雖然MC-CNN使用了CNN但僅限于計算匹配程度，后期的平滑約束和優(yōu)化都是必不可少的。A2:弭S00200Llightim哄patchI”業(yè)iinngopiitchuno最終算法效果如上：輸入是一對左側(cè)相機和右側(cè)相機拍攝的照片。這兩張圖片的主要差別是物體

23、的水平位置不同（其他差別主要是由反光、遮擋和透視畸變導致的）?？梢宰⒁獾浇幍奈矬w相比遠處的物體有更大的視差。輸出圖像是一個展示在右側(cè)圖像上的視差圖像，顏色色調(diào)越暖表示視差更大而深度更小。2.FlowNet實現(xiàn)了端到端的模型結(jié)構(gòu)，用CNN實現(xiàn)特征提取，匹配打分，全局優(yōu)化等功能。采用的是encoder-decoder框架。在encoder部分提出了兩種模型結(jié)構(gòu)：(1)FlowNetSimple(FlowNetS):把兩張圖片疊起來輸入到一個卷積網(wǎng)絡中，輸出是每個像素的偏移量。缺點是，計算量大，而且無法考慮全局的優(yōu)化手段，因為每一個像素的輸出都是獨立的。(2)FlowNetCorr(FlowNet

24、C):先對兩幅圖像分別進行特征提取，然后通過一個相關層把兩個分支合并起來繼續(xù)下面的卷積運算。這個相關層的計算和卷積層類似，只是沒有了學習到的特征權(quán)重，而是由兩個分支的隱層輸出相乘求和。在decoder網(wǎng)絡，對每層的反卷積relu層，不僅輸入前一層的輸出，同時還輸入前一層預測的低尺度的光流和對應編碼模塊中的特征層。這樣使得每一層反卷積在細化時，不僅可以獲得深層的抽象信息，同時還可以獲得淺層的具象信息，以彌補因特征空間尺度的縮小而損失的信息。論文的實驗證明CNN可以用來解決光流預測問題，即使是人工合成的非自然圖像，依然可以用來訓練深度神經(jīng)網(wǎng)絡來預測光流。在精度方面，雖然在公共數(shù)據(jù)集上面離最好的傳統(tǒng)

25、算法還有差距，但是只要擁有合適充足的數(shù)據(jù)，基于CNN的算法是非常有前景的，由于只需要卷積運算，加上GPU的加速，在算法速度方面，可以遠遠快于目前其他領先的傳統(tǒng)算法。3.FlowNet2.0FlowNet雖然速度快，但精度依然不及目前最好的傳統(tǒng)方法。在很大程度上限制了FlowNet的應用。FlowNet2.0是FlowNet的增強版，在FlowNet的基礎上進行提升，追平了目前領先的傳統(tǒng)方法。主要有以下改進：增加了訓練數(shù)據(jù)，改進了訓練策略。額外增加了具有3維運動的數(shù)據(jù)庫FlyingThing3D和更加復雜的訓練策略S_short為FlowNet中的訓練策略，F(xiàn)lowNet2中增加S_long策略

26、和S_fine策略。(2)利用堆疊的結(jié)構(gòu)對預測結(jié)果進行多級提升FlowNet使用了后處理的方法(傳統(tǒng)的變分優(yōu)化方法)對輸出結(jié)果進行再優(yōu)化，F(xiàn)lownNet2利用CNN來代替后處理方法對結(jié)果再進行優(yōu)化。實驗表明在FlowNetC的基礎上堆疊FlowNetS,當以每個FlowNet(S或者C)為單位進行優(yōu)化訓練時，得到的結(jié)果最優(yōu)。此外，對于后續(xù)堆疊的FlowNetS,除了輸入兩張圖片Imagel、Image2外，再輸入前一模塊的預測光流Flow,論文中表示Image1和Image2,表示上一網(wǎng)絡的輸出光流Flow,表示W(wǎng)arped輸入，表示BrightnessError輸入。實驗表明，當以Flow

27、NetC為基礎網(wǎng)絡，額外堆疊兩個FlowNetS模塊后，所得的效果最好。該論文用FlowNet2-CSS表示。但是隨著優(yōu)化模塊的堆疊，F(xiàn)lowNet2的計算速度會下降，因此可以按比例削減FlowNet各層的特征通道數(shù)目來減少計算量，論文推薦保留每層3/8通道數(shù)，并且將削減后的網(wǎng)絡用FlowNet2-c和FlowNet-s表示。(3)針對小位移的情況引入特定的自網(wǎng)絡進行處理。由于FlowNet對真實圖片中的小位移情況下，結(jié)果往往不理想。因此對模塊結(jié)構(gòu)進行改進：在編碼模塊中，把大小為7x7和5x5的卷積和均換為多層3x3來增加對小位移的分辨率。文中對小位移改進后的網(wǎng)絡結(jié)構(gòu)命名為FlowNet2-SD。在訓練數(shù)據(jù)的選擇上，針對小位移，又重新合成了以小位移為主的新的數(shù)據(jù)庫ChairSDHome,并將此前的堆疊網(wǎng)絡FlowNet2-CSS在ChairSDHome和FlyingThing3D的混合數(shù)據(jù)集上繼續(xù)微調(diào)，將結(jié)果網(wǎng)絡表示為FlowNet2-CSS-ft-sd。最后再利用一個小網(wǎng)絡對FlowNet2-CSS-ft-sd的結(jié)果和FlowNet2-SD的結(jié)果進行融合，并將整個網(wǎng)絡體系命名為FlowNet2結(jié)構(gòu)如下：Fij;uec2.5diruiJlH,ix:*id*LJ