三維重建系統(tǒng)設(shè)計(jì)中的階段開發(fā)任務(wù)

三維重建系統(tǒng)設(shè)計(jì)中的階段開發(fā)任務(wù)三維重建整體流程概述1.雙目攝像頭標(biāo)定1）雙目攝像頭標(biāo)定參數(shù)說明相機(jī)標(biāo)定，目的是確定雙目攝相機(jī)中左右相機(jī)的內(nèi)參矩陣M、畸變系數(shù)矩陣D、右攝像頭相對于左攝像頭的平移向量T和旋轉(zhuǎn)矩陣Ro其中詳細(xì)標(biāo)定參數(shù)如下：內(nèi)參矩陣intrinsics包括：Ml:左攝像頭的內(nèi)參矩陣;D1:左攝像頭的畸變系數(shù)矩陣；M2:右攝像頭的內(nèi)參矩陣；D2:右攝像頭的畸變系數(shù)矩陣。攝像頭外參extrinsics包括：R:左右攝像頭坐標(biāo)系之間的旋轉(zhuǎn)矩陣;T:左右相機(jī)坐標(biāo)系之間的平移向量；R1：把左攝像頭校正前點(diǎn)的坐標(biāo)轉(zhuǎn)換到校正后點(diǎn)的坐標(biāo)所需的旋轉(zhuǎn)矩陣；(3)多層次濾波考慮的是對于初始較大的空洞區(qū)域，需要參考更多的鄰域值，如果采用較小的濾波窗口，不能夠完全填充，而如果全部采用較大的窗口，則圖像會(huì)被嚴(yán)重平滑。因此根據(jù)空洞的大小，不斷調(diào)整濾波窗口。先用大窗口給所有空洞賦值，然后利用逐漸變成小窗口濾波覆蓋原來的值，這樣既能保證空洞能被填充上，也能保證圖像不會(huì)被過度平滑。4.三維點(diǎn)云重建三維重建技術(shù)通過深度數(shù)據(jù)獲取、預(yù)處理、點(diǎn)云配準(zhǔn)與融合、生成表面等過程，把真實(shí)場景刻畫成符合計(jì)算機(jī)邏輯表達(dá)的數(shù)學(xué)模型。三維重建技術(shù)的重點(diǎn)在于如何獲取目標(biāo)場景或物體的深度信息。在景物深度信息已知的條件下，只需要經(jīng)過點(diǎn)云數(shù)據(jù)的配準(zhǔn)及融合，即可實(shí)現(xiàn)景物的三維重建。具體的實(shí)現(xiàn)過程如下：(1)由雙目RGB圖像生成視差圖，通過幾何關(guān)系計(jì)算深度值，根據(jù)獲取的深度信息，并利用相機(jī)內(nèi)參計(jì)算所述每個(gè)像素點(diǎn)在相機(jī)坐標(biāo)系下的三維坐標(biāo)點(diǎn)；（2使用循環(huán)RANSAC算法進(jìn)行點(diǎn)云的地面分割，并提取非地面點(diǎn)云；（3）將提取的所述非地面點(diǎn)云插入KDTree中搜索預(yù)定數(shù)量的近鄰點(diǎn),利用所述近鄰點(diǎn)進(jìn)行曲面重建；眼睛（攝像頭）與大腦（算法）的技術(shù)，以使計(jì)算機(jī)能夠自主獨(dú)立的控制行為、解決問題，同時(shí)感知、理解、分析外部環(huán)境。20世紀(jì)60年代，計(jì)算機(jī)視覺得到了最初的發(fā)展。該階段的研究重心主要體現(xiàn)在如何從二維圖像中恢復(fù)出如立方體、圓柱體等立體化的三維形狀，解釋各個(gè)物體的空間位置關(guān)系。1982年，DavidMarr[2]從信息處理的角度對數(shù)學(xué)、神經(jīng)生理學(xué)、計(jì)算機(jī)圖形學(xué)等學(xué)科的研究成果進(jìn)行了歸納總結(jié)，并在此基礎(chǔ)上提出了一系列計(jì)算機(jī)視覺理論。得益于這個(gè)完整明確的理論體系，計(jì)算機(jī)視覺得到了蓬勃的發(fā)展。它的核心思想是從二維圖像恢復(fù)三維結(jié)構(gòu)。圖1-1展示的是經(jīng)典Marr視覺信息處理過程。圖1-1Mar「視覺信息處理過程隨著科學(xué)技術(shù)的日新月異，計(jì)算機(jī)視覺的應(yīng)用日益受到各行業(yè)的關(guān)注和重視，如設(shè)備檢測與監(jiān)視、醫(yī)學(xué)圖像處理、文物保護(hù)［3］、機(jī)器人視覺、自動(dòng)導(dǎo)航、工業(yè)產(chǎn)品外觀設(shè)計(jì)與生產(chǎn)等領(lǐng)域。計(jì)算機(jī)視覺技術(shù)為人們帶來了機(jī)遇，也帶來了挑戰(zhàn)。三維重建作為計(jì)算機(jī)視覺技術(shù)中最為最為熱門的研究方向之一，涉及到包括圖像處理、立體視覺、模式識別等多個(gè)學(xué)科體系。利用計(jì)算機(jī)建立表達(dá)現(xiàn)實(shí)客觀景物的三維模型，并以此來滿足生產(chǎn)和生活的需要。隨著工業(yè)化進(jìn)程的不斷發(fā)展，多種技術(shù)的實(shí)現(xiàn)均有賴于目標(biāo)物體三維信息的獲取。三維重建現(xiàn)已被廣泛的應(yīng)用于生活和科研工作中，特別是在醫(yī)學(xué)治療、文物保護(hù)、游戲開發(fā)、工業(yè)設(shè)計(jì)、航天航海等方面，展現(xiàn)出了極強(qiáng)的生命力和影響力。二、三維重建技術(shù)簡介三維重建技術(shù)的重點(diǎn)在于如何獲取目標(biāo)場景或物體的深度信息。在景物深度信息已知的條件下，只需要經(jīng)過點(diǎn)云數(shù)據(jù)［4］的配準(zhǔn)及融合，即可實(shí)現(xiàn)景物的三維重建?；谌S重建模型的深層次應(yīng)用研究也可以隨即展開。人們按照被動(dòng)式測量與主動(dòng)式測量[5]對目標(biāo)物體深度信息的獲取方法進(jìn)行了分類，下面對這兩種方式進(jìn)行相應(yīng)的介紹。1、被動(dòng)式三維重建技術(shù)被動(dòng)式一般利用周圍環(huán)境如自然光的反射，使用相機(jī)獲取圖像，然后通過特定算法計(jì)算得到物體的立體空間信息。主要有以下三種方法:1.1紋理恢復(fù)形狀法各種物體表面具有不同的紋理信息，這種信息由紋理元組成，根據(jù)紋理元可以確定表面方向，從而恢復(fù)出相應(yīng)的三維表面。這種方法稱為紋理恢復(fù)形狀法[6](ShapeFromTexture,SFT)O紋理法的基本理論為：作為圖像視野中不斷重復(fù)的視覺基元，紋理元覆蓋在各個(gè)位置和方向上。當(dāng)某個(gè)布滿紋理元的物體被投射在平面上時(shí)，其相應(yīng)的紋理元也會(huì)發(fā)生彎折與變化。例如****收縮變形使與圖像平面夾角越小的紋理元越長，投影變形會(huì)使離圖像平面越近的紋理元越大。通過對圖像的測量來獲取變形，進(jìn)而根據(jù)變形后的紋理元,逆向計(jì)算出深度數(shù)據(jù)。SFT對物體表面紋理信息的要求嚴(yán)苛，需要了解成像投影中紋理元的畸變信息，應(yīng)用范圍較窄，只適合紋理特性確定等某些特殊情形。所有在實(shí)際使用中較為少見。1.2陰影恢復(fù)形狀法SFS[7](ShapeFromShading,從陰影恢復(fù)形狀)法也是一種較為常用的方法?？紤]到圖像的陰影邊界包含了圖像的輪廓特征信息,因此能夠利用不同光照條件下的圖像的明暗程度與陰影來計(jì)算物體表面的深度信息，并以反射光照模型進(jìn)行三維重建。需要注意的是,像素點(diǎn)的亮度受到包括光源指標(biāo)、攝像機(jī)參數(shù)、目標(biāo)表面材質(zhì)等的制約。陰影恢復(fù)形狀法的應(yīng)用范圍比較廣泛，可以恢復(fù)除鏡面外的各種物體的三維模型。缺點(diǎn)體現(xiàn)在過程多為數(shù)學(xué)計(jì)算、重建結(jié)果不夠精細(xì)，另外不能忽視的是，SFS法需要準(zhǔn)確的光源參數(shù)，包括位置與方向信息。這就導(dǎo)致其無法應(yīng)用于諸如露天場景等具有復(fù)雜光線的情形中。1.3立體視覺法立體視覺法[8](Multi-ViewStereo,MVS)是另外一種常用的三維重建方法。主要包括直接利用測距器獲取程距信息、通過一幅圖像推測三維信息和利用不同視點(diǎn)上的兩幅或多幅圖像恢復(fù)三維信息等三種方式。通過模擬人類視覺系統(tǒng)，基于視差原理獲取圖像對應(yīng)點(diǎn)之間的位置偏差，恢復(fù)出三維信息。S.T.Barnard[9]等人對20世紀(jì)70年代到80年代之間出現(xiàn)的三維重建的算法和評價(jià)體系做了概述。到了80年代中后期，出現(xiàn)了更多、更深層次的視覺原理，包括立體測量方法和深度傳感器等，極大的促進(jìn)了相關(guān)學(xué)科的發(fā)展。新興方法可以直接獲取景物的三維信息，極大的節(jié)省了物力與人力成本。U.R.Dhond[10]等人提出了基于層次處理的三目立體約束方法。二十世紀(jì)90年代末，涌現(xiàn)出諸如圖像匹配的前沿算法、遮擋處理算法等。M.Z.Brown[ll]等人總結(jié)了2000年到2010年間的三維視覺發(fā)展的總體概況，包括遮擋、配準(zhǔn)和效率等的相關(guān)分析。雙目立體視覺重建，在實(shí)際應(yīng)用情況優(yōu)于其他基于視覺的三維重建方法，也逐漸出現(xiàn)在一部分商業(yè)化產(chǎn)品上；不足的是運(yùn)算量仍然偏大,而且在基線距離較大的情況下重建效果明顯降低。代表文章：AKIMOIOTAutomaticcreationof3Dfacialmodels1993CHENCLVisualbinocularvisonsystemstosolidmodelreconstruction2007作為計(jì)算機(jī)視覺的關(guān)鍵技術(shù)之一，立體視覺法也其弊端。例如，立體視覺需要假設(shè)空間的平面是正平面，而實(shí)際情況卻與此相差甚遠(yuǎn)。除此之外，匹配還存在歧義性：對于一幅圖像上的某些特征點(diǎn)，另外的圖像可能存在若干個(gè)與之相似的特征點(diǎn)。那么如何選取最適配的匹配點(diǎn)，顯得較為棘手。如圖1-2所示，展示了Middlebury[16]數(shù)據(jù)集中Teddy和Cones場景的基準(zhǔn)彩色圖像、標(biāo)準(zhǔn)視差以及通過GraphCuts口刀算法獲取的立體匹配視差估計(jì)結(jié)果。雖然視差結(jié)果體現(xiàn)出了景物的三維位置關(guān)系，但是某些像素點(diǎn)的視差與標(biāo)準(zhǔn)值仍有細(xì)微的差距。除此之外，對于如相機(jī)運(yùn)動(dòng)參數(shù)的確定、大型場景重建需要獲取多幀圖像等問題，也極大的影響了立體視覺的深層次應(yīng)用。圖l-2(a)基準(zhǔn)彩色圖像2、主動(dòng)式三維重建技術(shù)主動(dòng)式是指利用如激光、聲波、電磁波等光源或能量源****至目標(biāo)物體，通過接收返回的光波來獲取物體的深度信息。主動(dòng)測距有莫爾條紋法、飛行時(shí)間法、結(jié)構(gòu)光法和三角測距法等四種方法。.莫爾條紋法莫爾條紋在生活中比較常見，如兩層薄薄的絲綢重疊在一起，即可以看到不規(guī)則的莫爾(Morie)條紋；微風(fēng)的吹動(dòng)窗紗時(shí)，條紋亦隨之運(yùn)動(dòng)。莫爾條紋法［18］起源于18世紀(jì)的法國，是一項(xiàng)古老又現(xiàn)代的測量方法。基本原理是將兩塊等間隔排列的直線簇或曲線簇圖案重疊起來，以非常小的角度進(jìn)行相對運(yùn)動(dòng)來形成莫爾條紋。如圖1-3所示，在主光柵與指示光柵的交叉重合處，因光線的透射與遮擋而產(chǎn)生不同的明暗帶，即莫爾條紋。莫爾條紋隨著光柵的左右平移而發(fā)生垂直位移，此時(shí)產(chǎn)生的條紋相位信息體現(xiàn)了待測物體表面的深度信息，再通過逆向的解調(diào)函數(shù)，實(shí)現(xiàn)深度信息的恢復(fù)。這種方法具有精度高、實(shí)時(shí)性強(qiáng)的優(yōu)點(diǎn)，但是其對光照較為敏感，抗干擾能力弱。圖1-3雙光柵莫爾條紋法提出：WIKTINrecoveringsurfaceshapeandorientationfromtexture(1987)(被弓|用454次)。發(fā)展：Warren2010對wiktin方法進(jìn)行改進(jìn)使用了****投影；Liboy2006給出了在紋理單元結(jié)構(gòu)發(fā)生改變的情況下的重建方法。優(yōu)點(diǎn)：精度高，對光照和噪聲不敏感。缺點(diǎn)：只應(yīng)用于具有規(guī)則紋理的物體。.飛行時(shí)間法飛行時(shí)間法[19](TimeofFlight,ToF)指的是在光速及聲速一定的前提下，通過測量****信號與接收信號的飛行時(shí)間間隔來獲得距離的方法。這種信號可以是超聲波，也可以是紅外線等。飛行時(shí)間法相較于立體視覺法而言，具有不受基線長度限制、與紋理無關(guān)、成像速度快等特點(diǎn)。但是其也有一定的缺點(diǎn)。首先，ToF相機(jī)的分辨率非常低。例如圖1-4所示，當(dāng)今分辨率最高的PMDCamcube2.0相機(jī)，也僅為204x204像素；其次，ToF相機(jī)容易受到環(huán)境因素的影響，如混合像素、外界光源等，導(dǎo)致景物深度不準(zhǔn)確；最后，系統(tǒng)誤差與隨機(jī)誤差對測量結(jié)果的影響很大，需要進(jìn)行后期數(shù)據(jù)處理，主要體現(xiàn)在場景像素點(diǎn)的位置重合上。值得注意的是，ToF相機(jī)的售價(jià)達(dá)到了數(shù)萬美元，受眾較窄。圖1-4SR4000ToF相機(jī).結(jié)構(gòu)光法結(jié)構(gòu)光法[20](StructuredLight)通過向表面光滑無特征的物體****具有特征點(diǎn)的光線，依據(jù)光源中的立體信息輔助提取物體的深度信息。具體的過程包括兩個(gè)步驟，首先利用激光投影儀向目標(biāo)物體投射可編碼的光束，生成特征點(diǎn)；然后根據(jù)投射模式與投射光的幾何圖案，通過三角測量原理計(jì)算攝像機(jī)光心與特征點(diǎn)之間的距離，由此便可獲取生成特征點(diǎn)的深度信息，實(shí)現(xiàn)模型重建。這種可編碼的光束就是結(jié)構(gòu)光，包括各種特定樣式的點(diǎn)、線、面等圖案。結(jié)構(gòu)光法解決了物體表面平坦、紋理單一、灰度變化緩慢等問題。因?yàn)閷?shí)現(xiàn)簡單且精度較高，所以結(jié)構(gòu)光法的應(yīng)用非常廣泛，目前已有多家公司生產(chǎn)了以結(jié)構(gòu)光技術(shù)為基礎(chǔ)的硬件設(shè)備，如PrimeSense公司的PrimeSensor,微軟公司的Kinect和華碩公司的XtionPROLIVE等產(chǎn)品［21］。圖1-5展示了利用結(jié)構(gòu)光技術(shù)采集文物三維信息的場景。提出：Woodham對SFS進(jìn)行改進(jìn)（1980年）：photometricmethodfordeterminingsurfaceorientationfrommultipleimages（該文章被引用了891次）發(fā)展：Noakes：非線性與噪聲減除2003年；Horocitz：梯度場合控制點(diǎn)2004年；Tang：可信度傳遞與馬爾科夫隨機(jī)場2005年；Basri：光源條件未知情況下的三維重建2007年；Sun：非朗伯特2007年；Hernandez：彩色光線進(jìn)行重建方法2007年；Shi：自標(biāo)定的光度立體視覺法2010年。圖1-3結(jié)構(gòu)光法的原理圖圖1-5結(jié)構(gòu)光法原理圖.三角測距法R2:把右攝像頭校正前點(diǎn)的坐標(biāo)轉(zhuǎn)換到校正后點(diǎn)的坐標(biāo)所需的旋轉(zhuǎn)矩陣；P1：左攝像頭校正后坐標(biāo)系的投影矩陣；P2:右攝像頭校正后坐標(biāo)系的投影矩陣；Q：深度差異映射矩陣。2）雙目攝像頭標(biāo)定實(shí)施方法開發(fā)環(huán)境：Ubuntu16.04、OpenCV4.0xC++硬件配置：雙目攝像頭、標(biāo)定板實(shí)施步驟：第一步，使用一張具有明顯角點(diǎn)特征，且已知每個(gè)角點(diǎn)二維坐標(biāo)的圖案作為標(biāo)定圖案，規(guī)則的圖案設(shè)計(jì)可以方便的計(jì)算出角點(diǎn)在圖案內(nèi)的二維坐標(biāo)，拿棋盤格來說，角點(diǎn)之間的間隔像素?cái)?shù)是固定的，假設(shè)左上角角點(diǎn)的坐標(biāo)為（0,0）（0,0）（0,0）,則其他角點(diǎn)的像素坐標(biāo)都可以通過格子的偏移量計(jì)算出來，而一張已知DPI的標(biāo)定板圖像，在打印后每個(gè)角點(diǎn)的二維空間坐標(biāo)也是完全已知的（通過像素?fù)Q算成空間尺寸）。本雙目攝像機(jī)標(biāo)定實(shí)驗(yàn)使用的是角點(diǎn)為9x6的棋盤格標(biāo)定圖案。三角測距法［22］是一種非接觸式的測距方法，以三角測量原理為基礎(chǔ)。紅外設(shè)備以一定的角度向物體投射紅外線，光遇到物體后發(fā)生反射并被CCD（Charge-coupledDevice,電荷耦合元件）圖像傳感器所檢測。隨著目標(biāo)物體的移動(dòng)，此時(shí)獲取的反射光線也會(huì)產(chǎn)生相應(yīng)的偏移值。根據(jù)****角度、偏移距離、中心矩值和位置關(guān)系，便能計(jì)算出****到物體之間的距離。三角測距法在軍工測量、地形勘探等領(lǐng)域中應(yīng)用廣泛。第二步，將標(biāo)定板圖案以某種方式置于一個(gè)平面上。比如最簡單的方式是將標(biāo)定圖原尺寸打印出來，然后找一塊近似平的平板，將打印后的標(biāo)定圖案粘貼至平板上；更專業(yè)高精度的方式是找專業(yè)廠家制作高精平板（如陶瓷板）并將標(biāo)定圖案以某種工藝刻印到平板上。這一步的目的是讓標(biāo)定圖案的角點(diǎn)都位于一個(gè)平面上。本次相機(jī)標(biāo)定使用的標(biāo)定板直接將電腦屏幕中的棋盤格圖案作為實(shí)驗(yàn)標(biāo)定板進(jìn)行圖像采集。如此，第一步所描述的二維坐標(biāo)可以轉(zhuǎn)換成第三維Z坐標(biāo)等于0的三維坐板將世界坐標(biāo)系的原點(diǎn)放在標(biāo)定板的某個(gè)角點(diǎn)Z軸垂直于標(biāo)定板\第三步，移動(dòng)雙目相機(jī)到N（N>=3）個(gè)不同的位姿拍攝標(biāo)定板采集雙目相機(jī)圖像并對其進(jìn)行圖像分割，獲得左右攝像頭拍攝圖像。第四步，對上一步拍攝的標(biāo)定板圖案進(jìn)行角點(diǎn)提取，解算標(biāo)定參數(shù)。使用閉合解法求解所有內(nèi)參數(shù)和外參數(shù)，通過線性方程組求解近似的畸變系數(shù)（或者直接賦值為0）,通過非線性優(yōu)化計(jì)算精確的內(nèi)外參數(shù)和畸變系數(shù)。以上便是相機(jī)標(biāo)定的實(shí)施步驟，總結(jié)來說，在一個(gè)平面標(biāo)定板上有一組已知空間坐標(biāo)的角點(diǎn)，相機(jī)在多個(gè)不同位姿下拍攝角點(diǎn)圖案并提取角點(diǎn)的像素坐標(biāo)，即可完成相機(jī)內(nèi)外參數(shù)的解算。總結(jié):如果標(biāo)定的結(jié)果校正出來的圖片很扭曲，甚至看不到原圖的樣子,可能原因有：1、角點(diǎn)提取錯(cuò)誤。在stereo_calib.cpp中，可以將函數(shù)StereoCalib的displaycorners參數(shù)設(shè)為true,即可顯示角點(diǎn)提取結(jié)果。2、角點(diǎn)順序錯(cuò)誤。左右兩張圖片的角點(diǎn)提取，還要保證順序相同，否則會(huì)造成很大扭曲。3、標(biāo)定板占圖片區(qū)域太少?？赡艹霈F(xiàn)能看到完整圖片，但是只在中間很小一個(gè)區(qū)域，周圍仍然是扭曲的圖像的情況。.雙目攝像頭立體校正與匹配雙目相機(jī)內(nèi)外參標(biāo)定完成后，得到兩個(gè)攝像機(jī)之間的Rotation和Translation,要用下面的代碼對兩幅圖像進(jìn)行立體對極線校正，這就需要算出兩個(gè)相機(jī)做對極線校正需要的R和T用RLT1,R2,T2表示,以及透視投影矩陣Pl,P2:MatRI,R2,Pl,P2,Q:RectvalidRoi[2];stereoRectify(earneraMatrix[0],distCoeffs[0],caneraMatrixd],distCoeffs[1], imageSize,R,T,RI,R2,Pl,P2,Q,CALIB.ZERO.DISPARITY,1,imageSize,fevalidRoi[0],得到上述參數(shù)后，對其進(jìn)行對極線校正操作。立體校正后的左右兩幅圖像得到后，匹配點(diǎn)是在同一行上的，可以使用OpenCV中的BM算法或者SGBM算法計(jì)算視差圖。.雙目攝像頭立體匹配深度圖+孔洞填充深度計(jì)算由于SGBM算法計(jì)算的視差并不是真正的視差（差了16倍），因此在計(jì)算深度時(shí)需要考慮。計(jì)算深度需要的參數(shù)如下：baseline:左右相機(jī)距離，該參數(shù)在標(biāo)定的相機(jī)外參extrinsics.yml中T向量第一個(gè)值，取絕對值，單位是mm。f：歸一化焦距，由于只在x方向有視差，用fx即可，深度圖一般取左深度,因此用左相機(jī)的深度即可。fx的單位是pixelod:視差，單位為pixel,從disp中讀取，除以16,讀取方式為：d=(float)disp.at<shortint>(h,w)*0.0625;公式:depth(mm)=baseline(mm)*fx(pixel)/d(pixel)1)匹配圖像預(yù)處理SGBM立體匹配算法要先對輸入圖像做預(yù)處理,OpenCV源碼中調(diào)用函數(shù)staticvoidprefilterXSobel(constcv::Mat&srczcv::Mat&dst,intpreFilterCap),參數(shù)設(shè)置中preFilterCap在此函數(shù)中用到，其作用主要有兩點(diǎn)：對于無紋理區(qū)域，能夠排除噪聲干擾；對于邊界區(qū)域，能夠提高邊界的區(qū)分性，利于后續(xù)的匹配代價(jià)計(jì)算。函數(shù)步驟如下：先利用水平Sobel算子求輸入圖像x方向的微分值Value;如果Value<-preFilterCap,則Value=0;如果Value>preFilterCap,則Value=2*preFilterCap;如果Value>=-preFilterCap&&Value<=preFilterCap,則Value=Value+preFilterCap;輸出處理后的圖像作為下一步計(jì)算匹配代價(jià)的輸入圖像。2)視差圖后處理SGBM立體匹配算法在算出初始視差圖后會(huì)進(jìn)行視差圖后處理，包括中值濾波，連通域檢測等。其中中值濾波能夠有效去除視差圖中孤立的噪點(diǎn)，而連通域檢測能夠檢測出視差圖中因噪聲引起小團(tuán)塊(blob)。在SGBM中有speckleWindowSize和speckleRange這兩個(gè)參數(shù)，speckleWindowSize是指設(shè)置檢測出的連通域中像素點(diǎn)個(gè)數(shù),也就是連通域的大小。speckleRange是指設(shè)置判斷兩個(gè)點(diǎn)是否屬于同一個(gè)連通域的閾值條件。大概流程如下：.判斷當(dāng)前像素點(diǎn)四鄰域的鄰域點(diǎn)與當(dāng)前像素點(diǎn)的差值diff,如果diffvspeckRange,則表示該鄰域點(diǎn)與當(dāng)前像素點(diǎn)是一個(gè)連通域，設(shè)置一個(gè)標(biāo)記。然后再以該鄰域點(diǎn)為中心判斷其四鄰域點(diǎn)，步驟同上。直至某一像素點(diǎn)四鄰域的點(diǎn)均不滿足條件，則停止。.步驟1完成后,判斷被標(biāo)記的像素點(diǎn)個(gè)數(shù)count,如果像素點(diǎn)個(gè)數(shù)count<=speckleWindowSize，則說明該連通域是一個(gè)小團(tuán)塊（blob）,則將當(dāng)前像素點(diǎn)值設(shè)置為newValue（表示錯(cuò)誤的視差值，newValue一般設(shè)置為負(fù)數(shù)或者0值）。否則，表示該連通域是個(gè)大團(tuán)塊，不做處理。同時(shí)建立標(biāo)記值與是否為小團(tuán)塊的關(guān)系表rtype[label],rtype[label]為0,表示label值對應(yīng)的像素點(diǎn)屬于小團(tuán)塊，為1則不屬于小團(tuán)塊。.處理下一個(gè)像素點(diǎn)時(shí)，先判斷其是否已經(jīng)被標(biāo)記：如果已經(jīng)被標(biāo)記則根據(jù)關(guān)系表rtype[label]判斷是否為小團(tuán)塊（blob）,如果是，則直接將該像素值設(shè)置為newValue;如果不是，則不做處理。繼續(xù)處理下一個(gè)像素。如果沒有被標(biāo)記，則按照步驟1處理。.所有像素點(diǎn)處理后,滿足條件的區(qū)域會(huì)被設(shè)置為newValue值，