雙目視覺下三維測距與場景重構

虛擬現(xiàn)實等領域的交叉性課題?；陔p目視覺的三維測距與場景重構技術已經(jīng)廣泛的運用于機器人避障、無人機探測領域。標定、立體校正、立體匹配、三維坐標計算、場景重構。本文分析了雙目測距和初步場景重構的基本原理，給出了機基于opencv立體標定和標定的SGBMTheimagetakenbycamerais2D.TogettheDepthinformationofimage,wearesupposedtoreconstructthescene.Binoculardistancemeasurementand3-Dreconstructionisacross-subjectconnectedbyComputer puterGraphics,andVisualReality,etc..ThetechofBinoculardistancemeasurementand3-Dreconstructionhasbeenwildlyusedintherobotobstacle-avoidingandUnmannedAerialVehicleDetection(UAVD).ThemainstepsofBinoculardistancemeasurementand3-Dreconstructionincludesinglecalibration,stereocalibration,andstereocorrection,stereomatching,3-Dcoordinatecalculation,scenereconstruction.Thispaperyzesthebasicprincipleofbinoculardistancemeasurementandthepreliminaryscenereconstruction.ThispaperthebasicprincipleofbinoculardistancemeasurementandthepreliminaryscenereconstructionandcomparethecalibrationresultontheOpencvplatformwiththatontheplatform.Aboutthestereocalibrationpart,thispaperhascomparedtheBMalgorithm,andGCalgorithminspeedandaccuracy.AndwechoosethespeedandaccuracyofeclecticSGBMalgorithmtomatchinthelabforensuringthereal-timeof3-Ddistancemeasurementandtoacertainextentensuringthe3-Dcoordinatecalculationandpreliminaryscenereconstructionisakeypartofthisexperimentsystem.Thispaperexplainthebinocularvisionrangefindingprinciple,andthencalculatetheparameters,finallycalculatethedistance.Inordertoevaluatethe binedthefacedetectionsystem,multiplesetsofdatahasbeentestedandthesystemhasbeenevaluatedreasonably.Experimentsshowthatthesystemintermsofthespeedandprecisionofdistancemeasurementhasagoodeffect.Furthermore,accordingtothetexturemapandparallaxinformationthissystemshows3-dpointcloudsandreconstructscene.:3-Dreconstruction,Binoculardistancemeasurement,stereo Vision,Distancemeasurement.………………Ⅰ 第1章緒 第2章機的參數(shù)標 引 致 1察一個場景，將拍攝的數(shù)字化，并運用計算機處理數(shù)字信息。機通過投法上的變換和處理。計算機視覺的過程可以理解為傳感器成像過程的逆過程，研機器人導航、三維動畫、機器學習、模式識別等。而三維重建是項目過程的中一個很重要的部分，對于三維重建的研究也就顯得十分的有意義。人們越來越重視計算機視覺的發(fā)展，如無人機智能識別系統(tǒng)，需要計算機系統(tǒng)根據(jù)視覺信息做出相應的判斷。這么快的發(fā)展計算機視覺，主要的原因有如下兩個方面：第一，數(shù)字設備的普及使得我們的拍攝設備精度和質(zhì)量越來越高，圖像的數(shù)目成指數(shù)級增長，需要的處理數(shù)據(jù)多；第二，我國經(jīng)濟科技的發(fā)展，提出了更高的需求。以得到了較快的發(fā)展和運用，在各行各業(yè)中均有涉及。對于2D圖像的信息的了解是片面的，而更全面的信息需要進行3D圖像的信息了解。而在我們現(xiàn)實生活中普通的相機要想得到3D的圖像一般是不可能實現(xiàn)的。通過對普通相機的標定獲Opencv（OpenSourceComputerVisionLibrary）是一個開源的計算機視覺庫，提供了很多方便圖像和處理的API來進行圖像的標定、視差計算等工作。目前3.0計算機視覺發(fā)展現(xiàn)還延伸到許多學科，比如人工智能、機器學習，是一個交叉性、綜合性、創(chuàng)造性極強的一個方向。是近年來虛擬現(xiàn)實領域的研究熱點。對獲取的進行預處理處理特征點信息、匹配，雖然大量的研究人員研究十分活躍，也提出了許多優(yōu)秀的算法，但是視差圖清晰度和時間方面很難做一個很好的平衡。20世紀70年代中期，Marr，Barrow和Tenenbaum等人提出了由相機還原物體的三維信息的一整套理論，詳細描述論證了相關的計算理論與方法。[5]MarrMIT到底如何實現(xiàn)視覺任務的。[6]這種目標的實現(xiàn)主要基于三個方面：計算理論、算Marr斷的出現(xiàn)新的問題和新的，這些中最典型的就是從二維圖像中計算精確的三維場景坐標，也就是在給出三維信息的集合描述的時候遇到。而后的八KassSnakesSnakessnakes相應的能量函數(shù)，以最小化能量函數(shù)為主要目標，控制曲線，具有最小能量曲線[7]和發(fā)展，人們越來越多的利用物理測量來研究立體視覺，就形成了主動立體20801990立體視覺隨著科技的發(fā)展又得到了進一步的發(fā)展，圖像分割、圖像的匹配、圖像去噪等各種方面的算法不斷的提出，發(fā)展了立體視覺。隨著光學電子學的發(fā)展，立體視覺會不斷的進步，國外立體視覺起步較早，我國的立體視覺已經(jīng)廣泛的運用于生產(chǎn)之中，但是生活之中的立體視覺仍有很大的發(fā)展空間。雙目體視目前主Opencv、OpenGL簡Opencv(OpenSourceComputerVisionLibrary)是一個多平臺（linux、winmacopencvc++模板和類進行編封裝，使用起來十分的方便，提供了豐富的圖像處理通用算法，如：圖像分割、圖像匹配等等方面。保留了很多的c接口，還有其他語言如：、ruby的接口，方便在工程中使用。201564，OpenCV3.0OpenGL（OpenGraphicsLibrary）是一個多平臺、多編程語言的圖像處理接 三維測距與場景重究意義和內(nèi)容。是對于三維測距和場景重構的一個宏觀的了解。給出了本文的研（1）機的參數(shù)標

第2 機的參數(shù)標光線從物體發(fā)射開始，通過透鏡到達人的眼睛或機，然而到達視網(wǎng)膜或者圖像的這個過程的幾何研究是實用計算機視覺的一個尤其重要的方面[8]我們都熟知的小孔成像是一種基本的成像模型，我們可以從小孔成像模型處理像、幀都是成對的。Opencv的接口可以提供頭的獲取，本實驗中我們采割為畫面幀進行定標。多頭的捕捉可以利用opencv的函數(shù)cvSetCaptureProperty簡單針孔成像模示，焦距通常用f表示，Z 機到物體的距離，x是倒立的成像，X是對應

xfZ

圖2-1機模型示意圖2-2機模型的簡單形式示意X通常，由于工業(yè)制造精度的差別，頭的中心并不在光軸上，所以用兩個cx和cy來描述。對于現(xiàn)實世界中的物體點Q，它的坐標是（X,Y,Z）。X

)cx

Yscreean

fy(Z

(2-q(q1,q2,q3),在計算機中機的參數(shù)矩陣表示為一個3*3的矩陣這個矩陣就是攝 fx cxX q2

f cyY

(2- 1Z 徑向不足是機的缺點，透鏡的方式可以解決這個問題，但是會產(chǎn)生透鏡畸變。如下圖所示，由于大多數(shù)的透鏡，光線的路線越接近透鏡邊沿，2-3不足是機的缺點，透鏡的方式可以解決這個問題，但是會產(chǎn)生透鏡畸變。如下圖所示，由于大多數(shù)的透鏡，光線的路線越接近透鏡邊沿，數(shù)展開，通常取級數(shù)的前3項就可以滿足描述畸變的目的

ycorrected

切向2-4切向畸變可以用p1和p2

x2pyp(r22x21212ycorrectedy

p1

2

)2p2

(2-雙目2-5在實際世界坐標系中的物理距離Z（d=xl-xr）T(xlxr)

Z fT

(2-Z xl旋轉(zhuǎn)矩陣和平移向為了精確描述圖像的投影關系，定義4種坐標系：圖像坐標系、頭坐標2-6成像平面坐標系比圖像坐標系多了一個描述像素點相對于圖像的具置信息。（x，y）表示相對成像平面的具置，像素在坐標軸方向的尺寸為dx,dy,1d' u01d' 1dv1d

v0

(2- 1

12-7空間中點P的世界坐標系 頭坐標系的關系可以用旋轉(zhuǎn)矩陣R和平移量t（2-8）Xc

Xn

XnY

tY Yc

nMn

(2-Zc

1Zn

1Zn1 1 1根據(jù)以上的介紹，雙目視覺下的三維測距要得到世界坐標系中Z距離機的距離，我們需要獲得：焦距f、視差d、頭中心距T、原點偏移cx,xy。我們單個頭的標定主要是為了得到內(nèi)參數(shù)：三個徑向畸變參數(shù)k1、k2、k3,p1、p2,f,cx、cy；還需要得到外參數(shù)：旋轉(zhuǎn)矩R,t。標定總 c

Xxx xx

Ysv

f cy

1

Z

1 式中，(X,Y,Z)——世界坐標系中物體的位置；(uv)——圖像平面的坐標，單位是像素；K1,k2,k3p1,p2——兩個徑向畸變參T3*1——平移向量opencv標定的步Brown[10]。Opencv世界坐標轉(zhuǎn)化 頭坐Xc

Xn

XnY

tY Yc

nMn

(2-Zc

1Zn

1Zn1

1

1式中，R3*3t3*1x 0Xc YZy

0c

(2-cu

Z

0c1公式（2-4）（2-5）

xd yAy

（2-d u (4)1d' u01d' 1dv1d

v0

（2- 1

1標定函數(shù)原H h3 r1,r2rTr01hMTM1h

（2- 旋轉(zhuǎn)向量的模相等，我們又根據(jù)|h1||h2|11

（2-B=MTM1BMTM1

（2-機的內(nèi)參數(shù)可以從Bfxfy

（2- B12B13B11B23B11B22

2

)/

（2-3y3y

1212rM1hrM1212

（2-3tM3畸變矯1x2^xxk(x2y2)k(x21x2

（2-^ yyyk1(xy)k2(xxyx的坐標x,y表示成像平面坐標系中矯正后的坐標 uu(u

)kx2y2

(x2y2)2

12（2-12v(vv)kx2y2k(x2y2)2

2（u，v）表示圖像坐標系中矯正之前的坐標，uvOpencv提供了一個校正方法。讀入的圖像經(jīng)過cvCalibrateCamera2()得到畸cvInitUndistortMap()cvRemap()來使得圖2基礎矩陣和本征矩和畸變參數(shù)（distortion_coeffs）。立體標定需要求出的旋轉(zhuǎn)矩陣在opencv和中標定的時候是用本征矩陣(EssentialMatrix)和基礎矩陣（Fundamental TyRERS TR

（2- x 0

（2-式中，E3*3——本征矩陣（EssentialMatrix）F3*3——基礎矩陣（FundamentalMatrix）Ml,Mr——左右頭的內(nèi)參數(shù)矩陣R3*3——旋轉(zhuǎn)矩陣（rotationmaxtrix）T3*1——平移向量（translationmaxtrix）計算基礎矩陣和本征OpencvStereoCalibrate（）中進行2-7如上圖所示P為物體Ol和Or分別為左右機的光心Pl和Pr分別為物體光心的觀測點,pl和pr分別為左右機在機平面坐標系中的位置左頭和右頭的相對位置關系可以用公式Pr=R(Pl-T)表示。由幾何關系，我們知0x,a的機平面坐標系Ol，右邊關心的位置就是頭的中心距

左右的旋轉(zhuǎn)表達式可以表示為：(PT)T(PT)0RTR1 得到0(RTP)TPT)0。向量可以用矩陣表示，不妨令向量T a)

S,PlTSPl，其中S（2-22）SPTRSP0 本征矩陣 頭坐標系下的矩陣，它不包 頭的內(nèi)參數(shù)。加 一視圖上的對極線。如圖所示，pl和pr 2-8圖2-9每對的投影誤表2-11頭定標(棋盤格大小--000000基礎矩本征矩0000-----2--誤旋轉(zhuǎn)矩平移矢-----實驗中我們可以看到p1p2在兩組數(shù)據(jù)中均為0在左右頭中均為這說明頭不存在切向畸變。我們前面闡述過，頭的切向畸變是由于凸透鏡和城像平面不平行造成的，說明本頭不存在這方面的誤差。實際上，在工業(yè)生產(chǎn)中頭的畸變主要是徑向畸變切向畸變幾乎沒影響所以均為0們還看到k3也都是0,這是因為通常的精度的機我們只關心前兩個參數(shù)第三個參數(shù)要在魚眼機等誤差較大的頭我們才關注，說明本實驗中，兩個徑向畸變就足夠了，頭精度較高。實驗中的焦距參數(shù)均是以“pes”為單位的，他們之間可以通過CD值轉(zhuǎn)化為mm焦距。2-11x向和y（opencv投影成像的介紹。這部分介紹了4中坐標系之間的相互關系，同時也介Opencv標定的基本原理。Opencv是一個跨平臺的功能十分強大的開源。標定的結果分析的工具箱較為方便，所以我們使用進行。3體匹配與視差計圖像噪聲（如顏色的暗亮、飽和度等光滑物體的反射（如用電腦作為棋盤紙拍攝就不是一個好方法投影誤差（如放大和縮小相似紋理（如棋盤格的標定，左右得黑白格都很多就是為了把消除畸變的兩幅圖像進行嚴格對應，使得他們從二維匹配轉(zhuǎn)化為3.4節(jié)中詳細討論極線幾何。3-1立體匹配主要是通過找出每對圖像間的對應關系，根據(jù)三角測量原理，得到視差圖；在獲得了視差信息后，根據(jù)投影模型很容易地可以得到原始圖像的深度三維重建中需要精確的視差圖。[14]一般像素點灰度差的平方和，即像素點灰度差的絕對值和，即歸一化交叉相關，簡稱零均值交叉相關，即MoravecKolmogrov-SmrnovKSD7）Jeffrey散度匹配的時候可以設置一個閾值來某些干擾信息，類似于分水嶺算法。常見的有：均誤差(Root-mean-squared)和誤匹配率(percentageofbadmatching極線約束理極線幾何描述的就是左右頭平面它們之間的關系。二維圖像的匹配復雜3-1這部分就是計算基礎矩陣來表征兩個頭的關系，鑒于前面章節(jié)我們已經(jīng)詳細討論過原理。具體的計算過程比較復雜，本文不做討論。Opencv也對這部分cvFindFundamentalMat()SIFT基線——連接兩個機光心的直線對極點——基線與機平面的交點左右對應點之間的線性約束關系mi=(ui,vi,1)Tiim'TFmii

帶入8個點得到9個線性方程組，理由呢獨立特爾分解九個未知數(shù)，可以得到基礎矩陣F。為了減少代數(shù)誤差，取未知元的系數(shù)k時要使之滿足||f||=1，來唯一確定f陣（描述約束關系直線），從而得到基礎矩陣F。我們可以在知道m(xù)i'T

mi相對于mi’的約束關系直線f(u，v)3-2H1、H2分別對m1和m2進行變換mH TmH 1F

F

0 0

00 首先，取e 0

如此可以保證帶入極點坐標，經(jīng)過H矩陣變換后剩下x方向的水平分量。H2， 0H h 23 h33TT

mHm,m'H'm'mFm0H'TFH

hh'hh h

h' f

21 31

22

f32

f令P=

',h',h',h',h',

', (3-為了比較各匹配算法的時間和效果，opencvBM、SGBM、GC三種算法進行立體匹配。我們對著三種算法在同樣的條件參數(shù)下進行頭的3-3BM3-4SGBM3-5GC實驗中我們對一副320*240的灰度圖匹配，BM算法時間為31ms，SGBM算法的時間為78ms，GC算法的時間則3s左右。我們選取SGBM算法作為我們的實驗測距機視覺領域十分的火熱，算法較多。作為工程型方面的實驗，在中，opencvBM、SGBM、GC于頭的匹配視差圖，綜合分析，我們選取SGBM算法匹配的效果圖，這樣4距測量和場景重并顯示出來。距離的測量主要就是為了評估重建系統(tǒng)的準確性，在視差圖上的運用三維信息在計算機視覺的進一步研究中很有用通過顯示三維點云圖并測量保存鼠標點擊點的距離，然后和實際距離做一個比對，得出雙目測距的誤差。深度圖結合我們在第二章中得出的內(nèi)外機標定參數(shù)，計算得到相對于世三維坐標獲如4-1圖所示，如果我們用一個頭的時候，假設我們采用左頭O1，那么在O1坐標系下的P的坐標。但是這個坐標并不能在三中唯一的確定位置，因為段O1P上的所有的點的X軸和Y軸坐標都是一樣的。但是加上O2的機坐標系我們就可以求取世界坐標系中點P的坐標。如圖所示，P點O1O2坐標系中。4-1三角4-2如圖所示，左右頭分別在Cl和Cr，b的距離是頭之間的距離，f為焦距，視差為la-lb，d是我們需要測量的距離。令|AlPl|la,|ArPr|lb,|PrB|adf

a

df

blalbablba

a

la

d lalb

這就是公式(2-6的推導過程)，一個物體的距離和頭的距離b有關、焦距視差點Ip225

l1lmin

其中Ip為像素點的值，lmin為視差的最小值，lmax為視差的最大值，Ip就是三維4.2.3步場景重c1

1

m

22m m

其中（u1,v1）(u2,v2)分別為左右頭圖像坐標系中圖像的坐標，M1,M2為 機矩陣。這樣根據(jù)他們的關系，就可以求解X 1T。LAB1：4-34-44-5實驗中我們直接調(diào)用了里面的人臉識別庫，找出人臉識別之后的4-1真實距離三維測距誤差農(nóng)夫山泉（下農(nóng)夫山泉（文字2mm4-50度、90度、1803維顯示。實驗中我們可以看到，最后的效果不是很理想，標定的結果我們已經(jīng)面棋盤格的大小參數(shù)設置，還有的數(shù)目也會影響定標的精度，一般要角度差別較大的拍攝，因為如果角度差別較小，Opencv會識別成為是同一圖像進行標10幅圖像左右就可以得到比較好的實驗效果。要實現(xiàn)真正意義上的三維重建，我們需要做的工作還有對一個物體或者場景才能顯示出比較好的三維點云圖。本系統(tǒng)中主要是對測距效果的一個運用，做初步的三維場景重構。后顯示出三維點云圖主要做的測試有鼠標點擊像素點得出這個點的距離同時計算機視覺經(jīng)過那么長時間的發(fā)展人臉識別已經(jīng)是一個比較成領域也有比較成I。所以本實驗在上對人臉識別，求出識別出的地方的質(zhì)心并對質(zhì)心進距這也算是運用領域一個小小的創(chuàng)新點最后顯示點云我們只顯示了距離在一定范圍內(nèi)的點云，顯示了人的上半身的點云圖。對于點云圖像效果不好，本文從整個系統(tǒng)的角度出發(fā)，分析了原因。本課題基于雙目視覺下的三維測距和場景重構，在opencv、VS、下進標定，計算出了頭的內(nèi)參數(shù)和外參數(shù)，并實現(xiàn)了立體標定。同時和上立體校正和匹配部分，本實驗系統(tǒng)主要通過立體校正，使得兩個頭平行ncvMSMC算法的基SBM于點云場景效果不好，我們就整個系統(tǒng)分析了原因，證明了本實驗系統(tǒng)的有效性立體匹配算法一直是研究的熱點，可以就立體匹配相關研究提出更好的算法但是在現(xiàn)實中大型場景的三維重建面對的復雜情況很多，這樣就保證不了得到比較好的效果了，所以立體匹配這部分的算法還有很大的改進和提升空間。三維重建中紋理處理也是一個重要的方面，本實驗直接做簡單紋理處理，將原始的紋理做映射這必然會損失一部分精度所以這方面也是改進的空間三維重建運用廣泛，需要 算法研